該生成式AI一站式解決方案將基于OPEA的微服務組件集成至用于部署英特爾至強處理器和Gaudi AI系統(tǒng)的、可擴展的RAG解決方案中,可通過Kubernetes、Red Hat OpenShift等經(jīng)驗證的編排框架進行無縫擴展,并提供兼具可靠性和系統(tǒng)遙測功能的標準化API。

· 以開放式軟件堆棧打破壁壘:幾乎所有大語言模型(LLM)的開發(fā)都基于高抽象框架PyTorch,該框架由英特爾至強和Gaudi及相關技術提供支持,助力在英特爾AI系統(tǒng)及平臺上實現(xiàn)輕松開發(fā)。同時,英特爾攜手OPEA開發(fā)了用于RAG和LLM部署的開放式軟件堆棧。該軟件堆棧通過生成式AI一站式解決方案進行優(yōu)化,并基于PyTorch、Hugging Face服務庫(TGI和TEI)、LangChain以及Redis向量數(shù)據(jù)庫所構建。

· 滿足開發(fā)者需求:OPEA為企業(yè)提供開源、標準化、模塊化,以及異構的RAG流水線(pipeline),并致力于為開放式模型及多種編譯器和工具鏈的開發(fā)提供支持。其加速了針對垂直領域用例的容器化AI集成與交付。OPEA通過創(chuàng)建細化、可組合的框架,引領堆棧技術前沿,解鎖AI的全新可能。

憑借生成式AI一站式解決方案與全面的企業(yè)AI堆棧,英特爾提供了完整的解決方案,以應對企業(yè)和數(shù)據(jù)中心在部署和擴展RAG與LLM應用時所面臨的挑戰(zhàn)。通過基于英特爾技術與產(chǎn)品的AI系統(tǒng)及平臺,以及OPEA的優(yōu)化軟件,企業(yè)可以更高效、快速地發(fā)揮并利用生成式AI的巨大潛力。

現(xiàn)階段,如何將最新的AI計算技術應用到企業(yè)中,并推動關鍵業(yè)務成果落地,是企業(yè)亟待解決的問題。通過與廣大行業(yè)合作伙伴的戰(zhàn)略合作,英特爾正為由生成式AI和RAG解決方案驅動的AI服務創(chuàng)造更多新的可能性。

分享到

songjy

相關推薦