這樣的一個(gè)世界，需要怎樣的IT基礎(chǔ)架構(gòu)來支撐？都說，有圖有真相！

這是一個(gè)AI智算中心的典型架構(gòu)，該架構(gòu)從業(yè)務(wù)流、數(shù)據(jù)流的角度，揭示了AI智算中心的硬件設(shè)備構(gòu)成，重點(diǎn)涉及流量接入、核心交換、應(yīng)用交付、存儲(chǔ)與計(jì)算等AI創(chuàng)新業(yè)務(wù)應(yīng)用。

在此，我們可以結(jié)合具體看證券行業(yè)的一個(gè)AI應(yīng)用案例。

如今，很多行業(yè)都接入了DeepSeek一體機(jī)，但是對(duì)于業(yè)務(wù)應(yīng)用的幫助并不大，很多用戶反饋，一體機(jī)的性能存在問題。

這里有硬件選型的問題，也有企業(yè)級(jí)安全管控的要求和限制的影響。此外，該案例中的證券公司要要讓DeepSeek一體機(jī)能夠結(jié)合股市行情、內(nèi)部知識(shí)庫，為投資決策提供顧問咨詢和推理，其技術(shù)的重點(diǎn)是RAG（檢索增強(qiáng)生成）系統(tǒng)應(yīng)用，為了保障 該AI應(yīng)用的可用性、性能與安全，該案例采用了F5 LTM（本地流量管理器）設(shè)備，不僅轉(zhuǎn)發(fā)流量，更聚焦于負(fù)載均衡、后端服務(wù)器狀態(tài)實(shí)時(shí)監(jiān)測(cè)、隔離故障節(jié)點(diǎn)、攔截 SQL 注入/XSS 等 Web 攻擊、SSL/TLS加密解密（卸載服務(wù)器負(fù)載）、保持會(huì)話一致性等。

這里的LTM 就是 “應(yīng)用層的流量大腦”，相比網(wǎng)絡(luò)交換機(jī)只是 “流量管道”。

為了讓DeepSeek一體機(jī)發(fā)揮作用，就要發(fā)揮流量大腦的作用，不僅是企業(yè)級(jí)應(yīng)用必備，也是安全重要保障。AI時(shí)代，流量管理的大腦也需要與時(shí)俱進(jìn)，不僅考慮要承載連接的數(shù)量，更要對(duì)訪問連接的內(nèi)容進(jìn)行判斷，要結(jié)合任務(wù)復(fù)雜度、以及算力資源的性質(zhì)/能力進(jìn)行綜合考量，以提升的AI應(yīng)用的響應(yīng)能力，物盡其用。

F5北亞區(qū)區(qū)域副總裁張振倫透露：其中的核心技術(shù)方案是F5 TBLB（Token Based Load Balance），也就是基于Token感知的流量分發(fā)，無論是推理還是訓(xùn)練，都會(huì)有不同的任務(wù)會(huì)分到后臺(tái)服務(wù)器，不同的服務(wù)器計(jì)算能力不同，因?yàn)楹芏嘤脩?，特別是國內(nèi)用戶大多采用混合GPU架構(gòu)，即使采用同一個(gè)品牌，也會(huì)有不同代產(chǎn)品的差別，傳統(tǒng)基于SLB的流量分發(fā)沒有辦法感知后臺(tái)。

新的F5 TBLB主動(dòng)感知大模型實(shí)時(shí)狀態(tài)，基于這些狀態(tài)數(shù)據(jù)進(jìn)行流量的分發(fā)和調(diào)度，為此F5做了大量的測(cè)試，從而得出結(jié)論：會(huì)有30%～60%GPU利用率提升，推理服務(wù)成功率提升8%。不要小看這些性能的改善，未來的AI業(yè)務(wù)應(yīng)用，絕非依賴單一模型，而是眾多模型協(xié)同努力工作的結(jié)果，將問題交給正確的模型處理，將會(huì)帶來極大的效率提升以及成本節(jié)省。

對(duì)于模型訪問的管理，甚至比模型推理本身還重要，其中的連接管理、LLM安全等不是大模型廠商的專長，需要應(yīng)用安全交付廠商提供支持，術(shù)業(yè)有專攻。

全球Web軟件應(yīng)用安全組織——OWASP（Open Web Application Security Project，開放 Web 應(yīng)用安全項(xiàng)目），特別列舉了AI API訪問的10大關(guān)鍵，涉及身份認(rèn)證、授權(quán)、資源消耗等控制內(nèi)容，可以成為AI業(yè)務(wù)創(chuàng)新應(yīng)用運(yùn)維的參考標(biāo)準(zhǔn)。

應(yīng)用交付+安全，這就是全新ADSP（Application Delivery and Security Platform ，應(yīng)用交付與安全平臺(tái)）的核心內(nèi)容。

張振倫表示：“作為業(yè)界首款將高性能負(fù)載均衡、智能流量管理與先進(jìn)的應(yīng)用及API安全能力深度集成于一體的平臺(tái)化解決方案，ADSP將幫助企業(yè)有效應(yīng)對(duì)AI時(shí)代的混合多云架構(gòu)挑戰(zhàn)，降低復(fù)雜性，提升安全性，并充分釋放 AI 的業(yè)務(wù)潛能。”

據(jù)F5亞太區(qū)首席技術(shù)官M(fèi)ohan Veloo透露：ADSP有多種產(chǎn)品規(guī)格和形式可供選擇，如本地?cái)?shù)據(jù)中心運(yùn)行的高性能硬件、虛擬化形式，也有混合云環(huán)境中的軟件形式，以及云原生環(huán)境的SaaS方案提交方式，既能夠服務(wù)本地混合云環(huán)境應(yīng)用，也能夠滿足企業(yè)出海的需求，實(shí)現(xiàn)跨環(huán)境的一體化運(yùn)維與安全防護(hù)，為用戶帶來多重應(yīng)用價(jià)值。

F5北亞區(qū)總裁黃彥文表示：“F5中國將堅(jiān)守‘中國創(chuàng)新，服務(wù)中國’承諾，以應(yīng)用交付與安全平臺(tái)為核心，持續(xù)豐富AI方案組合；深耕本土市場(chǎng)，拓展汽車等重點(diǎn)行業(yè)與區(qū)域服務(wù)網(wǎng)絡(luò)；攜手渠道伙伴，共建開放共贏的合作生態(tài)，從而助力企業(yè)用戶在AI時(shí)代贏取先機(jī)?！?/p>

抓住AI的契機(jī)，成為AI不可分割組成部分，有AI的地方，就有ADSP！

songjy