浪潮天梭K1基于自主設計的經(jīng)典CC-NUMA架構,最大可擴展32顆處理器、256核心,4TB全局共享內(nèi)存,系統(tǒng)峰值浮點計算能力達到2560GFLOPS,也就是每秒可完成2.56萬億次浮點計算;內(nèi)存總帶寬1177.6GB/s,系統(tǒng)互連總帶寬1088GB/s,系統(tǒng)I/O總帶寬675GB/s,這意味著如果傳輸大小為15G的高清電影,處理器到內(nèi)存之間每秒可傳輸78部,處理器之間每秒可傳輸73部,系統(tǒng)對外每秒可傳輸45部;系統(tǒng)體系結構支持64路擴展,并完成64路原型系統(tǒng)的開發(fā)。
據(jù)高效能服務器和海量存儲技術國家重點實驗室主任、浪潮集團高級副總裁王恩東介紹,天梭K1在研制過程中,突破關鍵應用主機多項核心技術及工程技術世界難題,建立了完整的自主化技術體系,使中國成為世界上三個掌握最新關鍵應用主機核心技術的國家之一。
突破一:創(chuàng)新體系結構和協(xié)同芯片組
天梭K1的核心技術突破之一,就是設計開發(fā)了“雙翼可擴展多處理器緊耦合共享存儲器體系結構”、與商業(yè)處理器兼容的兩級目錄Cache一致性協(xié)議,整體開發(fā)了多處理器CC-NUMA體系結構,研制成功關鍵應用主機兩大核心部件之一處理器協(xié)同芯片組,突破了歐美國家對計算機“系統(tǒng)緊耦合技術”的封鎖。
眾所周知,芯片組可以稱得上是計算機的“靈魂”和“軀干”,它能力的大小決定了計算機系統(tǒng)整體擴展性和I/O等關鍵技術表現(xiàn)。通常,普通計算機僅有4顆以下處理器,而天梭需要支持32顆處理器,有256個內(nèi)存插槽,規(guī)模和復雜度都數(shù)十倍于普通計算機。
芯片組主要涉及2項核心技術:體系結構和緩存一致性。關鍵應用主機體系結構要解決的核心問題是處理器和內(nèi)存的互聯(lián),天梭K1有32顆處理器,256個內(nèi)存插槽,將如此規(guī)模的單元互聯(lián)起來,既要保證數(shù)據(jù)一致,又要將協(xié)同開銷降到最低,以取得更好的性能,這是計算機領域的世界性難題。計算機的運行過程中,各個單元中的數(shù)據(jù)必須保持一致,以避免邏輯錯誤。緩存一致性技術就是確定了體系結構以后,各個單元之間數(shù)據(jù)同步的規(guī)則。由于關鍵應用主機系統(tǒng)規(guī)模龐大,處理器、內(nèi)存等單元之間的通訊需要通過第三方協(xié)同芯片來實現(xiàn),亦即數(shù)據(jù)先傳輸?shù)絽f(xié)同芯片的緩存,然后再傳輸?shù)絾卧K去。天梭K1系統(tǒng)有數(shù)百個數(shù)據(jù)同步單元,建立一套復雜的緩存一致性規(guī)范是十分龐雜的工程,全球具有該項技術開發(fā)能力的公司不到5家。
浪潮集團最終設計完成了“雙翼可擴展多處理器緊耦合共享存儲器體系結構”,成為國際上唯一一個只需要一級跳步的64路互聯(lián)系統(tǒng),目前該技術已經(jīng)申請中國和美國專利。
雙翼可擴展多處理器緊耦合共享存儲器體系結構拓撲圖
突破之二:開發(fā)出我國第一款通過UNIX 03認證的K-UNIX
如果說芯片組是計算機的“靈魂”和“軀干”,那操作系統(tǒng)則是計算機的“血液”,它將計算機的各個部件協(xié)同運作起來。浪潮成功開發(fā)出了我國第一款通過UNIX 03認證的操作系統(tǒng)K-UNIX,為天梭K1軟件生態(tài)系統(tǒng)的建設奠定了堅實的基礎。
浪潮K-UNIX 是基于LINUX內(nèi)核自主開發(fā)的操作系統(tǒng),專注關鍵應用,通過UNIX 03認證,意味著K-UNIX進入了關鍵應用軟件俱樂部。UNIX03全稱為Open Group UNIX 03認證,該認證是關鍵應用軟件生態(tài)的入門牌。目前,UNIX仍然是關鍵應用軟件的事實標準,不僅關鍵應用軟件大部分是基于UNIX標準開發(fā),而且關鍵應用軟件在UNIX平臺運行時間也最長、最成熟,因而,要開拓關鍵應用主機市場,打入Unix軟件技術生態(tài)圈是必須的前提條件,但是該認證復雜大,門檻高,目前只有IBM、HP、蘋果和Oracle四家廠商的產(chǎn)品通過了該認證。
UNIX 03是操作系統(tǒng)對SUS v3標準的符合性認證,由針對系統(tǒng)調(diào)用、庫函數(shù)、編譯器等在內(nèi)的系列標準構成,需經(jīng)過3200余處UNIX兼容增強,通過6萬余個UNIX 03測試項。作為專門面向關鍵應用業(yè)務開發(fā)的操作系統(tǒng),K-UNIX不僅針對CCNUMA架構進行了專門的優(yōu)化,性能大幅提升,而且在安全性和容錯能力方面表現(xiàn)突出。
突破之三:突破了異構系統(tǒng)互備運行關鍵技術
之前,中國關鍵應用主機技術一直處于空白狀態(tài),對企業(yè)、政府甚至社會具有核心意義的關鍵信息化系統(tǒng)一直運行在國外的產(chǎn)品上,浪潮是這個領域的初入者,用戶出于風險考慮,也很難把核心系統(tǒng)放到浪潮產(chǎn)品上。浪潮確定了“互備運行、逐步替換”的辦法,讓天梭 k1系統(tǒng)走入實際應用中。
經(jīng)過兼容性研究、系統(tǒng)平臺/應用平臺移植、基礎性兼容測試、功能測試、性能測試、集成測試和異構平臺互備運行技術研究,浪潮天梭與國外關鍵應用主機系統(tǒng),搭建了雙機互備平臺,天梭K1在幾個月的運行時間內(nèi),表現(xiàn)穩(wěn)定,從“備機”逐步轉換為“主機”,成功實現(xiàn)了業(yè)務系統(tǒng)從國外小型向國產(chǎn)關鍵應用主機的移植,以及與國外小型機的互備運行,為關鍵行業(yè)應用實現(xiàn)自主可控提供了穩(wěn)妥的技術方法。天梭K1系統(tǒng)的應用示范是在新疆建行完成的,承擔12個生產(chǎn)性系統(tǒng)穩(wěn)定運行1年多時間,完全滿足現(xiàn)有業(yè)務應用要求。
此外,研制天梭K1是中國企業(yè)第一次進入主機研發(fā)領域,浪潮在產(chǎn)品研制階段遇到了大量的工藝制程瓶頸,特別是PCB設計加工方面(PCB,印制線路板,簡稱印制板,負責集成電路等電子元器件之間的電氣互連,是關鍵應用主機的重要部件之一)。浪潮在PCB材料、化學、金屬表面處理等進行了大量實驗,對材料編織對信號的擾動效應進行了深入研究,繼IBM之后,全球第二個實現(xiàn)了600×500超大尺寸、20層高疊層、0.5%高阻抗控制精度的電路板的加工并穩(wěn)定量產(chǎn)。
為什么是浪潮?
“臺上一分鐘,臺下十年功。”浪潮天梭K1系統(tǒng)的研制成功,表面上看是460位浪潮工程師四年的嘔心瀝血之作,但實際上在他們背后是浪潮多年來的技術積累和技術創(chuàng)新的結果。
作為國產(chǎn)服務器的領軍企業(yè),浪潮從1993年研制成功第一臺小型機開始,一直為建立自主的中國服務器產(chǎn)業(yè)踐行高端戰(zhàn)略。1993年,浪潮推出了中國第一臺小型機——可擴展10顆處理器的SMP2000,標志著中國開始有了自己的服務器產(chǎn)業(yè);1996年,浪潮集團建立了國內(nèi)第一條專業(yè)服務器生產(chǎn)線,開啟了國產(chǎn)服務產(chǎn)業(yè)國際化進程,同年起至今一直保持國產(chǎn)品牌銷量第一;2002年,浪潮發(fā)布天梭工程,吹響了國產(chǎn)品牌進軍高端的號角,天梭系列高端商用服務器多次獲得國家科技進步二等獎;2009年9月,四路服務器NF560D2銷量突破10000臺,成為中國服務器產(chǎn)業(yè)第一款銷量破萬的四路服務器,標志著浪潮已經(jīng)完成中低端產(chǎn)業(yè)的布局,為全面突破高端奠定了基礎;2010年4月2日,浪潮正式推出了國內(nèi)第一款自主設計的8路服務器——天梭TS850,僅用1年時間該產(chǎn)品即成為市場占有率前三強,該產(chǎn)品是入門級高端服務器,初步顯示了浪潮在高端領域的實力。
2013年初,浪潮天梭K1系統(tǒng)面世,這是一款主流的高端服務器,十幾年時間,浪潮從突破高端開始,至今已經(jīng)初步完成了高端產(chǎn)業(yè)布局。
作為高端戰(zhàn)略的核心組成部分,研發(fā)體系和能力建設一直浪潮集團的工作重點。經(jīng)過多年積累,浪潮已經(jīng)建成了由三級研發(fā)體系、自動化知識管理體系等構成的領先創(chuàng)新系統(tǒng)。在三級研發(fā)體系的基礎上,浪潮以核心技術為關注焦點,創(chuàng)造性的提出 “技術專利化、專利標準化、標準國際化”的知識產(chǎn)權戰(zhàn)略。知識產(chǎn)權工作已經(jīng)貫穿于浪潮技術創(chuàng)新和產(chǎn)品研發(fā)的全過程。僅2011年,集團就申請國家專利802項,其中發(fā)明專利占55%,牽頭制定國家標準4項,參與國家標準21項、行業(yè)標準6項,推動發(fā)布國家標準1項、行業(yè)標準9項。
此外,浪潮還非常注重人才培養(yǎng),設立了首席知識官,打造企業(yè)“智庫”。目前,浪潮擁有各類研究與開發(fā)人員1500多人。擁有博士以上高級專家22人,享受國務院特殊津貼5人,山東省科技拔尖人才11人,擁有外籍高層次人才30多人。這些都是浪潮研發(fā)天梭K1乃至更高性能服務器的“本錢”。
正如浪潮集團董事長兼CEO孫丕恕所說,浪潮天梭K1是中國大型主機產(chǎn)業(yè)的開端,下一步浪潮將繼續(xù)向服務器產(chǎn)業(yè)更為核心的技術探索突破,并將攜手關鍵行業(yè)的客戶打開高端行業(yè)壁壘,為推動我國關鍵業(yè)務系統(tǒng)國產(chǎn)化應用,建立國產(chǎn)化產(chǎn)業(yè)圈做出更多的努力。
浪潮天梭K1系統(tǒng)研發(fā)故事
1、方寸之間的千針萬線
天梭K1系統(tǒng)是一個龐大的研發(fā)工程,從芯片、到板卡,需要海量的研發(fā)工作量。
先后研制大規(guī)模芯片數(shù)十個。特別是處理器協(xié)同芯片,這是計算機中唯一復雜度可與處理器相比的芯片部件,浪潮研制的芯片組集成了4.5億個晶體管,有2577根管腳,而intel最高端的通用處理器至強E7集成的晶體管數(shù)量也不過14億個,針腳數(shù)只有1567個,如此數(shù)量、如此規(guī)模的芯片設計是國內(nèi)十分少見的。
一般的多處理器計算機的板卡不超過5塊,系統(tǒng)布線在5000-7000條。而天梭K1系統(tǒng)板卡數(shù)量超過110塊,布線90000條以上。特別是計算板,尺寸只有50cm*60cm,如此狹小的面積上有40000個管腳,20層布線,挑戰(zhàn)了業(yè)界計算板卡加工工藝極限。最終設計完成后,整套系統(tǒng)有300個傳感器,367種、2177個零件。
2、“大和小”的藝術平衡
天梭K1體積和內(nèi)部的板卡多大合適,看似一個十分初級的問題,但卻必須要經(jīng)驗豐富的資深專家才能解決。從信號和供電的角度講,天梭k1做的越小越好,因為信號傳輸距離過長會產(chǎn)衰減、失真現(xiàn)象,供電會有壓降問題,但是散熱問題就會隨之而來,K1系統(tǒng)最大功耗有20Kw,平均發(fā)熱密度超過普通服務器60%,而且在計算板卡發(fā)熱密度更高,散熱這一常規(guī)性問題變成技術卡口。
在通用服務器領域經(jīng)驗豐富的浪潮工程師在關鍵應用主機領域還是新入者,談不上經(jīng)驗,只能在“戰(zhàn)爭中學習戰(zhàn)爭”。他們先后設計了20多個版本的系統(tǒng)基礎結構設計方案,才最終平衡散熱和尺寸的問題。其中計算板尺寸50cm*60cm,已經(jīng)是國內(nèi)最大的主板,甚至一度超出了國內(nèi)PCB板卡加工工藝的極限,實現(xiàn)“10Gbps信號傳輸距離超過30英寸”、“6.4GT/s 21路并行傳輸超過21英寸”等多項業(yè)界信號傳輸距離的新紀錄。