搜狐服務(wù)器效率提升六倍的秘密
江南 發(fā)表于:13年07月10日 11:11 [原創(chuàng)] DOIT.com.cn
假如你瀏覽一個(gè)網(wǎng)頁(yè),30秒鐘后網(wǎng)頁(yè)還沒(méi)有打開(kāi),那你還會(huì)在這個(gè)網(wǎng)站停留么?相信大部分人會(huì)選擇離開(kāi)。對(duì)于互聯(lián)網(wǎng)服務(wù)型企業(yè)來(lái)說(shuō),速度就是生命。這個(gè)速度既指企業(yè)提供新產(chǎn)品新服務(wù)的能力,又指服務(wù)的響應(yīng)快慢給用戶(hù)帶來(lái)的使用體驗(yàn)。Sohu.com作為一家立足中國(guó)的大型 Web 服務(wù)提供商,每天有超過(guò)1億的用戶(hù)使用搜狐公司提供的各種互聯(lián)網(wǎng)信息產(chǎn)品。因此保障和優(yōu)化現(xiàn)有產(chǎn)品以及新產(chǎn)品的用戶(hù)體驗(yàn)成了搜狐公司的重中之重。作為主要負(fù)責(zé)搜狐公司網(wǎng)絡(luò)運(yùn)營(yíng)、搜狗搜索、郵件和搜狐通行證等業(yè)務(wù)的搜狐公司技術(shù)副總裁周霖,這項(xiàng)任務(wù)理所當(dāng)然地落在了他和他的技術(shù)團(tuán)隊(duì)身上。
“搜狐發(fā)展到今天,已經(jīng)成為了一個(gè)門(mén)戶(hù)矩陣。近年來(lái),隨著視頻和移動(dòng)應(yīng)用的發(fā)展,移動(dòng)用戶(hù)增長(zhǎng)飛速。而公司給我們技術(shù)部門(mén)的目標(biāo)是在發(fā)展業(yè)務(wù)的同時(shí)盡量減少投入,同時(shí)響應(yīng)速度更快。”周霖表示。為此,搜狐技術(shù)部門(mén)決定在統(tǒng)一前端平臺(tái)的基礎(chǔ)上,深入挖掘現(xiàn)有硬件和軟件、系統(tǒng)的性能,以產(chǎn)生規(guī)模效應(yīng),并在提升用戶(hù)服務(wù)質(zhì)量的同時(shí)降低運(yùn)維成本,進(jìn)一步提升公司的競(jìng)爭(zhēng)優(yōu)勢(shì)。
千兆負(fù)載均衡不堪重負(fù)
此前,搜狐統(tǒng)一Web或者移動(dòng)服務(wù)的后面是千兆負(fù)載均衡系統(tǒng),這是搜狐多年來(lái)快速響應(yīng)用戶(hù)訪(fǎng)問(wèn)的核心。然而,隨著新業(yè)務(wù)的不斷增加以及對(duì)用戶(hù)數(shù)據(jù)的深度挖掘需求,千兆負(fù)載均衡系統(tǒng)已經(jīng)日漸捉襟見(jiàn)肘。
比如,原來(lái)網(wǎng)絡(luò)狀況下用戶(hù)的訪(fǎng)問(wèn)日志等總有少量丟失,這樣就不能掌握用戶(hù)的真實(shí)訪(fǎng)問(wèn)需求,改善的途徑就是將采集點(diǎn)前移到網(wǎng)絡(luò)邊界,也即從訪(fǎng)問(wèn)LOG開(kāi)始;其次,伴隨著用戶(hù)數(shù)量及上網(wǎng)設(shè)備的多樣性和復(fù)雜性的增加,搜狐受到的網(wǎng)絡(luò)攻擊更加頻繁,用戶(hù)的隱私等安全問(wèn)題愈發(fā)顯得重要,而分析安全事件等措施的采取也需要從網(wǎng)絡(luò)邊界端就開(kāi)始加以防御。
“最重要的是此前搜狐服務(wù)器單機(jī)性能只能達(dá)到C300K(30萬(wàn)并發(fā)處理和分發(fā)的能力每秒接受30萬(wàn)次的并發(fā)訪(fǎng)問(wèn))的能力,資源使用率不高。我們亟需提高服務(wù)器使用率,降低服務(wù)器的采購(gòu),同時(shí)相應(yīng)減少服務(wù)器管理方面的開(kāi)支。”周霖說(shuō)。為此,搜狐技術(shù)部門(mén)從2012年6月開(kāi)始立項(xiàng),爭(zhēng)取用更快的網(wǎng)絡(luò)替代原有的千兆網(wǎng)絡(luò)。
英特爾萬(wàn)兆以太網(wǎng)提升效率6倍
在選擇英特爾萬(wàn)兆以太網(wǎng)之前,搜狐曾考慮過(guò)用其它廠(chǎng)商的專(zhuān)有網(wǎng)絡(luò),甚至是更高速的Infiniband網(wǎng)絡(luò)也測(cè)試過(guò),但是考慮到成本問(wèn)題最終還是放棄了。
“專(zhuān)有網(wǎng)絡(luò)只能滿(mǎn)足部分需求。不能靈活處理突發(fā)事件和未來(lái)的變化。搜狐選擇網(wǎng)絡(luò)的立足點(diǎn)是性能上的替代,然后是能進(jìn)行大規(guī)模低成本的部署,最后考慮到和服務(wù)器架構(gòu)的統(tǒng)一性等問(wèn)題,英特爾萬(wàn)兆以太網(wǎng)自然成為了最佳選擇。”周霖強(qiáng)調(diào)。
為了更好地推進(jìn)項(xiàng)目的實(shí)施,英特爾與搜狐長(zhǎng)期保持良好的合作關(guān)系,雙方有多年的深入合作,對(duì)新技術(shù)的研究及行業(yè)發(fā)展趨勢(shì)有很大的認(rèn)同。雙方本著以技術(shù)探索為基礎(chǔ),行業(yè)發(fā)展趨勢(shì)為導(dǎo)向,以深入技術(shù)合作、挖掘前沿技術(shù)、推動(dòng)關(guān)鍵技術(shù)發(fā)展、培養(yǎng)專(zhuān)業(yè)技術(shù)人才、熱點(diǎn)難點(diǎn)技術(shù)探索及驗(yàn)證為目標(biāo)。于2011年共同成立的搜狐-英特爾技術(shù)創(chuàng)新實(shí)驗(yàn)室就是雙方緊密合作的例證。針對(duì)這個(gè)項(xiàng)目,搜狐和英特爾還成立了聯(lián)合實(shí)驗(yàn)室,加上運(yùn)維人員,共有20多名技術(shù)骨干組成了攻關(guān)團(tuán)隊(duì)。項(xiàng)目組還給自己定了一個(gè)更高的目標(biāo):一般而言,網(wǎng)絡(luò)能實(shí)現(xiàn)單機(jī)每秒鐘響應(yīng)100萬(wàn)(C1000K)次請(qǐng)求已經(jīng)是一個(gè)很高的標(biāo)準(zhǔn)了,項(xiàng)目組卻將目標(biāo)拔高到C2000K。
“業(yè)內(nèi)是以C1000K做為標(biāo)準(zhǔn)。但是我們考慮到翻倍后能節(jié)省更多的資源,所以將目標(biāo)定為C2000K。此外,原來(lái)的標(biāo)準(zhǔn)是突出靜態(tài)頁(yè)面能力的響應(yīng)速度,現(xiàn)在還包括靜態(tài)頁(yè)面的轉(zhuǎn)發(fā)。”周霖說(shuō)。
為了驗(yàn)證英特爾萬(wàn)兆以太網(wǎng)能否真的解決原先的瓶頸?搜狐技術(shù)團(tuán)隊(duì)搭建了開(kāi)源的Tsung壓力測(cè)試平臺(tái),以保證模擬真實(shí)線(xiàn)上高強(qiáng)度萬(wàn)兆壓力。同時(shí)他們還使用Systemtap等工具定位系統(tǒng)及應(yīng)用瓶頸,定制和優(yōu)化Linux系統(tǒng),并深入內(nèi)核優(yōu)化,調(diào)整NetIO調(diào)度策略以及TCP協(xié)議相關(guān),優(yōu)化七層負(fù)載均衡軟件代碼。在英特爾工程師幫助下,在一系列措施下,經(jīng)過(guò)4個(gè)月的努力,搜狐公司單臺(tái)服務(wù)器使用率提高了6倍,成功實(shí)現(xiàn)了單機(jī)萬(wàn)兆七層C2000K的長(zhǎng)鏈接正常線(xiàn)上服務(wù)。
“C2000K實(shí)現(xiàn)后的效果是明顯的。原先遇到的兩大問(wèn)題,像用戶(hù)的轉(zhuǎn)發(fā)需要重新定向;需要根據(jù)用戶(hù)的Cookie調(diào)用后臺(tái)不同的服務(wù),都需要分開(kāi)執(zhí)行,F(xiàn)在判斷和分發(fā)在一臺(tái)服務(wù)器上就能實(shí)現(xiàn)了,極大地提高了效率。”周霖介紹說(shuō):“此外,英特爾萬(wàn)兆以太網(wǎng)帶來(lái)了更高的可控性和可用性,用戶(hù)訪(fǎng)問(wèn)網(wǎng)頁(yè)的體驗(yàn)也更好。搜狐還可根據(jù)訪(fǎng)問(wèn)日志等大數(shù)據(jù)進(jìn)行分析,隨時(shí)調(diào)整相關(guān)策略。而架構(gòu)上的簡(jiǎn)化,減少了服務(wù)器的使用量,同時(shí)讓運(yùn)維更加簡(jiǎn)單化。”
盡管性能提升了6倍,但搜狐還只是用現(xiàn)在的1臺(tái)服務(wù)器替代原先5臺(tái)服務(wù)器的工作量。周霖解釋說(shuō)是需要給服務(wù)器的工作負(fù)載留有一定的富余量。此外,搜狐也并沒(méi)有采取大規(guī)模鋪設(shè)萬(wàn)兆以太網(wǎng)的方式來(lái)全面升級(jí)網(wǎng)絡(luò),而是逐步升級(jí),平滑過(guò)渡,確保服務(wù)的穩(wěn)定性。
“我們會(huì)先替換掛在負(fù)載均衡后面的應(yīng)用,現(xiàn)在在進(jìn)行底層的測(cè)試,確保不出問(wèn)題后就進(jìn)行替換。”周霖說(shuō):“下一步搜狐還會(huì)和英特爾在云平臺(tái)、智能城市、低成本存儲(chǔ)等項(xiàng)目上進(jìn)行合作,力爭(zhēng)給用戶(hù)提供更好的服務(wù)。”
公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶(hù)寄語(yǔ) | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.