▲百度大數(shù)據(jù)存儲(chǔ)體系

陳尚義還透露,為應(yīng)對(duì)上百PB的數(shù)據(jù),滿足諸多近乎苛刻的要求,百度采取了一些措施。包括開(kāi)發(fā)網(wǎng)頁(yè)更新模型,將對(duì)磁盤的隨機(jī)寫轉(zhuǎn)化為批量的順序?qū)懀岣邤?shù)據(jù)的寫入速度,縮短了網(wǎng)頁(yè)數(shù)據(jù)的更新周期,提高搜索引擎等產(chǎn)品時(shí)效果性。

此外,還包括對(duì)涉及數(shù)據(jù)存儲(chǔ)和訪問(wèn)的各個(gè)方面進(jìn)行全局優(yōu)化。對(duì)訪問(wèn)模式采用數(shù)據(jù)索引、緩存熱點(diǎn)數(shù)據(jù)、外存預(yù)讀、IO緩存等技術(shù)手段,降低在線訪問(wèn)的延遲,提高系統(tǒng)的吞吐量;未來(lái),百度還將開(kāi)發(fā)跨數(shù)據(jù)中心的存儲(chǔ)系統(tǒng)。

分享到

wangzhen

相關(guān)推薦