国产精品一区二区av交换,中文字幕人成无码免费视频,永久免费av无码网站性色av,欧美一道本一区二区三区,樱桃熟了a级毛片

Facebook公布TAO—社交圖譜數(shù)據(jù)存儲方案

ZDNet 發(fā)表于:13年07月01日 14:51 [轉(zhuǎn)載] 至頂網(wǎng)

  • 分享:
[導讀]Facebook已經(jīng)進一步披露Tao細節(jié)信息,這套方案負責對公司數(shù)以PB的龐大社交圖譜信息進行存儲。

Facebook已經(jīng)進一步披露Tao細節(jié)信息,這套方案負責對公司數(shù)以PB的龐大社交圖譜信息進行存儲。

盡管Facebook公司的社交網(wǎng)絡本身與IT人士似乎沒多大關(guān)系,但其內(nèi)部基礎(chǔ)設施則是不折不扣的IT杰作——社交網(wǎng)絡所處理的信息規(guī)模如此巨大,F(xiàn)acebook必須拿出新的數(shù)據(jù)存儲、計算及管理方式才能應對其對資源的貪婪需求。

因此,本周三在USENIX大會上公布Tao細節(jié)信息的原因有二:首先,這體現(xiàn)了未來企業(yè)用戶需要面對及打理的龐大數(shù)據(jù)規(guī)模;其次,這也凸顯了由高科技企業(yè)提供的、專為現(xiàn)代數(shù)據(jù)系統(tǒng)打造的設計方案。

“對于任何需要利用相關(guān)數(shù)據(jù)高效生成詳盡定制內(nèi)容的應用程序域來說,像TAO這樣的系統(tǒng)可能都很有用,”Facebook公司員工撰文寫道。“應用程序不應對數(shù)據(jù)的具體內(nèi)容進行諸多限制,而應該學會盡量接納。很多社交網(wǎng)絡信息正好符合這一類別。”

Tao這類系統(tǒng)中的其它應用程序則可能需要處理大型數(shù)據(jù)集,且這些數(shù)據(jù)集的規(guī)模隨時間推移持續(xù)膨脹。還有一些復雜系統(tǒng)中存在諸多代理機制,且其彼此關(guān)系根據(jù)使用者的一系列操作而決定。而對國家陰謀論深信不疑的用戶,Tao還能夠作為保護機制、與情報機關(guān)對國家公民的窺探手段相對抗。

Tao是一套針對讀取進行優(yōu)化的數(shù)據(jù)存儲機制,并以單一地理分布實例的方式部署在Facebook當中。它允許Facebook的工程師們橫跨公司整個“社交圖譜”,對全部相關(guān)信息進行訪問及寫入——其中包括Facebook上的對象(例如人、品牌、評論等)以及關(guān)聯(lián)(贊、踩、標記)。

Tao系統(tǒng)的設計初衷在于為“數(shù)PB級別”的龐大數(shù)據(jù)集提供每秒超過十億次讀取操作,F(xiàn)acebook指出。Tao由Facebook一手打造,能夠更好地與自家主數(shù)據(jù)存儲(MySQL)及緩存層(memcache)相對接,且可以在對象上處理無法預知的查詢。

“事實上,Tao使用MySQL這一特性從客戶端角度完全無從感知,”Facebook工程主管Venkat Venkataramani在接受The Register網(wǎng)站采訪時表示。“我們一直在不斷尋找,但從未發(fā)現(xiàn)過比MySQL更好的方案。”

Tao的API與少量SQL查詢相映射,從而降低了底層MySQL數(shù)據(jù)庫的通信強度。對于單一數(shù)據(jù)庫來說,F(xiàn)acebook的數(shù)據(jù)集實在太過龐大,因此Tao轉(zhuǎn)而將數(shù)據(jù)拆分為邏輯片段、這樣更易被數(shù)據(jù)庫服務器所處理。

Tao還擁有一套最終一致性緩存層、采用相似的創(chuàng)建原理,其中容納著對象、關(guān)聯(lián)以及關(guān)聯(lián)計數(shù)信息。Facebook之所以能夠?qū)崿F(xiàn)站點中同一頁面下數(shù)以百計對象的高速載入效果,緩存層的作用至關(guān)重要。

由于Facebook數(shù)據(jù)集規(guī)模巨大,緩存被劃分為雙層結(jié)構(gòu):“領(lǐng)導”緩存層用于處理寫入操作、作為輔助的“從屬”緩存層則幫助處理讀取操作(讀取操作的數(shù)量要明顯高于寫入)——Tao系統(tǒng)經(jīng)常需要面對每秒十億次級別的讀取、但每秒寫入則僅為數(shù)百萬次。

數(shù)據(jù)緩存處理采取對象與關(guān)聯(lián)彼此相鄰的方式,Venkataramani指出。“一大重要設計思路在于保證系統(tǒng)使用位置與工作負載位置基本一致,這是我們成功實現(xiàn)大規(guī)模擴展的必要前提。”

就以奧巴馬總統(tǒng)的Facebook頁面為例,在發(fā)生特定事件時、其頁面往往會突然面對不可預知的龐大讀取量。正是由于Tao在設計理念上將保證對象讀取放在第一位,整套體系的最終一致性與可用性才得以實現(xiàn),而不會因為滿足一致性而產(chǎn)生過高的訪問延遲。

“在Facebook之前,我們從未見過如此龐大的工作負載,”Venkataramani表示。“說起超大規(guī)模應用程序,人們首先想到的往往是電子郵件系統(tǒng)。但郵件與社交網(wǎng)絡兩種工作負載完全不同,因為用戶只會查看自己的郵件、而不可能跑去瀏覽別人的郵件。但在社交網(wǎng)絡方面,情況顯然更為復雜——其信息輸出量遠高于其它網(wǎng)絡服務。”

盡管目前利用這種方式處理數(shù)據(jù)的企業(yè)還不太多,但對Tao系統(tǒng)的深入分析能幫助我們在企業(yè)規(guī)模達到一定程度時解決新難題、理解Facebook藍白圖標背后所承受的巨大技術(shù)壓力及其巧妙的處理方案。

“隨著云計算的逐漸普及以及大規(guī)模數(shù)據(jù)入駐大型數(shù)據(jù)中心,我認為新型后端架構(gòu)的時代已經(jīng)拉開帷幕,”Venkataramani最后總結(jié)道。

[責任編輯:鄭磊]
6月14日,三星存儲于北京舉辦了 “為冠軍而生三星840系列固態(tài)硬盤達人會”活動。
官方微信
weixin
精彩專題更多
存儲風云榜”是由DOIT傳媒主辦的年度大型活動;仡2014年,存儲作為IT系統(tǒng)架構(gòu)中最基礎(chǔ)的元素,已經(jīng)成為了推動信息產(chǎn)業(yè)發(fā)展的核心動力,存儲產(chǎn)業(yè)的發(fā)展邁向成熟,數(shù)據(jù)經(jīng)濟的概念順勢而為的提出。
華為OceanStor V3系列存儲系統(tǒng)是面向企業(yè)級應用的新一代統(tǒng)一存儲產(chǎn)品。在功能、性能、效率、可靠性和易用性上都達到業(yè)界領(lǐng)先水平,很好的滿足了大型數(shù)據(jù)庫OLTP/OLAP、文件共享、云計算等各種應用下的數(shù)據(jù)存儲需求。
聯(lián)想攜ThinkServer+System+七大行業(yè)解決方案驚艷第十六屆高交會
 

公司簡介 | 媒體優(yōu)勢 | 廣告服務 | 客戶寄語 | DOIT歷程 | 誠聘英才 | 聯(lián)系我們 | 會員注冊 | 訂閱中心

Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.