国产精品一区二区av交换,中文字幕人成无码免费视频,永久免费av无码网站性色av,欧美一道本一区二区三区,樱桃熟了a级毛片

為了從2億多個日常事件中收集和分析數(shù)據(jù)，Evernote(印象筆記)從MySQL數(shù)據(jù)倉庫轉(zhuǎn)向了由Hadoop和ParAccel組成的混合環(huán)境。

由于數(shù)據(jù)洪流已經(jīng)威脅到了Evernote的分析系統(tǒng)，為了處理這些大數(shù)據(jù)，Evernote開始在不增加預(yù)算的情況，對其分析環(huán)境進行現(xiàn)代化升級。作為一家頗受歡迎的個人組織與生產(chǎn)力應(yīng)用提供商，Evernote已經(jīng)開始從常規(guī)數(shù)據(jù)倉庫遷移至由Hadoop和ParAccel組成、且能夠進行大規(guī)模并行處理(MPP)分析的現(xiàn)代化數(shù)據(jù)庫。

Evernote一直在收集并分析其用戶數(shù)據(jù)。自2008年以來，已經(jīng)有3600多萬用戶創(chuàng)建了自己的 Evernote賬戶，與此同時這些賬戶生成了數(shù)百太字節(jié)的數(shù)據(jù)。這些數(shù)據(jù)包括了12億條“筆記”和20億個附件。其中的筆記以文本、網(wǎng)頁、照片、語音備忘錄等多種形式存在的，并且能夠被標(biāo)記、注釋、編輯、分類，以及用其他方式進行操作。

為了確定優(yōu)化Evernote用戶體驗的方式，該公司每天通過Hadoop和ParAccel混合數(shù)據(jù)庫對2億多個事件進行分析。此外，Evernote還利用開源的JasperReports服務(wù)器社區(qū)版生成相關(guān)報告和圖表。

突破數(shù)據(jù)容量限制

Evernote最初的數(shù)據(jù)倉庫是以O(shè)LTP(聯(lián)機事務(wù)處理)關(guān)系型數(shù)據(jù)庫為基礎(chǔ)的。這些數(shù)據(jù)倉庫使用的是一個星形模型。這意味著數(shù)據(jù)是根據(jù)查詢進行安排，而不是根據(jù)處理進行安排的。通常只要MySQL中的數(shù)據(jù)容量在數(shù)太字節(jié)以內(nèi)，這一解決方案都能夠很好地進行報告與分析。但是當(dāng)數(shù)據(jù)超過了這一限制，只有很少一部分歷史數(shù)據(jù)能夠被保留下來，同時數(shù)據(jù)倉庫的查詢速度、靈活性與可負擔(dān)性將難以忍受。

這就是Evernote所遇到的問題。以前，Evernote的數(shù)據(jù)倉庫建立在MySQL之上，龐大的 RAID10陣列與應(yīng)用的主服務(wù)器使用相同的網(wǎng)絡(luò)。在每天晚上，批處理操作每隔9至18個小時就會將多個操作數(shù)據(jù)庫表單的增加部分與應(yīng)用服務(wù)器被解析的結(jié)構(gòu)化事件日志關(guān)聯(lián)起來。在手動創(chuàng)建和調(diào)整之后，再通過電子郵件的形式分發(fā)報告。

自2012年年初以來，Evernote的分析團隊意識到，他們現(xiàn)有的解決方案已經(jīng)無法應(yīng)對這些負載。由于主要的表單超過了400億行，因此每次訪問幾天的數(shù)據(jù)就根本是不可能的事情。報告數(shù)據(jù)庫的速度也非常慢，并且難以維護，尤其是難以進行查詢。

因此，Evernote開始著手創(chuàng)建一個分析環(huán)境。這個環(huán)境要能有效地存儲全部的歷史數(shù)據(jù)，生成十多份標(biāo)準(zhǔn)的每日報告，特別是能夠方便地管理查詢，并且在未來能持續(xù)進行擴展。與此同時，Evernote的預(yù)算并不寬裕。