棱鏡門事件以來，NSA的全球監(jiān)控行為遭到各國政府和人民的譴責(zé)，但美國情報部門所展現(xiàn)的大數(shù)據(jù)和信息安全技術(shù)實力也成為各國政府甚至一流IT企業(yè)為之“艷羨”的對象。

NSA為代表的美國國家安全和情報機(jī)構(gòu)不但在信息安全技術(shù)上領(lǐng)先業(yè)界數(shù)年，而且在大數(shù)據(jù)采集、處理和分析技術(shù)上也讓大數(shù)據(jù)技術(shù)廠商們“驚艷”。事實上，NSA大數(shù)據(jù)項目的規(guī)模、可擴(kuò)展性、安全性在很多方面甚至超過了Google、亞馬遜和蘋果這樣的大型互聯(lián)網(wǎng)企業(yè)。

NSA旗下的風(fēng)險投資公司In-Q-Tel迄今已經(jīng)投資了200多個云計算、大數(shù)據(jù)、搜索與分析創(chuàng)業(yè)項目，是美國大數(shù)據(jù)創(chuàng)業(yè)熱潮的最強(qiáng)力推手，因為獲得In-Q-Tel的投資本身還意味著來自政府部門的訂單。

毫不夸張地說，NSA才是美國大數(shù)據(jù)創(chuàng)業(yè)熱潮背后的真正推手。

近日，前NSA工程師創(chuàng)建的數(shù)據(jù)庫創(chuàng)業(yè)公司Sqrrl的首席執(zhí)行官Ely Kahn在Structure Show視頻節(jié)目上解讀了大數(shù)據(jù)技術(shù)如何被應(yīng)用于國家安全。Sqrrl公司的產(chǎn)品基于開源NoSQL數(shù)據(jù)庫系統(tǒng)Accumulo，而Accumulo系統(tǒng)正是創(chuàng)辦Sqrrl的工程師在NSA時開發(fā)的。

Accumulo是PRISM棱鏡項目的核心

據(jù)Kahn的介紹，Accumulo數(shù)據(jù)庫系統(tǒng)是NSA企業(yè)架構(gòu)的核心。大多數(shù)NSA的關(guān)鍵分析應(yīng)用都運(yùn)行在Accumulo上。“我不能透露具體是哪些應(yīng)用，但人們在新聞中看到的大多數(shù)監(jiān)控和分析應(yīng)用的后臺都是Accumulo。”

Accumulo的性能如此強(qiáng)大，足以配得上對NSA大規(guī)模監(jiān)控行為的各種指責(zé)。從技術(shù)角度看，NSA已經(jīng)能夠識別網(wǎng)絡(luò)上的各種可疑行為和個人，但是NSA還有一個“更大的想法”，Kahn稱之為“生命分析的模式”：

這些都可以歸結(jié)為異常分析，也是我們目前的重點(diǎn)。如何建立一種模式來識別異常和正常？這需要基于對大量應(yīng)用案例的分析…

我們今天的很多工作主要是圍繞圖譜分析（Graph Analytics）進(jìn)行，建立大規(guī)模分布式的數(shù)據(jù)圖譜——圍繞一個具體的應(yīng)用實例建立正常模式的數(shù)據(jù)圖譜，然后參照這個圖譜查找異常模式。

云計算大數(shù)據(jù)集中，國防部已經(jīng)行動起來

NSA采用的大數(shù)據(jù)處理和分析技術(shù)也適用于整個國防部，NSA的任務(wù)是建設(shè)一個能夠跨部門分享NSA資源的云計算和大數(shù)據(jù)基礎(chǔ)設(shè)施，Accumulo就是這個計劃的一部分，如今國防部希望將所有數(shù)據(jù)——從無人機(jī)視頻到醫(yī)療數(shù)據(jù)，都匯聚到一個單一的大數(shù)據(jù)分析系統(tǒng)中。

據(jù)Kahn介紹，NSA正在進(jìn)行中的一個重要項目代號“聯(lián)合信息環(huán)境”（Joint Information Environment），將在建立一個龐大的云計算大數(shù)據(jù)基礎(chǔ)設(shè)施，整合國防部的海量應(yīng)用實例——從網(wǎng)絡(luò)安全、戰(zhàn)場情報系統(tǒng)到醫(yī)療實例無所不包。

你可以不喜歡NSA，但NSA已經(jīng)無可爭議地在科技公司中確立了信息安全和大數(shù)據(jù)技術(shù)領(lǐng)導(dǎo)者的地位。