2、數據分析方法的挑戰(zhàn):大數據技術的數據挖掘分為,關聯分析、聚類分析、異常分析、特性群組分析、演變分析等,分析的數學模型需要很強的適應性。
3、計算的時效性挑戰(zhàn):數據挖掘的實時計算,需要毫秒級的用戶體驗,需要瞬間把握數據動向和趨勢。
4、計算的成本的挑戰(zhàn):數據的存儲和安全以及在未來訪問和使用這些數據的存儲成本、計算資源的成本必須改變過去大型機、小型機的計算模式,改為采用通用硬件的分布式計算的技術模式。
作為領先的行業(yè)深度定制化智能網絡及云計算解決方案提供商,漢柏在電信、政府等行業(yè)在數據挖掘積累了豐富的經驗。漢柏大數據計算系統提供了高性能存儲和查詢檢索,并提供簡單可靠的存儲擴展,從而能夠提供便捷快速的數據搜索和檢索定位。該方案通過云的手段提供海量數據挖掘的方法,提高了挖掘的效率,增加了挖掘的精度,有效提升客戶業(yè)務效能。
漢柏數據挖掘模型
圖1
漢柏大數據計算模型
圖2
漢柏大數據計算的體系結構
圖3
某客戶應用案例
諸如,某省級電信運營商提供車載、手持和手機三個定位終端,上傳軌跡數據,服務器獲取數據后通過GIS(地理信息系統)在地圖上實時展示終端當前的地理位置。車載和手持定位終端最小每隔10秒上傳一次軌跡數據(包括終端ID、經緯度、方向、速度、里程、狀態(tài)信息等)。靜止狀態(tài)下,終端頁會每隔300秒上傳一次數據,一次上傳的數據大小為512字節(jié),一個終端每天上傳的數據約為2000條左右,數據大小約為1M。目前,該運營商約有20萬個終端,每天的反饋數據量為4億條,一天上傳的數據容量為200GB。在采用了漢柏大數據計算系統后,不但良好支持了上億數量級終端即千億條記錄,更能夠橫向擴展,從而良好解決數據分析的時效性、經濟性,保證了數據的可靠性。
目前,漢柏大數據計算方案已經在廣電行業(yè)、銀行業(yè)以及某部委付諸實施,并與漢柏的多款定制化產品配合,取得了良好的應用效果。