• 大量的數(shù)據(jù)被高效地存儲(chǔ)起來(lái)，壓縮比達(dá)到驚人的43% 。


• 達(dá)到了存儲(chǔ)10年交易數(shù)據(jù)的目標(biāo)。


• 可以快速分析不斷增長(zhǎng)的歷史數(shù)據(jù)，并且如果需要，可以對(duì)這些數(shù)據(jù)進(jìn)行處理。


• 在運(yùn)營(yíng)部門的員工可以無(wú)須IT部門的支持自行對(duì)歷史數(shù)據(jù)進(jìn)行查詢。

    行業(yè)
  
    金融服務(wù) 
  
    公司背景
  
    Citigroup擁有全世界最大的零售銀行，根據(jù)用戶的財(cái)務(wù)需求為其量身定做專業(yè)的解決方案。Citigroup在德國(guó)擁有近300個(gè)分支機(jī)構(gòu)。該銀行隸屬于Citigroup—-世界上最大的金融服務(wù)提供商，在五大洲的超過(guò)100個(gè)國(guó)家設(shè)有辦事機(jī)構(gòu)，擁有275，000名雇員和2億用戶。Citigroup在其德國(guó)的零售銀行部門雇用了超過(guò)5900名員工，并擁有3百萬(wàn)用戶。
  
    歷史數(shù)據(jù)不再沉睡
  
    大約在兩年以前，由于法律的變更和對(duì)數(shù)據(jù)保存需求的不斷加大，Citigroup 全球市場(chǎng)部需要重新審視其在德國(guó)的數(shù)據(jù)保留政策。所有部門都被要求分析自身的業(yè)務(wù)流程并確定哪些數(shù)據(jù)需要被存儲(chǔ)起來(lái)以備將來(lái)的管理需求、這些數(shù)據(jù)的保留時(shí)限、需要訪問(wèn)數(shù)據(jù)的級(jí)別。數(shù)據(jù)保留期限因數(shù)據(jù)類型不同而定，交易、財(cái)務(wù)報(bào)表、客戶帳務(wù)數(shù)據(jù)、信用報(bào)告等等都會(huì)有不同的時(shí)限。例如，人力資源數(shù)據(jù)需要保存30年，而交易信息只需保存10年。以每天12,000筆證券交易量計(jì)，可以很方便地估算出多年的數(shù)據(jù)量將是如何的巨大。
  
    更嚴(yán)格的法律約束
  
    政府及行業(yè)管理機(jī)構(gòu)總是不斷地對(duì)公司的存檔管理人員提出新的要求。公司全球管理運(yùn)營(yíng)模式也不斷向著集中化方向發(fā)展。而數(shù)據(jù)保存策略對(duì)于以上這些要求而言是至關(guān)重要的。
  
    Sarbanes-Oxley Act (SOA) 法案，于2002年7月在美國(guó)通過(guò)，在此之前的會(huì)計(jì)丑聞對(duì)此起了推動(dòng)作用。SOA用于保護(hù)上市公司的投資者，避免其利益被公司管理人員的欺詐行為所損害。這個(gè)法案將更仔細(xì)地監(jiān)控相關(guān)的證券交易數(shù)據(jù)，同時(shí)必須在規(guī)定的時(shí)限內(nèi)保存，而且在需要的時(shí)候還必須可以快速恢復(fù)并被訪問(wèn)。
  
    專家一致認(rèn)為Sarbanes-Oxley法規(guī)將產(chǎn)生新的國(guó)際標(biāo)準(zhǔn)，并對(duì)全球公司治理模式帶來(lái)影響。這個(gè)法律最基本的條款同時(shí)還覆蓋那些在美國(guó)上市的公司的海外機(jī)構(gòu)。而且，通?？梢约僭O(shè)如果必要的話那些大的審計(jì)機(jī)構(gòu)可以對(duì)公司使用更嚴(yán)格的標(biāo)準(zhǔn)，而SOA并未直接提供這些標(biāo)準(zhǔn)。在同一時(shí)間，歐洲也頒布了類似的法律。
  
    其實(shí)無(wú)論有無(wú)這些法規(guī)，Bundesanstalt für Finanzdienstleistungsaufsicht (BAFin ?C German Financial Supervisory Authority，德國(guó)金融監(jiān)管局) 和其它監(jiān)管機(jī)構(gòu)對(duì)于數(shù)據(jù)保存已有極為嚴(yán)格的政策。尤其在2001年9月11日后頒布了一些新的規(guī)定，例如：一些國(guó)家要求保留過(guò)去3到4年的貿(mào)易和交易的紀(jì)錄。稅務(wù)機(jī)關(guān)同時(shí)要求公司不僅保存很長(zhǎng)時(shí)間的財(cái)務(wù)數(shù)據(jù)，還要同時(shí)保存生成資產(chǎn)負(fù)債表的原始數(shù)據(jù)，以便將來(lái)審計(jì)。最后，法院亦保護(hù)投資者獲得過(guò)去發(fā)生的交易行為信息的權(quán)利。所有這些法規(guī)對(duì)于不同類型的數(shù)據(jù)的保留期的要求都不盡相同。
  
    當(dāng)過(guò)去的交易被記錄下來(lái)后，數(shù)據(jù)不斷地累積起來(lái)。當(dāng)數(shù)據(jù)保留時(shí)間越來(lái)越長(zhǎng)時(shí)，對(duì)于存儲(chǔ)空間的需求也變得永無(wú)止境。如果存儲(chǔ)的文件僅僅是簡(jiǎn)單的堆放在一起，這還不是什么大問(wèn)題。然而，現(xiàn)在不斷涌現(xiàn)的需求是要能夠快速恢復(fù)歷史數(shù)據(jù)以便于在線訪問(wèn)。同時(shí)這意味著不僅僅是單據(jù)、合同和人力資源文檔等，還包括日常業(yè)務(wù)數(shù)據(jù)—-e-mails、業(yè)務(wù)系統(tǒng)產(chǎn)生的交易數(shù)據(jù)、股票交易雙方通信往來(lái)信息和更多的數(shù)據(jù)都要被很好地管理起來(lái)。這個(gè)過(guò)程將產(chǎn)生海量的數(shù)據(jù)，而且還要確保能夠快速恢復(fù)數(shù)據(jù)，并在線獲得特定的信息。
  
    修正的數(shù)據(jù)保留政策 
  
    “這就是Citigroup需要一個(gè)全新的存檔管理系統(tǒng)的原因?！?，Szafran Athey說(shuō), 他是集團(tuán)第一副總裁兼 CitiTech Frankfurt總經(jīng)理(Citigroup中專門提供IT服務(wù)的部門)?！斑^(guò)去使用的方式可以滿足以前的需求，如書面文件存檔、數(shù)據(jù)庫(kù)摘錄和磁帶連續(xù)備份文件等。然而由于數(shù)據(jù)規(guī)模不斷增長(zhǎng)、保留期限越來(lái)越長(zhǎng)和檢索要求越來(lái)越快，原來(lái)的方法已不堪重負(fù)，而且安全地保存?zhèn)浞荽艓?huì)耗費(fèi)大量人力物力，所以成本會(huì)十分高昂。對(duì)于數(shù)據(jù)查詢同樣如此，如果要查詢幾年前的數(shù)據(jù)，那么由于軟件系統(tǒng)和硬件系統(tǒng)版本有可能升級(jí)，后臺(tái)系統(tǒng)的兼容性難以保證，將很難恢復(fù)這些數(shù)據(jù)。由于這個(gè)原因，我們不得不保存所有的軟件版本。以前是無(wú)法快速訪問(wèn)特定歷史數(shù)據(jù)、的。用戶僅僅可以在磁帶上查詢一兩年前的數(shù)據(jù)，而且需要大量的時(shí)間。但在十年以上的數(shù)據(jù)中搜索特定信息是幾乎不可能的?！?BR>  
    基于法規(guī)的要求，Citigroup需要能夠快速提供歷史數(shù)據(jù)—-例如在過(guò)去4年中特定用戶的所有股票交易記錄，這可能意味著數(shù)千條的紀(jì)錄。實(shí)時(shí)業(yè)務(wù)系統(tǒng)本身一般僅僅在線存儲(chǔ)有限的交易數(shù)據(jù)，有可能最多6個(gè)星期的交易數(shù)據(jù)，而且已存檔的數(shù)據(jù)必須是可更改的，比如Citigroup在交易記錄存檔后發(fā)現(xiàn)交易有錯(cuò)誤（例如錯(cuò)誤的價(jià)格或副本），當(dāng)然這種情況很少發(fā)生，但系統(tǒng)必須提供修正的功能。
  
    Citigroup因此將面對(duì)這種快速定位和修改大量數(shù)據(jù)的挑戰(zhàn)，例如：像處理當(dāng)前數(shù)據(jù)一樣處理存檔數(shù)據(jù)—-當(dāng)然，由于性能的原因不能將這些歷史數(shù)據(jù)存儲(chǔ)在操作型數(shù)據(jù)庫(kù)中。因此無(wú)縫集成數(shù)據(jù)倉(cāng)庫(kù)和交易型數(shù)據(jù)庫(kù)將是必要的步驟。
  
    利用Sybase IQ實(shí)現(xiàn)歷史記錄存檔系統(tǒng)
  
    Citigroup因此決定用動(dòng)態(tài)存檔系統(tǒng)代替以前的靜態(tài)存檔系統(tǒng)。管理層選擇了Sybase IQ作為實(shí)施平臺(tái)。IQ入選的最重要的原因是，Szafran Athey說(shuō)：“該產(chǎn)品使用的技術(shù)即使在針對(duì)海量數(shù)據(jù)的查詢操作中也能提供極短的響應(yīng)時(shí)間，同時(shí)數(shù)據(jù)還可以以非常高的壓縮比進(jìn)行高效的存儲(chǔ)?！眰鹘y(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)是為了事務(wù)處理而優(yōu)化。當(dāng)用戶執(zhí)行一個(gè)查詢時(shí)，是通過(guò)鍵值（索引）對(duì)應(yīng)特定的行來(lái)選擇數(shù)據(jù)。
  
    然而這將產(chǎn)生額外的開銷。由于每次都需要讀取整行的數(shù)據(jù)，反應(yīng)時(shí)間將隨著數(shù)據(jù)量的增長(zhǎng)而加長(zhǎng)。Sybase IQ，另辟蹊徑，利用垂直存儲(chǔ)而不是以行為單位存儲(chǔ)。為了搜索特定的字段，無(wú)需搜索數(shù)據(jù)行，只需查找相關(guān)的數(shù)據(jù)列，這會(huì)使得數(shù)據(jù)訪問(wèn)更加快捷。在每一個(gè)列上形成特定的索引，這樣可以減少由于分割索引帶來(lái)的問(wèn)題。同時(shí)，數(shù)據(jù)也可以被更高效地壓縮存儲(chǔ)起來(lái)。
  
    Szafran Athey 為此列舉了一些數(shù)字加以說(shuō)明?！癈itigroup德國(guó)現(xiàn)在存儲(chǔ)著4年的交易數(shù)據(jù)，共計(jì)1320 萬(wàn)條記錄。每一條記錄包括388 字節(jié)。在通常的SQL數(shù)據(jù)庫(kù)中，這些數(shù)據(jù)由于索引的冗余而膨脹到405字節(jié)。與此相反，Sybase IQ 數(shù)據(jù)庫(kù)僅僅用了208字節(jié)存儲(chǔ)同樣的信息，這意味著壓縮比為43%。我們的目標(biāo)是利用Sybase IQ，使10年的交易數(shù)據(jù)可以隨時(shí)在線訪問(wèn)。”
  
    “盡管Sybase IQ存儲(chǔ)數(shù)據(jù)的方式大相徑庭，但它擁有和其它關(guān)系型數(shù)據(jù)庫(kù)一樣的應(yīng)用程序接口。這一點(diǎn)也是我們決定購(gòu)買它的重要因素?！?Szafran Athey說(shuō)，“這意味著可以用SQL直接訪問(wèn)數(shù)據(jù)。每一個(gè)應(yīng)用程序因此可以無(wú)縫地訪問(wèn)當(dāng)前和歷史數(shù)據(jù)。用戶可以實(shí)時(shí)查詢存檔的數(shù)據(jù)，如果需要（例如發(fā)現(xiàn)錯(cuò)誤），還可以將數(shù)據(jù)導(dǎo)出至關(guān)系型數(shù)據(jù)庫(kù)中（應(yīng)用中使用ASE），修改數(shù)據(jù)并且在此將其歸檔。在交易數(shù)據(jù)庫(kù)中對(duì)交易記錄進(jìn)行修改，可以跟蹤這些更改。歷史數(shù)據(jù)從此不再沉睡?！?BR>  
    成本節(jié)省還表現(xiàn)在其它方面，如業(yè)務(wù)部門的最終用戶現(xiàn)在可以自己訪問(wèn)歷史數(shù)據(jù)，這在以前必須借助于IT部門的人員來(lái)完成。存檔的過(guò)程現(xiàn)在完全自動(dòng)化了，符合復(fù)雜的存檔條件的數(shù)據(jù)將以天為基準(zhǔn)，由ASE導(dǎo)出至IQ數(shù)據(jù)倉(cāng)庫(kù)，這些條件包括：交易的期限、記錄被最后修改的時(shí)間、結(jié)算時(shí)間等。
  
    更高質(zhì)量的查詢服務(wù)
  
    在線歷史記錄存檔系統(tǒng)基本上是為了響應(yīng)外部法規(guī)的需要而實(shí)施?！霸趯?shí)際應(yīng)用中，這些歷史記錄同時(shí)為我們促進(jìn)業(yè)務(wù)打開了新的思路”，Szafran Athey說(shuō)道?！懊黠@的例子是標(biāo)準(zhǔn)在線報(bào)表。以前，如果忘記或由于某種原因沒(méi)有作報(bào)表，用戶就無(wú)法在數(shù)據(jù)存檔以后，再利用這些數(shù)據(jù)生成報(bào)表。然而現(xiàn)在這已經(jīng)不成問(wèn)題。大量新的分析應(yīng)運(yùn)而生，無(wú)需考慮由于時(shí)間和成本的因素必須立刻生成?；旧希瑢?duì)過(guò)去活動(dòng)的系統(tǒng)分析沒(méi)有任何的限制—-無(wú)論是統(tǒng)計(jì)、市場(chǎng)趨勢(shì)分析和客戶關(guān)系管理、或是流程自動(dòng)化—-現(xiàn)在這些歷史數(shù)據(jù)可以被實(shí)時(shí)地在線分析?！?BR>  
    不僅如此，業(yè)界對(duì)“標(biāo)記數(shù)據(jù)庫(kù)”的夢(mèng)想已經(jīng)成為現(xiàn)實(shí)，該數(shù)據(jù)庫(kù)可以記錄一只股票在一個(gè)交易日中的所有價(jià)格變化。Szafran Athey說(shuō)：“因?yàn)樵谶@種情況下，將會(huì)產(chǎn)生大量的數(shù)據(jù)，我們現(xiàn)在只記錄日收盤價(jià)。然而，理論上現(xiàn)在的歷史記錄數(shù)據(jù)庫(kù)可以讓我們記錄長(zhǎng)達(dá)一年，而不是僅僅一天的單只股票的日價(jià)格變動(dòng)。這將為我們的業(yè)務(wù)和客戶增加價(jià)值?！?BR>  
    外部的需求也在水漲船高。監(jiān)管機(jī)構(gòu)知道現(xiàn)在可以要求公司去實(shí)現(xiàn)那些在以前無(wú)法實(shí)現(xiàn)的工作和流程，這多虧高技術(shù)的應(yīng)用。而在線歷史記錄存檔系統(tǒng)將成為行業(yè)標(biāo)準(zhǔn)。

多易