11.4.1 系統(tǒng)總體結(jié)構(gòu)圖

    根據(jù)數(shù)據(jù)中心形式的信息數(shù)據(jù)庫建設(shè)需求分析，系統(tǒng)總體結(jié)構(gòu)（圖11-2）描述如下：

 
圖 11-2 數(shù)據(jù)中心建設(shè)概況

    本項(xiàng)目的存儲(chǔ)網(wǎng)絡(luò)架構(gòu)圖，通過SAN 能夠?qū)⒍喾N數(shù)據(jù)應(yīng)用全面整合起來，其中后端的陣列是整個(gè)系統(tǒng)的核心，所有的業(yè)務(wù)數(shù)據(jù)都存在該陣列中，因此陣列本身需要完全冗余架構(gòu)和極高的吞吐性能；SAN 網(wǎng)絡(luò)采用dual Fabric 設(shè)計(jì)，采用兩臺(tái)交換機(jī)構(gòu)成冗余的存儲(chǔ)網(wǎng)絡(luò)；每臺(tái)主機(jī)（關(guān)鍵業(yè)務(wù)）可以采用兩塊（甚至更多）HBA 跨接到兩臺(tái)SAN 交換機(jī)上，做的主機(jī)到存儲(chǔ)接口冗余；主機(jī)層采用HA 配置，因此整個(gè)系統(tǒng)是高效而全冗余的。同時(shí)也能夠平滑過渡到下階段的容災(zāi)系統(tǒng)。

    備份系統(tǒng)也跨接到SAN 網(wǎng)絡(luò)上，這樣所有的備份工作可以大大減輕對(duì)于生產(chǎn)網(wǎng)絡(luò)的影響，主機(jī)直接通過SAN 將數(shù)據(jù)讀出并寫到帶庫，完全采用FC/SCSI 協(xié)議。

    在上述架構(gòu)中，后端的磁盤陣列采用高性能磁盤陣列，作為綜合存儲(chǔ)磁盤陣列。該磁盤陣列代表當(dāng)時(shí)行業(yè)的最佳性能、100%數(shù)據(jù)可用性，以及功能豐富的管理軟件。

    11.4.2 數(shù)據(jù)庫服務(wù)器設(shè)計(jì)

    11.4.2.1 數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)

    數(shù)據(jù)庫服務(wù)平臺(tái)主要采用動(dòng)態(tài)分區(qū)、多機(jī)集群、并行數(shù)據(jù)庫等技術(shù)，實(shí)現(xiàn)多臺(tái)數(shù)據(jù)庫主機(jī)同時(shí)并行訪問數(shù)據(jù)庫，應(yīng)用可以根據(jù)需求均衡到不同主機(jī)資源上同時(shí)工作，多機(jī)互為備份。這種機(jī)制依靠系統(tǒng)提供的系統(tǒng)硬件、操作系統(tǒng)集群軟件、與數(shù)據(jù)庫提供的并行技術(shù)來滿足要求。數(shù)據(jù)庫支持?jǐn)?shù)據(jù)分區(qū)技術(shù)，通過數(shù)據(jù)庫分區(qū)技術(shù)提高查詢效率。同時(shí)，與數(shù)據(jù)庫服務(wù)平臺(tái)相配合，采用專用數(shù)據(jù)采集處理服務(wù)器，負(fù)責(zé)數(shù)據(jù)采集工作，各數(shù)據(jù)庫的數(shù)據(jù)采取分別匯集，單點(diǎn)入庫的數(shù)據(jù)更新策略。

    數(shù)據(jù)庫服務(wù)器系統(tǒng)圖如下：

圖 11-3 數(shù)據(jù)服務(wù)器示意圖，以IBM 產(chǎn)品為例

    數(shù)據(jù)庫服務(wù)器選用高性能UNIX 服務(wù)器，每臺(tái) 高性能UNIX 服務(wù)器劃分成2 個(gè)分區(qū)，每個(gè)分區(qū)配置8 路1.7GHz CPU、16GB 內(nèi)存、2 塊千兆光纖網(wǎng)卡、2 塊15000 轉(zhuǎn)73G 硬盤、2 塊2GB 光纖通道卡。對(duì)應(yīng)分區(qū)通過 HACMP 軟件實(shí)現(xiàn)群集。

    根據(jù)設(shè)計(jì)要求：“當(dāng)前配置tpmC =(TPMC 基準(zhǔn)值* 實(shí)際CPU 數(shù)目* 實(shí)際CPU 主頻)/ (基準(zhǔn)CPU 數(shù)目*基準(zhǔn)CPU 主頻)”

    (768,839*16*1.7)/(32*1.7)=384,420tpmC

    數(shù)據(jù)來源www.tpc.org

    11.4.3 存儲(chǔ)系統(tǒng)設(shè)計(jì)

    11.4.3.1 存儲(chǔ)系統(tǒng)結(jié)構(gòu)

圖 11-4 網(wǎng)絡(luò)存儲(chǔ)結(jié)構(gòu)圖

    上圖為數(shù)據(jù)存儲(chǔ)部分的系統(tǒng)架構(gòu)示意圖。

    整體架構(gòu)采用SAN-存儲(chǔ)局域網(wǎng)的架構(gòu)搭建，分為主機(jī)、交換機(jī)和存儲(chǔ)設(shè)備三個(gè)層面：

    1、主機(jī)層面

    前端服務(wù)器每臺(tái)通過兩塊光纖卡（以下簡(jiǎn)稱HBA 卡）跨接到兩臺(tái)光纖交換機(jī)上，構(gòu)成冗余鏈路；

    2、光纖交換機(jī)

    利用兩臺(tái)16 口光纖交換機(jī)作為SAN 的骨干設(shè)備，連接主機(jī)和存儲(chǔ)設(shè)備；

    3、存儲(chǔ)設(shè)備

    主存儲(chǔ)設(shè)備：核心磁盤陣列存儲(chǔ)所有系統(tǒng)的數(shù)據(jù)。該磁盤陣列通過1 對(duì)（2 塊）接口卡分別跨接到兩臺(tái)光纖交換機(jī)上，構(gòu)成冗余鏈路

    近線存儲(chǔ)設(shè)備：近線備份目標(biāo)磁盤陣列使用采用STAT 磁盤的廉價(jià)磁盤陣列，離線備份目標(biāo)帶庫采用設(shè)計(jì)方案已有的帶庫。

    11.4.3.2 主存儲(chǔ)系統(tǒng)方案

    目前存儲(chǔ)區(qū)域網(wǎng)（SAN）是解決海量存儲(chǔ)問題的主流解決方案，也是本項(xiàng)目建設(shè)要求的解決方案，同時(shí)也支持NAS 方式。數(shù)據(jù)中心形式的信息數(shù)據(jù)庫建設(shè)數(shù)據(jù)庫及其應(yīng)用系統(tǒng)相關(guān)的數(shù)據(jù)庫即將統(tǒng)一存儲(chǔ)到大容量高性能的存儲(chǔ)設(shè)備上，存儲(chǔ)設(shè)備與主機(jī)群之間通過SAN光纖交換機(jī)互聯(lián)（具有冗余聯(lián)接），同時(shí)數(shù)據(jù)備份設(shè)備也通過光纖交換機(jī)聯(lián)接以提高備份效率，減輕網(wǎng)絡(luò)和主機(jī)的壓力。

    在本方案中，存儲(chǔ)工程師使用高檔全光纖磁盤陣列為主存儲(chǔ)系統(tǒng)，從用戶的投資、需求綜合分析，推薦了極佳的性能價(jià)格比的產(chǎn)品，用戶可以根據(jù)性能要求、擴(kuò)展性要求、價(jià)格需求等因素來選擇。

    根據(jù)數(shù)據(jù)中心形式的信息數(shù)據(jù)庫建設(shè)該設(shè)計(jì)的需求，為了提高主磁盤陣列的性能，在該設(shè)計(jì)中推薦配備15000RPM 的73GB 磁盤。

    磁盤陣列在各方面均應(yīng)充分?jǐn)U展，并能夠充分滿足今后業(yè)務(wù)發(fā)展過程中數(shù)據(jù)遷移、系統(tǒng)容災(zāi)的要求：

    1）硬件方面

    所有重要部分均應(yīng)在線擴(kuò)容??前端接口、磁盤控制卡、緩存、磁盤等。

    2）軟件方面

    可選擇不同的軟件實(shí)現(xiàn)性能優(yōu)化、數(shù)據(jù)遷移和數(shù)據(jù)容災(zāi)等：

• 管理軟件
  
• 安全控制軟件
  
• 數(shù)據(jù)緩存化軟件
  
• 性能管理套件
  
• 本地鏡像軟件
  
• 容災(zāi)軟件
  
• 多鏈路負(fù)載均衡和故障切換軟件

    3）所有維護(hù)和擴(kuò)容均應(yīng)在用戶現(xiàn)場(chǎng)、不中斷應(yīng)用的情況下完成

    11.4.3.3 近線備份系統(tǒng)

    傳統(tǒng)的數(shù)據(jù)存儲(chǔ)一般分為在線(On-line)存儲(chǔ)及離線(Off-line)存儲(chǔ)兩級(jí)存儲(chǔ)方式。所謂在線存儲(chǔ)就是指將數(shù)據(jù)存放在磁盤系統(tǒng)上，而離線則是指將數(shù)據(jù)備份到磁帶上。硬盤的優(yōu)點(diǎn)是速度快，特別是隨機(jī)訪問能力強(qiáng)，但單位容量成本高，適合需要頻繁訪問的數(shù)據(jù)存儲(chǔ)；磁帶善于傳輸流式數(shù)據(jù)，介質(zhì)與驅(qū)動(dòng)器相分離的特性決定了其單位容量成本低廉，保存數(shù)據(jù)的安全性也較高，適合數(shù)據(jù)備份。

    但隨著數(shù)據(jù)量的猛增，這種只使用在線和離線兩級(jí)存儲(chǔ)的策略已經(jīng)不能適應(yīng)企業(yè)的需求。一方面，用戶有越來越多的數(shù)據(jù)在一定時(shí)期內(nèi)仍需要訪問，如果備份到磁帶上，則讀取的速度太慢，而保持在線狀態(tài)，又會(huì)因訪問頻度不高而占用寶貴的存儲(chǔ)空間；另一方面，用戶要求“備份窗口”越來越小，備份設(shè)備要具有更快的速度，以縮短備份時(shí)間，而帶基設(shè)備與盤基設(shè)備相比還不夠快。

    由此產(chǎn)生了數(shù)據(jù)的分級(jí)存儲(chǔ)管理（HierarchicalStorageManagement，HSM）。分級(jí)存儲(chǔ)管理是一種將非在線存儲(chǔ)與在線存儲(chǔ)融合的技術(shù)。它以數(shù)據(jù)生命周期的不同階段來決定存儲(chǔ)的位置，從而在在線存儲(chǔ)與離線存儲(chǔ)之間誕生了第三種存儲(chǔ)方式—-近線(Near-line)存儲(chǔ)，使存儲(chǔ)網(wǎng)絡(luò)從“在線–離線”的兩級(jí)架構(gòu)向“在線–近線–離線”的三級(jí)架構(gòu)演變。近線存儲(chǔ)的特點(diǎn)是性能接近在線存儲(chǔ)，而成本接近離線存儲(chǔ)。

    根據(jù)大型信息數(shù)據(jù)庫存儲(chǔ)系統(tǒng)分析結(jié)果，存儲(chǔ)容量約為16TB，考慮適當(dāng)冗余和“快照”備份，存儲(chǔ)陣列實(shí)配容量應(yīng)大于20TB，存儲(chǔ)陣列最大擴(kuò)展容量應(yīng)不低于64TB。

    基于存儲(chǔ)區(qū)域網(wǎng)技術(shù)，滿足數(shù)據(jù)中心形式的信息數(shù)據(jù)庫建設(shè)數(shù)據(jù)庫和應(yīng)用系統(tǒng)相關(guān)數(shù)據(jù)庫，以及運(yùn)行于其上的業(yè)務(wù)系統(tǒng)、查詢系統(tǒng)、數(shù)據(jù)分析系統(tǒng)的要求，必須增強(qiáng)數(shù)據(jù)存儲(chǔ)核心，選擇高性能存儲(chǔ)陣列，LUN 數(shù)量應(yīng)≥2048，系統(tǒng)IOPS≥240000（吞吐量大于1540 M/S）。

    其基本性能需求分析如下：

    1、在存儲(chǔ)系統(tǒng)中，處理器主要完成I/O 處理、Cache 控制管理、數(shù)據(jù)傳輸控制以及一些智能化的軟件運(yùn)行功能，處理器的能力直接影響到整個(gè)存儲(chǔ)系統(tǒng)的性能?？紤]到不同廠商存儲(chǔ)所采用的CPU 性能差異較大、主處理器所承擔(dān)的任務(wù)也有所區(qū)別，應(yīng)在給出實(shí)際處理器配置數(shù)量的同時(shí)給出性能指標(biāo)、承載任務(wù)分析，CPU 實(shí)配數(shù)量不低于16 個(gè)。

    2、磁盤本身性能也決定存儲(chǔ)系統(tǒng)整體性能，通常磁盤性能以轉(zhuǎn)速、尋道時(shí)間等技術(shù)指標(biāo)衡量，考慮到性價(jià)比，推薦采用15K rpm 的磁盤。

    3、對(duì)于數(shù)據(jù)庫等大數(shù)據(jù)量訪問應(yīng)用，緩存越大，性能越好，本項(xiàng)目實(shí)配存儲(chǔ)容量應(yīng)與Cache 的容量配置成比例配置，按大于16GB 考慮，最大可擴(kuò)展到128GB。

    11.4.4 負(fù)載均衡系統(tǒng)設(shè)計(jì)

    考慮到系統(tǒng)的高并發(fā)訪問量和系統(tǒng)應(yīng)用需求的快速增長(zhǎng)，項(xiàng)目建設(shè)明確制定了Web 服務(wù)層、應(yīng)用服務(wù)層規(guī)劃：走橫向擴(kuò)容、持續(xù)發(fā)展的道路，以服務(wù)器群、交易中間件滿足不斷增長(zhǎng)且趨于復(fù)雜化的用戶訪問請(qǐng)求、提高訪問處理和響應(yīng)能力。遵循這一規(guī)劃，Web 信息發(fā)布層、應(yīng)用服務(wù)層考慮了以下因素：

    1、支持橫向擴(kuò)容的負(fù)載均衡器。

    2、提高系統(tǒng)可靠性的集群或熱備技術(shù)應(yīng)用

    3、各層服務(wù)器本身構(gòu)架、性能、配置要滿足需求。

    本系統(tǒng)中采用業(yè)界領(lǐng)先的全千兆負(fù)載均衡解決方案：（千兆光纖端口+千兆以太網(wǎng)端口）方案中，可以采用兩臺(tái) IP 應(yīng)用交換機(jī)BIGIP 安全流量交換機(jī)6400 作為冗余，為中間件服務(wù)器和應(yīng)用服務(wù)器做負(fù)載均衡，并且SSL 加速功能。所有服務(wù)器均配置冗余千兆網(wǎng)卡與兩臺(tái)BIGIP6400 相連，這樣無論是其中的一個(gè)服務(wù)器網(wǎng)卡故障還是一臺(tái)BIGIP6400 故障，都不影響業(yè)務(wù)的正常運(yùn)行。

圖11-5 負(fù)載均衡設(shè)計(jì)圖

    方案的特色：

• 實(shí)時(shí)監(jiān)控服務(wù)器應(yīng)用系統(tǒng)的狀態(tài)，并智能屏蔽故障應(yīng)用系統(tǒng)
  
• 實(shí)現(xiàn)多臺(tái)服務(wù)器的負(fù)載均衡，提升系統(tǒng)的可靠性
  
• 提供服務(wù)器在線維護(hù)和調(diào)試的手段
  
• 可以對(duì)服務(wù)器提供流量限制和安全保護(hù)

    11.4.5 應(yīng)用服務(wù)器、瀏覽服務(wù)器和數(shù)據(jù)處理前置機(jī)設(shè)計(jì)

    應(yīng)用服務(wù)器層主要負(fù)責(zé)業(yè)務(wù)邏輯處理，用戶請(qǐng)求的連接處理和數(shù)據(jù)庫端或其他應(yīng)用系統(tǒng)的連接處理，以及業(yè)務(wù)處理過程實(shí)現(xiàn)。用戶多層體系結(jié)構(gòu)要求應(yīng)用服務(wù)器與Web 服務(wù)器物理獨(dú)立，考慮到應(yīng)用服務(wù)器對(duì)處理能力、系統(tǒng)穩(wěn)定性的要求均大大高于數(shù)據(jù)表現(xiàn)層，關(guān)鍵應(yīng)用采用Unix 服務(wù)器，其他應(yīng)用可考慮刀片式微機(jī)服務(wù)器，建立多機(jī)集群環(huán)境。

    本方案中間一的應(yīng)用服務(wù)器采用中檔UNIX 服務(wù)器，實(shí)配單臺(tái)處理能力不低于70000tpmC，中檔UNIX 服務(wù)器 采用4 路1.45GHz CPU（可擴(kuò)≥8 路），8GB 內(nèi)存（可擴(kuò)≥64GB），73G 硬盤2 塊，4 塊千兆光纖網(wǎng)卡。

    瀏覽服務(wù)器群和數(shù)據(jù)處理前置機(jī)采用工業(yè)級(jí)刀片服務(wù)器，每臺(tái)配置2 路Xeon MP2.7GHz CPU（可擴(kuò)≥4 路），8GB 內(nèi)存，2 塊73GB 硬盤，2 塊2GB 千兆光纖通道卡。系統(tǒng)架構(gòu)中該層面應(yīng)不少于2 臺(tái)小型機(jī)，4 臺(tái)微機(jī)服務(wù)器，以滿足峰值下信息訪問的需求。

多易