金稅三期系統(tǒng)采取全國(guó)應(yīng)用大集中和數(shù)據(jù)大集中模式建設(shè)，首次實(shí)現(xiàn)國(guó)、地稅軟件版本統(tǒng)一，是中國(guó)最大的電子政務(wù)系統(tǒng)，也是政府行業(yè)最大的交易類生產(chǎn)系統(tǒng)，采取總局、省局兩級(jí)部署，其中省級(jí)主要承擔(dān)金稅三期大廳、前置、地方特色和省級(jí)管理決策等系統(tǒng)與功能部署。
重慶地稅是金稅三期工程全國(guó)首家上線試點(diǎn)單位，按照總局工作安排，確定2013年2月22日為金稅三期單軌試運(yùn)行切換時(shí)間點(diǎn)。在籌備單軌上線工作時(shí)，金稅三期生產(chǎn)環(huán)境部署所需硬件設(shè)備嚴(yán)重滯后，面對(duì)上線時(shí)間緊迫與地方設(shè)備采購(gòu)不到位的困難，重慶地稅開展部署的同志們不等不靠，開動(dòng)腦筋，按照金稅三期總體架構(gòu)要求，結(jié)合重慶地稅實(shí)際情況，發(fā)揮過去省級(jí)大集中積累的實(shí)戰(zhàn)經(jīng)驗(yàn)，大膽探索，勇于創(chuàng)新，在總局金稅三期工程辦領(lǐng)導(dǎo)下，用軟實(shí)力彌補(bǔ)硬缺位，經(jīng)過科學(xué)論證與反復(fù)試驗(yàn)，成功采用高端PC服務(wù)器整體虛擬化完成金稅三期省級(jí)大廳前置系統(tǒng)部署，經(jīng)過一個(gè)多月連續(xù)運(yùn)行，生產(chǎn)環(huán)境系統(tǒng)穩(wěn)定可靠，性能滿足金稅三期設(shè)計(jì)要求，其主要思路與做法如下。
一、數(shù)據(jù)庫(kù)計(jì)算設(shè)備虛擬化部署
金稅三期數(shù)據(jù)總局大集中后，省級(jí)數(shù)據(jù)庫(kù)壓力適當(dāng)降低，從架構(gòu)設(shè)計(jì)上為了提高處理效率和避免總局出現(xiàn)性能壓力瓶頸現(xiàn)象，省局需求部署前置數(shù)據(jù)庫(kù)，因前期應(yīng)用開發(fā)公司多，為避免數(shù)據(jù)庫(kù)應(yīng)用相互干擾，部署時(shí)出現(xiàn)了數(shù)據(jù)庫(kù)系統(tǒng)需求數(shù)量較多，短期內(nèi)又難以整合的現(xiàn)象，其中省級(jí)前置數(shù)據(jù)庫(kù)和地方特色數(shù)據(jù)庫(kù)RAC部署就多達(dá)11套，這些數(shù)據(jù)庫(kù)系統(tǒng)中有個(gè)別處理性能要求較高，例如省級(jí)清分庫(kù)、查詢庫(kù)等，其它數(shù)據(jù)庫(kù)系統(tǒng)則是要求可靠性高、處理性能卻相對(duì)適中。重慶地稅作為第一個(gè)上線試點(diǎn)省份，還存在各數(shù)據(jù)庫(kù)應(yīng)用性能需求難以準(zhǔn)確預(yù)測(cè)的難點(diǎn)，鑒于過去采用小機(jī)部署數(shù)據(jù)庫(kù)存在運(yùn)行環(huán)境要求高、運(yùn)維難度大、采購(gòu)和運(yùn)維成本高、小機(jī)技術(shù)人才匱乏等不利因素，重慶地稅結(jié)合實(shí)際情況，大膽提出了采用高檔PC服務(wù)器做數(shù)據(jù)庫(kù)整體虛擬化部署方案，方案經(jīng)過專家論證，技術(shù)經(jīng)過反復(fù)測(cè)試，最后采購(gòu)了16臺(tái)高檔PC服務(wù)器（配置：曙光i950r/Intel E7-8850/10核/八顆/1024G內(nèi)存/6塊1G網(wǎng)卡/2塊8GB HBA卡）做數(shù)據(jù)庫(kù)計(jì)算設(shè)備整體虛擬化部署。
據(jù)了解，采用虛擬化部署生產(chǎn)級(jí)RAC數(shù)據(jù)庫(kù)應(yīng)用案例還比較少，在全國(guó)稅務(wù)系統(tǒng)內(nèi)更無可借鑒經(jīng)驗(yàn)，重慶地稅經(jīng)過反復(fù)摸索，最后總結(jié)出RAC數(shù)據(jù)庫(kù)虛擬化連接存儲(chǔ)系統(tǒng)時(shí)采用掛載存儲(chǔ)裸設(shè)備工作方式更加穩(wěn)定和高效的經(jīng)驗(yàn)，金稅三期省級(jí)前置數(shù)據(jù)庫(kù)性能需求差異較大，通過虛擬化可動(dòng)態(tài)調(diào)節(jié)數(shù)據(jù)庫(kù)硬件資源分配需求，甚至在極端情況下可將一臺(tái)硬件主機(jī)全部資源只分配給一個(gè)虛擬機(jī)，以運(yùn)行性能要求較高的RAC節(jié)點(diǎn)，多數(shù)情況下可將一臺(tái)物理主機(jī)規(guī)劃為2至5個(gè)RAC節(jié)點(diǎn)虛擬機(jī)。因2月22日金稅三期單軌試運(yùn)行時(shí)間緊迫，正式生產(chǎn)環(huán)境所需設(shè)備采購(gòu)又尚未到位，重慶地稅緊急調(diào)配5臺(tái)曙光服務(wù)器（配置為64核、512G）通過虛擬化臨時(shí)承載了金稅三期省級(jí)前置11套數(shù)據(jù)庫(kù)共22個(gè)RAC節(jié)點(diǎn)虛擬機(jī)，實(shí)踐證明，數(shù)據(jù)庫(kù)計(jì)算設(shè)備虛擬化運(yùn)行至今尚未出現(xiàn)任何穩(wěn)定性和安全性問題。
數(shù)據(jù)庫(kù)計(jì)算設(shè)備采用虛擬化部署后，還可實(shí)現(xiàn)當(dāng)數(shù)據(jù)庫(kù)性能需求增大時(shí)，待性能更高的硬件設(shè)備到位后，通過虛擬化遷移技術(shù)對(duì)RAC數(shù)據(jù)庫(kù)節(jié)點(diǎn)逐個(gè)離線遷移，總體確保數(shù)據(jù)庫(kù)服務(wù)不中斷；當(dāng)主機(jī)硬件出現(xiàn)異常宕機(jī)時(shí)或需要維護(hù)升級(jí)時(shí)，可將其承載的虛擬機(jī)離線遷移到其它備用計(jì)算設(shè)備上運(yùn)行，滿足數(shù)據(jù)庫(kù)安全運(yùn)行需要。
數(shù)據(jù)庫(kù)整體虛擬化對(duì)計(jì)算設(shè)備的配置也有適當(dāng)變化，配置更加注重CPU處理能力，包括主頻、線程、數(shù)量等；虛擬化部署數(shù)據(jù)庫(kù)的主機(jī)內(nèi)存原則上越大越好，現(xiàn)有的虛擬化軟件已可支持到至少1T主機(jī)內(nèi)存，每個(gè)虛擬機(jī)也能支持64核及1T內(nèi)存（VMware vsphere 5.1版本）；從性能和安全上考慮，HBA卡至少要2塊獨(dú)立8GB HBA卡，網(wǎng)卡一般也要求配置1G或10G網(wǎng)卡六塊以上。
二、負(fù)載均衡連接復(fù)用功能發(fā)揮出色
全國(guó)應(yīng)用大集中部署，為了避免出現(xiàn)應(yīng)用瓶頸現(xiàn)象，金稅三期架構(gòu)規(guī)劃需要部署省級(jí)大廳前置系統(tǒng)，將常用的WEB頁面和簡(jiǎn)單邏輯校驗(yàn)處理等功能前移到省級(jí)作為大廳系統(tǒng)部署，這樣既避免了WEB頁面遠(yuǎn)距離重復(fù)加載，又避免了全國(guó)上班時(shí)間集中訪問總局出現(xiàn)的后臺(tái)服務(wù)器瓶頸壓力。
重慶地稅借鑒過去省級(jí)大集中經(jīng)驗(yàn)，發(fā)現(xiàn)基層同時(shí)訪問省級(jí)相同WEB頁面概率比較高，例如征期訪問申報(bào)頁面，重慶地稅果斷啟用F5負(fù)載均衡會(huì)話連接復(fù)用（One Connect）功能，大大降低了省級(jí)前置服務(wù)器會(huì)話并發(fā)壓力，將基層的3000多個(gè)并發(fā)會(huì)話（Session）請(qǐng)求降低至20-40個(gè)左右，大大提高了金稅三期省級(jí)大廳系統(tǒng)處理性能，實(shí)現(xiàn)總局組織的多次機(jī)器模擬和人海壓力測(cè)試均獲通過。
三、推進(jìn)金稅三期應(yīng)用計(jì)算節(jié)點(diǎn)整合部署
重慶地稅作為金稅三期第一個(gè)上線省份，對(duì)省級(jí)大廳、前置、地方特色等系統(tǒng)應(yīng)用節(jié)點(diǎn)計(jì)算資源無實(shí)戰(zhàn)經(jīng)驗(yàn)值可參考，前期應(yīng)用開發(fā)公司較多，每個(gè)公司都提出了獨(dú)立的應(yīng)用計(jì)算資源需求計(jì)劃，合計(jì)起來需求數(shù)量較大，重慶地稅按照總局架構(gòu)要求，結(jié)合過去虛擬化部署經(jīng)驗(yàn)，提出應(yīng)用計(jì)算資源Weblogic應(yīng)用性能可通過節(jié)點(diǎn)大規(guī)模部署負(fù)載均衡解決，每個(gè)Weblogic計(jì)算節(jié)點(diǎn)對(duì)硬件資源要求不太高，一般為4CPU/4G內(nèi)存，為節(jié)省建設(shè)資金，提高采購(gòu)效率，重慶地稅提出跟標(biāo)總局64片刀片服務(wù)器（DELL M910/Intel E7-4850/512G內(nèi)存/4塊網(wǎng)卡/2塊HBA卡）的采購(gòu)需求，采用整體虛化化部署方式來推進(jìn)省級(jí)大廳、前置、地方特色等系統(tǒng)應(yīng)用部署，此方案具有性價(jià)比高、運(yùn)行相對(duì)穩(wěn)定的特點(diǎn)，刀片服務(wù)器與數(shù)據(jù)庫(kù)計(jì)算設(shè)備一樣，統(tǒng)一部署VMware虛擬化軟件，實(shí)現(xiàn)幾百乃至上千個(gè)Weblogic應(yīng)用計(jì)算節(jié)點(diǎn)資源池的調(diào)度能力。
四、金稅三期省級(jí)前置部署經(jīng)驗(yàn)分享
1、數(shù)據(jù)庫(kù)計(jì)算設(shè)備掛載存儲(chǔ)系統(tǒng)時(shí)，推薦采用掛載存儲(chǔ)裸設(shè)備方式。如采用VMDK虛擬磁盤部署數(shù)據(jù)庫(kù)，在VMware軟件實(shí)施時(shí)需要多項(xiàng)復(fù)雜操作，不但磁盤I/O性能較低，且長(zhǎng)期高負(fù)荷運(yùn)行時(shí)的穩(wěn)定性也存在疑問。
2、虛擬化分區(qū)部署，金稅三期要求建設(shè)若干安全區(qū)域，重慶地稅主要建立了核心安全區(qū)、公眾服務(wù)區(qū)、橫向交換區(qū)三個(gè)虛擬化管理區(qū)，其中核心安全區(qū)需求數(shù)量最大，數(shù)據(jù)庫(kù)計(jì)算設(shè)備和應(yīng)用計(jì)算設(shè)備主要分布在該區(qū)域；公眾服務(wù)區(qū)基于安全考慮，原則上只部署應(yīng)用計(jì)算設(shè)備，用于發(fā)布WEB應(yīng)用節(jié)點(diǎn)；橫向交換區(qū)計(jì)算設(shè)備需求數(shù)量最少，可適當(dāng)部署數(shù)據(jù)庫(kù)和應(yīng)用計(jì)算設(shè)備。
3、系統(tǒng)存儲(chǔ)問題，過去存儲(chǔ)系統(tǒng)主要規(guī)劃用于數(shù)據(jù)庫(kù)，虛擬化部署方案基于安全漂移等考慮，規(guī)劃上還需要考慮虛擬化系統(tǒng)本身的存儲(chǔ)需要，其容量與數(shù)據(jù)庫(kù)大小相當(dāng)，性能適中，安全適中，一般采用Raid 5+熱備盤的配置即可。還可考慮建設(shè)專用的虛擬機(jī)備份系統(tǒng)。
4、虛擬化部署對(duì)硬件設(shè)備資源的變化，采用整體虛擬化部署后，硬件資源配置重點(diǎn)也發(fā)生適當(dāng)變化，主要關(guān)注四項(xiàng)指標(biāo)：CPU處理能力、內(nèi)存容量、網(wǎng)卡能力和存儲(chǔ)卡能力，而對(duì)服務(wù)器本機(jī)硬盤配置要求大大降低，一般配置VMware啟動(dòng)盤即可，例如SSD 80Gx2或300Gx2。
5、CPU類型匹配問題，
為讓虛擬化系統(tǒng)運(yùn)行更加協(xié)調(diào)與匹配，一般推薦參與虛擬化的計(jì)算設(shè)備檔次配置要接近，在一個(gè)可在線遷移的虛擬化部署區(qū)域，推薦計(jì)算設(shè)備CPU類型要一致，性能檔次接近，要避免在一個(gè)區(qū)域內(nèi)Intel、AMD CPU混合部署現(xiàn)象，可考慮將相同品牌CPU且性能檔次相當(dāng)?shù)挠?jì)算設(shè)備規(guī)劃到一個(gè)虛擬隊(duì)列池中。
針對(duì)一部份省市地方稅務(wù)部門大廳前置部署所需的計(jì)算設(shè)備短期內(nèi)難以一次性到位的情況，生產(chǎn)系統(tǒng)采用虛擬化部署方案將特別明顯，一方面前期部署對(duì)性能要求不一定達(dá)到最高，虛擬化部署對(duì)硬件資源數(shù)量要求相對(duì)較少、部署靈活，后期硬件資源采購(gòu)到位后，可實(shí)現(xiàn)生產(chǎn)系統(tǒng)不中斷遷移，避免因硬件更換而重新部署，包括Oracle數(shù)據(jù)庫(kù)RAC節(jié)點(diǎn)，實(shí)體機(jī)RAC部署遷移一般需要重裝Oracle RAC并停機(jī)遷移。
