在本文的第一部分中,我們首先對(duì)比了光纖信道(FC)與SATA的真實(shí)成本差異。
我認(rèn)為,在那些對(duì)性能要求高的環(huán)境中,SATA的成本比光纖信道或者新型SAS技術(shù)的成本要高一些。 雖然根據(jù)性能或者容量的不同,SATA可能會(huì)比光纖信道便宜三分之一到90%,但是還需要考慮其他一些問題,那就是我們現(xiàn)在要講的內(nèi)容了。
在今年早些時(shí)候舉行的USENIX FAST會(huì)議上,發(fā)表了兩篇關(guān)于驅(qū)動(dòng)可靠性的耗文章,其中一篇談的是現(xiàn)實(shí)生活中的磁盤故障,另一篇講的是谷歌公司的經(jīng)驗(yàn)。
我從這兩篇文章中得到了兩個(gè)重要的東西。其一是,RAID控制器中的磁盤驅(qū)動(dòng)器上并沒有象驅(qū)動(dòng)器廠商所說的可靠性說明,SATA驅(qū)動(dòng)器的可靠性也遠(yuǎn)遠(yuǎn)不如光纖信道或者SAS。
這可能是由于RAID驅(qū)動(dòng)器廠商認(rèn)為問題剛一出現(xiàn)就應(yīng)該認(rèn)為驅(qū)動(dòng)器已經(jīng)出故障了,比如驅(qū)動(dòng)器未按廠商規(guī)定的特殊響應(yīng)超時(shí)系統(tǒng)作出響應(yīng),但是它可能仍然可以運(yùn)行較長(zhǎng)的時(shí)間并自動(dòng)從錯(cuò)誤中恢復(fù)。例如,如果驅(qū)動(dòng)器在幾秒內(nèi)沒有回應(yīng),我認(rèn)識(shí)的某些廠商會(huì)說驅(qū)動(dòng)器已經(jīng)出故障了,然后將它拆下來修理,但是很可能那個(gè)驅(qū)動(dòng)器最后還是會(huì)回應(yīng)。 磁盤驅(qū)動(dòng)器廠商不會(huì)因?yàn)轵?qū)動(dòng)器最終作出了回應(yīng)就認(rèn)為它沒有出故障。
需要考慮的另外一個(gè)東西是IOPS(輸入輸出程序設(shè)計(jì)系統(tǒng))。SATA和光纖信道的隨機(jī)IOPS比率在每秒兆字節(jié)性能差異、真實(shí)性能和完善后的搜索和延遲性能等方面是差不多的。 因此,同理我認(rèn)為在相同的IOPs條件下,光纖信道驅(qū)動(dòng)器仍是一個(gè)比SATA驅(qū)動(dòng)器更好的選擇。
數(shù)字和要求
由于FAST研究中使用的磁盤驅(qū)動(dòng)器大部分都是舊技術(shù)下的產(chǎn)品,所以我不打算使用FAST研究報(bào)告中的數(shù)據(jù),但是我認(rèn)為驅(qū)動(dòng)器的使用壽命不會(huì)象驅(qū)動(dòng)器廠商所說的那樣長(zhǎng)的概念還是有用的,因?yàn)檎缂铀技忌贔AST研究報(bào)告中所說的那樣,RAID廠商在驅(qū)動(dòng)器性能和響應(yīng)時(shí)間上留出的余地比驅(qū)動(dòng)器廠商要大得多。
在希捷公司網(wǎng)站上,他們宣稱對(duì)于15k光纖信道驅(qū)動(dòng)器來說,年故障率為0.62%。
不久之前,在同一個(gè)網(wǎng)站上,他們是用時(shí)間來表述這個(gè)指標(biāo)的,當(dāng)時(shí)他們說的是120萬小時(shí)。為了便于對(duì)比討論,我們就用許多RAID廠商使用的50萬小時(shí)來進(jìn)行對(duì)比。 那么RFID驅(qū)動(dòng)器的年故障率就達(dá)到了1.49%。
根據(jù)希捷公司提供的數(shù)據(jù),SATA驅(qū)動(dòng)器的年故障率是0.73%。
讓我們根據(jù)網(wǎng)站上使用的數(shù)據(jù)假設(shè)將它轉(zhuǎn)化為100萬小時(shí),并且假設(shè)RAID廠商說的是50萬小時(shí)和30萬小時(shí)。我想據(jù)我所見,那些驅(qū)動(dòng)器可能在使用了30萬小時(shí)之后就會(huì)出現(xiàn)故障了,而根本不會(huì)等到使用了50萬小時(shí)之后才發(fā)生故障。 因此,對(duì)于50萬小時(shí)來說,它的年故障率為1.46%,對(duì)于30萬小時(shí)來說,年故障率是2.44%
將所有的問題都整理在一起
請(qǐng)記住,我推測(cè)不管采用IOPS還是流,SATA在各種性能環(huán)境中的成本都要更高一些。
以下數(shù)據(jù)是在2007年3月和4月從廠商網(wǎng)站上獲得的:.
驅(qū)動(dòng)器類型 | 廠商 | GB | 彈性系數(shù) | 每分鐘轉(zhuǎn)數(shù) (單位:千) | 空載功率 | 荷載功率 | 平均值MB/S | MB/S瓦 |
光纖信道 | 日立 | 147 | 3.5 英寸 | 15 | 8.92 | 12.02 | 93 | 7.7 |
光纖信道 | 日立 | 300 | 3.5 英寸 | 10 | 10.8 | 13.4 | 91 | 6.8 |
光纖信道 | 希捷 | 300 | 3.5 英寸 | 15 | 13.7 | 18.8 | 99 | 5.3 |
光纖信道 | 希捷 | 147 | 3.5 英寸 | 15 | 10.7 | 16.5 | 99 | 6.0 |
SAS | 希捷 | 73 | 2.5 英寸 | 15 | 5.8 | 8.2 | 95.5 | 11.6 |
SAS | 希捷 | 146 | 2.5 英寸 | 10 | 5.2 | 7.8 | 72 | 9.2 |
SATA | 希捷 | 750 | 3.5 英寸 | 7.2 | 9.3 | 13 | 78 | 6.0 |
此表為驅(qū)動(dòng)器對(duì)比 |
年故障率 | 1.49 % | |
4 + 1 | 8 + 1 | |
300GB 光纖信道 15K 無年故障率 | 17067 | 15360 |
每年故障次數(shù) | 254 | 229 |
可能一天2次 | 69.67 % | 62.70 % |
此表為RAID故障率 |
由于性能對(duì)HBAs和接線器端口提出了功率要求,以下是數(shù)據(jù)路徑技術(shù)的某些功率要求:
QLogic 雙端口 4GB HBA要求6.5瓦。公司網(wǎng)站沒有提供BTU參數(shù)。
適用于48口刀片式服務(wù)器上的各個(gè)4GB端口的思科9500系列導(dǎo)向交換機(jī)使用16.46瓦,為了冷卻產(chǎn)生的熱量,需要配置3個(gè)BTU。
以下是某RAID廠商提供的關(guān)于16驅(qū)動(dòng)器的托架和控制器參數(shù):
• 每個(gè)控制器大約要消耗60瓦功率
• 帶有16個(gè)希捷500GB Tonka-2 SATA驅(qū)動(dòng)器的驅(qū)動(dòng)器托架要消耗375瓦功率
• 帶有16個(gè)4GB 15K.4驅(qū)動(dòng)器的驅(qū)動(dòng)器托架要消耗382瓦功率
• 各需要冷卻的熱量與驅(qū)動(dòng)器數(shù)量和容量有關(guān)(一般驅(qū)動(dòng)器容量越大,需要的功率越大)
o 16個(gè)500GB希捷SATA驅(qū)動(dòng)器=1283BTUs
o 16個(gè)146GB希捷4GB光纖信道驅(qū)動(dòng)器=1300BTUs
你不難發(fā)現(xiàn)同樣的數(shù)量時(shí),光纖信道托架的功率是118瓦(382-(16*16.5)),而SATA托架的功率是167瓦(375-(16*13))。 這可能是因?yàn)樗璧母郊覵ATA控制器與光學(xué)光纖信道連接器一樣需要耗費(fèi)功率。這樣,光纖信道驅(qū)動(dòng)器的功耗就增加了31%,SATA驅(qū)動(dòng)器的功率就增加了45%。
舉個(gè)例子
讓我們假定你需要你的企業(yè)需要100GB/秒的全天持續(xù)性能。實(shí)際上如今企業(yè)需要的持續(xù)性能遠(yuǎn)不止這么多。 對(duì)于某些讀者來說,這可能已經(jīng)是個(gè)很高的要求了,但是對(duì)于銀行、保險(xiǎn)公司、汽車制造廠、制藥公司或者任何大型企業(yè)來說,這個(gè)要求是不算高的。讓我們來計(jì)算一下你要為磁盤驅(qū)動(dòng)器配備些什么。
對(duì)于光纖信道驅(qū)動(dòng)器來說,我將根據(jù)廠商提供的資料來計(jì)算,每個(gè)驅(qū)動(dòng)器的最小傳輸速率為75MB/秒,我預(yù)計(jì)不管使用那種類型的驅(qū)動(dòng)器,它都是最大性能的55%左右。這些數(shù)據(jù)都是依據(jù)各廠商網(wǎng)站上的數(shù)據(jù)得出的。 驅(qū)動(dòng)器數(shù)量和年故障率都假定如上表所示。
年故障率 | 1.46 % | |
4 + 2 | 8 + 2 | |
750GB FC 15K no AFR | 35721 | 29767 |
每年故障次數(shù) | 522 | 435 |
可能一天2次 | 142.88 % | 119.07 % |
此表為SATA故障率 |
根據(jù)這些資料和返修的時(shí)間,根據(jù)我的預(yù)計(jì)以及性能要求,返修時(shí)間可能從4小時(shí)到12小時(shí)不等。我想你可能需要再加兩個(gè)4+1或者8+1來確保達(dá)到性能要求,這樣RAID 4+1的總驅(qū)動(dòng)數(shù)就達(dá)到了17077,RAID 8+1的總驅(qū)動(dòng)數(shù)就達(dá)到了15378。注意,這并不包括熱備件。
增加的兩個(gè)LUNs將需要同時(shí)增加兩個(gè)HBAs和接線器端口以及一個(gè)RAID控制器,我沒有增加這些東西,但是你應(yīng)該記住實(shí)際上是需要增加它們的。
對(duì)于SATA來說,新的數(shù)據(jù)如下:
年故障率 | 2.44 % | |
4 + 2 | 8 + 2 | |
750GB FC 7.2K no AFR | 35721 | 29767 |
每年故障次數(shù) | 872 | 726 |
可能一天2次 | 238.79 % | 198.99 % |
此表為新的SATA故障率 |
鑒于一天之內(nèi)可能發(fā)生多次故障,以及為了讓FC也達(dá)到相同的故障次數(shù),根據(jù)性能要求,我估計(jì)你需要增加5個(gè)LUNs才能達(dá)到1.46%的年故障率,或者增加8個(gè)LUNs才能達(dá)到2.4%的故障率。
如果年故障率為1.46%,RAID 4+2的磁盤總數(shù)就達(dá)到了35751個(gè),RAID 8+2的磁盤總數(shù)將達(dá)到29817個(gè)。
如果年故障率是2.44%,RAID 4+2的磁盤總數(shù)就達(dá)到了35801個(gè),RAID 8+2的磁盤總數(shù)將達(dá)到29847個(gè)。
因此,從純粹功率的角度來看,你需要的驅(qū)動(dòng)器如下:
光纖信道 | 數(shù)量 | 每個(gè)驅(qū)動(dòng)器的功率 | 總功率(單位:千瓦) |
1.49 % 年故障率 | |||
RAID 4+1 | 17077 | 18.8 | 321.05 |
RAID 8+1 | 15378 | 18.8 | 289.11 |
SATA | |||
1.46 % 年故障率 | |||
RAID 4+2 | 35751 | 13 | 464.76 |
RAID 8+2 | 29817 | 13 | 387.62 |
2.44 % 年故障率 | |||
RAID 4+2 | 35801 | 13 | 465.41 |
RAID 8+2 | 29847 | 13 | 388.01 |
此表為功率消耗 |
光纖信道 | 數(shù)量 | 每個(gè)驅(qū)動(dòng)器的功率 | 總功率(單位:千瓦) | 耗費(fèi).09每千瓦時(shí) | 每年成本 | RAID控制器方面的年成本 | 5年 功率成本 | RAID 5年功率成本 | 5年成本 差異 | RAID5年 成本差異 | |
1.49 % 年故障率 | |||||||||||
RAID 4+1 | 17077 | 18.8 | 321.05 | 28.89美元 | 253113.93美元 | 331579.25美元 | 1265569.64美元 | 1657896.23美元 | |||
RAID 8+1 | 15378 | 18.8 | 289.11 | 26.02美元 | 227931.49美元 | 298590.25美元 | 1139657.43美元 | 1492951.23美元 | |||
SATA | |||||||||||
1.46 % 年故障率 | |||||||||||
RAID 4+2 | 35751 | 13 | 464.76 | 41.83美元 | 366419.15美元 | 531307.77美元 | 1832095.75美元 | 2656538.83美元 | 566526.11美元 | 998642.60美元 | |
RAID 8+2 | 29817 | 13 | 387.62 | 34.89美元 | 305600.40美元 | 443120.57美元 | 1528001.98美元 | 2215602.87美元 | 388344.55美元 | 722651.64美元 | |
2.44 % 年故障率 | |||||||||||
RAID 4+2 | 35801 | 13 | 465.41 | 41.89美元 | 366931.61美元 | 532050.83美元 | 1834658.05美元 | 2660254.17美元 | 569088.41美元 | 1002357.94美元 | |
RAID 8+2 | 29847 | 13 | 388.01 | 34.92美元 | 305907.87美元 | 443566.41美元 | 1529539.36美元 | 2217832.07美元 | 389881.93美元 | 559935.85美元 | |
此表為總功率成本 |
這些數(shù)據(jù)并不包括拆除BTU的成本,加上這部分成本后,功率成本可能會(huì)增加三分之一左右,從而進(jìn)一步縮小它們之間的差距。
驅(qū)動(dòng) | 驅(qū)動(dòng)器數(shù)量 | 原始成本 | 驅(qū)動(dòng)器5年的成本 | RAID驅(qū)動(dòng)器5年的成本 | 不同時(shí)期的真實(shí)成本差 | 不同時(shí)期RAID真實(shí)成本差 |
FC4+1 | 17077 | 17077000美元 | 18342570美元 | 20000466美元 | ||
FC 8+1 | 15378 | 15378000美元 | 16517657美元 | 18010609美元 | ||
對(duì)于1.46%的年故障率 | ||||||
RAID 4+2 | 35751 | 9617019美元 | 11449115美元 | 14105654美元 | 1.60 | 1.42 |
RAID 8+2 | 29817 | 8020773美元 | 9548775美元 | 11764378美元 | 1.73 | 1.53 |
對(duì)于2.44%的年故障率 | ||||||
RAID 4+2 | 35801 | 9630469美元 | 11465127美元 | 14125381美元 | 1.60 | 1.42 |
RAID 8+2 | 29847 | 8028843美元 | 9558382美元 | 11776214美元 | 1.73 | 1.53 |
此表為新的總功率成本 |
加上附加驅(qū)動(dòng)器、控制器和接線器端口在內(nèi)的總功率和冷卻成本使得SATA不再是成本最優(yōu)的選擇SATA驅(qū)動(dòng)器的價(jià)格可能要便宜90%,但是當(dāng)加上所有的成本之后,SATA就沒有什么成本優(yōu)勢(shì)了。在進(jìn)行對(duì)比分析時(shí)我們沒有將BTU拆除或者附加控制器和接線器端口(以及那些項(xiàng)目的功率和冷卻成本)的成本計(jì)算進(jìn)去。
驅(qū)動(dòng)器成本是從我最新研究報(bào)告中提取的,最低價(jià)格則是我在froogle.com上查到的。你看見的內(nèi)容并沒有將增加的RAID控制器的一系列成本計(jì)算在內(nèi)。 它也沒有考慮額外增加接線器端口、HBAs和冷卻這些附加設(shè)備產(chǎn)生的熱量所耗費(fèi)的功率。
記住,這些對(duì)比分析的前提都是在性能優(yōu)先的環(huán)境下。我認(rèn)為我一開始的直覺似乎是正確的,即在各種性能優(yōu)先的環(huán)境下,SATA的成本效益并不明顯;FC或者即將推出的SAS驅(qū)動(dòng)器倒是一個(gè)更好的選擇。 我在計(jì)算中沒有包括冷卻熱量所需的BTU、額外附加的HBAs、接線器端口的相關(guān)成本和那些配件附帶的功率成本。也沒有考慮功率成本今后的發(fā)展變化因素。
我想讓你自己來做決定,但是我自己仍然強(qiáng)烈建議在性能優(yōu)先環(huán)境下不要選擇SATA驅(qū)動(dòng)器。