通過(guò)2個(gè)月的實(shí)驗(yàn)運(yùn)行，在天氣數(shù)據(jù)的展示樣式測(cè)試中，實(shí)驗(yàn)組A的主頁(yè)分享率相較于對(duì)照組提高了13%，天氣反饋提高了3%，綜合起來(lái)比對(duì)照組效果更好。最終新用戶次留相對(duì)于對(duì)照組也提升了2%。

為了提升會(huì)員轉(zhuǎn)化率，彩云天氣對(duì)會(huì)員中心的顯示樣式也進(jìn)行了A/B測(cè)試實(shí)驗(yàn)，數(shù)據(jù)顯示，相比對(duì)照組，實(shí)驗(yàn)組A、實(shí)驗(yàn)組B的試用會(huì)員轉(zhuǎn)化率分別提升了2%、1.2%。在會(huì)員購(gòu)買轉(zhuǎn)化率上，實(shí)驗(yàn)組A相比對(duì)照組提升了1.3%。雖然數(shù)據(jù)提升不多，但也給后續(xù)的產(chǎn)品迭代計(jì)劃提供了一些方向。

事實(shí)上，無(wú)論公司大小和是否為傳統(tǒng)企業(yè)，當(dāng)一款產(chǎn)品滿足以下條件時(shí)，就可以考慮使用A/B測(cè)試，真正讓數(shù)據(jù)為企業(yè)所用：

1.數(shù)據(jù)驅(qū)動(dòng)決策的場(chǎng)景；

2.網(wǎng)站或APP的日流量不低于1000，最好在1w+；

3.重大產(chǎn)品功能很難決策，不確定哪個(gè)方案效果最優(yōu)；

4.“后驗(yàn)”成本很高，即如果改版失敗，業(yè)績(jī)損失無(wú)法挽回等。

而審視當(dāng)前市場(chǎng)可以發(fā)現(xiàn)，大量傳統(tǒng)企業(yè)，如以用戶運(yùn)營(yíng)為核心的汽車企業(yè)，通過(guò)采用A/B測(cè)試，可以有效改進(jìn)營(yíng)銷手段，提升營(yíng)銷效果、獲得更為完整和精確的用戶畫像等，將切實(shí)提升企業(yè)在行業(yè)里的競(jìng)爭(zhēng)力，優(yōu)化運(yùn)營(yíng)效果和客戶體驗(yàn)。

使用企業(yè)ROI達(dá)126%，火山引擎 A/B測(cè)試用事實(shí)數(shù)據(jù)說(shuō)話

白皮書還顯示，F(xiàn)orrester Consulting 使用總體經(jīng)濟(jì)影響（TEI）模型進(jìn)行對(duì)其A/B測(cè)試產(chǎn)品潛在的投資回報(bào)率（ROI）進(jìn)行評(píng)估分析。

Forrester綜合考量受訪企業(yè)的規(guī)模、所處行業(yè)、使用規(guī)模及場(chǎng)景等關(guān)鍵因素，將其使用體驗(yàn)整合為一個(gè)虛擬的復(fù)合式組織進(jìn)行量化呈現(xiàn)；在使用火山引擎A/B測(cè)試前，受訪互聯(lián)網(wǎng)行業(yè)及金融行業(yè)客戶主要在一些局部場(chǎng)景中嘗試使用自開(kāi)發(fā)的A/B測(cè)試工具。在業(yè)務(wù)發(fā)展的過(guò)程中，對(duì)比原有的A/B測(cè)試工具，通過(guò)使用火山引擎A/B測(cè)試產(chǎn)品，受訪企業(yè)實(shí)現(xiàn)了更好的運(yùn)營(yíng)效果。

以三年為周期，從量化收益來(lái)看，受訪企業(yè)廣告業(yè)務(wù)利潤(rùn)凈增長(zhǎng)224萬(wàn)元，會(huì)員利潤(rùn)凈增長(zhǎng)115萬(wàn)元，產(chǎn)品上線迭代效率提升20%；而從非量化收益來(lái)看，受訪企業(yè)數(shù)據(jù)分析效率提升高達(dá)60%。另外，通過(guò)A/B測(cè)試產(chǎn)品更好地洞察客戶，在正式產(chǎn)品上線前驗(yàn)證不同優(yōu)化措施的效果，確定最優(yōu)的方案。這兩項(xiàng)效率提升三年為企業(yè)帶來(lái)超過(guò)127萬(wàn)的成本節(jié)省。

而調(diào)查顯示，目前，火山引擎A/B測(cè)試的使用場(chǎng)景早已不僅僅局限于互聯(lián)網(wǎng)領(lǐng)域，包括金融企業(yè)、汽車企業(yè)等傳統(tǒng)企業(yè)，在引入A/B測(cè)試產(chǎn)品后都獲得了更好的回報(bào)。以金融行業(yè)為例，包括手機(jī)銀行、金融風(fēng)控等場(chǎng)景在內(nèi)，在使用工具的過(guò)程中，本身就會(huì)產(chǎn)生數(shù)據(jù)，而最終的調(diào)研效果顯示，A/B測(cè)試同樣為其帶來(lái)了很好的幫助。

本次白皮書中提供了大量客觀案例，全面評(píng)估了A/B測(cè)試為企業(yè)所帶來(lái)的價(jià)值。尤其是企業(yè)在決定是否投資這個(gè)技術(shù)產(chǎn)品的時(shí)候，這份白皮書無(wú)疑給更多的企業(yè)和行業(yè)提供了一份了解A/B測(cè)試更權(quán)威的“說(shuō)明書”。調(diào)研顯示，A/B測(cè)試發(fā)揮作用的空間廣闊，未來(lái)還會(huì)為更多行業(yè)和企業(yè)的發(fā)展提供助力。

xiesc