8月18日，ArchSummit全球架構(gòu)師峰會在北京舉行。

字節(jié)跳動數(shù)據(jù)平臺負責(zé)人羅旋、極客邦雙數(shù)研究院特聘專家/精益數(shù)據(jù)方法創(chuàng)始人史凱、第四范式研發(fā)副總裁/基礎(chǔ)技術(shù)負責(zé)人鄭曌、經(jīng)緯中國高級投資經(jīng)理謝巖圍繞“數(shù)字化實踐”等多個主題進行了經(jīng)驗分享。

隨著互聯(lián)網(wǎng)流量紅利的日漸消退，部分企業(yè)正通過“數(shù)據(jù)驅(qū)動”挖掘更深層次的業(yè)務(wù)價值，進入精益運營時代。

作為國內(nèi)率先踐行“數(shù)據(jù)驅(qū)動”理念的企業(yè)之一，字節(jié)跳動近年來備受關(guān)注。

峰會上，羅旋用“快”和“多”兩個字，概括了字節(jié)跳動過去幾年的發(fā)展特征，并指出正是在這樣的背景下，字節(jié)跳動數(shù)據(jù)平臺完成了9年的演進。

優(yōu)先解決最顯露的業(yè)務(wù)問題

“快，是業(yè)務(wù)發(fā)展快，2012年推出的今日頭條APP用兩年時間就實現(xiàn)了用戶破千萬，抖音APP上線17個月DAU破億，”羅旋在分享中解釋了他所理解的字節(jié)跳動發(fā)展，“多，則是業(yè)務(wù)類型多樣，除今日頭條、抖音為代表的圖文信息流、短視頻外，近年來字節(jié)跳動還發(fā)展出包括電商、toB等多條業(yè)務(wù)線?！?/p>

2014年，字節(jié)跳動開始了數(shù)據(jù)平臺建設(shè)。與同時期大多數(shù)企業(yè)的數(shù)據(jù)建設(shè)體系不同，字節(jié)跳動在路徑選擇上摒棄了大而全的規(guī)劃，而是聚焦當(dāng)時業(yè)務(wù)所面臨的實際問題，優(yōu)先解決業(yè)務(wù)痛點。

如果將字節(jié)跳動數(shù)據(jù)平臺的建設(shè)歷程拆解來看，其實不難發(fā)現(xiàn)大致可以分出4個演進節(jié)點。

首先是為了解決業(yè)務(wù)最直接暴露出來的問題的階段，如滿足業(yè)務(wù)隨時迭代上線需求，羅旋將其稱為“原始階段”。

在這個階段，A/B測試是解決業(yè)務(wù)結(jié)果驗證問題的重要工具，即便是在今天，字節(jié)跳動旗下產(chǎn)品的每一次迭代背后，都還有A/B測試的身影，“像當(dāng)時今日頭條迭代發(fā)版，很多業(yè)務(wù)側(cè)的提問我們都能用A/B測試的實驗數(shù)據(jù)來解答，很實用而且高效?！?/p>

在之后幾年，隨著應(yīng)用場景增多，A/B測試的功能也在不斷豐富完善，并于2016年正式形成標準化服務(wù)式產(chǎn)品，并在內(nèi)部以Libra命名，這也是字節(jié)跳動數(shù)據(jù)平臺的第一款自研產(chǎn)品。

發(fā)力引擎層建設(shè)

最上層的業(yè)務(wù)問題逐步有了敏捷穩(wěn)定的解決通路，但另一方面，原本覆蓋在業(yè)務(wù)表現(xiàn)之下的數(shù)據(jù)層卻以指數(shù)型增長的速度暴露出更多難題，這也推動著字節(jié)跳動數(shù)據(jù)平臺進入第二階段。

2017年，以抖音為代表的業(yè)務(wù)數(shù)據(jù)量急速膨脹，不斷挑戰(zhàn)原本數(shù)據(jù)平臺的能力邊界。羅旋舉例，2017年之前，數(shù)據(jù)平臺每天處理的數(shù)據(jù)量大約在200TB，但去年這個數(shù)字已經(jīng)達到了1500PB，數(shù)據(jù)平臺日新增數(shù)據(jù)大約在40PB。

成長太快帶來的問題很明顯，他提到很多時候?qū)?shù)據(jù)鏈路個環(huán)節(jié)進行優(yōu)化處理，不只是因為成本，很多時候是因為資源不夠，“導(dǎo)致我們必須要去這么做”。

也正因如此，通過優(yōu)化來解決數(shù)據(jù)量和分析效率，成為字節(jié)跳動數(shù)據(jù)平臺首要的一個突破重點，并為此做了諸多選型嘗試，如Presto、Kylin、Druid 等——但出于對“能夠處理海量數(shù)據(jù)、秒級響應(yīng)的超高性能、自主靈活的分析模式”這三項基本需求的考慮，字節(jié)跳動數(shù)據(jù)平臺最終選定ClickHouse為長線使用的OLAP查詢引擎，并基于自身發(fā)展實際情況做了大量二次開發(fā)和優(yōu)勢強化。

同時聚焦提升資源利用率、降低運維成本、提升數(shù)據(jù)實時性三大性能點，字節(jié)跳動數(shù)據(jù)平臺通過火山引擎對外發(fā)布ByteHouse。

截止到8月的數(shù)據(jù)顯示，ByteHouse在字節(jié)跳動內(nèi)部的數(shù)據(jù)分析服務(wù)超過了2.5萬個節(jié)點，單集群最大規(guī)?？梢赃_到2400個節(jié)點左右；從業(yè)務(wù)上來看，在字節(jié)內(nèi)部支撐了超過80%的字節(jié)分析應(yīng)用。

數(shù)據(jù)BP+中臺，中央廚房式協(xié)作

在歷經(jīng)原始階段和建設(shè)階段后，字節(jié)跳動數(shù)據(jù)平臺的演變進程進入第三個階段，平臺階段。

在這一階段，字節(jié)跳動已經(jīng)擁有非常多元迥異的業(yè)務(wù)線形態(tài)，“作為數(shù)據(jù)平臺，我們需要去考慮之前的經(jīng)驗還有沒有用？如果要用，該怎么用？以及面對這么多不同的業(yè)務(wù)，應(yīng)該怎么更敏捷更深入地加以支持，等等?！?/p>

顯然，這些并不是依賴技術(shù)層面的優(yōu)化創(chuàng)新就能解決。

通過從HRBP（Human Resources Business Partner ，人力資源業(yè)務(wù)合作伙伴）中，字節(jié)跳動數(shù)據(jù)平臺汲取到了靈感，并以此建立數(shù)據(jù)BP機制，探索中臺能力+數(shù)據(jù)BP的模式。

數(shù)據(jù)BP機制在組織形式上屬于可以統(tǒng)一管理調(diào)配的集中式，執(zhí)行上分布式到各個業(yè)務(wù)，解決業(yè)務(wù)問題。這種組織方式的優(yōu)勢在于，盡管 BP 團隊向上支撐了不同類型的業(yè)務(wù)線，但其實向下兼容了數(shù)據(jù)平臺底層的各項能力，具備相似的技能棧，對工具引擎的學(xué)習(xí)和使用是高效且順滑的。

作為數(shù)據(jù)平臺能力的解決方案提供方，數(shù)據(jù) BP 團隊成員在組織上都匯報給數(shù)據(jù)平臺，統(tǒng)一培養(yǎng)和調(diào)度，相互學(xué)習(xí)經(jīng)驗的角度，對中臺能力也保證足夠的熟悉度，以便根據(jù)不同業(yè)務(wù)的特性，靈活組合，提供綜合性的數(shù)據(jù)解決方案，也保證了復(fù)用性，不輕易重復(fù)造輪子；在具體工作時，又能分布在不同的業(yè)務(wù)線上，跟業(yè)務(wù)團隊充分融合在一起，把自身視為業(yè)務(wù)線的一部分，保障與業(yè)務(wù)一起成功。

“就好比是一個中央廚房和餐廳的關(guān)系，”羅旋進一步解釋道，“通過采摘或者購入食材，進行一系列復(fù)雜而標準化的加工，最終為各餐廳提供標準化的成品或者半成品的食物；而餐廳，則可以根據(jù)自己的用戶需要，煎炸烹煮各種方式來將這些食物組合加工形成一道道的菜，直接供客戶食用?！?/p>

其中，中央廚房就是中臺，而數(shù)據(jù)BP則承擔(dān)著餐廳的角色。

現(xiàn)階段，數(shù)據(jù)BP+中臺的模式在字節(jié)跳動內(nèi)部已經(jīng)得到廣泛運用。

2021年P(guān)ico正式并入字節(jié)跳動，如何快速實現(xiàn)已有數(shù)據(jù)平臺對全新業(yè)務(wù)形態(tài)的適配與支持，成為難題。

但數(shù)據(jù)BP機制成為了一道突破口：通過數(shù)據(jù)BP團隊率先融入業(yè)務(wù)了解業(yè)務(wù)形態(tài)，并梳理出當(dāng)前階段的數(shù)據(jù)狀況及痛點訴求，整理出相對完善的技術(shù)方案；使得基礎(chǔ)數(shù)據(jù)可以快速接入，同時進行歷史數(shù)據(jù)遷移。

而當(dāng)基礎(chǔ)數(shù)據(jù)接入之后，Pico業(yè)務(wù)就能直接在字節(jié)數(shù)據(jù)平臺的體系中使用各種數(shù)據(jù)建設(shè)和數(shù)據(jù)分析應(yīng)用產(chǎn)品。

這一整套操作只用了3周時間，從Pico業(yè)務(wù)感知上來說，基本屬于「即插即用」的體驗。

此外，為了更好評估中臺+數(shù)據(jù)BP模式，字節(jié)跳動數(shù)據(jù)平臺還提出了更具量化參考意義的體系標準，“0987”——穩(wěn)定性 SLA 核心指標要達到 0 個事故，需求滿足率要達到 90%，數(shù)倉構(gòu)建覆蓋 80% 的分析需求，同時用戶滿意度達到 70%。

如今，字節(jié)跳動數(shù)據(jù)平臺在歷經(jīng)多年內(nèi)部業(yè)務(wù)場景實踐后，已在探索中臺+數(shù)據(jù)BP模式通過火山引擎的對外輸出，這也是字節(jié)跳動數(shù)據(jù)平臺歷程發(fā)展的第四階段——To B階段。

截至目前，智能數(shù)據(jù)洞察DataWind、增長分析 DataFinder 、 A/B 測試 DataTester、客戶數(shù)據(jù)平臺VeCDP、增長營銷平臺GMP、大數(shù)據(jù)研發(fā)套件DataLeap和云原生數(shù)據(jù)倉庫ByteHouse等在字節(jié)跳動內(nèi)部支持服務(wù)比較好的產(chǎn)品和經(jīng)驗，已經(jīng)實現(xiàn)封裝成數(shù)據(jù)套件，并通過火山引擎全面對外提供服務(wù)。

“同時，我們也在嘗試數(shù)據(jù) BP 的是否能幫助到外部客戶，讓他們也享受到和抖音一樣的數(shù)據(jù)服務(wù)級別?！绷_旋補充道。

據(jù)了解，僅在過去一年時間， 火山引擎的多款數(shù)據(jù)產(chǎn)品已被陜西旅游集團、服裝品牌 Levi’s 、得到APP、買什么都省APP、慢慢買APP等文旅、零售、互聯(lián)網(wǎng)在內(nèi)的多個行業(yè)頭部企業(yè)應(yīng)用，并獲得實效。

xiesc