比如，當管理層設定一個年累計銷售目標，會不停的看各種數據，這就叫“數字化管理”，涉及的各種指標可以叫做管理指標。管理指標需要在執(zhí)行層面拆分，執(zhí)行層面會用數據做很多分析工作，制定與執(zhí)行運營動作，發(fā)現運營中的問題后會隨時做出調整，這叫“數智化運營”。

相比之下，數字化管理關注于企業(yè)高層的戰(zhàn)略性決策，需求相對固定，并且“看數”周期比較長又相對固定。而數智化運營關注于具體的業(yè)務操作和日常決策，需要很多團隊和員工從事相關的動作，不僅需求多變，而且對實時性要求比較高。

從背后的技術實現來看，管理層“看數”用的報表就是從數據中提取信息并制作匯總表，這個過程相對簡單。而數智化運營在“用數”時則非常復雜，隨著業(yè)務靈活性、復雜性的提高，需要數據技術層面做的工作越來越多，會帶來非常多的挑戰(zhàn)，這些挑戰(zhàn)集中體現在ETL工程方面。

比如，它會產生很多新的數據鏈路，會需要引入很多新的數據源，需要大量的ETL操作，需要進行大量的數據搬運和處理。還需要存儲和計算大量數據，這會帶來更高的成本。

同時，每一條鏈路就是一次作業(yè)，每一次作業(yè)都必須經歷排期、研發(fā)、測試、上線發(fā)布等繁瑣的步驟，想要用數據就經常需要漫長的等待時間，導致很多數據無法被及時利用，對于業(yè)務端很不友好。

數據鏈路的末端對應著一項項需求，每一項需求都要有一個高性能數據集，才能滿足不同的查詢性能需求。然而，每創(chuàng)建一個高性能數據集，都需要額外的成本。為此，企業(yè)不得不預先計算并提供大量可能會被使用的數據，這又會增加成本，降低了邊際收益。

同時，多變的需求還讓人工維護數據目錄的方式變得無以為繼，因為ETL工程師數量和能力的提升速度遠遠趕不上數據需求量和需求復雜度的增速。此時，不得不面對失真的數據目錄和失效的數據管理。

如何應對“用數”帶來的ETL挑戰(zhàn)

為應對這些挑戰(zhàn)，Aloudata提出了創(chuàng)新的“NoETL”模式。這種模式是要尋找一種不再依賴于傳統(tǒng)ETL工程師人力驅動的方法，通過技術手段降低傳統(tǒng)ETL的復雜性和成本。

Aloudata提出的NoETL架構包含三部分，分別是全新的數據集成方案，全新的數據管理模式，以及全新的數據交互平面。

其中，全新的數據集成方案會構建數據虛擬化引擎，區(qū)別于傳統(tǒng)的數據集成方式，它是用邏輯方式進行數據集成和ETL鏈路的自動重構。這就好比電商平臺先下單，商家再發(fā)貨的模式，而非“先補貨再銷售”的模式，在這種模式下才能提高數據集成與編排的效率。

全新的數據交互平面是為了方便“用數”的人，它指的是，構建一個數據語義引擎，幫助用戶清楚地知道所需要的指標是什么，知道指標的口徑和指標的值，不用關心表格的具體存放位置就能拿到需要的數據。同時，指標由用戶通過語義模型進行定義，定義后由系統(tǒng)進行自動生產，改變了過去“業(yè)務提需求、IT開發(fā)寬表與匯總表”的生產模式，大幅提升指標的生產效率，降低IT的工作壓力。

全新的數據管理模式指的是構建一套能夠感知當前系統(tǒng)狀態(tài)的元數據系統(tǒng)，進行由主動元數據驅動的管理。主動元數據不同于被動元數據，它類似于實時導航系統(tǒng)，不僅提供精確定位，還能輔助駕駛。

這套架構的具體實現可以分為這幾個關鍵步驟：

第一步，在邏輯上與數據源建立聯系，它可以減少甚至避免數據搬運的操作。即使不知道數據在哪兒，即使不知道數據的格式，一旦發(fā)現數據，就能立即將數據進行集成。

第二步，系統(tǒng)會自動構建全局數據的邏輯視圖。這一步使用了AI增強的自適應加速技術，以替代傳統(tǒng)的人工方式建立ETL（抽取、轉換、加載）鏈路，提高數據處理的效率和速度，減輕了認為運維操作的負擔。

第三步，進行語義建模。在這一步驟中，IT部門首先定義原子指標，然后業(yè)務人員利用數據語義來定義所需的各種指標。這個過程本質上是一個開發(fā)過程，省去了向IT部門提交需求的步驟，使得業(yè)務部門能夠更快速、直接地獲取他們需要的數據。

第四步，通過開放服務來滿足各種系統(tǒng)和消費場景的需求，包括與BI（商業(yè)智能）和AI（人工智能）工具的對接，增加系統(tǒng)的靈活性和適用性，實現數據的普惠化。

最后一步，實現一個能夠實時感知全局信息的主動元數據系統(tǒng)。這個系統(tǒng)使得可以進行ETL Copilot和其他優(yōu)化輔助工作，提高數據治理的效率和質量。

Aloudata的對應的方案

為了幫助企業(yè)落地NoETL，Aloudata推出了三個核心產品，分別是：邏輯數據平臺Aloudata AIR，自動化指標平臺Aloudata CAN，還有主動元數據平臺Aloudata BIG，對應上文提到的NoETL架構的三大組成部分。

從周衛(wèi)林的介紹中了解到，Aloudata AIR是國內首個基于Data Fabric架構的邏輯數據平臺。它解決了數據需要搬運的問題，它實現了多源異構數據的虛擬化集成，它可以自動優(yōu)化鏈路，支持自適應的查詢加速，能提高處理效率。

首創(chuàng)證券在采用Aloudata AIR后，實現了數據的邏輯集成、自動化ETL流程和統(tǒng)一的數據服務，大大降低了投入到ETL方面的數據工程人力和成本投入。對于首創(chuàng)證券提高效率、節(jié)約成本，有很大幫助。

Aloudata BIG是一個擁有算子級血緣解析能力的主動元數據平臺。所謂“算子級血緣解析能力”是指在數據管理和分析中，能夠非常精確地理解數據從源頭到最終形態(tài)的每一步變化的能力，包括理解數據是如何被篩選、合并、轉換和匯總的。

這種能力能實現很多自動化的操作，包括自動維護數據血緣地圖來構建完整的數據圖譜。也包括將代碼自動翻譯成業(yè)務語言，將SQL語句轉化成容易理解的自然語言，過程都無需人工干預。

Aloudata CAN是一個用于指標管理和開發(fā)的自動化平臺。與傳統(tǒng)的指標平臺不同，它允許用戶直接在平臺上定義所需的業(yè)務指標。一旦用戶定義了指標，系統(tǒng)會自動進行后續(xù)的指標開發(fā)和加速，無需人工干預。

Aloudata CAN的實現采用了定義即生產、定義即服務的模式，極大地簡化了ETL工作量。通過技術自動化，它改變了傳統(tǒng)的指標生產模式，降低了IT部門的參與度，使IT團隊能夠專注于更有價值的任務。

Aloudata NoETL模式的落地與應用

從周衛(wèi)林的介紹中了解到，Aloudata的NoETL模式可以充分利用企業(yè)現有的數據湖、數據倉庫和其他數據源，盤活全部數據資產，實現平滑升級，而不是完全重構。這種做法更容易讓企業(yè)接受。

招商銀行作為國內大型商業(yè)銀行，使用了Aloudata的AIR, BIG 和 CAN三個產品。周衛(wèi)林表示，與招商銀行的合作由來已久，雙方為了解決招商銀行所經歷的特定問題做了很多，而這些問題恰好是此前在螞蟻集團所經歷過的，兩者需要在巨大的數據規(guī)模上運營和管理數據。

目前，Aloudata所提供的解決方案得到了許多大型頭部企業(yè)的強烈響應，特別是在金融行業(yè)、股份制銀行、頭部城商行和大型國央企中。而且，一些客戶案例和解決方案逐漸形成了一種范式效應，在周衛(wèi)林看來，這都能證明NoETL模式的方法是最有效的。

簡而言之，NoETL模式要做的就是提高企業(yè)利用數據的能力，比如，幫助一些大企業(yè)更快利用自己的數據，提高利用每天新產生數據的比例，提高每月新產生數據的使用比例。最終，真正讓數據為企業(yè)所用，為企業(yè)創(chuàng)造價值。

zhupb