亚洲+综合+欧美,另类尿喷潮videofree

數(shù)據(jù)中臺整體架構如上圖所示，可以劃分為資源匯聚、數(shù)據(jù)預處理、數(shù)據(jù)入庫、數(shù)據(jù)整理、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)服務等過程。

數(shù)據(jù)資源匯聚包括數(shù)據(jù)采集和數(shù)據(jù)集成。這些資源數(shù)據(jù)主要來源于內(nèi)容生產(chǎn)數(shù)據(jù)、第三方數(shù)據(jù)、互聯(lián)網(wǎng)定向數(shù)據(jù)等，包括稿件、報刊、期刊、社交媒體、移動客戶端、網(wǎng)站等數(shù)據(jù)類型。支持數(shù)據(jù)庫、文件、流式等多種接入方式對多源異構數(shù)據(jù)進行接入，將數(shù)據(jù)資源匯聚整合。值得注意的是，匯聚過程需要針對目前業(yè)務系統(tǒng)的規(guī)劃實現(xiàn)匯聚處理，并對數(shù)據(jù)進行統(tǒng)一的存儲規(guī)劃。

數(shù)據(jù)預處理主要是對數(shù)據(jù)進行初步的清洗和標準化等預處理工作。數(shù)據(jù)入庫前的預處理會進行字段解析、映射、轉換以及處理字段的殘缺、錯誤、數(shù)據(jù)去重等工作。清洗之后的數(shù)據(jù)需要進行標準化處理，將不同格式的數(shù)據(jù)按照統(tǒng)一數(shù)據(jù)格式規(guī)范轉換。同時，數(shù)據(jù)入庫前一般需要進行自動標引、數(shù)據(jù)分類等工作：針對文本數(shù)據(jù)，會進行自動分類、自動摘要、關鍵詞、情感分析等方面的識別和標簽提??；針對圖片類型數(shù)據(jù)，會進行圖片人物、圖片場景、圖片屬性、新聞事件、地標建筑等方面的識別和標簽提取；針對音頻數(shù)據(jù)，會進行語音識別、音頻屬性、新聞事件等方面的識別和內(nèi)容提?。会槍σ曨l數(shù)據(jù)，會進行視頻人物、視頻場景、視頻屬性、新聞事件、地標建筑等方面的識別和標簽提取。

數(shù)據(jù)入庫是對解析后的文本、圖片、音視頻、文件等數(shù)據(jù)進行分層分區(qū)存儲。待入庫的數(shù)據(jù)需要保證數(shù)據(jù)的完整性、規(guī)范性和時效性，必須按照平臺要求的數(shù)據(jù)格式規(guī)范統(tǒng)一進行轉換后入庫。

數(shù)據(jù)整理的主要是對入庫的數(shù)據(jù)進行人工標引、數(shù)據(jù)集成等工作，通過數(shù)據(jù)選取、標引、校對等功能，對數(shù)據(jù)進行標引和有序地組織、檢索和展示。同時，可以根據(jù)標簽匯聚資源專區(qū)，形成服務接口供第三方系統(tǒng)調(diào)用，通過人工標引這種方式，來提升數(shù)據(jù)的標簽準確度，為一些重要專題制作的準確性打下基礎。

數(shù)據(jù)資產(chǎn)環(huán)節(jié)是把接入的數(shù)據(jù)基于業(yè)務現(xiàn)狀及未來規(guī)劃進行數(shù)據(jù)資產(chǎn)劃分，對接入的數(shù)據(jù)進行深層級的加工、實現(xiàn)數(shù)據(jù)資源的分類管理、元數(shù)據(jù)管理、資產(chǎn)管理。媒體數(shù)據(jù)資產(chǎn)主要由內(nèi)容庫和主題庫兩個部分組成，業(yè)務庫是基于業(yè)務系統(tǒng)構建的，為前臺業(yè)務提供諸如專題庫、語料庫、實體庫、知識庫等業(yè)務為導向的數(shù)據(jù)資產(chǎn)。而主題庫是為了應對快速建庫需求，通過簡單的檢索篩選，形成滿足業(yè)務需求的主題庫，降低了數(shù)據(jù)開發(fā)成本。

數(shù)據(jù)能力和智能分析能力全部以微服務的形式對外提供調(diào)用，由數(shù)據(jù)中臺保證數(shù)據(jù)服務的性能和穩(wěn)定性、數(shù)據(jù)質量和準確性，實現(xiàn)服務的統(tǒng)一管控和綜合治理。

一次性建設完成媒體數(shù)據(jù)中臺全部內(nèi)容比較困難，很多公司都是分階段進行的，特別是傳統(tǒng)媒體單位，很多業(yè)務還沒有完成數(shù)字化，別說建設數(shù)據(jù)中臺了。媒體數(shù)據(jù)中臺整體規(guī)劃建設采用“分階段，垂直業(yè)務分批”的思路進行。整個媒體數(shù)據(jù)中臺可以分為三個階段進行建設。

媒體數(shù)據(jù)中臺第一階段主要以搭框架、建標準、聚數(shù)據(jù)為主。第一階段建設的要務是與各部門的生產(chǎn)數(shù)據(jù)打通，建立統(tǒng)一的數(shù)據(jù)接入、數(shù)據(jù)分類、數(shù)據(jù)接口、數(shù)據(jù)存儲標準，優(yōu)先對影響業(yè)務開展的基礎性數(shù)據(jù)進行接入工作。同時梳理數(shù)據(jù)分類標準，通過文本智能處理能力實現(xiàn)自動分類、摘要、關鍵詞、情感分析等方面的識別和標簽提取，并支持對數(shù)據(jù)內(nèi)容和分類體系進行加工與維護。同時平臺面提供滿足不同業(yè)務的基本數(shù)據(jù)服務與頁面能力的支撐。面向數(shù)據(jù)管理人員提供資源管理功能，實現(xiàn)對內(nèi)容的加工與分類。面向開發(fā)人員提供基礎的數(shù)據(jù)服務接口，提供資源檢索、查看、下載等接口服務。面向用戶提供資源門戶訪問服務，支持用戶對數(shù)據(jù)資源進行查看與檢索。

建設完成數(shù)據(jù)接入、數(shù)據(jù)存儲、數(shù)據(jù)分類、數(shù)據(jù)服務標準；

建設完成自動分類、摘要、關鍵詞提取、命名實體等文本智能處理能力建設；

建設完成數(shù)據(jù)資產(chǎn)管理平臺中對入庫資源的內(nèi)容管理、分類體系管理功能；

建設完成資源發(fā)布與展示平臺其中資源門戶部分的資源展示、資源檢索功能；

媒體數(shù)據(jù)中臺第二階段主要以數(shù)據(jù)深度加工整理、數(shù)據(jù)智能服務、快速建庫與內(nèi)容發(fā)布作為階段目標。第二階段會引入人工標引能力，通過標引工具可以實現(xiàn)數(shù)據(jù)選取、標引、校對等流程，深挖數(shù)據(jù)的價值。標引完的稿件可通過標簽進行組織、檢索、展示，同時可利用標簽實現(xiàn)數(shù)據(jù)聚合，為快速生成專題庫打下基礎。

快速建庫將專題數(shù)據(jù)自動匯聚與人工加工相結合，使用機器學習的聚類算法自動發(fā)現(xiàn)并生成專題類簇，通過人工對類簇打專題標簽的方式，達到專題的自動發(fā)現(xiàn)與制作的功能。同時定制專題面向業(yè)務人員提供以“專題”為核心的資源匯聚服務，通過相關（關鍵詞、實體詞、分類標簽、屬性等）維度組合，實現(xiàn)歷史數(shù)據(jù)、實時數(shù)據(jù)的快速匯聚。內(nèi)容發(fā)布支持專題頁面的快速生成，通過模板技術實現(xiàn)專題頁面的呈現(xiàn)與訪問。同時本階段會對檢索能力、推薦能力進行提升，提供智能糾錯、智能補全、智能聯(lián)想、語義搜索、內(nèi)容推薦等功能，優(yōu)化內(nèi)容檢索和推薦的效果，提升用戶的體驗。在數(shù)據(jù)服務方面，會加強對數(shù)據(jù)服務的管理與監(jiān)控，對數(shù)據(jù)服務進行統(tǒng)一的注冊與授權、形成數(shù)據(jù)服務目錄，對外提供服務能力的支撐。

建設完成數(shù)據(jù)資產(chǎn)管理平臺中數(shù)據(jù)標引模塊數(shù)據(jù)選取、任務分配、數(shù)據(jù)標引、標引工作量統(tǒng)計功能；

建設完成數(shù)據(jù)資產(chǎn)管理平臺中專題管理模塊專題聚類、專題定制、專題管理功能；

建設完成資源發(fā)布與展示平臺其中發(fā)布管理模塊的模板管理、專題發(fā)布功能；

建設完成資源檢索、資源下載等基礎數(shù)據(jù)服務，形成數(shù)據(jù)訂閱類、數(shù)據(jù)檢索類、智能分析類、數(shù)據(jù)統(tǒng)計類等服務目錄和服務。

媒體數(shù)據(jù)中臺第三階段主要以輔助內(nèi)容生產(chǎn)和媒體運營、數(shù)據(jù)的多維統(tǒng)計及大屏可視化、數(shù)據(jù)智能分析作為階段目標。通過人工智能與大數(shù)據(jù)技術，賦能融媒體轉型升級，為未來業(yè)務創(chuàng)新提供更多的技術支撐。構建驅動信息采集、選題策劃、輔助生產(chǎn)、用戶畫像、渠道分發(fā)、傳播效果監(jiān)測、輿論監(jiān)督等功能的智能化、精準化、實時化，助力媒體單位實現(xiàn)生產(chǎn)力、引導力、影響力、公信力上的提升。媒體生產(chǎn)輔助應用主要用來支撐選題策劃、新聞采訪、新聞編輯、新聞審校、新聞發(fā)布等業(yè)務流程，提供智能選題、新聞采寫、媒體資源庫、智能專題、個性化推薦等生產(chǎn)輔助能力。媒體運營輔助應用提供媒體傳播分析、媒體影響力分析、用戶全息畫像、決策分析等運營輔助能力。

建設成果：建設完成資源發(fā)布與展示平臺中大屏可視化、指標統(tǒng)計等功能；建設完成數(shù)據(jù)智能分析平臺中認知智能相關功能與應用；建設完成數(shù)據(jù)智能分析平臺中業(yè)務智能相關輔助內(nèi)容生產(chǎn)和媒體運營應用。

通過數(shù)據(jù)盤點讓數(shù)據(jù)成為資產(chǎn)，了解企業(yè)有哪些數(shù)據(jù)，在哪里，有多少量級。主要包含業(yè)務流程梳理、數(shù)據(jù)流程梳理、數(shù)據(jù)識別和分類等工作。

盤點需要接入的結構化、半結構化、非結構化數(shù)據(jù)，通過調(diào)研表和訪談的方式收集數(shù)據(jù)信息。數(shù)據(jù)源通常包括報紙、期刊、網(wǎng)站、APP、社交媒體等。確認是否需要進行歷史數(shù)據(jù)遷移。

根據(jù)項目需求確定總體設計思路，進行總體系統(tǒng)架構、技術架構和應用架構設計。在此基礎上確定總體數(shù)據(jù)規(guī)劃，根據(jù)數(shù)據(jù)的數(shù)據(jù)類型和業(yè)務使用場景、展現(xiàn)形式，設計相應的存儲方式，以滿足數(shù)據(jù)服務要求。必要時可以進行集中測試，通過讀寫速度、可靠性等指標的測試結果綜合判斷，最終決定數(shù)據(jù)存儲選型。

結合國家標準、行業(yè)標準和實際業(yè)務，梳理、摸底各數(shù)據(jù)源數(shù)據(jù)情況，對關鍵業(yè)務過程數(shù)據(jù)、業(yè)務結果數(shù)據(jù)制定數(shù)據(jù)接入標準，數(shù)據(jù)分類標準、數(shù)據(jù)存儲標準、數(shù)據(jù)服務標準。

接入標準。數(shù)據(jù)接入負責將各種資源統(tǒng)一接入到數(shù)據(jù)中臺中來。需要制定相應的數(shù)據(jù)接入規(guī)范，適配不同數(shù)據(jù)接入需求，能夠提供數(shù)據(jù)庫、消息隊列、API、文件等常用接入方式。新增數(shù)據(jù)類型只要符合數(shù)據(jù)接入規(guī)范，都可以進行接入。通過這種標準的數(shù)據(jù)接入管道和擴展方式，可以靈活的響應業(yè)務側的不斷變化的接入需求，保證數(shù)據(jù)接入的通用性和統(tǒng)一性。

分類標準。參考《新聞資料分類法》、《中國新聞信息分類法》等國內(nèi)外分類標準，以現(xiàn)有的分類體系為基礎，結合數(shù)據(jù)實際特點配合客戶完成設計、調(diào)整及完善分類體系工作。

存儲標準。對于多種數(shù)據(jù)來源的不同數(shù)據(jù)類型需要確定相應的字段轉換、存儲方式，與存儲標準。規(guī)范數(shù)據(jù)存儲組件、存儲路徑、存儲格式、副本策略、備份機制等內(nèi)容，對數(shù)據(jù)進行分層分區(qū)設計，保證數(shù)據(jù)存儲的合理性以及擴展性。

服務標準。整理需要建設的服務清單，對服務清單中的接口進行分類。根據(jù)服務接口承載業(yè)務類型，對服務進行拆分。定義數(shù)據(jù)接口訪問方式、訪問路徑、請求格式、返回結果格式、以及返回狀態(tài)碼類型，保證數(shù)據(jù)服務整體的規(guī)范性和一致性。

數(shù)據(jù)模型設計。媒體數(shù)據(jù)是非結構化性非常強的，與傳統(tǒng)行業(yè)數(shù)倉最大的區(qū)別是媒體行業(yè)90%以上數(shù)據(jù)都是非結構化的，如文本、圖片、視頻等。因此需要根據(jù)業(yè)務場景以及多種異構數(shù)據(jù)源，數(shù)據(jù)存儲采用分區(qū)分域、分層分級的設計思路，創(chuàng)建原始庫、業(yè)務庫、主題庫、知識庫等。

通過數(shù)據(jù)接入，建立數(shù)據(jù)標準化流程，實現(xiàn)數(shù)據(jù)的采集與清洗、標準化。

數(shù)據(jù)標準化將各種資源統(tǒng)一接入到數(shù)據(jù)中臺。

支持文字、圖片、音視頻、文件、結構化和非結構化等不同數(shù)據(jù)類型。

接入方式可靈活配置管理，能夠適應不同數(shù)據(jù)資源接入，保證數(shù)據(jù)的完整性。

數(shù)據(jù)接口具備良好的容錯性和安全性，避免因數(shù)據(jù)接口問題影響整體系統(tǒng)的穩(wěn)定性和可靠性。

具有可視化WEB配置管理和運維管理界面，支持數(shù)據(jù)管理人員進行接入任務各要素的配置和定義，支持進行數(shù)據(jù)接入任務的監(jiān)控和日常運維操作，支持數(shù)據(jù)接入過程可記錄，對采集系統(tǒng)工作結果提供報告；支持數(shù)據(jù)接入系統(tǒng)異常告警能力，主動反饋數(shù)據(jù)接入故障等信息。

數(shù)據(jù)清洗：在接入數(shù)據(jù)時進行數(shù)據(jù)的有效性檢驗和過濾排重等數(shù)據(jù)預處理工作，確保數(shù)據(jù)質量。對數(shù)據(jù)進行解析、字段的映射，完成數(shù)據(jù)的標準化操作。

基于媒體行業(yè)數(shù)據(jù)的特征，數(shù)據(jù)預處理采取批流結合的方式解決業(yè)務場景對數(shù)據(jù)的要求。數(shù)據(jù)從不同數(shù)據(jù)源過來，如API、MQ、log、file等，數(shù)據(jù)要在實時計算中做文本去重、數(shù)據(jù)結構化、內(nèi)容標簽化和輕度的實時統(tǒng)計等操作，數(shù)據(jù)存儲之后需要進行主題建設、關系挖掘、知識圖譜計算和算法訓練，因此需要通過批流結合的處理方式來滿足對數(shù)據(jù)本身能力的需要。

其中內(nèi)容標簽化就是通過自動標引方式理解新聞，理解新聞與哪些信息相關，基于文本挖掘的手段，實現(xiàn)對內(nèi)容數(shù)據(jù)的分類打標。

自動標引具體來說就是調(diào)用中文語義接口，對入庫數(shù)據(jù)進行標簽化，主要標簽有關鍵詞、文本分類、自動摘要、中文分詞、詞性標引、命名實體等。

整個數(shù)據(jù)架構根據(jù)現(xiàn)有的數(shù)據(jù)資產(chǎn)狀況，合理的選擇設計相關數(shù)據(jù)架構及系統(tǒng)架構模型，以支撐平臺現(xiàn)在及未來幾年內(nèi)對數(shù)據(jù)的存儲壓力要求以及對外服務的需求。

通過數(shù)據(jù)加工，重新組織數(shù)據(jù)，讓數(shù)據(jù)變得更好用。通過人工標引方式，梳理重要報道數(shù)據(jù)，建立報道標簽維度。并根據(jù)需求和數(shù)據(jù)內(nèi)容梳理標引規(guī)范，形成作業(yè)指導書。對標引的結果進行校對、全檢、標簽修改等操作，通過標引匯聚成專題。

平臺會將所有數(shù)據(jù)分成不同主題，按不同主題進行建設、存放和加工。媒體是一個非常復雜的行業(yè)，對各個行業(yè)的數(shù)據(jù)都是有訴求的，媒體需要挖掘大量不同行業(yè)的數(shù)據(jù)支撐新聞生產(chǎn)和報道，數(shù)據(jù)進來之后，再挖掘潛在的新聞點，生成選題策劃，幫助用戶做選題等工作。

數(shù)據(jù)治理貫徹執(zhí)行在整個數(shù)據(jù)處理流程中每一個階段，數(shù)據(jù)治理保證數(shù)據(jù)是被管理的，數(shù)據(jù)管理則保證被管理的數(shù)據(jù)實現(xiàn)指定的目標。指導和監(jiān)督元數(shù)據(jù)管理、標準管理、質量管理、安全管理等功能具體數(shù)據(jù)管控。質量管理主要通過分析源系統(tǒng)表數(shù)據(jù)，從及時性、完整性、準確性、有效性、一致性方面對源系統(tǒng)數(shù)據(jù)進行數(shù)據(jù)校驗，發(fā)現(xiàn)并記錄數(shù)據(jù)質量問題，生成數(shù)據(jù)質量問題報告。元數(shù)據(jù)管理描述了數(shù)據(jù)在使用流程中的信息，通過血緣分析可以實現(xiàn)關鍵信息的追蹤和記錄，影響分析幫助了解分析對象的下游數(shù)據(jù)信息，快速掌握元數(shù)據(jù)變更可能造成的影響。數(shù)據(jù)管理是數(shù)據(jù)治理的延伸，包含數(shù)據(jù)資產(chǎn)視圖、智能搜索等功能。

整合數(shù)據(jù)資源管理、數(shù)據(jù)服務、數(shù)據(jù)發(fā)布等能力，通過體系化的平臺建設,實現(xiàn)對業(yè)務系統(tǒng)和應用開發(fā)提供更加高效、簡潔、靈活的數(shù)據(jù)服務，使得上層應用不會受限于底層多變的數(shù)據(jù)格式、數(shù)據(jù)類型、數(shù)據(jù)處理和管理邏輯以及復雜的基礎架構建設和運維，最大限度的釋放數(shù)據(jù)的價值。

第一，數(shù)據(jù)的整合與開放。任何數(shù)據(jù)進到平臺之后，都會在整個大數(shù)據(jù)處理鏈條中進行計算、整合、內(nèi)容結構化，以及加入標簽等處理，同時基于用戶感興趣的數(shù)據(jù)范圍，做標簽的特征過濾，篩選用戶想要的數(shù)據(jù)。

第二，提供智能分析能力的整合與開放。通過開放算法能力，幫助用戶做數(shù)據(jù)能力和算法能力的應用，提供文本內(nèi)容實體識別服務、文本去重判定服務、圖像人物識別服務和圖像標簽化服務等。

第三，產(chǎn)品能力的整合與開放，例如，將用戶畫像、內(nèi)容推薦、傳播分析等能力對外開放。

目前百分點科技已服務眾多國家級的報業(yè)和出版客戶，包括新華社、中國日報、科技日報、新華網(wǎng)、南方報業(yè)、人民出版社等。

比如，為南方報業(yè)建立的媒體智能數(shù)據(jù)中臺，對全媒體大數(shù)據(jù)的資源進行采集，并對采集到的海量全媒體數(shù)據(jù)進行分布式存儲、高效檢索、智能分析。目前，南方數(shù)據(jù)服務平臺已經(jīng)擁有上千個數(shù)據(jù)庫集，上百種數(shù)據(jù)智能應用工具，能夠提供多端融合采編輔助支撐，如熱點聚類、主題延展、內(nèi)容摘要、機器翻譯、機器人協(xié)作、實體影響力畫像和個性化推薦等新技術新應用，幫助南方報業(yè)夯實數(shù)據(jù)服務能力，以數(shù)據(jù)和AI能力為策采編發(fā)各個環(huán)節(jié)賦能。

百分點科技還為新華社搭建了全媒體中臺，尤其在去年疫情期間，分別僅用一個月時間便快速構建并推出了“兩會報道”專題和“習總書記出訪”專題兩個新聞應用創(chuàng)新產(chǎn)品。通過中臺提供的專業(yè)化數(shù)據(jù)服務，助力全媒體采編。

媒體融合下半場的重心將向智能化發(fā)展。從傳媒到數(shù)據(jù)、從傳播到服務、從采訪到采集、從對內(nèi)到對外，動能轉換的過程需要轉換思路、轉換機制、轉換形態(tài)，通過用數(shù)據(jù)、養(yǎng)數(shù)據(jù)、聚數(shù)據(jù)、管數(shù)據(jù)，從數(shù)據(jù)化運營到運營數(shù)據(jù)業(yè)務，形成媒體數(shù)據(jù)生產(chǎn)應用的新的閉環(huán)系統(tǒng)。

通過全媒體中臺的建設，可以為媒體應用提供媒體生產(chǎn)輔助、媒體運營輔助、媒體發(fā)布端應用、媒體智庫和輿情分析等能力支撐。值得注意的是，媒體數(shù)據(jù)中臺的建設需要自上而下，需要進行詳盡的前期規(guī)劃設計，需要符合各媒體機構的實際情況，且不可全盤照搬，需要結合實際情況進行取舍調(diào)整，以達到價值最大化。

對于全媒體中臺的建設，首先需要媒體機構有一定的數(shù)據(jù)基礎和業(yè)務規(guī)模，這是因為只有當自身數(shù)據(jù)多樣、業(yè)務規(guī)模不斷擴大、業(yè)務相互獨立，急需通過全媒體中臺解決效率、成本和質量的問題。并且，媒體數(shù)據(jù)不能局限于現(xiàn)在的媒資數(shù)據(jù)，而應該是基于媒體連接能力、地緣優(yōu)勢、服務定位特色等形成的各類數(shù)據(jù)。

媒體的數(shù)據(jù)庫建設不能停留在簡單的媒資庫時代。盤活媒體數(shù)據(jù)使用需要新思維，要以加快數(shù)字經(jīng)濟時代媒體融合創(chuàng)新發(fā)展為戰(zhàn)略目標，以“數(shù)據(jù)資產(chǎn)增值”為考量，以市場需求為導向，圍繞不同的用戶需求和市場需求，打造實用有效的媒體數(shù)據(jù)產(chǎn)品和數(shù)據(jù)服務。

重視數(shù)據(jù)流通變現(xiàn)，打造有價值的數(shù)據(jù)庫，數(shù)據(jù)積累是一方面，更重要的是數(shù)據(jù)變現(xiàn)，實現(xiàn)媒體數(shù)據(jù)資產(chǎn)增值。無論是傳統(tǒng)媒體或是新媒體，都應該在原有的商業(yè)盈利模式基礎上，把握數(shù)字經(jīng)濟發(fā)展的機遇，開放媒體數(shù)據(jù)服務能力，開拓盈利新渠道。

<wbr id="r68t3"><menuitem id="r68t3"></menuitem></wbr>

xiesc

相關推薦

近期文章

熱門標簽