盧億雷:大家上午好,非常的容幸在七牛做分享,我的題目主要是講大數據營銷帶來技術的一些洞察力的分析。
首先我們看一下大數據技術到底有多少的高深,前面的都是大咖,我就不多介紹了,對于大數據來說,我的想法把大數據做出來的時候,其實我覺得這才是第一步,很小的一步,最重要的是怎么樣運營好,所以這里有7個運營的特性。BAT公司,他們的產品做出來的話,最最關鍵的不是產品做的多么多么的好,而是保證24小時服務不停。所以有高可靠性,高可用性和高擴展性是大數據提供的一個方式。
高安全和易監(jiān)控維護為什么會重點的提出來呢,對于安全來說,因為大數據的話,人在大數據前面就沒有隱私可言了,所以對于大公司來說,安全也是非常的重要的。象一些物理的隔離,最后一點是硬件維護,我們最最關心的是怎么樣在第一時間里發(fā)現問題,并解決問題,這個是最最重視的部分,所以AdMaster公司除了做系統監(jiān)控,還做應用的監(jiān)控。保證了我們的數據可靠性。接下來我們看一下整個數據平臺的架構。也是比較通用的,這里我只是說了二個點。一個是做搜索的分布式系統,這個大家可以搜索一下,我只說幾個最關鍵的點。
關于Flink,叫增量迭代,買一次計算,把數據內存拿過來做計算,可以保證把中間數據迭代的結果保存在內存里面,這樣子的性能可以更高一些。這個技術我們看下來,數據營銷的分類有一些什么特點,上午劉老師會詳細的介紹。我這里簡單的介紹一下,第一點,數據營銷分了二大類,一類是叫全流程營銷。比如是做一個活動的頁面,你可以做一些推廣,整個的廣告會流起來了。
第二個是實時競價營銷,就是我們做的交易系統,AD,DSH,SSP和DMP,這個我就不詳細的展開了。這個是流程圖,我們AdMaster公司,做所有的數據投放的,我們是做DMP是做一個數據管理的平臺,不光是把廣告交易的數據,包括一些搜索的數據,包括微信微博,還有新聞,還有一些門店的數據,把整個做一個大融合給廣告主提供服務的。
這里的一個非常的基本的投放的原則,我們做廣告營銷或者是數字營銷,無非是你怎么樣在合適的時間,在合適的地點,把適合的商品推給最適合的人,所以廣告都是非常的精準。這里有一個最最重要的就是時間,因為大家知道,特別是政府的數據,要把我們所有的信息公開,但是不知道時間,比如是今天上午,我們做一些什么,這個時間的話,分了行業(yè)的。
接下來我們看一下核心的技術,這個是我把它總結了一下,整個大數據平臺的傳統的架構,因為大數據里面,你怎么樣把這個數據存儲做分析,最基本的是怎么樣把硬件更好的結合起來,大家知道現在的硬件是越來越便宜了,那怎么樣把最好的硬件用到最適合的系統里面,第一個是是普通的硬盤, 發(fā)現如果是你想提高性能的話,調很多的參數的話,可以解決90%多的問題,也可以節(jié)省時間。
還有一塊如果是你對時效性的要求很高的話,百度他們的機器可以達到秒級甚至是毫秒級。Redis這個就不用多解釋了,我們看一下數字營銷的核心的算法,有SVM,聚類,分類,這一點的話,其實做一點算法的同學,他們很多都是原來的模型來做的,舉一個例子來說的話,一個人他的屬性是在變化的。我們聽了分享之后,你回到了家里,可能會轉變角色,可能你是爸爸媽媽,或者是兄弟姐妹,你在投放廣告的時候,一定是要根據不同的時間來做變化,這樣子可以達到很好的效果。
然后第一大類就是離線數據分析,第二個是在線數據分析,我們先看一下離線數據分析,最特別的地方,用戶自己的需求,一定是要轉換到最后的計算,做一個切分。用戶的需求提出來的時候,你肯定不能馬上的解決,Rabbitmq,然后還有Redis,還有FIesever,你把結果計算完了以后,很多的用戶,或者是客戶,他們以前的是老系統,沒有新系統,你拿大眾的系統,才能滿足他們的需求。
第二個是計算模型,我們用的很多,包括Pig,streaming,cascading,你要滿足用戶的需求,所有的模型都是不一樣的接下來是我們通過平臺,,每天新增5TB級的數據,每天對千億條數據進行幾千種維度的計算。我們會對上千億條的數據進行計算,這一點的話,大家也可以看到,我們對一天五千到一萬的維度進行計算。除了硬件,你怎么樣可以解決問題,這一點和百度,阿里做了很多的溝通和交流,很有挑戰(zhàn)性的,五簽到一萬例的話,你加的條件可能是隨意的條件,有很多可以做的地方。
在線數據分析,這個是非常經典的模型,因為我們每天大概是有超過一百億的請求接受,包括了新聞,BBS,各種各類的數據,然后就是一個調節(jié)器的系統??梢园褦祿赐ㄟ^統計的平臺進來,把數據進行一個處理。
接下來是一個Stom,我們這里用的一個最最關鍵的地方,一個是時效性,第二個是有一個時間序列的概念,我們認為必須是嚴格意義上的時間序列,原來是12345,計算的結果也應該是12345。通過一些算法模型,這地方我想說一下,在我們這里,我們不叫知識庫,叫做社交圖庫,這個人一定是和社交有關系的,傳統的數據庫很難把數據表現出來,我們最近在做這一方面的研究,我們應該很快就可以上線了,還是不錯的一個公司。
另外的話,大家知道,對于情感分析,一般就是正面負面,但是對于一句話來說,可以解釋不同的類型,比如說A說B是好的,對于B肯定是正面的,對于A來說,可能是真心的,也可能是負面的。接下來我們會把一些數據的結果放到里面,象微博,微信。我們會處理各種不同的報表,對于數字營銷最最痛點的分析,對于隱私來說,大家都是非常的關心的。所以這里我們提到的解決方案,既然是A公司和B公司,大家都不愿意把數據源貢獻給對方,就是找一個可信的服務廠商做這個事。把數字加密,保證數據不會流失?;蛘呤遣粫蝗烁`取。
我們看一些非常經典的實例,如果是A公司和B公司的IT不在一起也是很難做的,所以可以通過共有云的解決方案,自然是可以解決剛才的問題,所以我們找到了一個可信的云服務商,包括阿里,包括七牛,都是很好的合作伙伴,將來的話,就可以在七牛的服務器上做計算,計算完了以后,把報告倒出給客戶最后把所有的數據都銷毀。這樣子了話,就可以做一個非常非常彈性的計算模型,包括把數據做的安全可靠。
另外一點,這個是我上半年做的一個研究,到底大數據,或者是數據是一個怎么樣的意思,我這里說的數據流,對數據是不是越穩(wěn)定越好的,比如說我們每一個人都可以拿到用戶的身份號碼,包括銀行的卡號,是不是一個合適的方式呢,我說是No,第一點,整個的數據是有生命周期的,數據必須是活的。只要是這個數據流動起來,它就沒有價值。
就好象是貨幣只有流通起來,才有價值,如果是不流動的話,是沒有任何的價值。這是第一點。第二點一定是有壽命的。這個我說是整個行業(yè)的發(fā)展,比如說我們和某一個公司做了一個交易,把公司的安裝ID買過來了以后,如果是IE一直沒有變化的話,他們二個以后再也不會做交易了,因為數據我都已經有了,以后再也不會合作了,這樣子會導致整個生態(tài)圈這是一條線。所以我們這里提了一點,第一點就是這個數據必須是有生命周期。大家都希望雙方公司的合作是一直合作下去的,而不是我買了數據以后,下次就不用合作了。對于移動端的設備,包括現在的蘋果的APP,里面的ADFA是蘋果做的一個官方的SID,基本上會在三個月左右做一次更新,這樣子可以保證整個的數據不停的被更新,而不是一成不變的。保證了數據源可以持續(xù)的合作。
接下來我給大家分享幾個案例,這幾個案例我認為還是非常的經典的。第一個是象AdMaster主要是做的DA系統,這是一個廣告的交易平臺,里面最最關鍵的地方,不光是把交易里面的數據做出分析,還有它怎么樣把搜索的數據加入進來,這時候最大的特點是什么呢?因為每一個人,每一個用戶買了東西以后,現在的微博微信發(fā)展的很快,買完了以后,一定會去朋友圈,微博,論壇會抱怨一下這個產品到底是好還是壞,對于廣告主來說的話,他的品牌出現了任何的品牌,都可以實時第一手拿到材料。
最后我給大家舉一個非常的有意思的例子,這個例子很火,我想問大家一個問題,大家都不喜歡看廣告,特別是看電視和視頻的時候,但是我想問一下大家,大家對于微信的朋友圈的廣告,它是通過數據流通,你看到最近投的寶馬,還有Mini的廣告,大家認為喜歡這個廣告的有多少,50%,40%?還有沒有?我們有72%是喜歡這個微信廣告的。為什么會喜歡微信朋友圈的廣告,不僅僅是把廣告推給你,最重要的是互動。每次出了廣告以后,你們都會點一個贊,不光是廣告主在打廣告,其實用戶也是在參與的過程中,這樣子的話,不是很反感這個廣告。
第二點,因為微信的發(fā)展很快,他們都說這次寶馬推了廣告給我,我本來是一個屌絲,推給了我,我感覺自己成了高富帥了,對于廣告營銷來說,不僅僅是一個數據分析,如果是把社會心理學加進去以后,可以把廣告做的更好,比如我明明是一個屌絲,但是推給了我寶馬的廣告,這個廣告可以達到很多次的口口相傳,這個也是一個很重要的原因。
做廣告的時候,首先是要做預測,不管是傳統的視頻,或者是電視,或者是大屏幕,電線桿之類的。首先是要做預算,預算完了以后做評估,然后會再做分析,怎么樣做跨屏的廣告的投放,這里是非常重要的,因為我們在看了廣告以后,對于廣告主來說,希望的是怎么樣的把廣告投放給更多的人看,所以怎么樣做跨屏的分析。
接下來作弊識別模型,其實我和大家說一下,廣告作弊的還是挺多的,包括地域,包括IT,包括頁面,包括用戶的一些分析,有很多的的手段來判斷它是不是作弊的。所以我們在接下來12月份,會有一個防作弊大賽,告訴用戶怎么樣的是作弊的,所以的人都可以來參加這個作弊的模型。
這個是全流量的分析,你看過的一個廣告過來以后,最后到了官網,到了它的首頁,到產品的頁面,到注冊的頁面,最后到成功的購買。這個有一點類似百度統計看到的信息,這里面還是有很多點的。第一點是怎么樣把你的活動的效果,包括流量的分析。
這個是移動端的消費分析,移動端的發(fā)展很快,每一個人通過最后的一跳把APP下載,其實有可能最后安裝這一跳的不是你花錢最多的地方,有可能是用戶看了A廣告以后,然后才通過APP搜索,作為廣告主來說,不希望把這個錢直接花在安裝上,他是希望在廣告效果最好的地方出現。所以我們會分析ABC媒體,怎么樣做轉換的分析,發(fā)現A的效果是最好的。
最一個案例是在2013年的時候,可口可樂的昵稱瓶的案例,可口可樂公司當時做的時候,怎么樣可以提高它的銷售,通過我們的搜索分析,就發(fā)現了包括用戶,特別是80后,90后,對白富美,高富帥這種詞是非常的有興趣了,那是不是可以生產一些有昵稱的瓶子作為銷售,最后發(fā)現通過這種方式,銷售額提高了10%以上,大家知道快銷行業(yè),可以提出5%個趨勢,10%是一個很大的數字了。大家覺得不是說一次性的把這個詞給可口可樂公司去生產,而是是一個迭代式的方式。第一次我們看到的是白富美,高富帥,第二次的時候,可以多一些其他的。這樣子可以節(jié)省成本。通過一些生量,互動性,發(fā)貼率,做了很多的分析。
因為時間的關系,我就分析到這里,謝謝大家。