據(jù)麥肯錫大數(shù)據(jù)行業(yè)研究報告，歐元區(qū)的大數(shù)據(jù)行業(yè)將通過改善公司運行效率、減少出錯和增加稅收，為公共部門創(chuàng)造2500億歐元左右的產(chǎn)值。同時，行業(yè)需求的人才數(shù)量不斷上升，但由于市場滯后性，可以預(yù)測此類人才在近幾年內(nèi)都是非常搶手的。

本文寫于2011年9月16日，作者DJ Patil，曾于2008年5月到2011年5月間在LinkedIn數(shù)據(jù)科學(xué)團隊擔(dān)任管理者，“你可能認識的人”等著名機制就來源于他的團隊。編者有刪改。

早在2008年時，我就和Jeff Hammerbacher 對于“如何打造Facebook和LinkedIn的數(shù)據(jù)收集和分析團隊”這個話題有過經(jīng)驗交流，我們在許多方面都達成了共識，這些共識總的概括起來成為一句話：數(shù)據(jù)科學(xué)是一項獨特的專業(yè)技能（具體見本文第二段“數(shù)據(jù)科學(xué)家應(yīng)有的素質(zhì)”）。

數(shù)據(jù)科學(xué)就是從那時候開始逐漸熱門起來的，如今數(shù)據(jù)科學(xué)界有著按時召開的討論會議、富有潛力的數(shù)據(jù)分析類新創(chuàng)公司，甚至有些大學(xué)都開設(shè)了這門課程，盡管如此，數(shù)據(jù)分析類人才依然非常緊缺。

LinkedIn求職板數(shù)據(jù)，以及McKinsey的研究報告

這種局面是Google、Facebook、Amazon等互聯(lián)網(wǎng)巨頭對于數(shù)據(jù)的創(chuàng)造性運用造成的。巨頭們擁有頂尖的數(shù)據(jù)科學(xué)家，數(shù)據(jù)科學(xué)家們用這些數(shù)據(jù)創(chuàng)造了巨大價值：讓搜索結(jié)果變得更準確，準確投放廣告獲得更高點擊率，向用戶推薦“可能認識的人”等等。數(shù)據(jù)科學(xué)為互聯(lián)網(wǎng)帶來了許多改進和有價值的產(chǎn)品，但它的適用范圍不僅僅在于互聯(lián)網(wǎng)，沃爾瑪并沒有做出類似產(chǎn)品，但沃爾瑪之所以在零售業(yè)如此出類拔萃，就是因為它一直在用各方面數(shù)據(jù)優(yōu)化著業(yè)務(wù)。

數(shù)據(jù)科學(xué)的重要性毋庸置疑，那么數(shù)據(jù)科學(xué)家為公司帶來了什么？他們?nèi)绾巫龅竭@些的？公司應(yīng)該如何打造一個有效的數(shù)據(jù)科學(xué)團隊？

一、讓數(shù)據(jù)驅(qū)動業(yè)務(wù)

（譯者注：“機會驅(qū)動”、“量化分析”這兩個詞可以幫助理解。）

每個企業(yè)家都想要讓數(shù)據(jù)驅(qū)動型公司，“數(shù)據(jù)驅(qū)動”這個詞膾炙人口，關(guān)于它的書籍、期刊、博文也數(shù)不勝數(shù)，但數(shù)據(jù)驅(qū)動型公司到底是怎么樣的？我的定義是這樣：

數(shù)據(jù)驅(qū)動型公司反復(fù)收集、處理和運用數(shù)據(jù)以提高效率、創(chuàng)造新產(chǎn)品，最終引領(lǐng)市場走向。

行業(yè)分析者們設(shè)計了許多評判一個公司是否屬于數(shù)據(jù)驅(qū)動型的方法，有些人以數(shù)據(jù)量為標準、有些以數(shù)據(jù)復(fù)雜程度和處理難度為標準，我更看重公司對于數(shù)據(jù)的使用效率。

電子商務(wù)網(wǎng)站多年前就開始利用這些數(shù)據(jù)，配合算法向用戶推薦商品。Amazon創(chuàng)造了一種新的推薦模式，“查看此商品的顧客也查看了……”、“看過此商品后顧客買的其它商品有……”、“購買了您最近瀏覽過的商品的顧客同時購買了……”。

它們是Amazon網(wǎng)站最常用的功能之一，看起來有點拗口，但這個模式非常強力，用戶不再需要用傳統(tǒng)搜索功能大海撈針般尋找想要的商品，當(dāng)用戶對某個產(chǎn)品的特定屬性不滿意時，底下會有同類替代品，它們由與有著相同愛好的人們幫助篩選出來，這些替代品符合用戶需求的可能性大大提高；同時Amazon還會將用戶可能想要的產(chǎn)品列出——注意，僅僅是“可能”想要——以刺激用戶購買欲望，最終促進銷量。

這就是對數(shù)據(jù)高效運用的結(jié)果，是Amazon在電子商務(wù)行業(yè)進行的一場革命。

數(shù)據(jù)科學(xué)產(chǎn)品同樣是社交媒體的核心，畢竟，如果沒有這些產(chǎn)品用于增強用戶互動，社交網(wǎng)絡(luò)何以成為社交網(wǎng)絡(luò)？以“你可能認識的人”為例，這也許是社交網(wǎng)絡(luò)里最重要的基礎(chǔ)功能，因為一個個搜索朋友、同事、家人然后添加好友是個非常麻煩的過程——試想當(dāng)你搜索“John Smith”，結(jié)果發(fā)現(xiàn)有幾萬個人叫這名字的場面。

LinkedIn發(fā)明了“你可能認識的人”（PYMK）機制，PYMK機制理論基礎(chǔ)很簡單：當(dāng)A認識B、B認識C時，A也許會認識C。但實際上結(jié)論并不一定成立，設(shè)計方法分析這個可能性的大小就是數(shù)據(jù)科學(xué)們要做的事情之一。

PYMK機制在當(dāng)時是很新奇的，但各大社交網(wǎng)絡(luò)迅速抄襲了它。Facebook在原有模式上做出了改進，不僅支持PYMK，還監(jiān)控這個機制對于用戶新增好友速度的影響。

經(jīng)過長久監(jiān)控和復(fù)雜的數(shù)據(jù)分析后，F(xiàn)acebook發(fā)現(xiàn)了保證“該用戶會長期持續(xù)進行社交活動”需要的好友數(shù)和兩次新增好友之間的間隔時長，形象的說，好友少和好友增加速度較慢的用戶一般不會長期在社交網(wǎng)絡(luò)活動，因此Facebook想方設(shè)法讓新用戶一開始就能獲得一定數(shù)量的好友。

Netflix數(shù)據(jù)科學(xué)團隊發(fā)現(xiàn)，相比不提供任何信息的用戶，在“想看的電影”列表添加了一定數(shù)量電影的用戶成為網(wǎng)站長期使用者的概率要顯著高出許多。所以在當(dāng)新用戶注冊Netflix時，網(wǎng)站會強烈建議用戶填寫“想看的電影”，并且網(wǎng)站仍在不斷優(yōu)化注冊和試用流程（網(wǎng)站服務(wù)收費、為新用戶提供免費試用期）。

Zynga也利用統(tǒng)計數(shù)據(jù)與用戶保持長期關(guān)系，讓用戶持續(xù)地使用網(wǎng)站玩在線游戲。Zynga對于用戶個人信息和在網(wǎng)站上的行為都有統(tǒng)計，長期統(tǒng)計帶來了大量數(shù)據(jù)，數(shù)據(jù)分析創(chuàng)造了極大價值——從對人們參與游戲情況的分析中，發(fā)現(xiàn)了如何創(chuàng)造成功的游戲；在對游戲內(nèi)人們互動情況進行分析后，發(fā)現(xiàn)了影響用戶長期玩某游戲可能性的因素，等等等等。

多年來前端工程師和美工們都是憑本能設(shè)計網(wǎng)頁的，這沒什么錯。然而Google和Amazon將A/B測試法（單變量測試）運用于優(yōu)化網(wǎng)頁設(shè)計——某個細節(jié)的更改，是否促進了商品銷售量？用戶要多久才能發(fā)現(xiàn)這些改變？這個改變造成了用戶流失嗎，有多少用戶走了？

這些關(guān)系到網(wǎng)站運行效率的因素，只有通過實驗、數(shù)據(jù)收集、數(shù)據(jù)分析一步步才能發(fā)現(xiàn)。從數(shù)據(jù)分析中得出成功需要的硬性條件，團隊任務(wù)自然是朝著這個條件優(yōu)化產(chǎn)品，這就是數(shù)據(jù)驅(qū)動型公司。

雅虎對于數(shù)據(jù)科學(xué)的發(fā)展有著巨大貢獻，看到Google使用MapReduce分析海量數(shù)據(jù)獲得的成功之后，雅虎意識到自己也需要一個同類工具用于數(shù)據(jù)分析，所以雅虎選擇了Hadoop。盡管后來這個工具被商業(yè)化，而且分析功能有著這樣那樣的缺陷（如對于數(shù)據(jù)流的分析效率很低），雅虎還是聘用了幾十名工程師開發(fā)新的開源工具彌補缺陷，目前Hadoop已經(jīng)成為所有數(shù)據(jù)科學(xué)家們必備工具中最重要的之一。

支付行業(yè)競爭非常激烈，PayPal、Visa、American Express、Square百花齊放，稍有不慎就會落后于其他所有公司，然后滅亡。為了在競爭中保持優(yōu)勢，這些公司打造了復(fù)雜的監(jiān)控系統(tǒng)，提升安全性并排除支付過程中一切出錯狀況，產(chǎn)品對這些系統(tǒng)的要求非常高，每個請求都必須在幾毫秒之內(nèi)處理完畢，因為接下來還有無數(shù)請求等著處理。

所有搜索引擎為了提升用戶體驗，都會檢測搜索結(jié)果的相關(guān)程度，從無數(shù)點擊中分辨出有效的，進行統(tǒng)計然后改進。這大概是數(shù)據(jù)科學(xué)中最難的一塊，但Google發(fā)明了許多新技術(shù)克服這個難題，硬件有自制計算機、高性能分析軟件MapReduce、算法如PageRank等等，現(xiàn)在這些數(shù)據(jù)科學(xué)的成果大多成了開源項目。

我發(fā)現(xiàn)這些最著名的數(shù)據(jù)驅(qū)動型公司都有相同格言：“無法量化，就無法改善。”以及與這種心態(tài)相配的幾個措施：

1.盡可能多的檢測和收集數(shù)據(jù)，不論是在設(shè)計產(chǎn)品還是改善商業(yè)模式，如果不收集數(shù)據(jù)，就不會有頭緒。

2.主動而有規(guī)律的進行收集工作，量化戰(zhàn)略和產(chǎn)品的成功程度。

3.整理數(shù)據(jù)，讓更多的人看到以發(fā)現(xiàn)問題，“群眾的眼睛是雪亮的”。

4.深入分析數(shù)據(jù)變化的原因，以及數(shù)據(jù)不變化的原因。

所謂數(shù)據(jù)驅(qū)動型公司有很多，因為收集數(shù)據(jù)的門檻不高，但如果你公司能收集與自己產(chǎn)品有關(guān)的絕大部分數(shù)據(jù)、按照以上這幾條進行分析和改善工作，就超過了其中絕大部分。

接下來我要談?wù)勱P(guān)于數(shù)據(jù)科學(xué)家的一些事情，注意，數(shù)據(jù)并不只是專業(yè)者獨有的東西，公司里的每個員工都應(yīng)該關(guān)注它們。

二、數(shù)據(jù)科學(xué)家們的職責(zé)

在我工作過的和擔(dān)任過顧問的公司中，數(shù)據(jù)科學(xué)家不論多寡，說話都是非常有分量的。

數(shù)據(jù)科學(xué)家們的職責(zé)主要有以下幾類：

1.決策科學(xué)和商業(yè)智慧

數(shù)據(jù)對公司運營的多個方面都有舉足輕重的影響，從戰(zhàn)略決策到具體實施規(guī)范。數(shù)據(jù)科學(xué)家們監(jiān)控數(shù)據(jù)，發(fā)現(xiàn)并總結(jié)出決策中需要考慮的因素。

聽起來簡單，但實際上這個過程稱得上是一門藝術(shù)。每個因素都與全局息息相關(guān)，牽一發(fā)而動全身，一個淺顯的例子是，看數(shù)據(jù)不能光看百分比、分母也很重要。隨著公司業(yè)務(wù)逐漸做大，需要考慮的因素也變得越來越多，整個過程越來越復(fù)雜。打個比方，將一個只報告溫度的天氣預(yù)報，與報告溫度、氣壓的相比，再與包含溫度、氣壓、濕度等一系列信息的天氣預(yù)報相比，可以看出，質(zhì)量要求的提升會帶來數(shù)據(jù)收集和分析難度提升。（譯注：作者典故可能用的有點突兀，不過不會有頭沒尾，后面有照應(yīng)的。）

數(shù)據(jù)科學(xué)團隊發(fā)現(xiàn)了這些因素之后，總結(jié)的過程也非常重要，給不同人群寫報告需要使用不同工具，從簡單的表格、到網(wǎng)頁上的視覺化信息圖以及更為復(fù)雜的商業(yè)產(chǎn)品，越復(fù)雜的產(chǎn)品提供的功能就越多，通過注釋和對比，可以突出報告重點、提供額外分析和橫向縱向的比較。

大的數(shù)據(jù)驅(qū)動型公司會推動數(shù)據(jù)“民主化”，讓數(shù)據(jù)不再只是數(shù)據(jù)分析團隊和高級管理層專屬，每個人都可以合法的瀏覽這些數(shù)據(jù)。

Facebook是數(shù)據(jù)民主化的先驅(qū)，所有人都能用Hive語言在其數(shù)據(jù)庫（基于Hadoop）進行查詢，這意味著，稍微有點腳本語言基礎(chǔ)就能創(chuàng)立一個屬于自己的數(shù)據(jù)分析面板。

Zynga也有類似的機制，不過采用了完全不同的技術(shù)，Zynga建立了兩個數(shù)據(jù)中心，一個有著嚴格的服務(wù)等級協(xié)議，為其核心服務(wù)提供支持，另一個用于為員工提供數(shù)據(jù)查詢服務(wù)，不保證隨時都能表現(xiàn)出最佳性能。

更加傳統(tǒng)一些的公司，例如eBay也這么做了，eBay采用了類似Teradata的技術(shù)，為每個工作小組提供與其相關(guān)的數(shù)據(jù)庫和數(shù)據(jù)存儲空間，使小組能方便的利用和修改數(shù)據(jù)。

隨著數(shù)據(jù)科學(xué)的發(fā)展，公司們在做決策時對于數(shù)據(jù)報告和分析越來越依賴，我們把這個新的決策模式稱為“決策科學(xué)”。決策科學(xué)團隊將自身收集和分析的數(shù)據(jù)與外部的進行對比，描繪出競爭格局，從中發(fā)現(xiàn)應(yīng)該優(yōu)先使用的策略，然后為策略制定中的假設(shè)提供證據(jù)支持，團隊可能專注于“我們接下來應(yīng)該往哪個國家拓展業(yè)務(wù)”、“這個市場是否已經(jīng)飽和”類似的問題，解決這些問題不僅需要數(shù)據(jù)，還要做出用于預(yù)測的模型，并用現(xiàn)有數(shù)據(jù)或者實際市場反應(yīng)檢驗這些模型。

警惕：新接觸數(shù)據(jù)科學(xué)的人往往喜歡尋找“銀彈”，在數(shù)據(jù)科學(xué)中“銀彈”指能用于構(gòu)造整個系統(tǒng)的神奇數(shù)字，銀彈是可遇而不可求的，真正杰出的數(shù)據(jù)科學(xué)團隊會尋找一個個杠杠，將收益最大化。

2.產(chǎn)品和市場分析

產(chǎn)品分析是數(shù)據(jù)運用中一個相對較新的新領(lǐng)域，數(shù)據(jù)科學(xué)團隊創(chuàng)造了直接與用戶互動的環(huán)節(jié)，例如：

用戶對于內(nèi)容有高度自主權(quán)的產(chǎn)品，如新聞聚合程序中用戶對于新聞源的控制、調(diào)整某個新聞源的展示優(yōu)先級。

推動公司價值定位的程序，如“你可能認識的人”和其他促進用戶互動的程序。（譯注：價值定位價值鏈中的一個環(huán)節(jié)，對“公司能為用戶提供什么產(chǎn)品”進行定位）

推薦其他產(chǎn)品的鏈接，如LinkedIn用戶使用群組功能時，網(wǎng)站提示“你也許會喜歡這個小組”。

防止用戶直接離開、利用其他用戶提供的數(shù)據(jù)進行推銷的提示，如上文中提到的Amazon那一系列“你可能……”。

獨立而有統(tǒng)計意義的產(chǎn)品，如Google News和LinkedIn Today，可以用于分析新聞與用戶喜好的相關(guān)程度。

隨著計算成本的迅速下降，用公開的算法和技術(shù)開發(fā)這些產(chǎn)品的成本也迅速下降。

市場分析與產(chǎn)品分析差不多，也是利用數(shù)據(jù)對產(chǎn)品和服務(wù)進行價值定位，市場分析的典范是OKCupid博客，它分析多種來源的數(shù)據(jù)對未來趨勢進行預(yù)測，博客上幾乎每篇文章都很出名，其中有一篇研究擁有智能手機的品牌與性伴侶數(shù)量之間的聯(lián)系，“iPhone用戶是否會有更多樂趣呢？”，一篇根據(jù)新增好友的數(shù)量、研究用戶在社交網(wǎng)絡(luò)中使用不同頭像產(chǎn)生的吸引力大小差異。

這些文章評論都至少達到三位數(shù)，被許多傳統(tǒng)媒體轉(zhuǎn)載和引用，在各大社交網(wǎng)絡(luò)中被用戶們分享傳播，用戶們和市場的反應(yīng)證明文章分析做得非常到位。

長期以來電子郵件都是商家與客戶和潛在客戶交流的主要方式，公司們對電子郵件進行分析也不是近期才開始的，但是強有力的新技術(shù)能用豐富內(nèi)容開創(chuàng)一個新的電子郵件營銷方式。

例如Facebook會對不活躍用戶發(fā)送郵件，提醒登陸；LinkedIn網(wǎng)站周期性的給用戶發(fā)送郵件，將用戶社交圈子的動態(tài)濃縮在其中，新的工作職位、引人注目的文章、新的好友等，若非如此，單純的沒有任何內(nèi)容的廣告郵件會被系統(tǒng)當(dāng)作垃圾郵件處理。

一個用心經(jīng)營過自己社交網(wǎng)絡(luò)的人，看到這些郵件中好友動態(tài)，必然不會輕易刪除它們，這就是用新技術(shù)進行營銷的效率。

3.欺騙、濫用、風(fēng)險、安全

（譯注：前文中提到支付公司，它們的漏洞可能不那么容易理解，形象的說，某種攻擊方式——如DDoS——讓它們死機就能造成巨額損失。

App Store本次漏洞中，發(fā)現(xiàn)者使用的“中間人攻擊”就是一種欺騙，花費一定成本進行App內(nèi)購買，監(jiān)控并記錄購買時的數(shù)據(jù)，然后偽造成iTunes，修改這些數(shù)據(jù)開出“已經(jīng)購買的證明”，讓程序服務(wù)器相信用戶已經(jīng)購買。

值得一提的是，大約十年前米特尼克就在《欺騙的藝術(shù)》一書中寫到了這種手段，并讓公司們警惕。）

利用互聯(lián)網(wǎng)進行高科技犯罪的人有著高超的隱藏手段，和現(xiàn)成的掩護者：海量數(shù)據(jù)。數(shù)據(jù)分析在這類持續(xù)進行的防御戰(zhàn)爭中起著決定性作用，數(shù)據(jù)收集、入侵檢測、壓力抵抗、蜜罐取證等等機制設(shè)計過程都與數(shù)據(jù)科學(xué)家擁有的技能有關(guān)。

一切都從數(shù)據(jù)收集開始，數(shù)據(jù)收集永遠是個挑戰(zhàn)，因為很難確定收集的數(shù)據(jù)規(guī)模和種類足以支持結(jié)論，事實上由于存儲空間和計算帶來的成本，數(shù)據(jù)科學(xué)家們必須縮小范圍，找出對結(jié)論影響最重要的因素，最終設(shè)計出像“如果收集了足夠的x和y數(shù)據(jù)，我們就能了解正在發(fā)生什么”一樣的檢測模型。

檢測欺騙、濫用等行為的另外一個問題是時間限制，攻擊者如果持續(xù)進行DDos攻擊，同時檢測流程效率過低的話，會影響網(wǎng)站正常運作。許多公司都意識到了檢測效率的重要性，雇傭了數(shù)據(jù)科學(xué)家，讓他們用復(fù)雜的工具改進檢測流程，縮短系統(tǒng)反應(yīng)時間。

檢測到攻擊的下一步是防御，緩解服務(wù)器壓力，從所有用戶中分辨出攻擊者然后踢開他，這需要將已收集的數(shù)據(jù)作為變量，設(shè)計精密的分辨模型，是個很重要的過程。（譯注：再帶點私貨，所謂“主動防御”也是先檢測程序行為，不過是比被動防御消耗資源更大、有借口提醒你機器不安全而已。）

以IP地址為例，幾乎所有的系統(tǒng)日志機制都會收集使用者的IP，IP地址本身用處不大，但是作為變量來說，某IP地址的統(tǒng)計數(shù)據(jù)可以轉(zhuǎn)化為：

在一定時長內(nèi)來自此IP地址的異常行為

用戶在全球的分布狀況和其他地理位置信息

這個IP上的用戶是否經(jīng)常在此時訪問網(wǎng)站  

數(shù)據(jù)->變量->模型->結(jié)論。

4.數(shù)據(jù)服務(wù)和操作

數(shù)據(jù)驅(qū)動型公司的一大核心業(yè)務(wù)就是利用數(shù)據(jù)提供服務(wù)，數(shù)據(jù)團隊對于數(shù)據(jù)庫安全、存儲結(jié)構(gòu)、查詢模式負有責(zé)任，他們需要監(jiān)控并保證數(shù)據(jù)系統(tǒng)正常運作，因為其他功能都依賴于這個系統(tǒng)。

在我看來，隨著數(shù)據(jù)科學(xué)團隊重要性的不斷上升，它與其他團隊協(xié)作的需求也在不斷上升，傳統(tǒng)團隊應(yīng)該改變自己習(xí)慣，以適應(yīng)數(shù)據(jù)團隊的功能和服務(wù)，而且他們需要被數(shù)據(jù)團隊監(jiān)控，以保證穩(wěn)定性，員工們應(yīng)該隨時準備處理服務(wù)器崩潰等緊急情況——成熟的公司就是在這些方面有著專業(yè)人才。

公司們對統(tǒng)計報表有著需求，這是數(shù)據(jù)團隊的責(zé)任之一，他們要發(fā)現(xiàn)并總結(jié)出重點，按時上交報表。同時也會出現(xiàn)某個因素大筆一揮就寫了出來，但由于硬件和軟件限制，這個因素不那么容易得出、會對服務(wù)器造成過大負擔(dān)的情況，所以與決策科學(xué)團隊溝通合作也是非常重要的。

5.數(shù)據(jù)工程和基礎(chǔ)設(shè)施

對大規(guī)模數(shù)據(jù)進行測量、追蹤、轉(zhuǎn)移和處理的工具復(fù)雜程度是非常難以理解的，而構(gòu)造這些工具就是數(shù)據(jù)工程團隊的責(zé)任。

近些年科技發(fā)展極快，一些開源項目促進了這類工具，舉幾個例：

Kafka、Flume、Scribe ：是用于收集數(shù)據(jù)流信息的工具，它們使用的模型并不一樣，不過工作程序相似——從多個來源收集數(shù)據(jù)，進行整合，然后輸入數(shù)據(jù)庫。

Hadoop：Hadoop是目前最流行的數(shù)據(jù)處理框架。它是個面向批量數(shù)據(jù)處理的開源項目，創(chuàng)建者Doug Cutting受到MapReduce的啟發(fā)設(shè)計了它，許多數(shù)據(jù)流處理的新技術(shù)都采用了Hadoop。

Azkaban 和Oozie：作業(yè)調(diào)度程序，管理和協(xié)作復(fù)雜的數(shù)據(jù)流。

Pig和Hive：對于大型非關(guān)系數(shù)據(jù)庫的查詢語言。

Voldemort、Cassandra、HBase：保證大規(guī)模數(shù)據(jù)存儲使用時的良好表現(xiàn)。

同樣重要的還有對于這些系統(tǒng)的檢測和部署技術(shù)。

數(shù)據(jù)分析團隊在構(gòu)造了這些大規(guī)模數(shù)據(jù)處理工具之后，會將這些工具應(yīng)用于產(chǎn)品和市場分析團隊。一個視頻推薦引擎也許由SQL、Pig或Hive構(gòu)建，如果測試表明這個引擎有效、有市場價值，數(shù)據(jù)分析團隊就要優(yōu)化它，部署至服務(wù)器上，嚴格遵循服務(wù)等級協(xié)議規(guī)定的穩(wěn)定性和效率運行。

這個從原型到實際產(chǎn)品的過程，有時甚至需要完全推到重寫，例如當(dāng)SQL和關(guān)系型數(shù)據(jù)庫表現(xiàn)無法達到要求時，程序就必須移植到其他類型的數(shù)據(jù)庫上，如HBase，移植成功后又要重新檢測運行效率，這需要相當(dāng)復(fù)雜的編程。

6.提高公司內(nèi)部互動和規(guī)范程度

一個公司的運營應(yīng)該由這些數(shù)據(jù)指導(dǎo)，還是根據(jù)其他機制？這是個問題。

有許多需要考慮的事情，員工、公司規(guī)模、運營狀況、目前公司類型（產(chǎn)品驅(qū)動、市場驅(qū)動）。有些公司以數(shù)據(jù)團隊為中心，有些將數(shù)據(jù)團隊與其他團隊相互融合，機制有非常多種。

在公司初創(chuàng)時，每個人都扮演著不同角色，因為無法負擔(dān)起多個團隊用于分析、安全、運營、基礎(chǔ)設(shè)施建設(shè)，但隨著公司的發(fā)展，分工也變得明確和專業(yè)化，這是保證成功的手段之一。

在這一點上，我有三條建議:

在團隊規(guī)模還很小的時候，成員們更應(yīng)該加強溝通，這樣能很方便的反應(yīng)和解決問題。

授人以漁，這能提高公司成為數(shù)據(jù)驅(qū)動型的可能性。前文提到Facebook和Zynga等公司將數(shù)據(jù)公開化，結(jié)果是員工們幫助發(fā)現(xiàn)了一些影響產(chǎn)品成功程度的因素，這種模式在五年前是聞所未聞的。對于數(shù)據(jù)的觀察和分析需要訓(xùn)練，所以公司應(yīng)該開設(shè)這門課程。

各個職能部門有規(guī)律的定期相互聯(lián)系，數(shù)據(jù)科學(xué)的發(fā)展會帶動科技創(chuàng)新，為了讓所有部門能跟上步伐，定期交流經(jīng)驗是非常重要的。

三、數(shù)據(jù)科學(xué)家應(yīng)該有哪些素質(zhì)？

我和Jeff Hammerbacher 在討論如何打造數(shù)據(jù)科學(xué)團隊時意識到，隨著公司成長，我們發(fā)現(xiàn)不知道應(yīng)該如何稱呼這些團隊成員，“商業(yè)分析員”聽起來不像是干大事的，“數(shù)據(jù)分析師”太籠統(tǒng)，而且許多團隊成員都有深厚的工程技術(shù)專長，不適合這么叫，“研究員”又被Sun、HP等公司使用過。

不過我們發(fā)現(xiàn)了這些稱呼與團隊工作的差異：許多研究成果都是抽象的，與產(chǎn)品毫無關(guān)系，而且通常要經(jīng)過實驗室?guī)啄暄芯坎拍馨l(fā)現(xiàn)一些影響產(chǎn)品發(fā)展的因素，相反，我們的團隊注重即時性，一旦有了進展，對于產(chǎn)品發(fā)展會有巨大幫助。所以團隊最終命名為“數(shù)據(jù)科學(xué)團隊”，每個成員都是數(shù)據(jù)科學(xué)家——使用數(shù)據(jù)和科學(xué)進行創(chuàng)造活動的人。

接下來討論的就是如何尋找合格的成員，或者說，一名合格的數(shù)據(jù)科學(xué)家應(yīng)該有哪些素質(zhì)？

專業(yè)技術(shù)：在某個領(lǐng)域擁有深厚的專業(yè)知識。

好奇心：透過表現(xiàn)看本質(zhì)的欲望，將問題分解成一個個小步驟，科學(xué)的解決。

講故事：發(fā)現(xiàn)數(shù)據(jù)反應(yīng)出的問題并有效向他人表達。

睿智：多角度、創(chuàng)造性的看問題。

人們通常會認為，數(shù)據(jù)科學(xué)家都需要有計算機科學(xué)的學(xué)術(shù)背景，不過以我的經(jīng)驗看來，這不構(gòu)成問題，起碼我團隊里不是這樣的，PYMK機制由一位實驗物理學(xué)家發(fā)明，一位計算化學(xué)家解決了百年以來的“水的能量狀態(tài)”難題（譯者：這和LinkedIn有半毛錢關(guān)系？），一位海洋學(xué)家在我們制作檢測欺騙模型時做出了杰出貢獻，這都不算什么，神經(jīng)外科醫(yī)師居然是個發(fā)現(xiàn)數(shù)據(jù)中蘊含趨勢的天才……

所有頂尖數(shù)據(jù)科學(xué)家都有充分而寬廣的好奇心，不分日常生活和工作，所以他們能用新奇的方式整合一些完全不同的東西，我認識的一位好奇寶寶將DNA排序技術(shù)運用于發(fā)現(xiàn)欺騙。

這些人幾乎都有著相當(dāng)高的學(xué)歷，當(dāng)然，我也見過一些杰出的、可以稱得上數(shù)據(jù)科學(xué)家的在校大學(xué)生，那么如何整合他們的能力呢？

在整合他們能力解決實際問題之前，首先要把數(shù)據(jù)搞定，這是準備活動，同時也是需要解決的實際問題。我剛畢業(yè)時對天氣預(yù)報很感興趣，想出了個預(yù)測天氣的方法，但需要很多數(shù)據(jù)，這些數(shù)據(jù)網(wǎng)上有現(xiàn)成的，不過它們的存儲格式、文件尺寸都不一樣，為了將它們利用起來我寫了個系統(tǒng)，讓寢室每臺電腦從凌晨1點到早上8點都工作，獲取和處理數(shù)據(jù)，最終經(jīng)過優(yōu)化的數(shù)據(jù)庫在任何一臺電腦上都能運行。（譯注：蓋茨大二時的數(shù)學(xué)作業(yè)被老師整理后發(fā)表成論文，見此）

找到豐富的數(shù)據(jù)源。

在硬件、軟件和帶寬不充足時，進行大規(guī)模數(shù)據(jù)操作。

把數(shù)據(jù)格式轉(zhuǎn)換成一致的，對多個數(shù)據(jù)源進行融合。

將數(shù)據(jù)視覺化。

寫出高效利用數(shù)據(jù)的工具。

尋找數(shù)據(jù)科學(xué)家的另一個難題在于，這類人才實在沒多少，即使有訓(xùn)練項目和開設(shè)了這門課程的大學(xué)，市場上仍然供不應(yīng)求，根據(jù)我的經(jīng)驗，要想成為數(shù)據(jù)科學(xué)家，最好的方法不是訓(xùn)練和學(xué)習(xí)，而是自己去做一些與數(shù)據(jù)科學(xué)有關(guān)的事情。

因此我對新員工有這方面要求，必須要有與數(shù)據(jù)打交道的經(jīng)驗，否則如果是有潛力的大學(xué)生，就必須經(jīng)過強度非常大的實習(xí)訓(xùn)練項目考驗。Kaggle和Topcoder提供了這類人才的平臺，公司可以在上面發(fā)布一個項目，然后從參與的團隊中挑選出最好的那個。

許多人都想招現(xiàn)成的工作人員，其實潛力股也是很重要的，這三年我?guī)ьI(lǐng)LinkedIn分析和數(shù)據(jù)團隊，對于“怎么樣的畢業(yè)生或者在校學(xué)生值得選擇”總結(jié)出了一些規(guī)則，必須滿足一下標準：

時間：一旦選擇此人，我們就要在同一個辦公室長期工作，參與是新人成長必備的歷程。

信任：我們能相信你嗎？你對工作是敷衍了事，還是盡力做到最好？

交流：有效交流是保證高效率運行的關(guān)鍵，你能在90天之內(nèi)融入公司嗎？

后面兩條需要時間來驗證，我們量化了這兩個標準，對于實習(xí)生的工作質(zhì)量和速度設(shè)置了一定期望。

融入部分，“90天”需要個人和團隊的共同努力，同樣，成功也是整個團隊共同分享的東西。我們會將期望設(shè)置的很高，讓實習(xí)者意識到這是一個精英級別的團隊，然后以高標準要求自己，如果在與團隊互動、了解工作流程和公司運行模式之后仍然不能在短期內(nèi)達到要求，那么就不適合這兒。

這也是保證長期內(nèi)能成功的條件，通過這個考驗，他們的成果就值得公司其他部門的人研究，這會讓他們對未來的工作有自信。每個從實習(xí)生做到資深高管的人都做到了這一點，許多業(yè)界頂尖人士更是在實習(xí)期就做出了非同尋常的成就。

“4-6年內(nèi)，你能做出一些令人驚異的事兒嗎？”

什么叫令人驚異？這很難定義，因為談?wù)摰氖情L期內(nèi)整個行業(yè)的趨勢，但這很容易辨別，一眼就能看出。許多公司提到職位上升需要時間問題時總是語焉不詳，我并不期望實習(xí)生能做出什么令人驚異的事情，但我看中的是有了長期規(guī)劃之后，實習(xí)生能在4-6年內(nèi)做出成果。

最后強調(diào)一下，這個標準是共同努力達到的，如果公司不提供表現(xiàn)的平臺和機會，實習(xí)生永遠無法成功。

四、打造LinkedIn數(shù)據(jù)科學(xué)團隊

LinkedIn數(shù)據(jù)團隊剛開始時與現(xiàn)在可謂天壤之別，沒有數(shù)據(jù)服務(wù)團隊，總共有1.5個工程師，那0.5個后來創(chuàng)業(yè)去了，5個分析師、目前都是團隊核心，為公司上上下下提供支持。

我做的第一件事是去各大科技公司取經(jīng)，雅虎、eBay、Facebook、Google、Sun等等都走遍了，結(jié)果令我很驚奇。每個公司中都有類似于數(shù)據(jù)科學(xué)家的人，但他們有“主業(yè)”，只在有限的空閑時間里做一些數(shù)據(jù)科學(xué)研究，也許有一天他們發(fā)現(xiàn)了什么或者想到了什么點子，產(chǎn)品經(jīng)理也會告訴他們說“不錯，不過這沒在我們的藍圖中。”

所以我將數(shù)據(jù)科學(xué)團隊獨立出來，作為產(chǎn)品團隊存在，對于產(chǎn)品設(shè)計、使用和維護負有責(zé)任，這給了數(shù)據(jù)科學(xué)家們測試空間和表現(xiàn)機會。結(jié)果不僅是“你可能認識的人”和“誰看了我的檔案”，還有許多功能，如Skills，作為個人檔案的一部分，同時也匯聚了公司對于技能的要求，讓用戶了解在某個領(lǐng)域成功需要那些技能。

團隊學(xué)術(shù)背景的多樣性也是成功因素之一，產(chǎn)品設(shè)計、前端后臺編寫、運營策略和實施都有專業(yè)人士去做，同時每個人都了解如何利用數(shù)據(jù)工作，所以業(yè)務(wù)界限并不明顯，工程師可以向產(chǎn)品設(shè)計提建議，設(shè)計師也能指點工程師。

在數(shù)據(jù)產(chǎn)品的打造上，傳統(tǒng)模式效率也相當(dāng)?shù)?，將?shù)據(jù)團隊與設(shè)計、市場分開，不科學(xué)，我甚至懷疑這樣成功率是不是0。

有了數(shù)據(jù)科學(xué)，傳統(tǒng)瀑布式流程——模塊化的運作，團隊們分別定義和設(shè)計產(chǎn)品，數(shù)據(jù)科學(xué)家只能準備數(shù)據(jù)，最終工程師做出產(chǎn)品——就過時了。數(shù)據(jù)科學(xué)團隊并不是設(shè)計Office，或者類似的人們對于程序界面、功能等方面都有著共識的產(chǎn)品，相反，每個項目都是在新領(lǐng)域進行創(chuàng)造和實驗，從設(shè)計到運營都是實驗的重要部分。

這類產(chǎn)品對于存儲、網(wǎng)絡(luò)和計算性能的要求都遠遠超過原先，存儲級別是PB甚至EB級的（譯注：8m網(wǎng)絡(luò)下載1EB的文件要30年，如果我沒有算錯的話），使用的數(shù)據(jù)部分來自本身服務(wù)器、部分來自外部，所以，如果不是一開始就將整個團隊融合，產(chǎn)品不可能表現(xiàn)得令人滿意。

數(shù)據(jù)科學(xué)產(chǎn)品的質(zhì)量檢驗（QA）需要非常嚴格的手段，常規(guī)的構(gòu)造測試數(shù)據(jù)集甚至無法覆蓋整個產(chǎn)品的使用范圍，所以不再適合這類新技術(shù)。為了有效的檢驗產(chǎn)品質(zhì)量，從理念原型時就應(yīng)該開始設(shè)計檢驗機制，我的數(shù)據(jù)科學(xué)團隊中有幾位在整個產(chǎn)品生命周期內(nèi)都負責(zé)這方面工作。

數(shù)據(jù)科學(xué)團隊不只是作為數(shù)據(jù)科學(xué)家團隊存在，它設(shè)計工具將整個公司的運營數(shù)字化和自動化，節(jié)約了大量時間——泡杯咖啡就能得到數(shù)據(jù)，然后再次實驗，比一覺醒來還得等上個把小時效率要高得多，從而做出創(chuàng)造性成果的可能性也高得多。

數(shù)據(jù)科學(xué)團隊與公司其他部門的交流也要重點注意，因為團隊很可能被接連不斷的問題和請求轟炸，必須分清優(yōu)先級、做好時間安排，一個個解決。

五、最后

建立一支成功的數(shù)據(jù)科學(xué)團隊，你會發(fā)現(xiàn)整個公司都被他們影響，到處都是數(shù)據(jù)產(chǎn)品的身影。

動手吧公司們！