音樂(lè)作伴,輕松閱讀! 在Google、Amazon、Facebook、Uber、Airbnb等公司成功的背后,有這樣一批人:他們可以將大量的數(shù)據(jù)變?yōu)橛袃r(jià)值的金礦,例如,搜索結(jié)果、定向廣告、準(zhǔn)確的商品推薦、可能認(rèn)識(shí)的好友列表等。沒(méi)錯(cuò),他們就是被譽(yù)為「今后10年IT行業(yè)最重要的人才」—— Data Scientist(數(shù)據(jù)科學(xué)家)。
要理解數(shù)據(jù)科學(xué)家是做什么,首先要理解人盡皆知卻總被誤讀的大數(shù)據(jù):大數(shù)據(jù)不是大量的數(shù)據(jù),而是復(fù)雜的數(shù)據(jù)。 《大數(shù)據(jù)時(shí)代》聯(lián)席作者Kenneth Cukier在Ted上的熱門(mén)演講:《Big data is better data》,告訴你大數(shù)據(jù)驅(qū)動(dòng)技術(shù)和設(shè)計(jì)的未來(lái),以及大數(shù)據(jù)的「好」與「壞」。 (視頻時(shí)長(zhǎng)16”,建議在WiFi環(huán)境下觀看) 這些解決復(fù)雜數(shù)據(jù)帶來(lái)的問(wèn)題的人,就是數(shù)據(jù)科學(xué)家。 那么,數(shù)據(jù)科學(xué)家在工作中是怎樣解決問(wèn)題的呢? 分享兩個(gè)共享經(jīng)濟(jì)的典范:Airbnb和Uber——在運(yùn)用大數(shù)據(jù)方面的經(jīng)驗(yàn)。 1、Airbnb 在Airbnb,工程師要解決這樣一個(gè)問(wèn)題:如何讓用戶(hù)了解一個(gè)自己從來(lái)沒(méi)去過(guò)的地方?如何知道哪個(gè)地方最適合自己的旅行? Airbnb擁有海量的獨(dú)有數(shù)據(jù),包括旅游地、用戶(hù)評(píng)論、房源描述、社區(qū)信息等,Airbnb還有一支隊(duì)伍去各地和當(dāng)?shù)厝私涣?,搜集所有的相關(guān)歷史數(shù)據(jù)。Airbnb的數(shù)據(jù)科學(xué)家是這樣運(yùn)用數(shù)據(jù)的: (Airbnb accommodations (red) and traditional accommodations (blue) in San Francisco)
2、Uber 縮短開(kāi)著空車(chē)去接下一位乘客的時(shí)間和乘客等待的時(shí)間是Uber的車(chē)主和乘客的共同需求,他們希望這些時(shí)間越短越好。為此,Uber的數(shù)據(jù)科學(xué)家建立了「Location-based demand models」。 (Uber heatmap in San Francisco) 每天實(shí)時(shí)更新的熱點(diǎn)地圖(Heatmaps)可以有效幫助車(chē)主縮短空載時(shí)間,同時(shí)幫乘客減少等待時(shí)長(zhǎng)。下一步,這張圖甚至可以預(yù)測(cè),這樣車(chē)主會(huì)知道提前去哪里等待可以載到更多的乘客。
雖然數(shù)據(jù)科學(xué)三十年前就誕生了,但是數(shù)據(jù)科學(xué)家卻是幾年前剛出現(xiàn)的一個(gè)新詞。在《數(shù)據(jù)之美》一書(shū)中,我們可以看到Facebook的數(shù)據(jù)科學(xué)家的起源: 在Facebook,我們發(fā)現(xiàn)傳統(tǒng)的頭銜如商業(yè)分析師、統(tǒng)計(jì)學(xué)家、工程師和研究科學(xué)家都不能確切地定義我們團(tuán)隊(duì)的角色。該角色的工作是變化多樣的:在任意給定的一天,團(tuán)隊(duì)的一個(gè)成員可以用Python實(shí)現(xiàn)一個(gè)多階段的處理管道流、設(shè)計(jì)假設(shè)檢驗(yàn)、用工具R在數(shù)據(jù)樣本上執(zhí)行回歸測(cè)試、在Hadoop上為數(shù)據(jù)密集型產(chǎn)品或服務(wù)設(shè)計(jì)和實(shí)現(xiàn)算法,或者把我們分析的結(jié)果以清晰簡(jiǎn)潔的方式展示給企業(yè)的其他成員。為了掌握完成這多方面任務(wù)需要的技術(shù),我們創(chuàng)造了「數(shù)據(jù)科學(xué)家」這種角色。 所以,用一句話總結(jié)「數(shù)據(jù)科學(xué)家」的定義: 運(yùn)用統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、分布式處理等技術(shù),從大量數(shù)據(jù)中提取出對(duì)業(yè)務(wù)有意義的信息,以易懂的形式傳達(dá)給決策者,并創(chuàng)造出新的數(shù)據(jù)運(yùn)用服務(wù)的人才。 數(shù)據(jù)科學(xué)家有哪幾種類(lèi)別? 為了更好地闡釋數(shù)據(jù)科學(xué)家,我們將它分為三類(lèi):
作為一名數(shù)據(jù)科學(xué)家,一般需要編程和數(shù)據(jù)庫(kù)、數(shù)學(xué)&統(tǒng)計(jì)、交流和可視化、領(lǐng)導(dǎo)力和軟技能:四個(gè)方面的技能。
2、數(shù)學(xué)、統(tǒng)計(jì)和數(shù)據(jù)挖掘 3、數(shù)據(jù)可視化 4、領(lǐng)導(dǎo)力和軟技能 總之,數(shù)據(jù)科學(xué)家之所以被稱(chēng)為「科學(xué)家」,而區(qū)別于「數(shù)據(jù)工程師」和「數(shù)據(jù)分析師」,其根本在于對(duì)數(shù)據(jù)有極端敏銳的直覺(jué)和本質(zhì)的認(rèn)知,對(duì)問(wèn)題和業(yè)務(wù)有深入的洞察和理解,因而能夠解決復(fù)雜數(shù)據(jù)帶來(lái)的問(wèn)題。 [end] 版權(quán)聲明:本號(hào)內(nèi)容部分來(lái)自互聯(lián)網(wǎng),轉(zhuǎn)載請(qǐng)注明原文鏈接和作者,如有侵權(quán)或出處有誤請(qǐng)和我們聯(lián)系。 |
|
來(lái)自: silence_33 > 《大數(shù)據(jù)》