對于超級菜鳥來說,首要任務(wù)是要了解什么是數(shù)據(jù)分析?
數(shù)據(jù)分析是一種從數(shù)據(jù)中獲取洞見,并驅(qū)動(dòng)商業(yè)決策的知識發(fā)現(xiàn)行為。
這里分兩點(diǎn)來講,一是如何從數(shù)據(jù)中獲取洞見?數(shù)據(jù)往往是冰冷的,不會(huì)說話,作為專業(yè)的數(shù)據(jù)分析人員,無疑是要具備非常豐富的業(yè)務(wù)知識,才能通過數(shù)據(jù)知道已經(jīng)發(fā)生了什么?即將要發(fā)生什么?諸如python、excel、Fine BI是實(shí)現(xiàn)數(shù)據(jù)分析挖掘的重要工具,很多初學(xué)者往往重視工具,而忽略作為數(shù)據(jù)分析人員應(yīng)該要具備的專業(yè)素養(yǎng)。
二是如何驅(qū)動(dòng)商業(yè)決策?這可能不是普通數(shù)據(jù)分析師所能決定的層面,但作為優(yōu)秀的數(shù)據(jù)分析人員,需要具備敏銳的商業(yè)眼光。單純的數(shù)據(jù)分析結(jié)果是沒有任何助益的,將分析結(jié)果與真實(shí)場景結(jié)合,產(chǎn)生有指導(dǎo)性的結(jié)論,才是一個(gè)數(shù)據(jù)分析師的價(jià)值所在。
我知道,大家很在意怎么去學(xué)習(xí)數(shù)據(jù)分析過程,對于python、R、sql、tableau、FineBI等等充滿了疑惑和向往,這也是我當(dāng)初接觸數(shù)據(jù)分析時(shí)候的心態(tài)。很多東西要學(xué),該學(xué)哪一樣?怎么學(xué)習(xí)?學(xué)到什么程度?下面就要講到數(shù)據(jù)分析工具。
一般來說,如果想要成為高階的數(shù)據(jù)分析師,至少要掌握三類工具——自助式BI工具、取數(shù)工具、編程語言。這三類工具的選型標(biāo)準(zhǔn)都是不一樣的,對于超級菜鳥來說,優(yōu)先級是先學(xué)會(huì)自助式工具,保證能夠盡快上手?jǐn)?shù)據(jù)分析,掌握數(shù)據(jù)分析的基本知識;其次,再學(xué)一種取數(shù)工具,接觸數(shù)據(jù)庫的概念;最后,再高一等級要學(xué)會(huì)編程,甚至是數(shù)據(jù)分析庫,具體選型我下面一一介紹。
1、自助式BI工具
什么叫做自助式分析工具呢?其實(shí)很簡單,就是專門面向業(yè)務(wù)人員的BI分析工具,可以完全擺脫IT人的束縛,對于超級菜鳥來說,學(xué)習(xí)成本和門檻也比較低,能夠很容易上手,獨(dú)立完成數(shù)據(jù)分析工作。
這里我推薦FineBI,它是一種能連接各類數(shù)據(jù)源,對原始數(shù)據(jù)(尤其是大數(shù)據(jù)量)進(jìn)行快速分析,制作明細(xì)報(bào)表和酷炫可視化圖表的工具,在IT信息部門分類準(zhǔn)備好數(shù)據(jù)業(yè)務(wù)包的前提下,給與數(shù)據(jù),讓業(yè)務(wù)人員或領(lǐng)導(dǎo)自行分析,滿足即席數(shù)據(jù)分析需求,是分析型產(chǎn)品。
其實(shí)FineBI的使用感同Tableau類似,都主張可視化的探索性分析,有點(diǎn)像加強(qiáng)版的數(shù)據(jù)透視表。上手簡單,可視化庫豐富??梢猿洚?dāng)數(shù)據(jù)報(bào)表的門戶,也可以充當(dāng)各業(yè)務(wù)分析的平臺(tái)。
而對于新手來說,F(xiàn)ineBI的學(xué)習(xí)難度比較低,但是分析性能很強(qiáng)大,更重要的是個(gè)人版免費(fèi),完全可以支持個(gè)人進(jìn)行自助式分析;即使你已經(jīng)成為了企業(yè)的數(shù)據(jù)分析師,仍然需要FineBI來脫離IT部門,去IT化是一種大趨勢,所以說不得不學(xué)。
(下載鏈接見文末)
2、取數(shù)工具
一般企業(yè)的數(shù)據(jù)保存在本地?cái)?shù)據(jù)庫或者公有云里,有的會(huì)采用mysql、oracle、mongodb等,有的會(huì)采用hbase、parquet等。我會(huì)建議初學(xué)者把sql學(xué)精,有余力者可以看看hbase、parquet等大數(shù)據(jù)存儲(chǔ)方式。
sql是數(shù)據(jù)領(lǐng)域最常用的語言,無論是hive、spark、flink都支持sql,以至于機(jī)器學(xué)習(xí)也支持sql,像阿里開源的sqlflow。sql永不落伍。
3、編程語言
Python和R是數(shù)據(jù)分析領(lǐng)域的絕代雙驕,我覺得這兩個(gè)都適合作為數(shù)據(jù)分析的核心語言,但最好選擇一個(gè)來學(xué)。
由于很多咨詢我的人問的都是關(guān)于python的問題,我自己也是在用python工作,所以這里講一下用python來做數(shù)據(jù)分析的利與弊。
python這幾年的火爆程度堪稱編程界的小鮮肉,雖然它誕生也快30年了,但風(fēng)頭正勁。作為一門高級編程語言,python除了不善于開發(fā)底層應(yīng)用,幾乎可以做任何事情。拿數(shù)據(jù)分析來說,從數(shù)據(jù)庫操作、數(shù)據(jù)IO、數(shù)據(jù)清洗、數(shù)據(jù)可視化,到機(jī)器學(xué)習(xí)、批量處理、腳本編寫、模型優(yōu)化、深度學(xué)習(xí),python都能完美地完成,而且提供了不同的庫供你選擇。
除此之外,Jupyter notebook是進(jìn)行數(shù)據(jù)分析非常優(yōu)秀的交互式工具,為初學(xué)者提供了方便的實(shí)驗(yàn)平臺(tái)。
4、數(shù)據(jù)分析庫
除了上面提高的三類工具,其實(shí)還有一類數(shù)據(jù)分析庫,是比較適合高等數(shù)據(jù)分析師的,如果你還是一名剛剛?cè)腴T的新手,可以忽略這一小節(jié)的內(nèi)容。
pandas是一款不斷進(jìn)步的python數(shù)據(jù)科學(xué)庫,它的數(shù)據(jù)結(jié)構(gòu)十分適合做數(shù)據(jù)處理,并且pandas納入了大量分析函數(shù)方法,以及常用統(tǒng)計(jì)學(xué)模型、可視化處理。如果你使用python做數(shù)據(jù)分析,在數(shù)據(jù)預(yù)處理的過程,幾乎九成的工作需要使用pandas完成。
numpy是python的數(shù)值計(jì)算庫,包括pandas之類的很多分析庫都建立在numpy基礎(chǔ)上。
numpy的核心功能包括:
numpy之于數(shù)值計(jì)算特別重要是因?yàn)樗梢愿咝幚泶髷?shù)組的數(shù)據(jù)。這是因?yàn)椋?/p>
matplotlib和seaborn是python主要的可視化工具,建議大家都去學(xué)學(xué),數(shù)據(jù)的展現(xiàn)和數(shù)據(jù)分析同樣重要。
sklearn和keras,sklearn是python機(jī)器學(xué)庫,涵蓋了大部分機(jī)器學(xué)習(xí)模型。keras是深度學(xué)習(xí)庫,它包含高效的數(shù)值庫Theano和TensorFlow。?