【為什麼我們要挑選這篇文章】由工程師轉換到數據分析領域,許多人第一個面臨的困難就是荒廢了演算法技能、工作變成每天都在製作報表,但如何在這個崗位有更大的發揮,製作出讓老闆眼晴為之一亮的報表呢?讓我們來看看過來人怎麼說。(責任編輯:呂珈寧)
原創 IT 技術管理那些事兒。看到文末,你不會對這篇超實用的文章失望的。我是一名演算法工程師,在某個大工廠工作….
但是工作了大半年,我發現我的演算法技能沒有增加多少,反而 SQL 的水平提高了很多,因為一天到晚都在寫,感覺自己就是一個 BI 報表哥,而且我還經常安慰自己:業務第一,取數要緊…
雖然總不能把代碼叫數據探勘,用 SQL,Excel 叫數據分析,只要能解決問題就好,但我的心裡總是過意不去,我一演算法工程師為什麼會去做報表?
同樣的,我發現別人也有這樣的問題:
同樣的,也會有人懷疑 BI、報表這個崗位的未來在哪裡:
以前做大數據平台還好,也可以上手弄 Hadoop、Spark、Storm、Flink 以及 Kafka 等集群,但是做了 BI 和報表之後,除了 SQL 和 ETL,我什麼也做不了。
其實這件事很好解決,不能看你的 title,這個崗位分化極大,而是看你想完成什麼事情,以什麼手段去完成這些事情。
我曾經也在大型企業搭建過數據中心,從專案規劃到技術選型都投入很大精力,日吞吐上千個 G,存量達到 2 個 pb,剛開始也經常被業務噴,現在得到了認可。
我是從哪幾個方面去做的呢?
1、規劃專案架構
我們需要在每個時間段規劃出這個專案所要達成的目標,比如一開始是手工報表,那我們有了數據倉庫和大數據平台之後,就應該變成自動化的報表。
有了 Hadoop 之後,我們的目標應該是 OLAP 分析,規劃做大一點總是對的。這裡的框架主要聚焦於企業內部,對於企業內的不同團隊、部門乃至於子公司,打通期間的數字藩籬,讓數據在企業內部以同樣的標準流動起來。
2、組建屬於自己的數據團隊
很多數/商分部門負責人上來以後意氣風發,會立下 Flag:數據驅動業務發展 / 360 度數據視圖/管理駕駛艙等等高大上的里程碑。
我負責任的告訴大家,要是這麼立就死定了。
要知道,傳統企業的數據收集比互聯網要複雜的多,光是把所有收集數據的源頭理清楚,從各個渠道(財務系統、ERP 系統、手工報表、自開發系統)把數據都要整合到一個數據倉庫裡就是超超超大量的工作,ETL 要做到吐血。
建立團隊要慢慢來,先找到能有快速產出的事情,再慢慢做困難的事情,比如老闆需要幫他做業務實時數據看板,很簡單的需求:就是實時,Excel 做不到。
這部分業務數據當時系統已經是現成的了,只是報表都是 T+1 出,於是我通過技術手段把 T+1 變成 T+0,實現過程沒那麼複雜,這得到了認可,於是我才有時間和資源去做剩下的事情。
3、選擇合適的報表和 BI 工具
到這一步,大數據平台基本算是搭建好了,拋開基礎架構不談,我們來看看應用層,這也是前端人員最容易接觸到的東西,評價好不好全都看這些。
這絕不僅僅是 IT 系統的建設和升級,但卻離不開 IT 系統的支撐。除了企業使用的管理和生產軟件外,我們還需要自動化、實時的大數據分析工具幫助我們處理大量的數據。
在這裡我推薦 FineReport,它的定位是報表工具,但是也能解決很多報表之外的事情,比如:視覺化大螢幕、大數據分析。在數據應用層,有這麼一個工具就夠了,更大的公司或許會用讓業務人員用到 BI 做更細緻的分析,也是可以的。
有了 FineReport,從 MySQL 建表、數據導入、製作日報、週報、月報,各種對比報表就會被逐一攻破,你以前都是用 Excel,數據收集一定很麻煩吧,而且還要擔心口徑不統一的問題。
而 IT 只需要向各業務部門的負責人收集數據,然後花幾分鐘導入數據庫,然後點點滑鼠,生成各種報表即可。
其實如果你想要更好的利用報表,數據倉庫是離不開的。如果本身沒有後端數據倉庫,宣稱自己是內存 BI,實際用起來對硬件要求極高,對於超千萬條的數據分析,必須藉助於其他 ETL 工具處理好數據再進行前端分析。
FineReport 和數據倉庫的關係:
一、數據倉庫前端應用展示工具,位於數據應用層,主要解決報表展示問題
二、在規劃報表體系的時候,能梳理數據指標、數據字典等
三、finereport 填報能解決一部分數據補錄問題
四、finereport 能整合數據(數據接口能力,豐富的 API 接口,能對接各種大數據平台和數據庫)
其他就是 finereport 的面向 IT 的開發優勢,太多了,這裡就先略過了,文中提到的都是。
如果你的老闆一直給你提到,能不能給他整一個數據駕駛艙(dashboard),而他現在只能看見財務部、運營部的 Excel 表格,覺得很 low,看見高顏值的可視化駕駛艙(dashboard)也想擁有。這時候,IT 人員就可以通過 FineReport 做出來,實時展現插件不能滿足,需要後台對數據庫頻繁請求,後台可用 java 開發,在需要數據的時候觸發前台的 ajax 往後台發命令獲取數據。
帆軟 FineReport 的大螢幕展現是這個原理,自身直接連數據庫,展示可用自帶圖表也可以集成 Echarts、Hightchart 插件。
(本文經合作夥伴 數據分析那些事 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈騰訊IT男轉行數據後感慨:沒用過報表工具,別說自己懂報表〉;首圖來源:Lukas Blazek on Unsplash。)
你可能會有興趣
從新創企業到大公司,各種工程師會用到的數據分析工具統統整理給你!
從工程師轉行數據科學家後需要做什麼?前輩建議:趕快把 SQL 練熟吧
【數據科學 ≠ 數據分析】都是以數據解決問題,程式語言使用卻大大不同
TechOrange《2022 雲端 AI 應用大調查》分析報告指出,「缺乏雲端/AI 專業人才」已經成為企業轉型時的最大痛點——痛的程度甚至超越「資料蒐集」這個大難題!
想知道自己有無具備雲端人才特質?立即點我下載報告,看更多 TechOrange 觀察到的台灣企業雲端、AI 競賽結果吧。
下載報告後還能搶先收看 Google 前台灣董事總經理簡立峰獨家剖析的 AI 趨勢!