對數(shù)據(jù)分析和數(shù)據(jù)運營感興趣的童鞋看過來！這篇文章中作者深入淺出的闡釋了搭建一款BI系統(tǒng)的方法，分為BI系統(tǒng)的簡介、BI系統(tǒng)分類、BI系統(tǒng)搭建誤區(qū)、BI體系搭建、發(fā)展趨勢等多個維度來談，十分詳細，值得一讀。

如何搭建一款BI系統(tǒng)（如何搭建一款bi系統(tǒng)軟件）

一、BI系統(tǒng)介紹

1.1 什么是BI系統(tǒng)

BI的英文全拼是Business Intelligence，商業(yè)智能，簡稱BI。我們經(jīng)常能聽到企業(yè)說“上BI”、“建設(shè)BI系統(tǒng)”、“構(gòu)建BI決策平臺”等內(nèi)容。那么BI到底是什么呢？

(1) 最初起源于固定報表

在幾十年前，現(xiàn)代企業(yè)還沒BI的時候，就要固定出報表。

(2) 數(shù)據(jù)倉庫OLAP技術(shù)帶來的BI的發(fā)展

隨著企業(yè)的發(fā)展，只看財務(wù)、銷售固定報表，已經(jīng)不能滿足企業(yè)需要了，因為問題越來越復(fù)雜，局勢越來越多變，固定報表很難看清業(yè)務(wù)狀況，對決策支持越來越有限，但從幾十張常用報表，到開發(fā)幾百、上千張報表，開發(fā)量實在太大。于是產(chǎn)生了OLAP這種技術(shù)平臺，來快速實現(xiàn)人們對指數(shù)級上升的報表需求。

而由于報表都是基于歷史數(shù)據(jù)，所以沒必要從業(yè)務(wù)系統(tǒng)直接取數(shù)，且過多報表生成要影響業(yè)務(wù)系統(tǒng)本身，于是數(shù)據(jù)倉庫應(yīng)運而生。

(3) 定義

BI就是基于聯(lián)機事務(wù)處理（OLTP）產(chǎn)生的海量數(shù)據(jù)，將其從關(guān)系數(shù)據(jù)庫中提取出來，通過聯(lián)機分析處理（OLAP）或者數(shù)據(jù)挖掘等技術(shù)得出有價值的信息，為管理者提供決策支持。讓企業(yè)通過數(shù)據(jù)，客觀、有預(yù)見性地決策，實現(xiàn)智能的商務(wù)運作。（BI是面向業(yè)務(wù)決策的）

(4) 補充

然而實際情況并非那么理想，無論傳統(tǒng)行業(yè)，還是互聯(lián)網(wǎng)，都在強調(diào)拿數(shù)據(jù)說話，但看數(shù)據(jù)，說數(shù)據(jù)，并不意為著你就“智能”了，OLAP分析不能實現(xiàn)智能、數(shù)據(jù)挖掘分析也難以實現(xiàn)智能，原因就是商業(yè)（業(yè)務(wù)）的復(fù)雜、多變性。這也是我們總是感覺好的BI產(chǎn)品那么少的原因。

1.2 BI系統(tǒng)的分類

(1) 報表式

報表式BI主要是指產(chǎn)品中有各類固定樣式的報表設(shè)計，通常用來呈現(xiàn)業(yè)務(wù)的明細數(shù)據(jù)和指標(biāo)匯總，支持的數(shù)據(jù)量相對不大。中國的報表有著復(fù)雜的表頭、類似Excel的格式，國內(nèi)報表工具帆軟FineReport，對于中國式報表支持較好。

(2) 看板式

看板式BI主要是數(shù)據(jù)看板、數(shù)據(jù)大屏、數(shù)據(jù)駕駛艙等，特點是看板中的數(shù)據(jù)指標(biāo)、展示形式基本固定，以可視化圖表為主，看板式BI對數(shù)據(jù)分析支持較少，并且由于固定指標(biāo)，所以業(yè)務(wù)變化后升級看板BI需要一段時間，因此敏捷性較弱。

(3) 平臺式

平臺式BI主要是BI自助分析平臺，特點是業(yè)務(wù)人員或者業(yè)務(wù)側(cè)數(shù)據(jù)分析師，通過前端簡單工具就可以自行配置需要的數(shù)據(jù)報表、數(shù)據(jù)看板，項目周期短、易于后期維護，隨著數(shù)據(jù)中臺概念的興起，BI平臺成為潮流，數(shù)據(jù)和技術(shù)部門回歸技術(shù)支持的本位——做好底層技術(shù)和數(shù)據(jù)的支撐，由業(yè)務(wù)人員自行探索數(shù)據(jù)價值。

(4) 總結(jié)

這三類BI產(chǎn)品并無優(yōu)劣之分，各有其適用場景，我們需要根據(jù)業(yè)務(wù)發(fā)展的特點和實際需求去選擇合適的BI產(chǎn)品。

舉例子：看板式比起報表式，雖然使用可視化讓數(shù)據(jù)更直觀、更生動了，缺失了很多數(shù)據(jù)細節(jié)。

自助式比起看板式靈活了許多，但是有一定的使用門檻（比如可能需要使用SQL）、也會受到業(yè)務(wù)人員數(shù)據(jù)素養(yǎng)的高低的限制（比如是否能將業(yè)務(wù)思維轉(zhuǎn)化為數(shù)據(jù)分析思維）。

今天我們講的BI系統(tǒng)主要是報表式和看板式。

二、BI系統(tǒng)搭建的常見誤區(qū)

2.1 做了一大堆數(shù)據(jù)指標(biāo)：沒有區(qū)分出指標(biāo)的重要性

問題：當(dāng)你不是從0到1跟一個產(chǎn)品，那么此時你可能沒你們的運營懂產(chǎn)品的各項數(shù)據(jù)，當(dāng)你問你們運營問那些指標(biāo)是比較重要的，因為他們所處的崗位不同，看事情的角度不同，最后你會發(fā)現(xiàn)得到一個結(jié)果：一大堆的指標(biāo)，都重要。

解法：

① 可以問人事或者他們的部門負責(zé)人要一下部門的績效考核指標(biāo)，也許這些就是他們最重要的指標(biāo)。

② 可以和部門的負責(zé)人溝通，那些是他比較關(guān)注的指標(biāo)，那就應(yīng)該從這些指標(biāo)做起。

2.2 指標(biāo)做了但沒什么用：區(qū)分哪些是虛榮指標(biāo)

問題：做了很多常見的PV、UV、月活、總用戶數(shù)、總商品數(shù)等等，但是其實這些都是虛榮指標(biāo)，因為他無法直接促進交易額的增長。uv、月活再多有什么用，用戶就是不購買。

解法：產(chǎn)品經(jīng)理需要識別那些是虛榮指標(biāo)，那些是更有用的指標(biāo)（指標(biāo)對于商業(yè)目標(biāo)有直接的作用）。一般能直接促進交易額、類似轉(zhuǎn)換率這種帶分子、分母的指標(biāo)都是非虛榮指標(biāo)。比如：

① 商行業(yè)的主路徑的轉(zhuǎn)化率，訪問-商品列表、商品列表-商品詳情、商品詳情-加購、加購-下單轉(zhuǎn)化率，這些都是降低流失就能提高交易額的。

② 用戶的次日留存、7日留存率（新用戶7日后是否再次訪問）、30日留存率等，這些能直接反應(yīng)用戶的質(zhì)量和運營做的好壞。

③ 商品的動銷率（銷售款數(shù)/上架款數(shù)），能直接反映這批商品的好壞。

2.3 難以兼顧各類用戶的需求：按主題進行BI看板設(shè)置

問題：每個人關(guān)注的數(shù)據(jù)粒度不太一樣，老板關(guān)注的和部門領(lǐng)導(dǎo)關(guān)注的是有差別的、部門領(lǐng)導(dǎo)關(guān)注的和一線的執(zhí)行人員關(guān)注的還是有差別的。

解法：這種情況，不能把看板都做在一起。而是按照主題進行區(qū)分。

在主題內(nèi)，按照一定的數(shù)據(jù)分析邏輯、數(shù)據(jù)查看邏輯建立起一定的故事體系，幫助用戶理解主題。

2.4 產(chǎn)品上線后老板對BI感受不深：如何體現(xiàn)出產(chǎn)品價值

問題：需要區(qū)分你的BI產(chǎn)品是面向哪類業(yè)務(wù)人員的，老板感受不深可能他并不是這個BI系統(tǒng)的核心用戶。

解法：BI產(chǎn)品上線后不是就結(jié)束項目了，而是要持續(xù)地進行產(chǎn)品運營：

① 進行產(chǎn)品埋點，了解用戶的使用情況，好的產(chǎn)品一定能夠獲得業(yè)務(wù)人員的喜歡。

② 對業(yè)務(wù)人員進行使用培訓(xùn)，多和他們溝通，不斷升級迭代，最終打造出一個有生命力的版本。

③ 日常運維一定要做好，保證數(shù)據(jù)的及時、準(zhǔn)確，否則做了再多培訓(xùn)推廣，產(chǎn)品質(zhì)量不過關(guān)，也會沒有口碑。

三、BI系統(tǒng)體系搭建

3.1 BI系統(tǒng)包含哪些模塊

數(shù)據(jù)采集：內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)· 數(shù)據(jù)開發(fā)ETL：數(shù)據(jù)處理，數(shù)據(jù)放入數(shù)據(jù)倉庫，按照BI需求進行應(yīng)用層數(shù)據(jù)開發(fā)。
數(shù)據(jù)算法/模型：數(shù)據(jù)挖掘算法，如預(yù)測、歸因……
前端應(yīng)用展示：前端可視化、實時更新、大數(shù)據(jù)量秒極查詢
權(quán)限管理：用戶訪問權(quán)限管理，一般到頁面、到按鈕。
監(jiān)控：數(shù)據(jù)異常報警、日常訪問情況統(tǒng)計。

3.2 BI系統(tǒng)搭建的業(yè)務(wù)調(diào)研：保證產(chǎn)品不走偏的前提

(1) 確定我們的業(yè)務(wù)用戶、產(chǎn)品目標(biāo)。一般來講有兩種情況：

① 項目有發(fā)起方，那么和發(fā)起方的領(lǐng)導(dǎo)層去溝通了解發(fā)起B(yǎng)I系統(tǒng)項目的背景、要解決什么問題，明確產(chǎn)品大方向。

② 如果是技術(shù)部門自己驅(qū)動的BI系統(tǒng)項目，則立項階段還需要做好公司內(nèi)部使用BI現(xiàn)狀（或者數(shù)據(jù)使用現(xiàn)狀）的調(diào)研。

(2) 用戶調(diào)研：用戶故事地圖

BI應(yīng)用是基于業(yè)務(wù)流程和數(shù)據(jù)的，IT測試人員僅能夠檢查計算結(jié)果是否準(zhǔn)確，但無法判斷分析圖表是否符合業(yè)務(wù)要求，數(shù)據(jù)結(jié)果是否有商業(yè)意義等。

用戶故事地圖是一種比較好的需求調(diào)研和需求梳理方法，能夠建立起團隊對需求的全局把握，又不失細節(jié)。

因為我們今天不是講用戶調(diào)研，就不展開了，大家感興趣可以去找一些資料來看。

(3) 決定產(chǎn)品規(guī)劃方案、選型

① 產(chǎn)品規(guī)劃方案：功能分組、分期（優(yōu)先級）

② 選型：報表式、看板式、平臺式

3.3 BI系統(tǒng)的設(shè)計原則

確定了產(chǎn)品方案和路線圖，接下來就需要進行系統(tǒng)設(shè)計，這里分享幾個設(shè)計原則：

(1) 簡單易用、數(shù)據(jù)準(zhǔn)確

BI應(yīng)用是否符合用戶習(xí)慣，數(shù)據(jù)是否準(zhǔn)確及時，是BI能否活下來的關(guān)鍵。

① 報表式BI：如何將表格中的細節(jié)數(shù)據(jù)更加友好的展示；

② 看板式BI：注重核心指標(biāo)，指標(biāo)與指標(biāo)之間的故事性、分析思維；

③ 平臺式BI：盡可能考慮低代碼支持、可視化操作、所見即所得等，畢竟業(yè)務(wù)人員會SQL不多；

(2) 可以集成現(xiàn)有系統(tǒng)

能夠適配企業(yè)現(xiàn)有數(shù)據(jù)庫選型，能保證項目在數(shù)據(jù)采集/數(shù)據(jù)接入時能夠順利

(3) 考慮多場景支持

① PC和移動兩類使用場景

盡量在架構(gòu)設(shè)計時就考慮未來移動端、PC端兼容的方案，要知道任何BI系統(tǒng)最后都會面臨移動化。

② 統(tǒng)一支持的數(shù)據(jù)分享方式

需要對數(shù)據(jù)下載、數(shù)據(jù)導(dǎo)出等數(shù)據(jù)分享方式進行統(tǒng)一設(shè)計。

(4) 考慮引入算法、模型

不要僅僅把BI當(dāng)成一款『看數(shù)』工具，在產(chǎn)品設(shè)計時適當(dāng)考慮引入算法或者未來引入算法模塊的技術(shù)架構(gòu)，能夠提升產(chǎn)品的定位，有助于發(fā)揮更大的價值。

(5) 考慮數(shù)據(jù)監(jiān)控、權(quán)限

一定要在架構(gòu)上就考慮數(shù)據(jù)異常的監(jiān)控機制和權(quán)限管理，否則后期加起來很痛苦。

四、BI系統(tǒng)未來發(fā)展趨勢

4.1 分析時刻

分析時刻是Gartner定義的一種數(shù)據(jù)分析流程，通過對數(shù)據(jù)進行可視化、探索和應(yīng)用算法，支持業(yè)務(wù)成果的交付，從而做出更好或更快的決策，實現(xiàn)業(yè)務(wù)流程的自動化。隨著數(shù)據(jù)使用門檻逐步降低，自助式、平臺式BI成為趨勢，數(shù)據(jù)分析的主動權(quán)會逐步轉(zhuǎn)移到業(yè)務(wù)人員手中，數(shù)據(jù)分析直接由遇到業(yè)務(wù)問題的業(yè)務(wù)人員發(fā)起，業(yè)務(wù)人員可以使用數(shù)據(jù)分析工具/平臺完成數(shù)據(jù)分析內(nèi)容。

舉例：當(dāng)一名業(yè)務(wù)人員想知道某個商品的線上銷售預(yù)測，或者為什么購物車中的商品沒有被某些客戶轉(zhuǎn)化為購買，在過去，這名業(yè)務(wù)人員必須求助于IT部門的專業(yè)數(shù)據(jù)分析師（提取可能相關(guān)的數(shù)據(jù)，輸出特定分析報告）、數(shù)據(jù)科學(xué)家（建立預(yù)測模型），但是試想一下，如果BI系統(tǒng)中建立了常用的預(yù)測算法模型、歸因分析工具，可以方便的連接數(shù)據(jù)集，業(yè)務(wù)人員自主快速完成分析內(nèi)容，他通過自助分析很快就知道了這幾個數(shù)據(jù)結(jié)論或者問題原因，從而做出業(yè)務(wù)上的反饋。

4.2 增強分析

增強分析主要是指以機器學(xué)習(xí)為基礎(chǔ)的數(shù)據(jù)分析和BI功能，通過機器學(xué)習(xí)、人工智能等技術(shù)的應(yīng)用將常見通用的數(shù)據(jù)分析的場景沉淀為產(chǎn)品功能中，幫助普通用戶在沒有數(shù)據(jù)科學(xué)專家或 IT人員協(xié)助的情況下完成數(shù)據(jù)分析。增強分析的底層理念是“簡單易用”，能夠支撐用戶在沒有專業(yè)知識背景下，完成數(shù)據(jù)的“收集-準(zhǔn)備-整合和分析”全過程。

增強分析包含增強數(shù)據(jù)準(zhǔn)備、增強機器學(xué)習(xí)、增強數(shù)據(jù)分析這些模塊。這里主要講在數(shù)據(jù)分析中的應(yīng)用趨勢。

(1) NLP和NLG的應(yīng)用

① 自然語言分析，無需寫SQL，通過語言和可視化來分析數(shù)據(jù)

舉例：ThoughtSpot使用搜索和NLP作為訪問數(shù)據(jù)的主要界面，用戶可以通過打字或者語音提出問題。

如何搭建一款BI系統(tǒng)（如何搭建一款bi系統(tǒng)軟件）

② 對話式數(shù)據(jù)分析，數(shù)據(jù)對話機器人

自然語言轉(zhuǎn)化成 SQL，再將 SQL 結(jié)果集轉(zhuǎn)化成可視化的圖形，形成了”NL2SQL2Graph”的完整鏈路。

舉例：阿里小蜜（入口：淘寶）

如何搭建一款BI系統(tǒng)（如何搭建一款bi系統(tǒng)軟件）

③ NLG技術(shù)（自然語言生成），將機器分析出的觀點結(jié)論以語言形式展現(xiàn)給用戶。

舉例：tableau的explain Data功能，會自動針對所選值提供由 AI 驅(qū)動的解釋。此功能會在后臺檢查數(shù)百個可能的解釋，并呈現(xiàn)可能性最大的那些解釋。

如何搭建一款BI系統(tǒng)（如何搭建一款bi系統(tǒng)軟件）

(2) 自動洞察和自動可視化① 自動洞察( automated insights )

自動洞察是指機器自動地從數(shù)據(jù)中發(fā)現(xiàn)潛在信息和價值：發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)、發(fā)現(xiàn)數(shù)據(jù)異常、自動進行聚類。

現(xiàn)在大部分的主流 BI 平臺都有自動洞察的相關(guān)功能推出。

舉例：微軟的 PowerBI 的Quick Insights 功能能夠自動對于源數(shù)據(jù)做出各種交叉的一階或者多階計算 ( 百分比，排序，同環(huán)比 )，從而挖掘數(shù)據(jù)內(nèi)部各種趨勢。

如何搭建一款BI系統(tǒng)（如何搭建一款bi系統(tǒng)軟件）

https://www.c-sharpcorner.com/article/quick-insights-and-power-bi/

②自動可視化 ( automated visualization )

根據(jù)數(shù)據(jù)結(jié)果自動的選擇可視化的方式進行展示，以清晰的展現(xiàn)數(shù)據(jù)分析結(jié)果。

有2個方向：

自動選擇圖表：當(dāng)查詢出數(shù)據(jù)集后，機器會根據(jù)數(shù)據(jù)特點，自動生成合適的圖表。圖表自動化現(xiàn)在主流的BI工具都已經(jīng)支持了，比如tableau，選擇好數(shù)據(jù)集后第一眼看到的不是數(shù)據(jù)，而是自動的可視化圖表。
自動生成報告：比自動選擇圖表更高一層，自動生成報表布局、配置控件、圖表聯(lián)動等。

技術(shù)上有2種實現(xiàn)方法：