數(shù)據(jù)分析——可視化的機(jī)器學(xué)習(xí)建模

為什么需要數(shù)據(jù)挖掘

近年來，數(shù)據(jù)挖掘引起了信息產(chǎn)業(yè)界的極大關(guān)注，其主要原因是存在大量數(shù)據(jù)，可以廣泛使用，并且迫切需要將這些數(shù)據(jù)轉(zhuǎn)換成有用的信息和知識。獲取的信息和知識可以廣泛用于各種應(yīng)用，包括商務(wù)管理、生產(chǎn)控制、市場分析、工程設(shè)計(jì)和科學(xué)探索等。

數(shù)據(jù)挖掘，就是從大量數(shù)據(jù)（包括文本）中挖掘出隱含的、未知的、對決策有潛在價(jià)值的關(guān)系、模式和趨勢，并用這些知識和規(guī)則建立用于決策支持的模型，提供預(yù)測性決策支持的方法、工具和過程；是利用各種分析工具在海量數(shù)據(jù)中發(fā)現(xiàn)模型和數(shù)據(jù)之間關(guān)系的過程。這些模型和關(guān)系可以被企業(yè)用來分析風(fēng)險(xiǎn)、預(yù)測未來。

數(shù)據(jù)挖掘的目的就是從數(shù)據(jù)中“淘金”，是從數(shù)據(jù)中獲取價(jià)值的過程。數(shù)據(jù)挖掘是提供了從數(shù)據(jù)到價(jià)值的解決方案，“機(jī)器學(xué)習(xí)”是數(shù)據(jù)挖掘的基石，“建?！笔菙?shù)據(jù)挖掘過程中最關(guān)鍵的一個(gè)環(huán)節(jié)。

可視化的機(jī)器學(xué)習(xí)建模

Smartbi Mining以互聯(lián)網(wǎng)式用戶體驗(yàn)為目標(biāo)的全新產(chǎn)品設(shè)計(jì)，極簡風(fēng)格的流式建模，快速實(shí)現(xiàn)各種類型的數(shù)據(jù)挖掘應(yīng)用，為個(gè)人、團(tuán)隊(duì)和企業(yè)所做的決策提供預(yù)測性智能。

平臺具備流程化、可視化的建模界面，內(nèi)置實(shí)用的、經(jīng)典的統(tǒng)計(jì)挖掘算法和深度學(xué)習(xí)算法，這些算法配置簡單降低了機(jī)器學(xué)習(xí)的使用門檻，大大節(jié)省了成本，業(yè)務(wù)人員可通過輕松拖拉拽組件的操作，進(jìn)行可視化建模，完成模型流程的搭建，并能將模型發(fā)布管理。

該平臺將機(jī)器學(xué)習(xí)系統(tǒng)做成更加通用的、簡單易用的平臺，可以幫助企業(yè)將相關(guān)業(yè)務(wù)輕易接入該平臺，從而幫助企業(yè)利用機(jī)器學(xué)習(xí)的手段挖掘分析企業(yè)數(shù)據(jù)和解決相關(guān)的業(yè)務(wù)問題。

圖：拖拉拽建模示例

Smartbi Mining匯集50+種數(shù)據(jù)挖掘算法組件，靈活建立業(yè)務(wù)模型流程，主要包含基本的數(shù)據(jù)特征處理、分類、聚類、關(guān)聯(lián)、回歸、深度學(xué)習(xí)算法，以及支持Java和Python算法擴(kuò)展。

l  操作簡單

該平臺通過直觀易用的拖拽式操作可輕松實(shí)現(xiàn)數(shù)據(jù)準(zhǔn)備，數(shù)據(jù)預(yù)處理、特征工程、模型訓(xùn)練、模型預(yù)測與評估的全流程，讓用戶輕松使用機(jī)器學(xué)習(xí)技術(shù)。除此，用戶可通過對數(shù)據(jù)預(yù)處理操作、特征工程以及模型配置不同參數(shù)實(shí)現(xiàn)不同的任務(wù)需求。

l  豐富的數(shù)據(jù)預(yù)處理操作

該平臺支持并行化的預(yù)處理操作，并支持多種數(shù)據(jù)預(yù)處理操作，例如：合并行、去除重復(fù)值、過濾空值、增加序列號、類型轉(zhuǎn)換、隨機(jī)采樣、加權(quán)采樣、分層采樣、拆分等。

l  大量的實(shí)用算法

該平臺支持多種高效實(shí)用的機(jī)器學(xué)習(xí)算法，包含了分類、聚類、回歸等算法，其中包含了多種可訓(xùn)練的模型：邏輯回歸、漸進(jìn)梯度決策樹、決策樹、隨機(jī)森林、樸素貝葉斯、支持向量機(jī)、線性回歸、漸進(jìn)梯度回歸樹、K均值、DBSCAN、高斯混合模型。

l  支持文本分析

面對生活中海量以文本形式存在的數(shù)據(jù)，抽取出未知的、重要的、有價(jià)值的知識，如詞頻分析，分析用戶偏好、幫助知識管理、提升客戶服務(wù)等。

l  數(shù)據(jù)可視化

該平臺提供多種可視化效果，包括數(shù)據(jù)可視化、模型可視化和模型評估結(jié)果可視化。

l  挖掘模型自學(xué)習(xí)

平臺可以自動補(bǔ)充新數(shù)據(jù)重新訓(xùn)練，保證模型預(yù)測準(zhǔn)確性，極大減輕運(yùn)維人員的工作量。

l  模型集中管理，一鍵發(fā)布

該平臺實(shí)現(xiàn)對模型的集中管理，與商業(yè)智能平臺完美整合，使商業(yè)智能平臺擁有數(shù)據(jù)挖掘的功能。