數(shù)據(jù)準備——強大的跨庫整合

為什么需要跨庫整合能力

Smartbi支持多種數(shù)據(jù)源輕松接入，基本涵蓋了市面上所有主流的數(shù)據(jù)庫。無可否認多元的數(shù)據(jù)連接能力使Smartbi能快速連接現(xiàn)有數(shù)據(jù)源，構(gòu)建統(tǒng)一的數(shù)據(jù)分析平臺。但在項目實施過程中，往往會遇到以下的問題：

我們企業(yè)數(shù)據(jù)存儲在不同甚至不同類型的數(shù)據(jù)庫里面，當用戶查詢數(shù)據(jù)的范圍比較廣，并不限于一個數(shù)據(jù)庫時，需要跨多個數(shù)據(jù)庫進行關(guān)聯(lián)查詢分析，如果按照傳統(tǒng)的方式：先抽取到要通過ETL把數(shù)據(jù)都抽取到統(tǒng)一的庫中，就會十分費力。或是對現(xiàn)有業(yè)務(wù)代碼進行重構(gòu)，分別從兩個數(shù)據(jù)庫查詢數(shù)據(jù)，然后在業(yè)務(wù)代碼中進行join關(guān)聯(lián)。數(shù)據(jù)庫可能是分布在不同實例和不同的主機上，join關(guān)聯(lián)將變得非常麻煩。

針對這種問題，smartbi提供跨庫聯(lián)合數(shù)據(jù)源（smartbiUnionDB)：是系統(tǒng)內(nèi)置數(shù)據(jù)源，用于實現(xiàn)跨庫查詢的需要。應(yīng)對不同接口數(shù)據(jù)統(tǒng)一訪問問題，無需再進行數(shù)據(jù)抽取。比如將Oracle和SQLServer兩種數(shù)據(jù)源關(guān)聯(lián)，讓不同接口數(shù)據(jù)統(tǒng)一訪問，無需再進行數(shù)據(jù)抽取。

圖：數(shù)據(jù)跨庫整合架構(gòu)圖

跨庫整合的功能

跨庫聯(lián)合數(shù)據(jù)源（smartbiUnionDB)：是系統(tǒng)內(nèi)置數(shù)據(jù)源，用于實現(xiàn)跨庫查詢的需要。系統(tǒng)自動將新建的關(guān)系數(shù)據(jù)源信息添加到該跨庫聯(lián)合數(shù)據(jù)源中，或通過數(shù)據(jù)庫關(guān)聯(lián)界面將需要的數(shù)據(jù)源手動添加，進行跨庫查詢時使用。

目前支持做跨庫的數(shù)據(jù)源類型包括：高速緩存庫、Hadoop_Hive、星環(huán)、Vertica、CH、Greenplum、Infobright、Oracle、DB2 V9、MySQL、MS SQL Server、Spark SQL、Teradata_v12、Informix、IMPALA、PostgreSQL。

圖：跨庫示意圖

跨庫整合的亮點

1. 無需落地

Smartbi提供直接的跨庫查詢，并且內(nèi)置了數(shù)據(jù)跨庫查詢引擎，在內(nèi)存中進行關(guān)聯(lián)，數(shù)據(jù)無需落地。省去了中間抽取環(huán)節(jié)，保證查詢數(shù)據(jù)的實時性。

2. 快速部署，開箱即用

   系統(tǒng)內(nèi)置跨庫引擎，不需額外安裝部署。

3. 快速處理、良好擴展

對于海量大數(shù)據(jù)跨庫查詢，內(nèi)置的跨庫引擎能通過線性擴充，并行處理的方案，滿足企業(yè)成長需要。

4. 高性能的應(yīng)用

跨庫數(shù)據(jù)源支持應(yīng)用在數(shù)據(jù)集定義中，通常在可視化數(shù)據(jù)集和自助數(shù)據(jù)集中應(yīng)用比較廣泛。我們常規(guī)的這個數(shù)據(jù)分析底層結(jié)構(gòu)是基于數(shù)據(jù)源直接連我們的數(shù)據(jù)連接進行數(shù)據(jù)的分析展現(xiàn)，那這種情況如果我們的數(shù)據(jù)量比較少的情況下一般是沒有什么問題，但是我們的數(shù)據(jù)一旦達到某個級別之后我們的報表性能就會出現(xiàn)很大的一個瓶頸，甚至說導致我們的這個報表長時間刷不出來，以至于我們的系統(tǒng)崩潰，那這個時候就可以直接使用高速緩存庫機制，以保證系統(tǒng)具有較長的生命力和擴展能力最重要保障。

將數(shù)據(jù)抽取到高速緩存庫后，之后的查詢直接從高速緩存庫取數(shù)，來提高查詢性能。如在體驗中心的“體驗式場景5”在分析某公司的emplyees數(shù)據(jù)情況時，其中的雇員表（300,024條記錄）與薪資表（2,844,047條記錄）進行跨庫關(guān)聯(lián)，使用前高速緩存之前刷新數(shù)據(jù)至少要20秒；當數(shù)據(jù)抽取到高速緩存庫后，切換年份刷新僅需2秒，甚至更快。 

應(yīng)用案例