導(dǎo)語(yǔ)
數(shù)據(jù)服務(wù)平臺(tái)是大數(shù)據(jù)時(shí)代的必然產(chǎn)物，是支撐學(xué)校數(shù)據(jù)管理的基礎(chǔ)，是以“統(tǒng)一標(biāo)準(zhǔn)”、“統(tǒng)一處理”、“統(tǒng)一交換”、“保證質(zhì)量”、“透明開放”的方式，為不同業(yè)務(wù)系統(tǒng)、不同數(shù)據(jù)庫(kù)、不同數(shù)據(jù)格式之間進(jìn)行數(shù)據(jù)交換而提供服務(wù)的平臺(tái)。
它包括數(shù)據(jù)治理與數(shù)據(jù)共享交換，通過一套科學(xué)數(shù)據(jù)管理方法，對(duì)學(xué)校各業(yè)務(wù)域分散、重復(fù)、混亂的數(shù)據(jù)，進(jìn)行梳理、建模、整合、評(píng)價(jià)、控制，制定數(shù)據(jù)標(biāo)準(zhǔn)和工作規(guī)范，提高數(shù)據(jù)合規(guī)監(jiān)管和安全控制，對(duì)數(shù)據(jù)從產(chǎn)生、處理、整合、應(yīng)用、銷毀等全生命周期進(jìn)行管理，從而建立高質(zhì)量的數(shù)據(jù)管理體系和統(tǒng)一的主數(shù)據(jù)庫(kù)，支撐各相關(guān)業(yè)務(wù)高效運(yùn)行，實(shí)現(xiàn)學(xué)校管理者方便、安全、快速、可靠地利用數(shù)據(jù)進(jìn)決策，因此做好數(shù)據(jù)服務(wù)平臺(tái)建設(shè)的工作很重要。
那么
在實(shí)際建設(shè)過程中，
數(shù)據(jù)服務(wù)平臺(tái)
應(yīng)該重點(diǎn)考慮那幾個(gè)方面？
劃
重
點(diǎn)
目前市場(chǎng)上，很多廠商提供的數(shù)據(jù)治理或者共享數(shù)據(jù)交換平臺(tái)，以O(shè)DI和Kettle工具居多，并且通常都是單機(jī)模式部署，但是隨著任務(wù)量增多，就容易出現(xiàn)瓶頸，跑出問題，數(shù)據(jù)治理出現(xiàn)誤差，反而不能提高工作效率。
因此，數(shù)據(jù)服務(wù)平臺(tái)應(yīng)是基于《信息資源目錄》的分布式服務(wù)（datax，spark），將學(xué)校信息資源依據(jù)規(guī)范的數(shù)據(jù)描述，按照一定的分類方法進(jìn)行排序的一組信息，用以描述學(xué)校各個(gè)信息資源的特征，以便于對(duì)全校信息資源的檢索、定位與獲取，為學(xué)校數(shù)據(jù)共享提供支持與指導(dǎo)，datax，spark徹底解決了ODI和Kettle單機(jī)模式下的瓶頸問題。
2、如何有效減少人工運(yùn)維量？
傳統(tǒng)的數(shù)據(jù)治理與共享連接方式，需要將數(shù)據(jù)采集到中心庫(kù)統(tǒng)一供數(shù)，極大增加運(yùn)維工作量。
數(shù)據(jù)服務(wù)平臺(tái)的連接方式則依托數(shù)據(jù)項(xiàng)的組合進(jìn)行資源目錄的發(fā)布，實(shí)現(xiàn)任意兩點(diǎn)的數(shù)據(jù)同步，并在同步過程中執(zhí)行治理，實(shí)現(xiàn)的數(shù)據(jù)聯(lián)動(dòng)，快速反應(yīng)。
3、如何有效促進(jìn)國(guó)標(biāo)/校標(biāo)落地？
傳統(tǒng)的數(shù)據(jù)治理或者共享交換解決方案并沒有沒有明確聯(lián)動(dòng)與體系支撐，數(shù)據(jù)標(biāo)準(zhǔn)跟實(shí)際交換數(shù)據(jù)難以關(guān)聯(lián)，導(dǎo)致數(shù)據(jù)標(biāo)準(zhǔn)無法落地。
數(shù)據(jù)服務(wù)平臺(tái)將國(guó)家數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)項(xiàng)（表字段）進(jìn)行關(guān)聯(lián)，通過數(shù)據(jù)項(xiàng)與資源目錄管理，可將數(shù)據(jù)治理與數(shù)據(jù)共享交換融合打通，一套流程，便可實(shí)現(xiàn)標(biāo)準(zhǔn)的落地。
4、如何進(jìn)行有效的全量數(shù)據(jù)治理？
傳統(tǒng)數(shù)據(jù)治理范圍僅對(duì)中心庫(kù)（或稱主數(shù)據(jù)庫(kù)）內(nèi)容進(jìn)行數(shù)據(jù)治理，數(shù)據(jù)缺失，無法覆蓋全量的學(xué)校數(shù)據(jù)，包括學(xué)校歸檔數(shù)據(jù)，歷史版本數(shù)據(jù)等。
數(shù)據(jù)服務(wù)平臺(tái)則允許全量數(shù)據(jù)（第三方系統(tǒng)數(shù)據(jù)源）在平臺(tái)進(jìn)行注冊(cè)，并納入到數(shù)據(jù)服務(wù)體系的治理流程中，重新梳理數(shù)據(jù)資產(chǎn)，并常態(tài)化監(jiān)控學(xué)校現(xiàn)有數(shù)據(jù)情況。
5、如何解決數(shù)據(jù)故障的準(zhǔn)確定位？
傳統(tǒng)的數(shù)據(jù)申請(qǐng)與數(shù)據(jù)ETL無法使用統(tǒng)一流程進(jìn)行集成管理，數(shù)據(jù)ETL配置頁(yè)面需要進(jìn)入原生ODI或Kettle工具進(jìn)行處理，平臺(tái)對(duì)工具只能進(jìn)行監(jiān)控，不能進(jìn)行管理與任務(wù)的聯(lián)動(dòng)，導(dǎo)致難以準(zhǔn)確定位數(shù)據(jù)故障環(huán)節(jié)，極大增加運(yùn)維工作量。
數(shù)據(jù)服務(wù)平臺(tái)則使用先進(jìn)的分布式技術(shù)，將數(shù)據(jù)統(tǒng)一集成在一套任務(wù)流程下，通過任務(wù)監(jiān)控可以清晰看到數(shù)據(jù)從采集、ETL、供數(shù)等環(huán)節(jié)的執(zhí)行情況，實(shí)現(xiàn)全流程監(jiān)控。
三盟智校蘋果版APP
三盟智校安卓版APP
官方微信
