
數據接入平臺
數據交換
將分散建設的若干應用信息系統進行整合,通過計算機網絡構建的信息交換平臺,使若干個應用子系統進行信息/數據的傳輸及共享,提高信息資源的利用率,保證分布異構系統之間互聯互通。 提供客戶接入端軟件部署在每個應用系統的前置機上,實現數據交換平臺和各信息系統的有機結合,在客戶接入端實現數據的自動提取與轉換。
ETL工具
ETL系統支持將海量數據從不同的來源端經過抽?。╡xtract)、轉換(transform)、加載(load)至目的端,為多源、多種類、多格式數據提供靈活、可靠、高效的數據清洗、轉換、與加載能力。
數據治理
建立數據管理體系和標準,確保信息系統所使用的主數據的唯一、完整和統一。梳理與建立各項統計數據指標,為組織提供及時準確的決策分析數據基礎。 構建覆蓋整個組織范圍內的信息化標準,建立信息化標準管理組織和規范制度,保障企業信息化建設的方向和質量。 制訂編碼標準是基礎,規范編碼內容是過程,建設編碼平臺是技術手段,建立組織和流程是前提和保障。
數據存儲
Hdfs,Hbase,Hive,Oracle,Mysql,MongoDB,Redis,ElasticSearch
結構化數據
結構化數據也稱作行數據,是由二維表結構來邏輯表達和實現的數據,嚴格地遵循數據格式與長度規范,主要通過關系型數據庫進行存儲和管理。結構化數據標記是能讓網站以更好的姿態展示在搜索結果當中的方式。

半結構化數據
它是結構化的數據,但是結構變化很大。因為我們要了解數據的細節所以不能將數據簡單的組織成一個文件按照非結構化數據處理,由于結構變化很大也不能夠簡單的建立一個表和他對應。其存儲方式有:1、化解為結構化數據 2、用XML格式來組織并保存到CLOB字段中

非結構化數據
非結構化數據是數據結構不規則或不完整,沒有預定義的數據模型,不方便用數據庫二維邏輯表來表現的數據。包括所有格式的辦公文檔、文本、圖片、XML, HTML、各類報表、圖像和音頻/視頻信息等等。

分析挖掘
離線分析
離線分析流程:不同數據源獲取數據、Hadoop集群數據、計算(Hive、Spark、 MapReduce)、數據展示(T+1計算)
實時分析
實時分析流程:業務數據、消息隊列、Storm實時編程、Redis、數據展示 (秒級計算)

數據可視化
數據可視分析是將數據呈現給用戶以易于感知的圖形符號,讓用戶交互地理解數據。由可視交互界面為基礎的分析推理科學,將圖形學、數據挖掘、人機交互等技術融合在一起,形成人腦智能和機器智能優勢互補和相互提升。

行業應用




