企業(yè)空間 > 案例應用 > 正文

紫金橋實時數(shù)據(jù)庫——ETL數(shù)據(jù)抽取
發(fā)布時間：2014/2/28 8:38:49 修改時間：2014/2/28 8:38:49 瀏覽次數(shù)：1591

產(chǎn)品概述

在實際的應用中，需要采集的數(shù)據(jù)來源于其它系統(tǒng)(已經(jīng)處理或加工過的)并存儲在多個關系型數(shù)據(jù)庫中。（例如：石油石化行業(yè)中，新原油價格及各種重要化工產(chǎn)品價格，原油、石腦油等源材料的進廠量累計，公司本年度的經(jīng)營目標等，該部分數(shù)據(jù)分別來源于MES的生產(chǎn)數(shù)據(jù)庫和計劃系統(tǒng)的計劃數(shù)據(jù)庫）?；诖祟惽闆r，我們專門開發(fā)了一個數(shù)據(jù)抽取模塊。數(shù)據(jù)抽取模塊，將多個關系型數(shù)據(jù)庫中的生產(chǎn)數(shù)據(jù)按預先配置的抽取策略實時抽取到紫金橋歷史數(shù)據(jù)庫。

抽取模塊組成:

數(shù)據(jù)抽取模塊由抽取配置和抽取執(zhí)行程序兩部分組成。

第一部分數(shù)據(jù)抽取配置程序。
第二部分數(shù)據(jù)抽取運行程序。

功能概述：

1、可以與多種關系型數(shù)據(jù)庫進行鏈接。
2、集中抽取，可以把多個關系庫數(shù)據(jù)抽取到同一個實時數(shù)據(jù)庫中。
3、對列的類型進行轉換。

列映射

在將源端的表中內容復制到目標端時，可以通過配置條件將指定列（字段）映射到目標端的點參數(shù)上。

增加列

在將源端的表中內容復制到目標端時，通過配置條件可以增加一個數(shù)據(jù)列（字段），其值可以是固定值，也可以是表達式，然后映射到目標端的點參數(shù)上。

刪除列

在將源端的表中內容復制到目標端時，通過配置條件可以在執(zhí)行的結果集中刪除某列（原始表中的列不會被刪除），然后映射到目標端的點參數(shù)上。

列轉換

在將源端的表中內容復制到目標端時，通過配置條件可以將源表中的某個列的類型、長度等等進行轉換。如將Varchar2類型轉換成Int類型等等。

數(shù)據(jù)轉換

在將源端的表中內容復制到目標端時，根據(jù)配置條件將源表的某個列的數(shù)據(jù)進行轉換。例如將“男”、“女”轉換成“0”、“1”。這種轉換不涉及第三張表，也就是說這種轉換是固定的。

4、自由指定“抽取頻率”和“基準時間”。
5、支持調用關系庫的存儲過程（必須有返回集）。
6、提供清除噪聲數(shù)據(jù)的功能。

產(chǎn)品架構

數(shù)據(jù)抽取配置的實現(xiàn)方式采用4層架構：用戶界面層、業(yè)務處理層、傳輸層和數(shù)據(jù)處理層。

用戶界面層

用戶界面層為用戶提供簡潔友好的操作界面。通過用戶界面層可以方便的實現(xiàn)數(shù)據(jù)查看、編輯和維護等操作。用戶界面層將各項操作指令發(fā)送給業(yè)務處理層，在收到業(yè)務處理的響應后顯示在界面中。

業(yè)務處理層

業(yè)務處理層負責接收和處理用戶界面層的各項操作指令，并將指令的執(zhí)行結果發(fā)送回用戶界面層。
業(yè)務處理層接收到用戶界面層的指令后，首先對指令進行解析，部分指令直接在業(yè)務處理層完成邏輯處理；部分操作需要將解析后的指令通過傳輸層發(fā)送給數(shù)據(jù)處理層，在收到執(zhí)行結果后發(fā)送給用戶界面層。業(yè)務處理層同時管理組織機構的各種內容。

傳輸層

傳輸層負責將業(yè)務處理層解析后的指令發(fā)送給數(shù)據(jù)處理層，并將數(shù)據(jù)處理層的信息返回給業(yè)務處理層。
傳輸層通過連接管理模塊與指定數(shù)據(jù)源進行通訊，通過用戶驗證模塊驗證指定數(shù)據(jù)源用戶信息的合法性。在通訊過程中，傳輸層通過消息隊列模塊和數(shù)據(jù)緩存模塊提高通訊效率和增強系統(tǒng)穩(wěn)定性。

數(shù)據(jù)處理層

數(shù)據(jù)處理層負責最終執(zhí)行操作指令。在接收到操作指令后，數(shù)據(jù)處理層與實時數(shù)據(jù)庫或配置文件交互，最終將指令執(zhí)行結果通過傳輸層返回給業(yè)務處理層。

“ETL數(shù)據(jù)抽取”程序，抽取過程示意圖

產(chǎn)品特點

數(shù)據(jù)抽取的特點可以概括為：分布部署、快速實施、維護便捷。

分布式配置：隨著分布式技術和負載均衡技術的廣泛應用，越來越多的情況需要遠程配置抽取信息。為了適應這種變化，數(shù)據(jù)抽取從設計之初即采用分布式架構。通過選擇數(shù)據(jù)源的方式，可以在本地數(shù)據(jù)庫系統(tǒng)完成對指定數(shù)據(jù)源中抽取信息的配置。

集中抽取：支持由多個不同種類或相同種類的關系型數(shù)據(jù)庫數(shù)據(jù)向同一個實時數(shù)據(jù)庫抽取。

清除噪聲數(shù)據(jù)：數(shù)據(jù)倉庫系統(tǒng)中有可能存在著大量的噪聲數(shù)據(jù),引起的主要原因有：濫用縮寫詞、慣用語、數(shù)據(jù)輸入錯誤、重復記錄、丟失值等。即便是一個設計和規(guī)劃良好的數(shù)據(jù)庫系統(tǒng)，如果其中存在著大量的噪聲數(shù)據(jù)，那么這個系統(tǒng)也是沒有任何意義的，因為“垃圾進，垃圾出”（garbage in, garbage out），系統(tǒng)根本就不可能為決策分析系統(tǒng)提供任何支持。為了清除噪聲數(shù)據(jù)，必須在數(shù)據(jù)庫系統(tǒng)中進行數(shù)據(jù)清洗。數(shù)據(jù)抽取可以通過“匹配項”來完成數(shù)據(jù)的映射，從而達到清除噪聲數(shù)據(jù)的目的。

靈活的組織管理：數(shù)據(jù)抽取可以按照需要任意組織層級關系。如果發(fā)現(xiàn)層級關系建立錯誤，或實際層級關系發(fā)生改變時，現(xiàn)有的層級并不需要刪除，而是通過簡單的剪切與粘貼即可完成。

更多資訊，請登錄:www.realsoft.cc

企業(yè)介紹

紫金橋軟件研發(fā)始于1993年，是國家重點項目“九五攻關”與兩期國家“863計劃”的結晶。作為國家級高新技術企業(yè)，紫金橋軟件不僅是國內領先的工業(yè)控制軟件提供商，還憑借深厚的技術積累和行業(yè)影響力，持續(xù)為工業(yè)自動化領域提供安全、可靠、高效的解決… 更多>>

產(chǎn)品分類

聯(lián)系方式

紫金橋軟件技術有限公司

聯(lián)系人：李磊

地址：黑龍江省大慶市高新區(qū)服務外包產(chǎn)業(yè)園C1-817室

郵編：163316

電話：400-678-6601

傳真：0459-8151391-808

公司網(wǎng)址：http://realinfo.cc

該空間手機版

掃描此二維碼即可訪問該空間手機版

在線反饋

1.我有以下需求：
得到貴公司產(chǎn)品詳細資料得到貴公司產(chǎn)品的價格信息貴公司產(chǎn)品銷售人員聯(lián)系我貴公司技術支持人員聯(lián)系我
2.詳細的需求：
*
姓名:	*
單位:
電話:	*
郵件:	*

您還沒有登錄,請登陸, 如果您還沒有注冊,點擊這里注冊.

網(wǎng)友反饋

戴永鐵 在2024/6/11 14:51:00留言
留言類型：貴公司產(chǎn)品銷售人員聯(lián)系我,貴公司技術支持人員聯(lián)系我,
詳細留言：需要制藥工業(yè)領域的實時庫報表,包含矩陣配?、參數(shù)配方、數(shù)據(jù)（統(tǒng)計和歷史）、曲線、事件、報警、審計追蹤，這些內容可以組態(tài)化

曉同在2024/5/16 11:06:00留言
留言類型：我讓貴公司產(chǎn)品銷售人員聯(lián)系我,
詳細留言：紫金橋組態(tài)軟件V6.5,512點授權

李在2023/10/21 16:03:00留言
留言類型：貴公司技術支持人員聯(lián)系我,
詳細留言：OPC

鄭鑫汶 在2023/6/1 14:58:00留言
留言類型：我想得到貴公司產(chǎn)品詳細資料,我想得到貴公司產(chǎn)品的價格信息,我讓貴公司產(chǎn)品銷售人員聯(lián)系我,我讓貴公司技術支持人員聯(lián)系我,
詳細留言：需要咨詢貴公司軟件的價格功能

吳吉校 在2023/3/15 7:45:00留言
留言類型：我想得到貴公司產(chǎn)品詳細資料,我想得到貴公司產(chǎn)品的價格信息,我讓貴公司產(chǎn)品銷售人員聯(lián)系我,我讓貴公司技術支持人員聯(lián)系我,
詳細留言：組態(tài)軟件咨詢

更多請進入空間管理中心查看