fjrigjwwe9r0t_Info:InfoContent 隨著國家《文化產(chǎn)業(yè)發(fā)展綱要》的發(fā)布和出版社企業(yè)改制進程的加速,各出版社信息化建設也開始從局部信息化應用現(xiàn)狀向 “編印發(fā)財”同平臺、一體化的出版ERP系統(tǒng)升級換代。同時,有實力的出版社還著手引進上線OA協(xié)同辦公系統(tǒng)和數(shù)字出版加工系統(tǒng),在打造業(yè)務數(shù)字化管理平臺的同時建設行政網(wǎng)絡辦公平臺。門戶網(wǎng)站也開始升級改造,增加電子書在線銷售和紙質書網(wǎng)上發(fā)行的新功能!耙痪W(wǎng)兩平臺、多系統(tǒng)建設”成了許多出版社信息化建設的最新目標。 隨著各出版單位局部信息化系統(tǒng)的增加,使得本可以共享的數(shù)據(jù)在各部門和各系統(tǒng)之間卻不能共享和流通,各自孤立工作的信息系統(tǒng)造成了大量的數(shù)據(jù)冗余和繁重的重復勞動,嚴重影響了“一網(wǎng)兩平臺”的應用性能。出版社為信息化投入了大量的財力、人力,為何還會出現(xiàn)上述問題?答案其實很明確,建設方案忽視了信息化建設中的另一項重要內容:企業(yè)應用集成(EAI)。 何為EAI(Enterprise Application Integration)?EAI是通過建立《數(shù)據(jù)交換平臺》來聯(lián)系橫貫整個出版社的異構系統(tǒng)、應用、數(shù)據(jù)源等,完成在出版社內部的ERP、財務管理、OA、數(shù)字出版系統(tǒng)、網(wǎng)站系統(tǒng)以及其它重要的內部系統(tǒng)之間共享和無縫地交換數(shù)據(jù)。數(shù)據(jù)集成則是企業(yè)應用集成的重要環(huán)節(jié),出版社實現(xiàn)數(shù)據(jù)集成,可以使更多的人更充分地使用已有數(shù)據(jù)資源,減少資料收集、數(shù)據(jù)采集等重復勞動和相應費用,提高信息平臺的管理效能。 傳統(tǒng)企業(yè)的應用集成多采用程序接口方案,一般采用項目編程實現(xiàn)。如果有N個應用系統(tǒng)需要集成,就需要建立N(N-1)/2個接口程序。這種方式不僅技術復雜而且費用不菲,長期應用其擴展性和適應單方程序升級都很費事,同時其可靠性極差。目前大多數(shù)出版社的企業(yè)應用集成做得不是很好也是因為多采用此方法。 山東出版集團“基于WEB平臺的出版業(yè)務綜合管理平臺”建設時,因在平臺規(guī)劃設計之初就充分考慮了企業(yè)集成問題,所以引進了山東中創(chuàng)公司作為整個項目建設的系統(tǒng)集成商。集成商按照信息中心陳鋼副主任提出的方案,采用.NTE技術結合IBM的ETL工具,推陳出新定制開發(fā)了數(shù)據(jù)倉庫系統(tǒng),支持整個平臺各異構系統(tǒng)之間的數(shù)據(jù)集成。截至2009年9月,該系統(tǒng)已經(jīng)運行了兩年半時間,實踐證明其系統(tǒng)穩(wěn)定性和安全性都比較高,不足之處是每當增加新的集成任務時都需要集成商安排專人修改程序,重新進行調試和部署安裝,擴展性較差。 2007年,我公司研發(fā)推出了《平章數(shù)據(jù)交換中心系統(tǒng)2.0》,首次將企業(yè)應用集成產(chǎn)品化,沿襲了ETL是企業(yè)數(shù)據(jù)集成的主要解決方案的思想,同時開發(fā)了用于集成任務擴展的系統(tǒng)設置模塊、調度引擎和消息引擎。

ETL中三個字母分別代表的是Extract、Transform、Load,即抽取、轉換、加載。(1)數(shù)據(jù)抽。簭脑磾(shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)源系統(tǒng)需要的數(shù)據(jù);(2)數(shù)據(jù)轉換:將從源數(shù)據(jù)源系統(tǒng)獲取的數(shù)據(jù)按照業(yè)務需求轉換成目的數(shù)據(jù)源系統(tǒng)要求的形式,并對錯誤、不一致的數(shù)據(jù)進行清洗和加工;(3)數(shù)據(jù)加載:將轉換后的數(shù)據(jù)裝載到目的數(shù)據(jù)源。 ETL原本是作為構建數(shù)據(jù)倉庫的一個環(huán)節(jié),負責將分布的、異構數(shù)據(jù)源中的數(shù)據(jù),如關系數(shù)據(jù)平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉換、集成,最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中,成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎。在《平章數(shù)據(jù)交換中心系統(tǒng)2.0》中,則將ETL應用于各分散系統(tǒng)、分散平臺之間的數(shù)據(jù)遷移、數(shù)據(jù)交換和數(shù)據(jù)同步。其工作體系圖如下:

數(shù)據(jù)抽取支持全表和增量抽。粩(shù)據(jù)清洗可以針對各個系統(tǒng)的各個環(huán)節(jié)可能出現(xiàn)的數(shù)據(jù)二義性、重復、不完整和違反業(yè)務規(guī)則等問題先行試抽取,將有問題的記錄先剔除出來,根據(jù)實際情況再做相應的清洗調整操作;數(shù)據(jù)轉換支持在ETL引擎中轉換和直接使用SQL語句進行轉換兩種方式,可以針對數(shù)據(jù)交換中心數(shù)據(jù)庫建立的模型,通過一系列的轉換來實現(xiàn)將數(shù)據(jù)從業(yè)務模型到分析模型,通過內建的庫函數(shù)、自定義腳本或其他的擴展方式實現(xiàn)了各種復雜的轉換,并且支持調試環(huán)境,清楚地監(jiān)控數(shù)據(jù)轉換的狀態(tài);數(shù)據(jù)裝載也同樣支持SQL語句裝載和批量工具裝載,兩者的區(qū)別在于前者裝載時進行了日志記錄,裝載內容可恢復,后者易于使用,并且在裝入大量數(shù)據(jù)時效率較高。 為提高交換效率和解決負載均衡,系統(tǒng)設計有專門的任務調度工作引擎,用以管理數(shù)千個來自不同系統(tǒng)的數(shù)據(jù)交換任務,可以順序排隊,亦可優(yōu)先處理,或者按照更高級的組合策略進行。任務完成情況則通過消息引擎及時反饋、記錄,便于用戶觀測。 系統(tǒng)最為核心的模塊是集成擴展模塊。當原有集成平臺有新系統(tǒng)增加或需要增加新的集成任務時,技術人員只需要按照需求編寫ETL任務包,并打上規(guī)則標簽,通過窗口加載,而企業(yè)人員只需要按照需要定義好任務執(zhí)行策略,交調度工作引擎模塊管理即可。如果交換發(fā)生變化,如某個系統(tǒng)升級,數(shù)據(jù)庫或外接任務事件發(fā)生變化,只需要對ETL任務包進行技術修改,而不需要大動接口程序。 系統(tǒng)采用微軟.NET3.5技術+SQL2008開發(fā),B/S架構。目前用于安徽出版集團、廣東省出版集團、中國電力出版社有限公司、中國鐵道出版社、黨建讀物出版社等多家出版單位。應用較長的有兩年多時間,已經(jīng)很好地實現(xiàn)了各單位“一網(wǎng)兩平臺、多系統(tǒng)”的企業(yè)應用集成任務。與傳統(tǒng)的接口程序方式完成企業(yè)應用集成相比,采用《平章數(shù)據(jù)交換中心系統(tǒng)》完成企業(yè)應用集成,不僅可減少企業(yè)的硬件投入,節(jié)約資金,同時整個企業(yè)應用集成的安全性、可擴展性都有了較高保障。
|