久久天天躁狠狠躁夜夜躁app-久久天天躁夜夜躁狠狠 ds005.com-久久天天躁夜夜躁狠狠2018-久久天天躁夜夜躁狠狠85-久久天天躁夜夜躁狠狠85台湾-久久天天躁夜夜躁狠狠ds005

數據模型與數據治理(三)| 漸進實現企業數據模型
金融科技
2024.06.21

導語:


隨著越來越多的企業認識到數據作為生產要素的價值,加快了企業數字化轉型,把完善企業級的數據治理體系作為企業數字化轉型的一個目標。長亮科技在大數據領域始終保持足夠的技術敏銳度,并積累了豐富的經驗與資產。為此,我們組織了一個系列專文,分期發表,與您一起探索更適合當下行業發展的數據觀,歡迎大家持續關注。


作者|長亮科技大數據研究院

內容|本篇共4730字,預計閱讀時間18分鐘


點擊下方圖片回顧往期內容



既然企業數據模型如此重要,為什么許多企業不啟動企業數據建模呢?


企業對企業數據模型的認知與行動,整體上可以概括為以下四類:


l 企業數據模型的少數先行者。他們經歷了多年的訓練,積累了豐富經驗,也吸取了深刻教訓,企業有能力,有動力,管理層有魄力,集中了業務與數據領域精兵強將,投巨資開發了企業邏輯數據模型,并以此指導數據領域有序開展工作。


l 拿來主義跟隨者。這些企業不想重走先行者的老路,希望購買企業數據模型直接用于指導數據領域工作,期望快速見效。


l 清醒的務實者。這些企業認識到了企業數據模型的價值以及建模的重要性與急迫性,也充分估計到實現的復雜性與高風險,對自身團隊能力以及可投入資源有清醒的認識,暫時沒有采取實質行動。


l 某些企業不了解甚至不認可企業數據模型的價值,認為企業數據模型約束開發人員,延緩開發進程,阻礙業務創新發展。這些企業往往歷史沉淀積累少,可用資源不足,快速變化已成慣性。


金融行業進行企業級數據治理與建模是監管需要,也是支持未來長期發展的需要。不管企業數據現狀能力如何,都可以在開發企業數據模型方面有所作為。


在實施建設企業數據模型之前,對實施的目標與路徑應該有清醒的認識。



01

不要試圖一次性對企業數據建模


早在 20 世紀 80 年代初期,一些組織開始實施企業邏輯數據模型,遵循當時的最佳實踐,試圖一次性對整個企業數據進行建模,80 年代末許多項目因為資金緊張停止了。40年后,雖然數據管理、數據治理、數據架構、主數據管理、元數據管理、數據建模等數據管理知識體系已經日趨完善,但現實仍面臨許多挑戰,不能支持在一個項目中一次性實現企業數據建模。


l 團隊組建、參與、協調推進難。為了開發、維護和豐富擴展企業數據模型,需要組建大型專業與管理團隊,協調所有主要參與者一起參與整個數據建模過程,否則數據模型是不完整的。這些來自各個部門的業務領域參與者(如,各種數據所有者、數據管理員、數據消費者),基本都是業務骨干,無法脫產全程專職參與,很難有效推進工作。


l 歷史與現狀問題難以解決。要找到并解決當前業務人員之間存在的所有相互沖突的數據視圖和業務規則需要花費太長時間,找到并解決目前系統之間存在的所有數據冗余和數據不一致問題需要更長時間,很多問題很難徹底解決,除非重構系統。


l 建設周期長,見效慢。因為建設周期太長,會延遲新系統的實施(除非凍結需求,但是監管等需求不允許推遲)。業務人員與管理層看不到企業數據建模者對利潤的貢獻,很可能失去對項目的支持。


l 企業數據模型設計沒有終態,需要持續發展。在滿足企業現狀的同時,關注行業正在發生的變化,考慮業務未來發展的前瞻性,定期更新改進。也因此模型設計需要采用科學的設計模式,以保障模型的穩定性、可擴展性。


因此,建議各企業采用增量迭代方法構建企業數據模型,兩個模型之間的任何差異、歧義或不一致都將呈現給參與者協商解決,每次迭代投入少,時間短,都可以獲得增量價值(并及早發布使用),隨著時間的推移,各種與企業數據模型脫節的特定項目數據模型將減少,逐步實現企業數據模型與模型價值。





02

不要企圖構建完整的企業數據模型


沒有任何企業數據模型可以定義所有可能存在的數據實體與屬性,不要企圖,也沒有必要定義企業所有的數據構建完整的企業數據模型。


l 如果需要企業數據模型管理所有數據的創建與維護,模型本身將成為數據開發與使用的瓶頸,可能還沒有發布就已過時,因為企業數據結構與需求已經發生了某些變化(并沒有遵守企業數據模型),企業數據模型也不能準確反映當前的業務與數據。


l 業務系統與數據應用系統要快速響應業務與監管需求的發展變化,如果模型包含過多細節,將延誤系統開發進度,影響正常的業務工作開展,束縛業務創新,企業數據模型對這些系統將事實上失去作用。


l 模型設計初期首先設計關鍵實體,收益的增加超過成本的增加。后期邊際收益隨著模型的豐富而下降,可能因為管理一些不重要的數據,邊際成本大幅度增加,但沒有帶來相應的邊際收益。



數據倉庫之父Bill Inmon認為企業數據模型包括關鍵主題領域、與業務運營關注的關鍵實體,為每個關鍵實體創建詳細的邏輯模型。數據建模領域著名專家Steve Hoberman建議僅在主題域級別創建企業數據模型,級別越高越穩定。一些企業有穩定成熟的組織、業務、流程,隨著時間推移,應向下細化,達到企業邏輯數據模型。



03

正確使用外購數據模型


從需求說明書、業務手冊、行業規范等內部、外部文檔資料以及通過頭腦風暴、研討會、訪談等方式,識別業務關注的內容,提取關鍵概念,從零開始設計企業數據模型,工作效率低,進展緩慢。可以自上而下借鑒外部成功的產品與經驗,自下而上從當前數據反向工程設計企業數據模型。


l 借鑒成熟的行業數據模型。這些行業數據模型產品包括主題模型、概念模型、邏輯模型完整的模型組件,提供主題域、實體、屬性的定義以及分類與關系等業務規則,已經經過許多企業驗證,可以作為企業數據模型的關鍵輸入或作為參考目標以評估現狀、確定差距,根據企業自身業務與條件進行裁剪或擴充,從而縮短周期,減少成本,降低風險。行業數據模型一般都采用抽象與范式的設計模式以提升模型的穩定性、可擴展性,專業設計門檻要求比較高。


l 借鑒外部特定企業的數據模型。這些模型一般也是基于行業數據模型客制而來,大量通用設計被隱藏,突顯該企業特點與設計師個性化設計,其參考價值可能沒有原行業數據模型高,要慎重引入與科學參考使用,如果不考慮差異而教條照搬,可能浪費資源與時間,降低實施效率。如,大型銀行的業務產品線全面,自主開發能力強,主數據、參考數據管理成熟,有強大的組織與資源支持;而中小銀行的業務產品線比較狹窄,組織規模、結構、分工甚至業務流程都存在差異,開發主要依賴第三方,資源支持能力相差懸殊。



沒有一套行業數據模型能完全切合該行業所有企業,沒有任何一套外購的邏輯數據模型是完美的,嘗試完全重用其他企業的數據模型可能不起作用。



04

不要企圖越過模型設計的某個階段


企業數據建模需要經歷主題模型、概念模型、邏輯模型三個不同詳細級別的設計階段,每個階段的輸出是下一階段的輸入,每個階段對于整個模型的構建以及對數據的理解都很重要。


l 每個企業數據模型組件,都有其受眾群體以及數據管理的用途。以企業數據模型指導數據資產盤點為例,首先對資產按主題分類,然后與概念模型實體映射,在概念級別確定哪些是關鍵資產與垃圾資產,這樣就不需要投入大量資源去做垃圾資產字段級的梳理了。


l 許多實踐忽視了主題模型與概念模型的設計,直接設計邏輯模型。模型是語義理論的基本原則與數據建模的基本原則相結合的結果,概念模型是邏輯模型設計的基礎,概念的內涵與其表達的外延應該一致,一旦模型設計進入邏輯設計階段,說明干系人已經對概念模型達成了一致的理解。主題域是數據的高級分類,所有數據對象都與數據主題域綁定。定義和命名每個主題領域的過程很重要,因為它提供了在業務邊界之間就對組織至關重要的主題達成共識的機會。主題模型與概念模型是穩定的數據架構基礎,如果不設計主題與概念模型,讓用戶直面數萬屬性項的Excel邏輯模型,許多用戶可能對一些概念有各自的理解而無法溝通交流,邏輯模型也可能因為自身的種種問題而崩塌。


l 外購數據模型不能減少企業數據建模的過程。即使外購數據模型,也需要一個消化吸收的過程,從頭開始開展工作,對每個主題與關鍵實體、屬性以及業務規則,根據企業的實際情況進行調整,并在數據社區宣傳,獲取反饋,以期達成干系人一致的理解與共識。



05

建立數據管理職責分配矩陣


數據模型是業務人員與技術人員的接觸交互點,數據主題領域、實體、屬性,是數據管理的不同詳細粒度。模型設計過程需要業務參與分工,根據企業規模、數據管理成熟度等,設置數據管理的角色,賦予相應的管理職責與內容,最大限度地提高管理數據質量、價值、可用性和安全性的有效性和效率。


l 數據管理專員以整個企業的視角來幫助打破數據孤島,幫助確定或批準將數據從源轉換到目標的規則,保證企業跨業務領域的數據質量和有效利用。業務數據管理專員與干系人一起定義和控制數據,負責本領域子集的數據定義、生產與使用。每個數據主題域被分配一個或多個業務領域業務數據管理專員,確保每個業務領域都有相應的業務數據管理專員負責。


l 數據所有者對其管理領域內的數據具有批準權限,可以是某個業務數據管理專員。企業數據的所有權非常重要,通過識別和記錄跨業務和組織邊界的數據關系和依賴關系,把企業數據模型用作數據所有權管理工具,支持“共享”所有權。


l 技術數據管理專員負責一個數據源級的數據質量,他們是在某個知識領域內工作的IT專業人員,如數據集成專家、數據庫管理員、數據質量分析師或元數據管理員。


l 在數據架構管理中,數據管理專員評審、驗證、批準與完善數據架構,業務數據管理專員明確數據要求和規范,數據架構師依據規范設計企業數據架構。




06

根據自身能力現狀

建立明確的目標與可行的路徑


企業可以提供的資源、支持與能力影響初始范圍,決定了可以花多少時間、精力來構建和維護企業數據模型,如果初期設定了不切實際的范圍與目標,卻長時間難以交付實質內容,可能會讓干系人失去信心。


l 對于大多數企業來說,由于資源與能力所限,初始目標可以設定為實現企業級概念模型。企業內部關鍵的業務系統與數據應用系統,覆蓋了企業關鍵業務領域,對這些系統進行反向工程形成物理模型,參照行業數據模型進行分類與驗證,梳理出關鍵實體與屬性,重用現有模型的組件,迭代創建新模型。


l 如果企業已實施建設數據倉庫數據模型,可以此為基礎升級。企業級數據倉庫數據模型是企業級分析數據模型,一般基于成熟的行業數據模型設計,已經包含了豐富的實體,覆蓋了大部分重要數據,在此基礎上,建立數據管理職責分配矩陣,按照企業數據模型設計的要求進行修正、裁剪、補充。


l 少數組織已構建或初步構建企業邏輯數據模型,應完善組織,補充概念數據模型,修正邏輯數據模型,在企業范圍內廣泛宣傳,將不同層級模型用于管理不同的數據活動,在數據治理活動中持續優化、完善。



07

在實踐中完善組織

培養團隊與數據文化


建立一個隨時間持續發展和成熟的組織。隨著數據治理的深入與全面展開,起初建立的數據治理組織、職責、流程等需要逐步優化、完善,確保采用新的政策和流程獲得利益相關者的支持和認可,在整個企業得以遵循。


在企業數據建模與數據治理工作中發現潛質數據管理專員,認清他們做的工作,開發技能和知識,任命數據管理專員,正式明確他們的管理職責,讓他們做出更多貢獻。


創建企業數據模型的過程為企業不同人員提供了合作的機會,跨數據建模和數據治理的專家可以從彼此的協作中有所收益。數據治理人員可以利用建模人員的探索和分析結果確定當前的狀況和改進機會,在模型中記錄和執行正在推動的數據管理策略和標準,跟蹤與監控執行的進度。數據建模人員可以建立豐富的業務案例,修正數據定義與業務規則,優化治理工作流,優化數據建模最佳實踐。


建立與改良數據社區與文化。每一個企業的組織結構、文化與環境都是獨一無二的。每個企業的數據社區文化一定是有別于其他企業的,對數據的思維和行為進行文化轉變和持續的變革,每個數據干系人都應該具備數據意識,注意到數據具有生命周期,數據在企業數據生態系統中的流轉,各項工作對別人有影響,使大家成為互相的業務伙伴。



綜上所述,企業數據模型應該以增量和迭代方式在不同的詳細級別上漸進構建。組建團隊,培養專業能力,認真執行數據治理與建模每一項任務,建設數據文化,都需要團隊合作與時間,不要企圖一次性實現完美無缺的企業數據模型。不管企業現狀能力如何,都可以從開發企業數據模型中獲益,企業應根據自身實際情況進行符合企業自身實際的建模行為,在數據治理中漸進實現與組織能力一致的企業數據模型,逐步釋放出企業數據模型的價值。


讓中國金融科技 具有世界影響力
長亮科技更懂如何為您的數字化轉型賦能
主站蜘蛛池模板: 偷拍自拍网站 | 午夜天堂精品久久久久 | 成人做爰视频www网站小优视频 | 少妇愉情理伦片丰满丰满午夜 | 亚洲精品成av人片天堂无码 | 护士张开腿被奷日出白浆 | 成年网站免费观看 | 韩国美女一区二区 | 久久精品国产99久久99久久久 | 天天色综合图片 | 九月婷婷人人澡人人爽人人爱 | 欧美第一页草草影院 | 国产成人精品一区二区在线小狼 | 好吊视频| 99久久久精品免费观看国产 | 日本www.在线中文字幕 | 国产亚洲精品sese在线播放 | 欧美高清极品videossex | 亚洲精品久久久久无码精品 | 精品无码黑人又粗又大又长 | 99久久精品免费国产一区二区三区 | 国产69式A片 | 国产黄色在线看 | 精品视频69v精品视频 | 国产成a人亚洲精品无码久久网 | 国产尤物av尤物在线观看 | 五月丁香综合啪啪成人小说 | 国产精品无圣光一区二区 | 国产精品网址 | 少妇被躁爽到高潮无码文 | 免费美女视频网站 | 欧美mv日韩mv国产网站app | 色婷婷视频在线观看 | 波多野结衣在线资源 | 亚洲精品美女久久久 | 无码人妻精品一区二区三区夜夜嗨 | 日本AAAA片毛片免费观 | 男人j进女人p免费视频 | 台湾三级毛片 | 亚洲精品国产A久久久久久 亚洲精品国产suv | 国产乱妇无码大片在线观看 |