|
來源：DAMA數(shù)據(jù)管理 1 范圍
本標準規(guī)定了XX公司數(shù)據(jù)質量管理內容、管理機制和工作流程。本標準適用于XX所有項目整個生命周期的數(shù)據(jù)質量管理，非項目可參照使用。2 術語和定義下列術語和定義適用于本文件 數(shù)據(jù)質量data quality
客觀反映業(yè)務數(shù)據(jù)固有特性的程度。注：“固有的” (其反義是“賦予的”)就是指在某事或某物中本來就有的，尤其是永久的特性。數(shù)據(jù)質量管理 data quality management
對數(shù)據(jù)從計劃、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發(fā)的各類數(shù)據(jù)質量問題，進行識別、監(jiān)控、預警、處理等一系列管理活動，并通過改善和提高管理水平使得數(shù)據(jù)質量獲得進一步提高。技術評估 technology assessment
科技主管部門對已審批的業(yè)務需求，組織相關部門和人員進行技術可行性評估，并作出評估結論的活動。數(shù)據(jù)質量監(jiān)控 data quality control
獲取業(yè)務各環(huán)節(jié)的數(shù)據(jù)質量信息，結合有關檢查規(guī)則和采集規(guī)則，對數(shù)據(jù)質量情況進行診斷，并及時向數(shù)據(jù)質量管理實施部門報告的活動。數(shù)據(jù)質量評估 data quality assessment
由數(shù)據(jù)質量管理實施部門根據(jù)需要發(fā)起，得到評估結果并作為依據(jù)評估指標和評估方法進行評價，數(shù)據(jù)質量改進的參考和依據(jù)。數(shù)據(jù)質量報告 data quality report
對數(shù)據(jù)質量日常監(jiān)控以及質量評估等過程累積的各種信息進行匯總、梳理、統(tǒng)計和分析，形成統(tǒng)計報告的過程。數(shù)據(jù)質量知識 data quality knowledge
在數(shù)據(jù)質量管理活動中獲取的有關數(shù)據(jù)質量問題處理的經驗和成果。3 數(shù)據(jù)質量管理內容與評價原則
3.1管理目標與內容數(shù)據(jù)質量分為絕對質量和過程質量，絕對質量是指業(yè)務數(shù)據(jù)的真實性、完備性和自洽性，過程質量指業(yè)務數(shù)據(jù)的使用質量、存儲質量和傳輸質量。數(shù)據(jù)質量管理目標包括： a)建立穩(wěn)定運行的數(shù)據(jù)質量測控體系，及時發(fā)現(xiàn)并改正數(shù)據(jù)質量問題；b)建立可靠的數(shù)據(jù)質量評估流程，判斷改進趨勢,衡量數(shù)據(jù)質量改進效果；c)建立一套改進、提升數(shù)據(jù)質量的管理機制。a)制定、修訂數(shù)據(jù)質量管理遵循的標準；b)確立、修訂數(shù)據(jù)質量管理工作流程、優(yōu)化部門協(xié)同機制；d)監(jiān)督日常數(shù)據(jù)質量管理的有序進行；a)信息類要素：由于對數(shù)據(jù)本身的描述、理解及其度量標準偏差而造成數(shù)據(jù)質量問題的影響要素；b)技術類要素：由于具體數(shù)據(jù)處理的各技術環(huán)節(jié)異常而造成數(shù)據(jù)質量問題的影響要素，技術實現(xiàn)上的某種缺陷是其產生的主要原因；c)流程類要素：由于系統(tǒng)作業(yè)流程和人工操作流程設置不當造成數(shù)據(jù)質量問題的影響要素；d)管理類要素：指由于人員素質及管理機制方面的原因造成數(shù)據(jù)質量問題的影響要素。3.2 數(shù)據(jù)質量評價原則a)完整性：數(shù)據(jù)是充分的，任何有關操作的數(shù)據(jù)都沒有被遺漏。主要包括實體不缺失、屬性不缺失、記錄不缺失和字段值不缺失；b)唯一性：數(shù)據(jù)值被約束成一組獨特的條目，每個值都是唯一的。主要包括主鍵唯一和候選鍵唯一；c)準確性 ：數(shù)據(jù)必須真實準確的反映實際發(fā)生的業(yè)務；d)精確性：計量誤差、度量單位等方面的精確度應符合業(yè)務需求；e)一致性：描述數(shù)據(jù)結構、數(shù)據(jù)值和他們的相互關系符合邏輯規(guī)則的程度。如統(tǒng)一數(shù)據(jù)來源、統(tǒng)一存儲和統(tǒng)一數(shù)據(jù)口徑；f)及時性：數(shù)據(jù)更新、修改和提取等的快速性程度，應符合業(yè)務需求；g)合規(guī)性：數(shù)據(jù)格式、類型、域值和業(yè)務規(guī)則的有效性。4 相關部門職責
4.1概述相關部門包括以下部門：業(yè)務主管部門、技術主管部門、技術承辦單位和數(shù)據(jù)質量管理實施部門。4.2業(yè)務主管部門職責a)對于擬開發(fā)的應用項目，對相關業(yè)務提出數(shù)據(jù)質量約束性需求；b)對于在開發(fā)的應用項目，從業(yè)務角度提供數(shù)據(jù)質量檢測方法和驗收標準；c)對于已運行的應用項目，根據(jù)應用狀況提出數(shù)據(jù)質量問題和改進建議；d)受理與本部門業(yè)務相關的數(shù)據(jù)質量管理協(xié)同通告，并作出處理反饋。4.3技術主管部門職責 技術主管部門是數(shù)據(jù)質量的主管部門，主要職責包括：a)組織制定、頒布數(shù)據(jù)質量管理、保障、控制和維護流程；b)組織制定、頒布數(shù)據(jù)質量管理和技術相關標準；c)監(jiān)督數(shù)據(jù)質量問題處理的整個流程并對數(shù)據(jù)質量的監(jiān)控結果進行評估；d)組織、協(xié)調相關部門，解決數(shù)據(jù)質量管理活動中的異常問題；e)受理、審批數(shù)據(jù)質量需求變更；f)針對已處理的數(shù)據(jù)質量問題發(fā)起處理效能評估；4.3技術承辦單位職責 a)協(xié)助數(shù)據(jù)質量管理實施部門解決業(yè)務應用系統(tǒng)數(shù)據(jù)質量問題；b)協(xié)助業(yè)務主管部門提出數(shù)據(jù)質量管理的業(yè)務需求；c)協(xié)助數(shù)據(jù)質量管理實施部門處理數(shù)據(jù)質量需求變更評估。4.4數(shù)據(jù)質量管理實施部門職責 受技術主管部門委托，負責數(shù)據(jù)質量管理的具體實施。主要職責包括：a)監(jiān)控數(shù)據(jù)質量問題；c)依據(jù)數(shù)據(jù)質量管理處理流程，負責數(shù)據(jù)質量管理系統(tǒng)運維；d)處理數(shù)據(jù)質量監(jiān)控系統(tǒng)告警，并向相關部門通告數(shù)據(jù)質量問題；e)經主管部門授權后，負責組織解決相關的數(shù)據(jù)質量問題；f)組織處理數(shù)據(jù)質量需求變更的評估；h)協(xié)助業(yè)務主管部門提出數(shù)據(jù)質量管理的業(yè)務需求。工作流程圖，數(shù)據(jù)質量管理流程工作流程見圖 1。圖 1：數(shù)據(jù)質量管理流程工作流程業(yè)務主管部門依據(jù)業(yè)務工作的實際情況，向技術主管部門提出相關業(yè)務系統(tǒng)的業(yè)務需求。需求提出過程中，技術承辦部門和數(shù)據(jù)管理實施部門應協(xié)助業(yè)務主管部門，就特定業(yè)務應用系統(tǒng)，歸納并提出業(yè)務需求。技術主管部門在受理業(yè)務主管部門提交的業(yè)務需要后，應對業(yè)務需求在規(guī)定時限內進行審批，并將審批意見告知業(yè)務需求提出部門。對于審批通過的業(yè)務需求，數(shù)據(jù)質量管理實施部門應在規(guī)定時限內，組織相關部門和人員，對業(yè)務需求進行技術評估，并給出評估結論。技術承辦單位，應協(xié)助科技主管部門開展業(yè)務需求的技術評估。技術承辦單位對已完成技術評估的業(yè)務需求，應依據(jù)業(yè)務需求組織并實施應用系統(tǒng)的設計與開發(fā)。對于技術承辦單位已完成開發(fā)的應用系統(tǒng)，其業(yè)務主管部門應在規(guī)定時限內組織測試與驗收。技術承辦單位和數(shù)據(jù)質量管理實施部門應協(xié)助業(yè)務主管部門，完成測試與驗收。對業(yè)務主管部門已驗收的應用系統(tǒng)，數(shù)據(jù)質量管理實施部門應組織實施應用系統(tǒng)的上線和日常運維工作。技術承辦單位應協(xié)助、配合數(shù)據(jù)質量管理實施部門開展應用系統(tǒng)的上線工作。對已上線的應用系統(tǒng)，數(shù)據(jù)質量管理實施部門應利用數(shù)據(jù)質量管理系統(tǒng)，開展數(shù)據(jù)質量監(jiān)控，并定期提供數(shù)據(jù)質量監(jiān)控報告。在數(shù)據(jù)質量監(jiān)控過程中產生的告警信息，數(shù)據(jù)質量管理實施部門應在規(guī)定的時限內開展告警信息分析，并對告警產生的原因作出判定。對于一般性告警信息，數(shù)據(jù)質量管理實施部門可直接按照操作規(guī)程給予處理，如：系統(tǒng)斷電等原因產生的告警；對于嚴重告警信息，應將告警產生的問題通告技術主管部門和相關業(yè)務部門。注：一般性告警是指系統(tǒng)運行環(huán)境異?；虿僮魇д`等導致的、具有偶發(fā)性、在短期內恢復且不產生嚴重后果的數(shù)據(jù)質量監(jiān)控告警。技術主管部門在受理數(shù)據(jù)質量管理實施部門通告的數(shù)據(jù)質量問題后，應組織協(xié)調問題所涉及的相關部門，協(xié)同確認并授權數(shù)據(jù)質量管理實施部門解決問題。數(shù)據(jù)質量管理實施部門在獲得授權后，應組織開展解決問題的工作并予以完成。技術承辦單位應協(xié)助數(shù)據(jù)質量管理實施部門解決問題的工作。對已處理的數(shù)據(jù)質量問題，數(shù)據(jù)質量管理實施部門應將問題處理結果在規(guī)定時限內通告技術主管部門、業(yè)務主管部門和技術承辦單位。各相關部門收到數(shù)據(jù)質量問題處理結果后，應在規(guī)定時限內對問題處理結果給予確認，并將確認結果和建議反饋數(shù)據(jù)質量管理實施部門和其他相關部門。數(shù)據(jù)質量管理實施部門應定期編寫數(shù)據(jù)質量監(jiān)控報告，歸檔備查。數(shù)據(jù)質量問題處理解決后應編寫數(shù)據(jù)質量問題分析報告，報送相關部門。對數(shù)據(jù)質量監(jiān)控報告和問題分析報告進行總結，編寫數(shù)據(jù)質量定期總結報告，報送相關部門。數(shù)據(jù)資源變更會引起系統(tǒng)內部和系統(tǒng)外部的數(shù)據(jù)質量問題。數(shù)據(jù)資源變更管理主要是利用元數(shù)據(jù)管理的分析功能對系統(tǒng)變更信息進行影響評估，并將變更信息及時告知數(shù)據(jù)質量管理相關部門，協(xié)同各部門完成數(shù)據(jù)資源變更處理工作，避免變更引起的數(shù)據(jù)質量問題。數(shù)據(jù)質量管理業(yè)務應在HG業(yè)務系統(tǒng)數(shù)據(jù)處理相關環(huán)節(jié)采集數(shù)據(jù)，供數(shù)據(jù)質量監(jiān)控分析使用并存檔。根據(jù)監(jiān)控數(shù)據(jù)對象性質的不同，采用多種定性或定量預警分析方法進行數(shù)據(jù)質量評價。根據(jù)告警所反映的數(shù)據(jù)質量現(xiàn)象的嚴重程度、影響范圍，設定嚴重性程度不同的告警級別。每一級別告警信息的發(fā)送都應具備多種送達手段。從數(shù)據(jù)采集、預警分析到告警生成，每個階段都需進行程序化管理。指對數(shù)據(jù)質量管理中產生的各類問題進行分析，并根據(jù)分析結果，方法進行處理，選擇適當?shù)姆绞健⒉⒏鶕?jù)處理效果歸納總結的處理過程。關鍵環(huán)節(jié)包括：問題發(fā)現(xiàn)、問題分析、問題通告、問題解決指派、問題處理方法設計、審評、實施和問題總結。指利用各種評估方法（如：直接評估法和間接評估法），根據(jù)數(shù)據(jù)質量問題影響程度的不同，以評估報告等形式，對數(shù)據(jù)質量的給以評價和改進建議。數(shù)據(jù)質量報告是對數(shù)據(jù)資源變更管理、數(shù)據(jù)監(jiān)控、數(shù)據(jù)質量分析、問題處理以及數(shù)據(jù)質量評估等過程積累的各種信息進行匯總、梳理、統(tǒng)計和分析，形成統(tǒng)計報告的過程。數(shù)據(jù)質量報告的發(fā)布具有一定的時效性。用戶應在所賦權限范圍內查看質量報告，防止信息泄露。數(shù)據(jù)質量報告的歸檔要求將相關報告按照分類,作為后續(xù)數(shù)據(jù)質量問題處理和分析的參照。歷史數(shù)據(jù)質量知識的積累為數(shù)據(jù)質量問題的解決提供參考方法。數(shù)據(jù)質量知識主要來源于對數(shù)據(jù)質量問題的記錄與總結，以及對問題解決過程自身的知識評價。數(shù)據(jù)質量知識的產生與利用過程是一個互相促進改良的過程，為數(shù)據(jù)質量管理的其他活動提供重要的支撐。
|
