原創|大數據新聞|編輯:況魚杰|2020-11-25 11:55:42.423|閱讀 467 次
概述:現在,企業對數據觀念的轉變已經將數據管理推向了新的高度。數據科學是現在數據管理的核心組成部分,但數據管理和數據科學往往被視為兩種不同的活動。數據科學家工作在數據分析師、數據工程師和DBA之間,他們把時間花在為數據分析和競爭情報做好數據基礎設施上。但是,在不斷發展的下一代數據市場中,數據管理和分析將是市場成功的核心差異化因素,因此,數據管理和數據科學必須協同工作。
# 界面/圖表報表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
相關鏈接:
現在,企業對數據觀念的轉變已經將數據管理推向了新的高度。數據科學是現在數據管理的核心組成部分,但數據管理和數據科學往往被視為兩種不同的活動。數據科學家工作在數據分析師、數據工程師和DBA之間,他們把時間花在為數據分析和競爭情報做好數據基礎設施上。但是,在不斷發展的下一代數據市場中,數據管理和分析將是市場成功的核心差異化因素,因此,數據管理和數據科學必須協同工作。
《福布斯》的一篇文章提到了Everest Group的一項研究,該研究指出,到2025年,全球數據管理和分析市場將達到1350億美元。多年來,這個市場的廠商已經從功能到流程轉向平臺導向。在平臺導向中,數據不再被視為業務流程的副產品,而是業務的神經中樞。
一個組織的數據管理職能全面控制企業數據的獲取、存儲、質量、治理和完整性,從而監督該組織內所有數據相關政策的制定和實施。但是,數據管理團隊只管理數據資產,它通常不參與數據的核心技術應用。數據管理職能部門擁有所有的數據。在網絡研討會 "數據管理與數據戰略 "中,Peter Aiken談到了 "組織數據管理需求與數據戰略需求的優先級"。
另一方面,組織中的數據科學職能部門對數據資產的所有 "技術應用 "進行構思、開發、實施和實踐。在這個意義上,"技術應用 "意味著涉及企業數據的科學、技術、工藝和業務實踐。
數據科學團隊從不擁有任何數據,他們只是收集、存儲、處理、分析數據--然后向企業其他部門報告數據驅動的成果,以獲得業務收益。數據科學家被認為是數據科學和相關技術的專家,他們依靠高度專業化的知識(統計學、計算機科學、人工智能等知識)為企業提供數據驅動實踐的建議。
在實際工作中,數據科學職能隸屬于組織的數據管理職能。數據科學團隊為組織帶來了一套核心技術技能,以實施數據管理政策、程序和準則所規定的最佳實踐。
隨著數據的數量和復雜性急劇上升,數據管理已成為業務運作的最重要方面之一。數據管理做法涉及制定與數據有關的政策、程序、角色、責任和嚴格的訪問控制機制。
完善的數據管理戰略,以數據治理為重點,實現商業價值的最大化,目前已成為企業領導者和經營者討論的中心議題。企業中的數據管理團隊負責構思和制定所有的政策。
組織中不同部門的數據專業人員負責在日常數據相關工作中執行和遵循所有政策和準則。正如《數據管理與數據治理》中所解釋的那樣,數據治理已被確定為數據管理的核心組成部分。《數據管理與數據治理:改進組織數據戰略》中解釋了這一點。
在數據科學領域,戰略政策、程序和準則在數據技術項目的實施過程中起著重要作用,盡管在這個階段沒有一個管理角色直接出現。換句話說,組織數據戰略家通過塑造管理數據的政策、程序和準則來結束他們的工作;然后,數據科學家或其他數據專業人員的職責是遵守政策和準則,以確保組織-數據戰略藍圖的完整。
數據管理策略人員也會思考可能出現的違規行為和處罰措施,以便通過控制措施來監督企業數據策略的實施。
《邁向數據科學》指出,最近的幾次技術運動要求數據科學家重新思考數據管理實踐,以實現高級分析。這些技術運動是:
在典型的增強型數據管理系統中,數據集成、數據質量、主數據管理(MDM)、元數據管理和數據庫管理系統(DBMS)這五項核心數據科學活動通過工具完全或部分自動化。
通過使用先進的AI、Ml或分析工具,數據科學家可以從 "繁重的數據準備工作 "中解脫出來。通常情況下,數據科學家約有80%的時間花在為分析準備數據上;這些工具消除了這種耗時的參與--為復雜的分析工作留下了充足的時間,其中可能包括模型開發或數據解釋。增強型數據管理被列為Gartner 2020年十大數據分析趨勢之一。
一般數據隱私條例(GDPR)和CCPA等數據法規的出現,為現有的數據管理實踐增加了一個與數據科學重疊的新維度。新法規提供了更好的管理機制,尤其是在數據隱私、數據安全和道德方面,但卻使AI驅動的數據科學平臺變得復雜。現在,數據管理者不僅要考慮對數據隱私、安全和倫理實施嚴格的控制,還要擔心先進技術(AI、ML)對數據治理的影響。
在以法規為中心的數據治理、數據管理和數據科學實踐的新世界中,這些活動仍將是平行的活動,但會在一些情況下發生交叉。
這種碰撞的最終結果是什么?供應商和服務提供商將進行合并、收購和整合。
從嚴格的技術角度來看,Gartner已經奠定了企業數據管理和數據科學實踐的以下可觀察的轉變。
在理想的業務場景中,數據管理和數據科學實踐相統一,才能獲得最佳結果。那么,這兩種實踐如何協調呢?
根據Quora上的討論,數據管理專注于治理良好的數據收集和數據訪問。數據科學側重于從數據分析中得出戰略業務決策。數據管理的缺失表明 "數據科學由于數據質量差或無法訪問而提供糟糕的分析結果 "的風險。
本站文章除注明轉載外,均為本站原創或翻譯。歡迎任何形式的轉載,但請務必注明出處、不得修改原文相關鏈接,如果存在內容上的異議請郵件反饋至chenjj@fc6vip.cn