Santander UK的大數(shù)據(jù)之旅始于四年前。他們是Apache Kafka等新數(shù)據(jù)流技術的早期采用者，希望通過對移動用戶使用實時數(shù)據(jù)和應用內(nèi)分析來徹底改變客戶體驗。

從那時起，Santander UK通過大數(shù)據(jù)技術增強了創(chuàng)新能力，得到了迅速發(fā)展。對大規(guī)模流式分析的需求大為增加并成為當下需求。今天，在Santander UK，Cloudera的大數(shù)據(jù)，機器學習和分析平臺通過Apache Kafka提供集成的高質量和可擴展的平臺即服務（PaaS）。

另一個對Santander UK下一代數(shù)據(jù)倉庫至關重要的技術組件是使用Apache Kudu實現(xiàn)對快速數(shù)據(jù)的快速分析。 結合Data Vault 2.0設計方法論的各個方面，它有助于從數(shù)百個Apache Kafka數(shù)據(jù)流中快速攝取數(shù)據(jù); 既可以從現(xiàn)有的傳統(tǒng)系統(tǒng)中卸載工作負載，也可以提供有關客戶行為和銀行當前狀態(tài)的問題。

加快面市速度

由于Santander UK的創(chuàng)新平臺通過Apache Kafka將傳統(tǒng)系統(tǒng)與新的Data Vault集成在一起，因此可以輕松地在線移動快速數(shù)據(jù)流。由于所集成數(shù)據(jù)的結構清晰，布到Apache Kudu Data Vault中的新事件流主要是配置驅動的 - 數(shù)據(jù)事件符合Data Vault 2.0方法的Hub，Satellite和Link結構。這允許schema對業(yè)務中的更改做出反應，或者對如何符合數(shù)據(jù)的新理解做出反應。

 Santander UK可以通過擴展基于Scala Akka和Apache Kafka的彈性事件交付平臺來影響數(shù)據(jù)轉換，從而實現(xiàn)實時的快速，可擴展的數(shù)據(jù)豐富。由于這種可重復使用的平臺和架構，可以實現(xiàn)更快，更及時的數(shù)據(jù)，更快的決策以及更快的面市速度。

數(shù)據(jù)科學和數(shù)據(jù)產(chǎn)品的快速原型

最終，這個流數(shù)據(jù)源會有許多潛在的消費者；然而，通過將Cloudera 數(shù)據(jù)科學工作臺（CDSW）集成到Data Vault，我們已經(jīng)收集到了一些有趣的洞察。這些為不斷擴大的數(shù)據(jù)科學團隊提供了全面的數(shù)據(jù)科學體驗，并且還是典型的Santander UK創(chuàng)新時尚 - 在解決重大工程和架構挑戰(zhàn)之前，可以快速將想法出原型并創(chuàng)建新的數(shù)據(jù)產(chǎn)品。構建一個快速原型，然后，如果它產(chǎn)生價值，就將其發(fā)展成一流的產(chǎn)品。

快速整合：貢獻模型

在Santander UK數(shù)據(jù)創(chuàng)新團隊實現(xiàn)創(chuàng)新和靈活性的過程中，他們創(chuàng)造了貢獻模型的概念。因為集群是多租戶的，有來自不同業(yè)務部的數(shù)據(jù)源、清理和工程化新數(shù)據(jù)集；如果認為對其它業(yè)務有用，可以使用Data Vault樣式鏈接表將這些有用的數(shù)據(jù)集成到Data Vault schema的核心。通過這種方式，團隊可以通過快速生成新的數(shù)據(jù)集組合來增加數(shù)據(jù)產(chǎn)品的價值，通過使用Cloudera Navigator進行治理來實現(xiàn)可追溯的血緣，以及使用Apache Sentry進行訪問控制的安全性。如果業(yè)務部門的數(shù)據(jù)被認為對其他人有用，則它與核心鏈接并根據(jù)治理原則共享。

貢獻模型允許我們利用由不同業(yè)務部門和產(chǎn)品團隊獨立創(chuàng)建的純數(shù)據(jù)集。如果這些數(shù)據(jù)對業(yè)務的其他部分有價值，我們就能夠通過利用鏈接表將其作為一等公民帶入Data Vault。我們希望將Apache社區(qū)方法復制到我們組織中的數(shù)據(jù)系統(tǒng)的開源軟件，以通過協(xié)作來改進創(chuàng)新。

- Nicolette Bullivant - Santander UK數(shù)據(jù)工程負責人

從傳統(tǒng)系統(tǒng)生成的原始事件流被認為是規(guī)范的，通常也是使用該集群的其他利益相關者所需要的。Santander UK數(shù)據(jù)創(chuàng)新團隊采用了確保這些事件流可供不同用例和技術使用的原則；因此，規(guī)范事件流可以重新分配到不同的目的地；HDFS文件系統(tǒng)，Apache HBase或Apache Kudu。這能為所有利益相關者創(chuàng)建單一真實版本，同時也避免了對傳統(tǒng)系統(tǒng)的反向壓力。

結論

 簡而言之，Santander UK直接在Cloudera堆棧上進行創(chuàng)新，耦合流數(shù)據(jù)，先進的軟件工程原理和框架，以及現(xiàn)代數(shù)據(jù)倉庫設計原則，以生成實時洞察，從而改善客戶體驗和客戶財務狀況。