數(shù)據(jù)工程師和架構師被要求對企業(yè)數(shù)據(jù)進行比以往更多的處理。然而，企業(yè)想要用數(shù)據(jù)做什么和如何實現(xiàn)數(shù)據(jù)之間的知識差距日益擴大——特別是考慮到當今的人工智能炒作周期。面對市場上的喧囂，很容易看出組織如何努力跟上創(chuàng)新的步伐。 Qlik 和 Databricks 合作，通過提供一些真正的解決方案來幫助縮小這一差距，幫助架構師和工程師滿足不斷增長的業(yè)務需求。

免費試用Qlik

本博客總結了我們的最佳實踐技術指南中的關鍵見解，該指南提供了實用的技巧和技術，可幫助您從 Databricks 投資中獲得更多收益，并改進數(shù)據(jù)在分析和 AI 計劃中的交付和轉(zhuǎn)換。

1. 大規(guī)模自動捕獲變更數(shù)據(jù)。
   通過跨不同數(shù)據(jù)源自動執(zhí)行變更數(shù)據(jù)捕獲 (CDC)，公司可以消除手動數(shù)據(jù)提取，并通過架構演進和轉(zhuǎn)換功能簡化數(shù)據(jù)實時移動到 Databricks Lakehouse 平臺，從而為原始源數(shù)據(jù) AI 做好準備。

2. 性能優(yōu)化：文件大小配置。
   借助 Qlik Replicate、Change Data Capture，組織可以在將數(shù)據(jù)加載到表中之前調(diào)整數(shù)據(jù)復制的最大文件大小（以 MB 為單位）。配置文件大小可以提高初始完全加載期間的性能。然后，Databricks 用戶可以嘗試持續(xù)復制文件大小并根據(jù)特定用例進行微調(diào)。

3.對大型表進行分區(qū)可最大限度地提高 Databricks 的性能價值。
Databricks 提供了對 Delta 表進行分區(qū)的功能。建議對可能成為應用程序流程瓶頸的大表進行分區(qū)。

集群利用率——未分區(qū)

集群利用率 – 分區(qū)

1. 自動優(yōu)化選項。
   通過配置集群以獲得最佳性能，使用 Qlik 和 Databricks 微調(diào)效率。禁用 autoCompact 并啟用 optimizeWrite。此配置可防止延遲問題并最大限度地提高 Delta Lake 內(nèi)的數(shù)據(jù)查詢速度。安排定期優(yōu)化以進一步提高查詢速度并保持峰值性能。

2. 動態(tài)工作負載卷的自動縮放。
   通過監(jiān)控集群性能并根據(jù)實時使用和測試調(diào)整集群配置來自動縮放動態(tài)工作負載量。這確保了最佳的資源分配和效率。這種自適應方法可以擴大或縮小規(guī)模，以有效地滿足數(shù)據(jù)集成任務的需求。

3. 使用 Qlik 定制 SQL 倉庫。
   Qlik 根據(jù)特定要求（例如網(wǎng)絡拓撲、延遲、表結構、更新頻率和驅(qū)動程序版本）提供配置 SQL 倉庫的定制建議。

這些只是 Qlik 和 Databricks 可以為您的集成提供的一些免費屬性。下載 Qlik Cloud Data Integration with Databricks Best Practices Guide，了解如何實施上面分享的見解。從將 ETL 流程轉(zhuǎn)換為 ELT、配置集群以實現(xiàn)最高效率以及利用自動擴展功能，本指南展示了您今天可以采取的實際步驟，以從 Databricks 投資中獲得更多收益。

Qlik是一家私有SaaS公司，提供端到端實時數(shù)據(jù)集成和分析云平臺，以縮小數(shù)據(jù)，洞察力和行動之間的差距。通過將數(shù)據(jù)轉(zhuǎn)換為Active Intelligence，企業(yè)可以制定更好的決策，提高收入和盈利能力并優(yōu)化客戶關系。Qlik在100多個國家/地區(qū)開展業(yè)務，為全球50,000多個客戶提供服務。

作為Qlik官方的中國合作伙伴，我們?yōu)镼lik的中國用戶提供產(chǎn)品授權與實施、定制分析方案、技術培訓等服務，歡迎。我們旨在讓中國企業(yè)的每個Qlik用戶都能探索出數(shù)據(jù)的價值，讓企業(yè)形成分析文化。