本文來源是Searcher Seismic的數(shù)據(jù)與分析副總裁Joshua Thorp的博客

在這個大數(shù)據(jù)世界中，沒有解決任何數(shù)據(jù)問題的靈丹妙藥。

在Searcher Seismic改善數(shù)據(jù)管理的過程中，這種不言而喻的現(xiàn)象反復(fù)出現(xiàn)。我們意識到，每個選擇都有其折衷之處，而可靠的解決方案必定會集成許多單獨的技術(shù)和業(yè)務(wù)流程。

話雖如此，但有一些解決方案無疑比其他解決方案要好。關(guān)鍵是預(yù)先非常清楚地了解您的功能需求，以便您選擇最適合您需求的供應(yīng)商和承包商。

更有效地訪問和探索我們的數(shù)據(jù)

與許多行業(yè)一樣，石油和天然氣正在采用機器學(xué)習(xí)和數(shù)字化計劃。成功的實施取決于高質(zhì)量、組織良好的數(shù)據(jù)，這些數(shù)據(jù)保存在支持這些新技術(shù)的數(shù)據(jù)平臺上。

Searcher擁有大量全球地震數(shù)據(jù)，我們的客戶在計劃新的石油和天然氣勘探地點時將其用于制定關(guān)鍵任務(wù)決策。

傳統(tǒng)上，為客戶編譯數(shù)據(jù)集的過程非常耗時且緩慢，需要由三到四名Searcher人員組成的團(tuán)隊從一系列來源中提取大量信息。典型的時間表是幾周后才能通過郵寄方式傳遞信息。

借助我們的新系統(tǒng)，現(xiàn)在Searcher中的一個人只需單擊鼠標(biāo)三到四次，即可為我們的客戶提供對所需數(shù)據(jù)的直接訪問，他們可以通過Saismic?門戶查看這些數(shù)據(jù)或?qū)⑵鋫鬏數(shù)阶约旱姆治鱿到y(tǒng)。

靈活增長，不影響性能

在開始數(shù)據(jù)管理項目之前，我們進(jìn)行了大量研究，以使我們的要求和現(xiàn)有解決方案更加清晰。

我們研究了石油和天然氣行業(yè)以及其他行業(yè)如何進(jìn)行數(shù)據(jù)管理。從那里，我們確定了我們需要一個使用開源軟件的數(shù)據(jù)平臺，尤其是像Hadoop和Spark這樣的開源分布式計算軟件。

我們發(fā)現(xiàn)Cloudera（當(dāng)時為Hortonworks）擁有Hadoop生態(tài)系統(tǒng)的唯一完全開源發(fā)行版，現(xiàn)在稱為Cloudera數(shù)據(jù)平臺（CDP）。這極具吸引力，因為它支持許多行業(yè)已經(jīng)使用的諸如Apache Spark之類的技術(shù)，這些技術(shù)使我們能夠快速追蹤成功，而不必從頭開始構(gòu)建一切。它們的分布還使部署具有靈活性，我們可以在其中部署公共云、私有云或混合云解決方案。

另一個主要供應(yīng)商Pure Storage為我們的數(shù)據(jù)平臺提供了存儲組件。我們希望利用Cloudera平臺的獨立計算和存儲功能，將性能極高的Pure Storage Flashblade與Cloudera工具包的強大數(shù)據(jù)工具集成在一起，以兼得兩者。

我們的軟件團(tuán)隊與Pure Storage銷售工程師和Cloudera專業(yè)服務(wù)團(tuán)隊合作，構(gòu)建了一個集成的混合云解決方案，最終使我們擁有了一個可以以非常靈活的方式增長而又不影響性能的數(shù)據(jù)平臺。我們對這種部署模型的TCO分析顯示，它比純公共云部署少了2至10倍，同時可以提高整體性能。

集成團(tuán)隊提供量身定制的解決方案

我們發(fā)現(xiàn)，接觸Cloudera的專業(yè)服務(wù)團(tuán)隊具有巨大的價值。這使我們能夠與世界一流的數(shù)據(jù)工程師接觸，他們可以與我們的領(lǐng)域?qū)＜乙黄鸾⒆钸m合我們業(yè)務(wù)運作方式和我們想要實現(xiàn)的數(shù)據(jù)平臺。通過這種方式，我們可以為我們的公司提供早期的成功，同時隨著我們的努力而將平臺的知識基礎(chǔ)遷移到我們的內(nèi)部開發(fā)中。

通過與Cloudera的合作，我們發(fā)現(xiàn)他們渴望了解我們的業(yè)務(wù)和數(shù)據(jù)，然后根據(jù)我們的要求和預(yù)算創(chuàng)建量身定制的解決方案。此外，他們與我們的員工進(jìn)行了包容性合作，幫助確定項目中出現(xiàn)的風(fēng)險并解決問題。這有助于我們專注于項目成果并構(gòu)建最佳的數(shù)據(jù)平臺。

挑戰(zhàn)與回報

這是Searcher進(jìn)行的最大的技術(shù)項目，因此，在我們不斷前進(jìn)的過程中，我們學(xué)到了很多東西，但我們對結(jié)果感到滿意，并對數(shù)據(jù)平臺的持續(xù)開發(fā)感到興奮。在Cloudera專業(yè)服務(wù)團(tuán)隊的支持下，我們正在建立關(guān)鍵的技術(shù)優(yōu)勢，例如能夠在我們的數(shù)據(jù)平臺內(nèi)以及為客戶應(yīng)用大規(guī)模的深度學(xué)習(xí)培訓(xùn)和預(yù)測。

如果您以前沒有做過，那么軟件開發(fā)就不容易，因此做功課至關(guān)重要。選擇合適的項目供應(yīng)商和合作伙伴也很重要。如果您的供應(yīng)商不了解您的問題并且無法幫助您實現(xiàn)目標(biāo)，即使他們擁有出色的產(chǎn)品或技術(shù)，也可能破壞項目。

關(guān)于Cloudera

在 Cloudera，我們相信數(shù)據(jù)可以使今天的不可能，在明天成為可能。我們使人們能夠?qū)?fù)雜的數(shù)據(jù)轉(zhuǎn)換為清晰而可行的洞察力。Cloudera 為任何地方的任何數(shù)據(jù)從邊緣到人工智能提供企業(yè)數(shù)據(jù)云平臺服務(wù)。在開源社區(qū)不懈創(chuàng)新的支持下， Cloudera推動了全球最大型企業(yè)的數(shù)字化轉(zhuǎn)型歷程。了解更多，請聯(lián)系。

慧都大數(shù)據(jù)專業(yè)團(tuán)隊為企業(yè)提供Cloudera大數(shù)據(jù)平臺搭建，免費業(yè)務(wù)咨詢，定制開發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團(tuán)隊，為您提供免費大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！