關(guān)于美光科技公司

美光科技公司（Micron）設(shè)計(jì)并開發(fā)出了世界頂尖的存儲(chǔ)和半導(dǎo)體技術(shù)。他們開發(fā)的各項(xiàng)技術(shù)將無限可能化為現(xiàn)實(shí)。事實(shí)上，你可能每天都在各種產(chǎn)品中用到這些存儲(chǔ)：從計(jì)算、網(wǎng)絡(luò)和服務(wù)器應(yīng)用，到移動(dòng)、嵌入式、消費(fèi)類、汽車和工業(yè)設(shè)計(jì)。

40多年來，該公司在全球最重要的技術(shù)進(jìn)步中發(fā)揮了重要作用，為各種應(yīng)用提供了最佳的內(nèi)存和存儲(chǔ)系統(tǒng)。美光制造了業(yè)界最廣泛的閃存和存儲(chǔ)技術(shù)產(chǎn)品組合。其中許多是從硅片開始的，該硅片在美光的全球制造（“ fab”）地點(diǎn)之一中切成小片，即半導(dǎo)體材料的薄層，然后組裝成閃存產(chǎn)品。

挑戰(zhàn)

美光的解決方案團(tuán)隊(duì)使用數(shù)據(jù)分析測(cè)試并驗(yàn)證了用于提高閃存存儲(chǔ)能力的假設(shè)，這些分析主要關(guān)注于流行的工作負(fù)載和用例。企業(yè)數(shù)據(jù)的分析團(tuán)隊(duì)支持正在開發(fā)分析解決方案的數(shù)據(jù)科學(xué)家和工程師，為Micron提供競(jìng)爭(zhēng)優(yōu)勢(shì)。

內(nèi)存制造行業(yè)的競(jìng)爭(zhēng)優(yōu)勢(shì)以百分之一的分?jǐn)?shù)衡量，因此美光需要花費(fèi)大量時(shí)間來提高產(chǎn)量，縮短周期，并減少將產(chǎn)品投入市場(chǎng)所需的時(shí)間，這樣才能提高美光在市場(chǎng)的競(jìng)爭(zhēng)優(yōu)勢(shì)。

美光數(shù)十年來一直深入研究大數(shù)據(jù)。但是，隨著適用于大數(shù)據(jù)的Hadoop開源解決方案的增長，該公司需要一個(gè)數(shù)據(jù)平臺(tái)，使其能夠?qū)⒏嗟木Ψ旁诜治錾希皇菍⒕Ψ旁跀?shù)據(jù)管理上。 此外，該公司還想解決其Hadoop用戶在使用實(shí)時(shí)數(shù)據(jù)分析時(shí)遇到的延遲問題。

解決方案

美光注意到Hortonworks可以提供公司正在尋找的現(xiàn)代數(shù)據(jù)體系結(jié)構(gòu)，因此選擇了Hortonworks Data Platform（HDP）3.0，以使他們可以專注于分析，解決延遲并保持競(jìng)爭(zhēng)力。

美光最初將HDP用于其功能測(cè)試數(shù)據(jù)，這是一個(gè)非常大的復(fù)雜數(shù)據(jù)集。 此數(shù)據(jù)選中了解決方案團(tuán)隊(duì)提高過的“三個(gè)V”的所有框。每年的數(shù)據(jù)量超過PB，每個(gè)芯片的離散測(cè)量超過10,000次，在某些情況下，每個(gè)芯片的測(cè)量超過百萬次，而且數(shù)據(jù)捕獲的速度也很快，因?yàn)樵摴久刻焱ㄟ^數(shù)百萬個(gè)集成電路或裸片收集超過一萬億個(gè)測(cè)量值。

美光在這項(xiàng)初始功能測(cè)試中獲得了許多成功，但其中一個(gè)特別令人矚目——一種半導(dǎo)體制造偏移（產(chǎn)品或工藝偏差的術(shù)語），其中一些管芯超出規(guī)格，需要識(shí)別并包含 ，并且偏移原因已修復(fù)。質(zhì)量保證小組正在使用舊系統(tǒng)并瀏覽生產(chǎn)數(shù)據(jù)，他們認(rèn)為他們可以在大約7天內(nèi)識(shí)別出模具。知道這還不夠快，所以他們轉(zhuǎn)向HDP并使用Hive查詢數(shù)據(jù)。

“我們能夠在一小時(shí)內(nèi)識(shí)別出所有受影響的模具，” 數(shù)據(jù)團(tuán)隊(duì)領(lǐng)導(dǎo)人說。 “對(duì)于美光和我們的客戶而言，這是巨大的成功–對(duì)于HDP而言，也是巨大的成功。”

自從最初的功能測(cè)試數(shù)據(jù)集以來，該團(tuán)隊(duì)已將100多個(gè)其他數(shù)據(jù)集添加到環(huán)境中，以及100多個(gè)數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師來開發(fā)分析解決方案。這些解決方案已吸引了1000多名當(dāng)前正在使用該環(huán)境的用戶。美光將Apache NiFi用于數(shù)據(jù)接收管道，以提供安全的全局制造流程。

數(shù)據(jù)團(tuán)隊(duì)領(lǐng)導(dǎo)人說：“在每天中，有超過500,000個(gè)工作在我們的環(huán)境中運(yùn)行，而它們產(chǎn)生的分析對(duì)于美光的業(yè)務(wù)成功至關(guān)重要。” “我們運(yùn)行的大多數(shù)分析都是圍繞制造業(yè)進(jìn)行的，以提高產(chǎn)量，周期時(shí)間和新產(chǎn)品投入。”

改善HIVE加速的性能

美光公司在存儲(chǔ)解決方案中心對(duì)HDP進(jìn)行的首次調(diào)查是測(cè)試所有硬盤驅(qū)動(dòng)器（HDD）存儲(chǔ)與混合HDD和SSD的Hadoop性能。第一個(gè)測(cè)試方案將每個(gè)節(jié)點(diǎn)單個(gè)SSD與HDP 3.0和Hive加速環(huán)境結(jié)合在一起。該測(cè)試顯示，與10K RPM HDD群集相比，性能提高了兩倍半，從而加快了使用Hadoop進(jìn)行大數(shù)據(jù)分析的速度。

美光面臨的挑戰(zhàn)是使用他們的Micron IP來查看是否可以消除Hadoop用戶的延遲，而現(xiàn)在能夠通過SSD和HDP 3.0做到這一點(diǎn)。該平臺(tái)包括關(guān)鍵創(chuàng)新，最終可以為美光的業(yè)務(wù)提供更快的洞察力。

Hortonworks支持推動(dòng)成功

隨著其HDP環(huán)境的發(fā)展壯大，美光科技公司（Micron）感謝Hortonworks提供的支持。數(shù)據(jù)團(tuán)隊(duì)領(lǐng)導(dǎo)人說：“ Hortonworks在工程上的支持一直是我們?cè)谠撈脚_(tái)上取得成功的關(guān)鍵，并且確實(shí)有助于推動(dòng)我們?yōu)榭蛻籼峁┏錾慕鉀Q方案。”

關(guān)于Cloudera

在Hadoop生態(tài)系統(tǒng)中，規(guī)模最大、知名度最高的公司則是Cloudera。2018年與世界大數(shù)據(jù)巨頭Hortonworks合并，2019年被Cloud Report中評(píng)為大數(shù)據(jù)和Spark的領(lǐng)跑者。

在 Cloudera，我們相信數(shù)據(jù)可以使今天的不可能，在明天成為可能。我們使人們能夠?qū)?fù)雜的數(shù)據(jù)轉(zhuǎn)換為清晰而可行的洞察力。Cloudera 為任何地方的任何數(shù)據(jù)從邊緣到人工智能提供企業(yè)數(shù)據(jù)云平臺(tái)服務(wù)。在開源社區(qū)不懈創(chuàng)新的支持下，Cloudera推動(dòng)了全球最大型企業(yè)的數(shù)字化轉(zhuǎn)型歷程。

慧都大數(shù)據(jù)專業(yè)團(tuán)隊(duì)為企業(yè)提供Cloudera大數(shù)據(jù)平臺(tái)搭建，免費(fèi)業(yè)務(wù)咨詢，定制開發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團(tuán)隊(duì)，為您提供免費(fèi)大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！