原創(chuàng)|產(chǎn)品更新|編輯:況魚(yú)杰|2020-05-07 14:56:45.417|閱讀 655 次
概述:Cloudera Machine Learning(CML)是Cloudera的新云原生機(jī)器學(xué)習(xí)服務(wù),專為CDP構(gòu)建。本文將會(huì)介紹CML的使用功能,以及Cloudera Machine Learning 和Cloudera Data Science Workbench的聯(lián)系。
# 界面/圖表報(bào)表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
Cloudera Machine Learning是Cloudera針對(duì)CDP構(gòu)建的云原生機(jī)器學(xué)習(xí)平臺(tái)。Cloudera Machine Learning將自助服務(wù)數(shù)據(jù)科學(xué)和數(shù)據(jù)工程統(tǒng)一在一個(gè)便攜式服務(wù)中,作為企業(yè)數(shù)據(jù)云的一部分,可對(duì)任何位置的數(shù)據(jù)進(jìn)行多功能分析。
Cloudera Machine Learning(CML)只是您可以在Cloudera數(shù)據(jù)平臺(tái)(CDP)上使用的眾多體驗(yàn)之一。 Cloudera Machine Learning使團(tuán)隊(duì)可以立即部署機(jī)器學(xué)習(xí)工作空間,這些工作空間可以自動(dòng)擴(kuò)展以適應(yīng)他們的需求,并可以通過(guò)使用kubernetes自動(dòng)掛起以節(jié)省成本。 所有這些都打包成可移植的體驗(yàn),多個(gè)團(tuán)隊(duì)成員可以輕松訪問(wèn)這些體驗(yàn),以在整個(gè)組織中提供一致的體驗(yàn)。在下面的視頻中,將帶您逐步了解CDP公共云上CML中的各種高級(jí)功能。(點(diǎn)擊可查看介紹視頻)
|
|
|
對(duì)于數(shù)據(jù)科學(xué)家 |
|
|
在可滿足您的業(yè)務(wù)和IT要求的平臺(tái)上獲取端到端機(jī)器學(xué)習(xí)工作流所需的訪問(wèn),工具和計(jì)算資源。 |
|
|
|
|
對(duì)于IT領(lǐng)導(dǎo)者 |
|
|
在不影響安全性和治理的前提下,為您的團(tuán)隊(duì)提供通過(guò)機(jī)器學(xué)習(xí)進(jìn)行試驗(yàn),迭代和影響業(yè)務(wù)所需的資源。 |
自助式數(shù)據(jù)訪問(wèn)
借助Cloudera Machine Learning,管理員可以輕松地在混合和多云環(huán)境中復(fù)制受控?cái)?shù)據(jù)集,以使數(shù)據(jù)科學(xué)團(tuán)隊(duì)可以自助訪問(wèn)他們所需的業(yè)務(wù)數(shù)據(jù),同時(shí)保持企業(yè)數(shù)據(jù)安全性和治理控制。
彈性,自動(dòng)暫停的資源
Cloudera Machine Learning使數(shù)據(jù)科學(xué)團(tuán)隊(duì)可以訪問(wèn)橫向擴(kuò)展的異構(gòu)計(jì)算資源,以快速完成工作,同時(shí)維護(hù)可調(diào)節(jié)的護(hù)欄,以幫助IT部門輕松管理和優(yōu)化基礎(chǔ)架構(gòu)資源和成本。
首選的開(kāi)放軟件工具
除了適用于Spark的Python,R和Scala之外,現(xiàn)代數(shù)據(jù)科學(xué)團(tuán)隊(duì)還需要最新的開(kāi)源工具和庫(kù)來(lái)進(jìn)行創(chuàng)新,并在首選IDE中進(jìn)行協(xié)作。Cloudera機(jī)器學(xué)習(xí)使從業(yè)人員可以自由使用自己喜歡的工具,同時(shí)保持安全性,效率和可擴(kuò)展性,而無(wú)需管理開(kāi)銷。
可對(duì)云大規(guī)模批處理計(jì)分
當(dāng)在本地訓(xùn)練ML模型但推理數(shù)據(jù)存儲(chǔ)在云中時(shí),可以對(duì)駐留在云存儲(chǔ)中的大量數(shù)據(jù)進(jìn)行批評(píng)分。IT部門可以使用預(yù)先配置的資源利用防護(hù)欄來(lái)部署ML工作區(qū),數(shù)據(jù)科學(xué)團(tuán)隊(duì)則使用自動(dòng)縮放/掛起的TensorFlow/Spark作業(yè)快速處理數(shù)據(jù),不會(huì)損失任何成本。
云中數(shù)據(jù)端到端的ML工作區(qū)
Cloudera Machine Learning使IT可以輕松地從本地到云復(fù)制受管業(yè)務(wù)數(shù)據(jù),并為具有預(yù)先配置的資源消耗防護(hù)欄的團(tuán)隊(duì)部署新的ML工作區(qū),提供對(duì)模型訓(xùn)練和部署所需的數(shù)據(jù),工具和計(jì)算資源訪問(wèn)使用本地產(chǎn)生的數(shù)據(jù)。
端到端ML與云中生成的數(shù)據(jù)
Cloudera Machine Learning使IT人員可以使用預(yù)先配置的資源消耗防護(hù)欄為團(tuán)隊(duì)部署新的ML工作區(qū),從而使用云中固有的數(shù)據(jù)提供對(duì)模型訓(xùn)練和部署所需的工具和計(jì)算資源的訪問(wèn)權(quán)限。
CML與CDS的對(duì)比
CML是Cloudera Machine Learning,CDSW是Cloudera Data Science Workbench。對(duì)于現(xiàn)有的Cloudera Data Science Workbench用戶,本主題將有助于重點(diǎn)介紹Cloudera Data Science Workbench與它的原生云產(chǎn)品Cloudera Machine Learning之間的一些關(guān)鍵區(qū)別。
CML與CDSW有何關(guān)系?
CML利用云原生優(yōu)勢(shì)(如快速配置,彈性自動(dòng)縮放,分布式依賴項(xiàng)隔離和分布式GPU培訓(xùn))擴(kuò)展了Cloudera Data Science Workbench(CDSW)的端到端工作流。它可以運(yùn)行自己的本機(jī)分布式計(jì)算工作負(fù)載,而無(wú)需單獨(dú)的CDH群集進(jìn)行橫向擴(kuò)展計(jì)算。 它旨在在現(xiàn)有Kubernetes環(huán)境中的CDP上運(yùn)行,例如托管云Kubernetes服務(wù)(EKS,AKS,GKE)或Red Hat OpenShift,從而在提供多云可移植性的同時(shí)為某些客戶降低了運(yùn)營(yíng)成本。
兩種產(chǎn)品都可以幫助數(shù)據(jù)工程師和數(shù)據(jù)科學(xué)團(tuán)隊(duì)通過(guò)強(qiáng)大的安全性和治理來(lái)提高共享數(shù)據(jù)和計(jì)算的生產(chǎn)力,他們共享大量的代碼。
CML與CDSW的區(qū)別
主要區(qū)別在于:
CDSW | CML | |
---|---|---|
結(jié)構(gòu) | CDSW需要CDH或HDP群集,并在群集上的一個(gè)或多個(gè)專用網(wǎng)關(guān)節(jié)點(diǎn)上運(yùn)行。 | CML是自包含的,不需要附加的CDH / HDP群集。 |
1個(gè)主主機(jī)和多個(gè)工作主機(jī)的概念。 | 沒(méi)有指定的主機(jī)和工作主機(jī);所有節(jié)點(diǎn)都是短暫的。 | |
安全性 | 通過(guò)CDH / HDP集群集成了Kerberos身份驗(yàn)證;通過(guò)LDAP / SAML進(jìn)行外部身份驗(yàn)證。 | 通過(guò)Cloudera數(shù)據(jù)平臺(tái)(CDP)使用FreeIPA進(jìn)行集中身份管理。 |
應(yīng)用存儲(chǔ) | 項(xiàng)目文件,內(nèi)部postgresDB和Livelog都永久存儲(chǔ)在Master主機(jī)上。 | 所有必需的持久性存儲(chǔ)都在云托管的塊存儲(chǔ),NFS和關(guān)系數(shù)據(jù)存儲(chǔ)中。 |
計(jì)算 | Python / R / Scala工作負(fù)載在集群的CDSW網(wǎng)關(guān)節(jié)點(diǎn)上執(zhí)行。 | Python / R / Scala工作負(fù)載在CDP /云提供商管理的K8s集群上運(yùn)行。 |
CDSW將分布式計(jì)算工作負(fù)載(例如YARN上的Spark)推送到CDH / HDP集群。 | 不支持Spark-on-YARN;改為使用Spark-on-K8s 。工作負(fù)載將在客戶環(huán)境中配置的專用K8s集群上運(yùn)行。 | |
沒(méi)有自動(dòng)縮放。 | 通過(guò)您的云服務(wù)提供商進(jìn)行自動(dòng)擴(kuò)展。Kubernetes /節(jié)點(diǎn)級(jí)自動(dòng)縮放將用于根據(jù)需求擴(kuò)展/收縮集群大小。 | |
打包 | 作為可下載的RPM和CSD提供。 | 作為CDP上的托管服務(wù)提供。 |
Spark與CDH打包在一起。 | K8s上的Spark與CML打包在一起,不依賴于外部集群。 | |
資料存取 | 數(shù)據(jù)通常駐留在HDFS,Hive,HBase等中的附加CDH / HDP群集上。 | 數(shù)據(jù)可以駐留在對(duì)象存儲(chǔ)(例如S3)上,也可以駐留在向CDP注冊(cè)的任何現(xiàn)有工作負(fù)載群集上。 |
慧都大數(shù)據(jù)專業(yè)團(tuán)隊(duì)為企業(yè)提供Cloudera大數(shù)據(jù)平臺(tái)搭建,免費(fèi)業(yè)務(wù)咨詢,定制開(kāi)發(fā)等完整服務(wù),快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。
歡迎撥打慧都熱線023-68661681或咨詢,我們有專業(yè)的大數(shù)據(jù)團(tuán)隊(duì),為您提供免費(fèi)大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢!
本站文章除注明轉(zhuǎn)載外,均為本站原創(chuàng)或翻譯。歡迎任何形式的轉(zhuǎn)載,但請(qǐng)務(wù)必注明出處、不得修改原文相關(guān)鏈接,如果存在內(nèi)容上的異議請(qǐng)郵件反饋至chenjj@fc6vip.cn