與CLOUDERA合并之前，此文章已在HORTONWORKS.COM上發布。某些鏈接，資源或參考文獻可能不再準確。

簡介

Apache Hadoop分布式文件系統（HDFS）已經成為大數據的事實上的文件系統。很容易忘記現實世界中HDFS的可伸縮性和健壯性。Cloudera 的客戶運行具有數千個節點的集群； 這些集群存儲了100 PB的數據，為數千個并發客戶端提供服務。

忠實于其大數據根源，當大多數文件很大（數十到數百MB）時，HDFS效果最佳。HDFS受著名的小文件限制的困擾，并且要處理超過4億個文件。對于可擴展至數十億個小文件的類HDFS存儲系統的需求日益增長。

Ozone是一個分布式鍵值存儲，可以同時管理大小文件。 雖然HDFS提供類似POSIX的語義，但是Ozone的外觀和行為類似于對象存儲。

Ozone由具有豐富的大型Apache Hadoop集群管理經驗的工程師和架構師團隊設計和實施。 他們對HDFS的優勢以及可以做的一些事情有所了解，這些教訓影響了Ozone的設計和演變。

設計原則

臭氧的設計遵循以下原則。

• 高度一致。強大的一致性簡化了應用程序設計。臭氧旨在提供嚴格的可序列化性。
• 結構簡單。當出現問題時，簡單的體系結構更易于推理和調試。Cloudera 試圖使Ozone體系結構保持簡單，甚至以潛在的可伸縮性為代價。但是，就規模而言，Ozone是無懈可擊的。因為其設計為在單個群集中存儲超過1000億個對象。
• 分層架構。為了達到現代存儲系統的規模，Ozone是一個分層文件系統。它將名稱空間管理與塊和節點管理層分開，這使用戶可以在兩個軸上獨立擴展。
• 恢復成本低。HDFS的主要優勢在于，它可以從災難性事件（如群集范圍內的斷電）中有效恢復，而不會丟失數據，也無需進行昂貴的恢復步驟。機架和節點損失相對較小。面對故障，Ozone同樣具有強大的作用。

Apache中的開源。Apache開源社區對于Ozone的成功至關重要，所有的Ozone設計和開發都在Apache Hadoop社區中完成。

• 與Hadoop生態系統的互操作性。現有的Apache Hadoop生態系統和相關應用程序（例如Apache Hive，Apache Spark和傳統的MapReduce作業）應該可以使用Ozone。 因此，臭氧支持：Hadoop兼容文件系統API（又名OzoneFS）。 這允許Hive，Spark等將臭氧用作零修改的存儲層。
• 數據局部性。通過允許將計算任務安排在與數據相同的節點上，數據局部性是原始HDFS / MapReduce體系結構的關鍵。Ozone還將支持選擇使用它的應用程序的數據局部性。
• 與HDFS并排部署。Ozone可以安裝在現有的Hadoop群集中，并且可以與HDFS共享存儲磁盤。

當前狀態

可從Apache Ozone網站//hadoop.apache.org/ozone/上獲得Alpha發行版的Ozone進行評估。社區正在努力開發許多功能，這些功能將在將來的Beta版本中提供，即：

• 安全性：Kerberos和委派令牌
• 高可用性
• 與Amazon S3兼容的REST API
• 機架感知數據放置

• HDFS-5477 –塊管理器即服務。
• HDFS-8286 –使用KV存儲擴展名稱空間
• HDFS-5389 –一個名稱節點，僅在內存中保留一部分名稱空間
• 區塊集合/巨型區塊抽象

關于Cloudera

在 Cloudera，我們相信數據可以使今天的不可能，在明天成為可能。我們使人們能夠將復雜的數據轉換為清晰而可行的洞察力。Cloudera 為任何地方的任何數據從邊緣到人工智能提供企業數據云平臺服務。在開源社區不懈創新的支持下， Cloudera推動了全球最大型企業的數字化轉型歷程。了解更多，請聯系。

慧都大數據專業團隊為企業提供Cloudera大數據平臺搭建，免費業務咨詢，定制開發等完整服務，快速、輕松、低成本將任何Hadoop集群從試用階段轉移到生產階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業的大數據團隊，為您提供免費大數據相關業務咨詢！