隨著業界傳播開源的理念，推廣開源項目，為 IT 開發者提供了一個發現、使用、并交流開源技術的方向。很多企業在建設他們的業務交易和分析系統的項目中，開始關注和選用具有“自我特色”的開源技術和軟件作為整體解決方案中的組成部分去實施。

以下案例是國外某客戶，包括核心系統在內的眾多生產系統中已運行 IBM 軟件產品，其核心環節中使用 IBM 數據復制軟件，再結合開源軟件和工具，實現了從重要的交易業務生產系統中使用 IBM 軟件實時地復制數據到目標系統，在目標系統上通過開源軟件把數據進行分發、加工處理、交付到數據庫分析系統中，實現對業務進行實時分析。

1）數據實時復制

負責從各個業務系統上實時地復制交易數據，選用 軟件產品來實現。

2）數據采集

負責從目標系統上實時地采集數據，選用 Apache Flume 來實現。

3）數據接入

由于采集數據的速度和數據處理的速度不一定同步，因此添加一個消息中間件來作為緩沖，選用 Apache Kafka。

4）流式計算

對采集到的數據按業務規范進行實時處理和分析，選用 Apache Storm。

5）數據輸出

把處理后的結果存放，實現持久化、穩定化和高效化，使用開源的NoSQL數據庫。

方案優點

下面，我們對幾個開源的核心軟件做個簡單扼要的說明，相信大家對 都有了一定了解，此處不多花筆墨作說明。

1） Apache Flume

Apache Flume 提供了一個分布式、可靠、和高可用的海量日志采集、聚合和傳輸的日志收集系統；支持在日志系統中定制各類數據發送方，用于收集數據 Flume 提供對數據進行高效處理，擅長轉移大數據量的日志和交易數據；通過通道（channel）無縫連接 Kafka。 

2） Apache Kafka

kafka 是一種高吞吐量的分布式發布訂閱消息系統，目標是提供一個發布訂閱解決方案，它可以處理消費者規模的網站中的所有動作流數據。

Kafka 具有如下特性：

• 提供消息的持久化，即使數以TB的消息存儲也能夠保持長時間的穩定性能。
• 令你高吞吐量，即使是非常普通的硬件，kafka也可以支持每秒數十萬的消息。
• 支持通過kafka服務器和消費機集群來分區消息。
• 支持Hadoop并行數據加載。

3） Apache Storm

Storm 能處理，在保證高可靠性的前提下，還可以讓處理進行得更加實時，也就是說，所有的信息都會被處理。Storm 同樣還具備容錯和分布計算這些特性，這就讓 Storm 可以擴展到不同的機器上進行大批量的數據處理。

Storm 具有如下特性：

• 簡單的編程模型。類似于MapReduce 降低了并行批處理復雜性，Storm 降低了進行實時處理的復雜性。
• 可以使用各種編程語言。你可以在Storm 之上使用各種編程語言，默認支持 Clojure、Java、Ruby 和Python。要增加對其他語言的支持，只需實現一個簡單的Storm通信協議即可。
• 水平擴展。計算是在多個線程、進程和服務器之間并行進行的。對于擴展，你只需要添加機器和改變對應的 Topology（拓撲）設置。
• 容錯性。Storm 保證每個消息至少能得到一次完整處理，任務失敗時，它會負責從消息源重試消息，會管理工作進程和節點的故障。
• 本地模式。Storm 有一個“本地模式”，可以在處理過程中完全模擬 Storm 集群。

方案優勢

• 使用流計算處理核心業務數據，包括：交易行情數據、業務日志等重要業務信息，不但能高效處理，還能保證數據的完整性和準確性。
• 能有效地解決了從 Flume 到 Kafka 實時數據優于單條過快，造成 stormspout 消費 kafka 速率跟不上。手段是通過進行多 tuple 結構優化，對多個 log 打包成一個 tuple 進行發射處理。
• 提高整個系統運行的可靠性和高可用性。數據處理經過模塊化之后，解決了用戶最擔心的假如當 Storm 掛掉了，數據采集和數據接入還是繼續在跑著，數據不會丟失， Storm 起來之后可以繼續進行流式計算。
• 在使用 IBM 產品處理核心業務的數據和信息的基礎上，擁抱開源產品，在滿足需求前提下進行技術創新，以追求較好的性價比。

總結

1、IBM 提供云技術及數據服務，積極地支持開源技術和發展方向，無論是IBM現有客戶，還是潛在的新客戶，都能在結合 IBM 產品和解決方案之內或之外，找到最佳的解決方案，以滿足業務要求和支持業務發展；

2、IBM支持廣闊范圍的開源技術及軟件產品集成，為用戶建設 IT系統時帶來更大的靈活性和擴展性；

3、在 2015年， IBM 公司已被業界評為最具科技創新（most-innovative-companies）公司，幫助客戶快速創新，獲得最佳經濟效益和減低實施風險。

詳情請咨詢！

客服熱線：023-66090381