拜網絡普及與科技進步之賜，大數據的熱潮越燒越烈，許多處理數據分析與管理的技術因應而出，迎來了大數據的時代。要能在這大數據市場中殺出一條血路，以下這 9 個必殺絕技你一定要學起來。

1) Apache Hadoop 黃色小象幫手

Hadoop 的兩大核心功能 —— 儲存及處理數據所用到的分散式檔案系統 HDFS 跟 MapReduce 平行運算架構。

基于 Hadoop 處理大數據的種種優勢，像是解決了檔案存放、系統擴張、數據處理及備份等問題，因此 Hadoop 被廣泛應用于大數據儲存和大數據分析，成為大數據的主流技術。

在近幾年內，叢集運算在商用性與非商用性的領域也越來越普遍且應用的相當廣泛，2014年無庸置疑成為了 Hadoop 的豐收年，對于 Hadoop 生態系例如 Flume, Oozie, Hive, Pig, HBase, YARN 等技能的市場需求也逐漸提高。

2) 大數據黑馬：Apache Spark

如果 Hadoop 是大數據市場里的老大哥，那 Spark 則是具有超凡潛力的一匹黑馬！

Spark 是一個用途廣泛的叢集運算引擎，簡單來說就是一個能讓原本使用 Hadoop 來處理及分析數據的系統快 10 到 100 倍的好工具。

由于 Hadoop 分析數據時需要將中間產生的數據存在硬碟中，因此會有讀寫數據的延遲問題；有別于 Hadoop 的 MapReduce 架構，Spark 使用了「記憶體內運算技術（In-Memory Computing）」，能在數據尚未寫入硬碟時，就在記憶體內進行分析運算，號稱比原先的 Hadoop 快 100 倍。

去年在數據排序基準競賽（）中，Spark 用 23 分鐘完成 100 TB 的數據排序，刷新了原本由 Hadoop 保持的 72 分鐘世界記錄1。

3) 不只是 SQL：NoSQL

最近幾年網絡上的數據量開始快速大量成長、數據量與日遽增，為了解決數據庫在進行大量數據存取時，所衍生出效能、擴充、維護等問題，近年來業界紛紛舍棄了以結構化查詢語言（SQL）為基礎的關聯式數據庫管理系統（RDBMS），改以 NoSQL 數據庫來提升效能與擴充彈性。

NoSQL 最早是指「No SQL」，號稱不使用 SQL 作為查詢語言的數據庫系統。但近來則普遍將 NoSQL 視為「Not Only SQL」，也就是「不只是 SQL」的意思，希望結合 SQL 優點并混用關聯式數據庫和 NoSQL 數據庫來達成最佳的儲存效果。

在大數據所帶動的潮流下，各種不同形態的NoSQL數據庫如雨後春筍般竄起，其中 MongoDB 是眾多 NoSQL 數據庫軟體中較為人熟知的一種。

4) 機器學習與數據處理超屌！

在大數據中如何摸索出數據所要表達的意涵、提煉出「數據精華」是非常重要的課題，于是「機器學習（Machine Learning）」與「數據處理（Data Mining）」成為了大數據時代中的重點領域。

機器學習可以從過去收集的數據與經驗中，萃取出感興趣的部份，構造出模型（Model）和規律（Pattern）當作我們參考的基準，對未來進行預測。應用機器學習的方法處理大量數據庫的數據則稱為「數據處理」（Data Mining），顧名思義，就好比在地球上從一堆粗糙的石頭中進行地物處理、尋找有價值的礦脈，數據處理就是從大數據中提取出未知的、有價值的潛在資訊。

機器學習跟數據處理到底有多屌？LinkedIn 之前發表的 2014 年「最熱門工作技能」排行榜2，數據處理榮登排行榜第一名這樣屌。

5) 統計及量化分析

大數據時代，統計與數據分析是根本中的根本，數學跟統計學則是基礎中的基礎。數據專家或量化分析師的專業包含了統計學、電腦科學和數學，過去這些人才都搶著要進華爾街工作，但多虧了  帶來的風潮，現在各行各業都在尋找擁有量化分析、統計學背景的工程師、數據專家。

如果數學是你的拿手強項，基本上你已經贏在起跑點了，接下來再學習市面上的一些數據分析軟體及程式語言，像是 R、SAS、Matlab、SPSS、Stata 等，具備了以上技能，相信要進大數據一行不成問題。

6) 結構化查詢語言 SQL

結構化查詢語言，簡稱 SQL，是專門用于關連式數據庫的一種查詢語言，可以用來定義數據庫結構、建立表格、指定欄位型態與長度，也能新增、異動或查詢數據。簡單來說，SQL 是一種用來從數據庫讀取與儲存數據的電腦語言。

SQL 歷經了四十多年的考驗仍然在蓬勃發展，雖然 NoSQL （上述第三點）的出現帶來了一些影響，但 SQL 仍然主導著市場，并在大數據領域贏得了很多投資與廣泛部屬。像是 Cloudera 推出了即時查詢開源工具 Impala –– 一款用來跑在 Hadoop 架構上的互動 SQL 查詢引擎，在這些工具發展下 SQL 在大數據領域中更是歷久不衰。

7) 看圖說故事：數據視覺化

大數據的重要性與日俱增，不少企業如電子商務、零售業及半導體制造業等，開始廣泛運用大數據為公司擬定企業策略，不過并不是人人都是數據專家、數據科學家，如果要讓主管跟客戶們清楚了解數據背後的意義，那倒不如讓他們「一目了然」。

數據視覺化（Data Visualization）是關于數據之視覺表現形式的研究，數據視覺化的技術可以幫助不同背景的工程人員溝通、理解，以達良好的設計與分析結果。市面上已經有許多工具、軟體為人們提供這方面的需求，像是Tableau、QlikView 等工具就擁有絕佳的視覺化呈現效果，可以不限數據量、數據形式或主題，透過圖像化和便捷的操作介面制作出客制化報表，無需撰寫程式就能得到分析結果。

8) 基本程序開發能力

市場分析機構 Wanted Analytics 公布的數據3中，具有數據分析背景的電腦程式開發人員職位正在逐年增加中，2014 年最後四個月就增加了 2000 個相關的新職缺，比起 2013 年同期多出了 337%！

因此，基本程序開發能力也是在這大數據市場中生存的必要條件之一，在數據科學界里，Java、C、Python、Scala 都是十分受歡迎的程式語言。

9) 創造力和問題解決能力

大數據的型態及發展會不斷的演化，無論你的程式開發能力有多好、精通多少項數據分析工具，要在大數據時代中活得好、長得壯，創造力（Creativity）和解決問題能力（Problem Solving）的重要性不可忽視，更是以上提到的工具跟技術都無法取代的必殺技！

來源：  作者：Jewel