作者：Yiqin Fu

分析社會、行業(yè)都都需要數(shù)據(jù)。在這里我簡單總結(jié)一下我用過的方法。方法肯定不全，也不一定適用于所有領(lǐng)域，歡迎大家批評與補(bǔ)充。

注：下面說的“數(shù)據(jù)”指的是描述社會活動的原始數(shù)據(jù)，來自大范圍統(tǒng)計(jì)和調(diào)查，不包括分析類數(shù)據(jù)（例如市場規(guī)模估算、行業(yè)增長預(yù)計(jì)等）。

獲取數(shù)據(jù)的方法我分為三類：網(wǎng)上下載、電話索取、自己生產(chǎn)。

網(wǎng)上下載

• 搜索引擎搜索
  1. 不管是中國還是外國數(shù)據(jù)，都推薦使用 Google 搜索，推薦用你會的所有語言各搜一次，結(jié)果頁面多翻幾頁，可能會有意想不到的效果
  2. 一般搜到的都是政府或國際組織網(wǎng)站（例如國家旅游局、世界銀行），這類數(shù)據(jù)的好處是來源可靠、一鍵下載，壞處是通常只有綜合數(shù)據(jù)（不會細(xì)分到地區(qū)、個人，不會細(xì)分到每月、每天），很多還缺歷史數(shù)據(jù)（只有當(dāng)天、當(dāng)月數(shù)據(jù)）
  3. 如果搜到的是論壇里的帖子，請一定核實(shí)數(shù)據(jù)來源，否則很容易以訛傳訛；需要論壇幣的資源先別急著買論壇幣下載，很多其實(shí)都可以通過下面提到的方法拿到
  4. 如果搜到的是媒體報道或轉(zhuǎn)載，請一定核實(shí)數(shù)據(jù)來源；媒體水平參差不齊，中文媒體很多不標(biāo)注數(shù)據(jù)來源，使用的時候要特別小心
• 政府網(wǎng)站數(shù)據(jù)庫
  1. 很多政府網(wǎng)站都有數(shù)據(jù)庫，收錄比較詳細(xì)的數(shù)據(jù)（細(xì)分到地區(qū)、過去十年數(shù)據(jù)等）；數(shù)據(jù)庫本身的展示方式?jīng)Q定了它們通常不容易直接搜到，需要你去網(wǎng)站自己查閱
  2. 統(tǒng)計(jì)部門的網(wǎng)站上沒有，可以試試其他部門網(wǎng)站（弄清政府各部門職能很重要）；中央政府網(wǎng)站沒有，可以試試地方網(wǎng)站（弄清行政區(qū)劃很重要）
  3. 如果找到了你要的數(shù)據(jù)（例如統(tǒng)計(jì)年鑒）但無法直接下載，可以去圖書館借閱，也可以請你在大學(xué)或大公司的朋友幫忙借閱；年鑒通常有電子版（光盤），只是格式通常不是你想要的，需要后期清洗
• 國內(nèi)外由政府、學(xué)術(shù)機(jī)構(gòu)主導(dǎo)的調(diào)查
  1. 搜索“中國 家庭 收入 調(diào)查”幾個關(guān)鍵詞，就可以搜到相關(guān)調(diào)查；注意看組織方是誰——靠譜的調(diào)查通常由科研人員主導(dǎo)，方法公開且相對規(guī)范
  2. 在收入、教育、健康、價值觀等各領(lǐng)域，國際組織和各國大學(xué)都會做長期調(diào)查，方法全球統(tǒng)一，方便跨國、跨時間比較
  3. 此類數(shù)據(jù)可能會提供免費(fèi)的線上閱覽版，對做 PPT 來說這些數(shù)據(jù)通常夠用；如果需要原始數(shù)據(jù)，調(diào)查方可能需要核實(shí)你的身份及研究目的，整個核實(shí)過程短則一天長則一個月
• 私人機(jī)構(gòu)調(diào)查（“基金會”、“民調(diào)中心”、“大數(shù)據(jù)公司”）
  1. 私人機(jī)構(gòu)在誠信、專業(yè)水平上良莠不齊，需要謹(jǐn)慎鑒別；如果只是做 PPT 可能夠用；做學(xué)術(shù)研究，需要確認(rèn)調(diào)查方法是否科學(xué)、調(diào)查機(jī)構(gòu)是否靠譜；至于去哪里找靠譜的調(diào)查，一個捷徑是多閱讀文獻(xiàn)，看知名作者引用過哪些
  2. 絕大多數(shù)私人機(jī)構(gòu)都不會公開原始數(shù)據(jù)，所以一般能接觸到的只有機(jī)構(gòu)官方發(fā)布的報告、博客文章等
• 學(xué)術(shù)期刊數(shù)據(jù)庫
  1. 很多期刊現(xiàn)在都要求作者公開原始數(shù)據(jù)，方便重復(fù)論文結(jié)果。所以期刊網(wǎng)站有每篇論文的配套數(shù)據(jù)，包括論文作者清洗過的公開數(shù)據(jù)和作者自己做的調(diào)查、實(shí)驗(yàn)數(shù)據(jù)
  2. 此類數(shù)據(jù)只能按論文標(biāo)題搜到，所以如果不讀文獻(xiàn)的話很難直接在搜索引擎上按關(guān)鍵字找到

電話索取

• 網(wǎng)上找不到的資料，可以試試直接給數(shù)據(jù)來源方打電話；幸運(yùn)的話，他們的資料可以直接公布在網(wǎng)上、私下發(fā)給你、現(xiàn)場讓你閱覽
• 電話索取想要成功，關(guān)鍵在于你要繞過接線前臺、直接找到管理數(shù)據(jù)的人；這個步驟的難易程度又取決于你和數(shù)據(jù)來源方的關(guān)系：
  1. 你可以給數(shù)據(jù)來源方提供好處
     1. 如果你是記者或生意伙伴（即可以給對方提供曝光、投資等好處），可以直接請前臺轉(zhuǎn)公關(guān)、商務(wù)負(fù)責(zé)人
     2. 如果以后經(jīng)常需要對方的信息，最好能和某位公關(guān)、商務(wù)建立長期關(guān)系
  2. 數(shù)據(jù)來源方與你毫無關(guān)聯(lián)
     1. 如果你想向業(yè)內(nèi)公司打探行情但又無法提供任何好處，請一定要搞清楚公司內(nèi)部結(jié)構(gòu)，電話里客氣地直接要求找負(fù)責(zé)該業(yè)務(wù)的人（最好是直接報上對方姓名或分機(jī)號），避免和前臺糾纏太久
     2. 一定要準(zhǔn)備好你的各類信息，例如聯(lián)系方式、辦公地址、老板姓名等，以便回答電話那頭的問題；如果是替雇主打電話，一定要向老板確認(rèn)能否在電話里表明你的身份
     3. 電話那頭如果無法現(xiàn)在給你答復(fù)，一定要在掛斷前確認(rèn)對方姓名及下次跟進(jìn)的時間
     4. 常聽人說“上班前、下班后打電話可以繞過前臺直接找到老板”，在實(shí)踐中我還沒發(fā)現(xiàn)這樣做有用，可能公司與公司不同吧
  3. 數(shù)據(jù)來源方應(yīng)該提供數(shù)據(jù)，但并不理你
     1. 向政府機(jī)構(gòu)索要數(shù)據(jù)，一定要找到分管統(tǒng)計(jì)的部門（網(wǎng)上找分機(jī)號或直接請前臺轉(zhuǎn)接）。如果找錯部門，對方要么會說他們不管此事然后掛斷，要么給你轉(zhuǎn)分機(jī)再轉(zhuǎn)分機(jī)，一天就這么過去了
     2. 除了找對人，還要做好打持久戰(zhàn)的準(zhǔn)備，預(yù)留足夠時間。統(tǒng)計(jì)部門的電話接通后，你很可能得到以下答復(fù)：今天馬上要下班了；政府在罷工；辦公室唯一管這件事的同事現(xiàn)在在休假，下個月才能回來；你要的數(shù)據(jù)得請示領(lǐng)導(dǎo)同意，而領(lǐng)導(dǎo)在出差，也不知道什么時候回來；申請數(shù)據(jù)需要填寫表格，政府確認(rèn)你的申請需要一個月，答復(fù)需要三個月
     3. “你留個電話，有消息我們打給你”這類回復(fù)是永遠(yuǎn)不能相信的。你需要在電話里問清對方姓名，買一張無限通話的電話卡，過一段時間主動打過去，指名找他
• 不管是打什么電話，成功主要靠厚臉皮和耐心。上午打不通就下午打；這次接電話的人不理你，過會兒打說不定是另一個人接；這家公司不行就換別家

自己生產(chǎn)

• 在一些情況下，數(shù)據(jù)是可以自己生產(chǎn)的，通過抓取網(wǎng)頁、調(diào)查、實(shí)驗(yàn)三種方法
  1. 抓取網(wǎng)頁
     1. 什么情況下可以抓網(wǎng)頁？如果我們需要的就是網(wǎng)絡(luò)數(shù)據(jù)（電商商品價格、電影評分、社交媒體好友關(guān)系），又或者線上活動是很好的代理變量（量化一個不可觀測的變量）
     2. 怎樣抓取？如果是主流網(wǎng)站，搜索“網(wǎng)站名 抓取”或“網(wǎng)站名 爬蟲”，把搜索結(jié)果的時間限定調(diào)成“一年以內(nèi)”，就能找到一步一步的教學(xué)；如果是小眾網(wǎng)頁，可以看看網(wǎng)頁結(jié)構(gòu)然后搜索教學(xué)帖；現(xiàn)在也可以雇人寫腳本，過程方便且價格可以接受
  2. 調(diào)查
• • • 很多時候，調(diào)查其實(shí)并不需要那么多錢，尤其是網(wǎng)絡(luò)調(diào)查。真正困難的地方在于調(diào)查設(shè)計(jì)。如果沒有讀過專業(yè)書籍或積累實(shí)戰(zhàn)經(jīng)驗(yàn)，第一次做調(diào)查很難保證設(shè)計(jì)得科學(xué)
  1. 實(shí)驗(yàn)
     • （社會科學(xué)）實(shí)驗(yàn)不一定需要很多錢。例如很多，只需要研究人員向大學(xué)、公司群發(fā)簡歷即可；很多研究政府的實(shí)驗(yàn)，只需要向議員寫信即可；研究社交媒體的實(shí)驗(yàn)，只需要寫程序來發(fā)帖即可
     • 雖然沒有錢，但我們有很多時間。教授要付錢請人做的事，我們多花點(diǎn)時間、和其他錢少時間多的人合作，說不定也可以做出來
     • 如果你有技術(shù)但沒有錢，可以和有資金的前輩合作，可以向政府或非政府機(jī)構(gòu)提供免費(fèi)咨詢、分析，以換取數(shù)據(jù)。當(dāng)然，這個方法還是很靠“關(guān)系”
     • “關(guān)系”如果真的夠硬，可以讓一國總統(tǒng)

“理想數(shù)據(jù)”與時間規(guī)劃

設(shè)計(jì)研究方案的時候，要先從“理想狀態(tài)”出發(fā)——問自己，能夠回答我研究問題的“最理想的數(shù)據(jù)”長什么樣？是個人、家庭、公司、省還是國家層面的數(shù)據(jù)，有哪些變量，是哪個時間段的……

只有想明白理想數(shù)據(jù)長什么樣，才可以開始搜索、采集。因?yàn)檫@樣你可以最快找到近似理想的數(shù)據(jù)，也可以最快發(fā)現(xiàn)找到的數(shù)據(jù)有哪些局限、對你研究最后得到的結(jié)論有哪些影響。

時間規(guī)劃方面，一定要給數(shù)據(jù)搜集預(yù)留充分的時間。很多時候你可能計(jì)劃用一周搜集數(shù)據(jù)，另一周分析。你以為你要的數(shù)據(jù)網(wǎng)上肯定有，幾秒鐘就可以下載完，給一周時間綽綽有余。

然而事實(shí)上，很多數(shù)據(jù)根本不存在（電腦普及之前的資料很多地方都沒有保存）；如果有，對方也不一定會給你；對方給了你，也一定不是你拿到手就可以立刻分析的格式。所以時間規(guī)劃上一定不要盲目樂觀。通常一個項(xiàng)目，70% 甚至 90% 的時間都花在“準(zhǔn)備工作”上。

本文轉(zhuǎn)載自：36大數(shù)據(jù)