轉(zhuǎn)帖|使用教程|編輯:龔雪|2014-09-10 10:09:02.000|閱讀 1093 次
概述:
# 界面/圖表報表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
相關鏈接:
百度一下,計算PI的方法還真不少。但在hadoop examples代碼中的注釋寫的是:是采用 Quasi-Monte Carlo 算法來估算PI的值。 維基百科中對Quasi-Monte Carlo的描述比較理論,好多難懂的公式。
好在google了一把,找到了斯坦福大學網(wǎng)站上的一篇文章:《通過扔飛鏢也能得出PI的值?》,文章很短,圖文并茂,而且很好理解。
我這里將那篇文章的重要部分截了個圖:
對上面的圖再稍微解釋一下:
在這個算法中,很重要的一點是:如何做到“隨機地向Figure2投擲”,就是說如何做到Figure2上的每個點被投中的概率相等。
hadoop examples代碼中,使用了Halton sequence保證這一點,關于Halton sequence,大家可以參考維基百科。
我這里再總結(jié)一下Halton sequence的作用: 在1乘1的正方形中,產(chǎn)生不重復,并且均勻的點。每個點的橫坐標和縱坐標的值都在0和1之間。 正是這樣,保證了能夠做到“隨機地向Figure2投擲”。
有人總結(jié)了一下,這個實際上叫做蒙特卡洛算法,我們?nèi)∫粋€單位的正方形(1×1) 里面做一個內(nèi)切圓(單位圓),則 單位正方形面積 : 內(nèi)切單位圓面積 = 單位正方形內(nèi)的飛鏢數(shù) : 內(nèi)切單位圓內(nèi)的飛鏢數(shù) ,通過計算飛鏢個數(shù)就可以把單位圓面積算出來, 通過面積,在把圓周率計算出來。 注意 ,精度和你投擲的飛鏢次數(shù)成正比。
后面2個數(shù)字參數(shù)的含義:
2個參數(shù)的乘積就是總的投擲次數(shù)。
我運行的結(jié)果:
hadoop的examples中的計算PI的方法屬于是采用大量采樣的統(tǒng)計學方法,還是屬于數(shù)據(jù)密集型的工作。
作單位圓,再作其內(nèi)接正N邊形(N為2的正整數(shù)次方)先計算其內(nèi)接正N邊形周長,可用公式C=N*2R*sin(180/N)計算,其中R為單位圓半徑1。sin(180/N)可以連用N次半角公式計算(因為N為2的正整數(shù)次方)最后用C/2便可得出圓周率的近似值(因為N可以無限大的取值,所以我們可以無限接近圓周率)
主要針對大塊的數(shù)據(jù)文件,最好是數(shù)據(jù)規(guī)模上G、T級別的,hadoop把大塊數(shù)據(jù)進行切割并進行分布式存儲,對小塊數(shù)據(jù)由于系統(tǒng)開銷等原因處理速度并不一定比單個串行程序明顯。此外,hadoop的mapreduce計算模型通過map任務會產(chǎn)生中間結(jié)果文件,reduce任務在處理這些中間結(jié)果文件形成最終結(jié)果文件并輸出。
由 于中間結(jié)果文件是存儲在各個分布式計算節(jié)點本地內(nèi)存或磁盤上的,如果計算產(chǎn)生的中間結(jié)果文件非常巨大,reduce過程需要通過遠程過程調(diào)用來取得這些中 間結(jié)果文件,會加大網(wǎng)絡傳輸?shù)拈_銷,則不適合采用hadoop處理。所以對于是否何時采用hadoop來處理數(shù)據(jù),上面講的兩點是必須考慮的問題,對于大規(guī)模數(shù)據(jù)的統(tǒng)計分析,例如求期望方差、或者對海量數(shù)據(jù)的分布式查詢適合用hadoop來做。呵呵~~不知是否解答清楚了你的問題。
轉(zhuǎn)載請注明出處://www.ming-yue.cn/hadoop-pi
本站文章除注明轉(zhuǎn)載外,均為本站原創(chuàng)或翻譯。歡迎任何形式的轉(zhuǎn)載,但請務必注明出處、不得修改原文相關鏈接,如果存在內(nèi)容上的異議請郵件反饋至chenjj@fc6vip.cn
文章轉(zhuǎn)載自:慧都控件網(wǎng)