記得在剛找工作時，隔壁的一位同學在面試時豪言壯語曾實現過網絡爬蟲，當時的景仰之情猶如滔滔江水連綿不絕。后來，在做圖片搜索時，需要大量的測試 圖片，因此萌生了從Amazon中爬取圖書封面圖片的想法，從網上也吸取了一些前人的經驗，實現了一個簡單但足夠用的爬蟲系統。

　　網絡爬蟲是一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成，其基本架構如下圖所示：

　　傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列，直到滿足系統的一定停止條件。對于垂直搜索來說，聚焦爬蟲，即有針對性地爬取特定主題網頁的爬蟲，更為適合。

　　本文爬蟲程序的核心代碼如下：

Java代碼

1. public void crawl() throws Throwable {
2. while (continueCrawling()) {
3. CrawlerUrl url = getNextUrl(); //獲取待爬取隊列中的下一個URL
4. if (url != null) {
5. printCrawlInfo();
6. String content = getContent(url); //獲取URL的文本信息
7.
8. //聚焦爬蟲只爬取與主題內容相關的網頁，這里采用正則匹配簡單處理
9. if (isContentRelevant(content, this.regexpSearchPattern)) {
10. saveContent(url, content); //保存網頁至本地
11.
12. //獲取網頁內容中的鏈接，并放入待爬取隊列中
13. Collection urlStrings = extractUrls(content, url);
14. addUrlsToUrlQueue(url, urlStrings);
15. } else {
16. System.out.println(url + " is not relevant ignoring ...");
17. }
18.
19. //延時防止被對方屏蔽
20. Thread.sleep(this.delayBetweenUrls);
21. }
22. }
23. closeOutputStream();
24. }

　　整個函數由getNextUrl、getContent、isContentRelevant、extractUrls、addUrlsToUrlQueue等幾個核心方法組成，下面將一一介紹。先看getNextUrl：

Java代碼

1. private CrawlerUrl getNextUrl() throws Throwable {
2. CrawlerUrl nextUrl = null;
3. while ((nextUrl == null) && (!urlQueue.isEmpty())) {
4. CrawlerUrl crawlerUrl = this.urlQueue.remove();
5.
6. //doWeHavePermissionToVisit：是否有權限訪問該URL，友好的爬蟲會根據網站提供的"Robot.txt"中配置的規則進行爬取
7. //isUrlAlreadyVisited：URL是否訪問過，大型的搜索引擎往往采用BloomFilter進行排重，這里簡單使用HashMap
8. //isDepthAcceptable：是否達到指定的深度上限。爬蟲一般采取廣度優先的方式。一些網站會構建爬蟲陷阱（自動生成一些無效鏈接使爬蟲陷入死循環），采用深度限制加以避免
9. if (doWeHavePermissionToVisit(crawlerUrl)
10. && (!isUrlAlreadyVisited(crawlerUrl))
11. && isDepthAcceptable(crawlerUrl)) {
12. nextUrl = crawlerUrl;
13. // System.out.println("Next url to be visited is " + nextUrl);
14. }
15. }
16. return nextUrl;
17. }

　　getContent內部使用apache的httpclient 4.1獲取網頁內容，具體代碼如下：

Java代碼

1. private String getContent(CrawlerUrl url) throws Throwable {
2. //HttpClient4.1的調用與之前的方式不同
3. HttpClient client = new DefaultHttpClient();
4. HttpGet httpGet = new HttpGet(url.getUrlString());
5. StringBuffer strBuf = new StringBuffer();
6. HttpResponse response = client.execute(httpGet);
7. if (HttpStatus.SC_OK == response.getStatusLine().getStatusCode()) {
8. HttpEntity entity = response.getEntity();
9. if (entity != null) {
10. BufferedReader reader = new BufferedReader(
11. new InputStreamReader(entity.getContent(), "UTF-8"));
12. String line = null;
13. if (entity.getContentLength() > 0) {
14. strBuf = new StringBuffer((int) entity.getContentLength());
15. while ((line = reader.readLine()) != null) {
16. strBuf.append(line);
17. }
18. }
19. }
20. if (entity != null) {
21. entity.consumeContent();
22. }
23. }
24. //將url標記為已訪問
25. markUrlAsVisited(url);
26. return strBuf.toString();
27. }

　　對于垂直型應用來說，數據的準確性往往更為重要。聚焦型爬蟲的主要特點是，只收集和主題相關的數據，這就是isContentRelevant方法的作用。這里或許要使用分類預測技術，為簡單起見，采用正則匹配來代替。其主要代碼如下：

Java代碼

1. public static boolean isContentRelevant(String content,
2. Pattern regexpPattern) {
3. boolean retValue = false;
4. if (content != null) {
5. //是否符合正則表達式的條件
6. Matcher m = regexpPattern.matcher(content.toLowerCase());
7. retValue = m.find();
8. }
9. return retValue;
10. }

　　extractUrls的主要作用，是從網頁中獲取更多的URL，包括內部鏈接和外部鏈接，代碼如下：

Java代碼

1. public List extractUrls(String text, CrawlerUrl crawlerUrl) {
2. Map urlMap = new HashMap();
3. extractHttpUrls(urlMap, text);
4. extractRelativeUrls(urlMap, text, crawlerUrl);
5. return new ArrayList(urlMap.keySet());
6. }
7.
8. //處理外部鏈接
9. private void extractHttpUrls(Map urlMap, String text) {
10. Matcher m = httpRegexp.matcher(text);
11. while (m.find()) {
12. String url = m.group();
13. String[] terms = url.split("a href=\"");
14. for (String term : terms) {
15. // System.out.println("Term = " + term);
16. if (term.startsWith("http")) {
17. int index = term.indexOf("\"");
18. if (index > 0) {
19. term = term.substring(0, index);
20. }
21. urlMap.put(term, term);
22. System.out.println("Hyperlink: " + term);
23. }
24. }
25. }
26. }
27.
28. //處理內部鏈接
29. private void extractRelativeUrls(Map urlMap, String text,
30. CrawlerUrl crawlerUrl) {
31. Matcher m = relativeRegexp.matcher(text);
32. URL textURL = crawlerUrl.getURL();
33. String host = textURL.getHost();
34. while (m.find()) {
35. String url = m.group();
36. String[] terms = url.split("a href=\"");
37. for (String term : terms) {
38. if (term.startsWith("/")) {
39. int index = term.indexOf("\"");
40. if (index > 0) {
41. term = term.substring(0, index);
42. }
43. String s = "//" + host + term;
44. urlMap.put(s, s);
45. System.out.println("Relative url: " + s);
46. }
47. }
48. }
49.
50. }

　　如此，便構建了一個簡單的網絡爬蟲程序，可以使用以下程序來測試它：

Java代碼

1. public static void main(String[] args) {
2. try {
3. String url = "//www.amazon.com";
4. Queue urlQueue = new LinkedList();
5. String regexp = "java";
6. urlQueue.add(new CrawlerUrl(url, 0));
7. NaiveCrawler crawler = new NaiveCrawler(urlQueue, 100, 5, 1000L,
8. regexp);
9. // boolean allowCrawl = crawler.areWeAllowedToVisit(url);
10. // System.out.println("Allowed to crawl: " + url + " " +
11. // allowCrawl);
12. crawler.crawl();
13. } catch (Throwable t) {
14. System.out.println(t.toString());
15. t.printStackTrace();
16. }
17. }

　　當然，你可以為它賦予更為高級的功能，比如多線程、更智能的聚焦、結合Lucene建立索引等等。更為復雜的情況，可以考慮使用一些開源的蜘蛛程序，比如Nutch或是Heritrix等等，就不在本文的討論范圍了。