爬蟲(chóng)html(零基礎如何學(xué)爬蟲(chóng)技術(shù))
1.零基礎如何學(xué)爬蟲(chóng)技術(shù)
建議查閱相關(guān)資料，熟悉各種語(yǔ)言寫(xiě)爬蟲(chóng)的優(yōu)缺點(diǎn)，再根據自身情況，選擇適合的爬蟲(chóng)語(yǔ)言進(jìn)行練習。
如果僅從“抓數據”需求來(lái)說(shuō)，使用網(wǎng)頁(yè)數據采集器更為省時(shí)省力。
推薦通用型的八爪魚(yú)采集器：行業(yè)內知名度很高的免費網(wǎng)頁(yè)采集器，擁有超過(guò)六十萬(wàn)的國內外政府機構和知名企業(yè)用戶(hù)。免費好用，操作簡(jiǎn)單。編程老手還能使用八爪魚(yú)的高級功能。雖然自由度不如自己寫(xiě)程序，但學(xué)習成本低，能幫助用戶(hù)將有限的資源投入到更有意義的事情上去。
先從編程語(yǔ)言開(kāi)始學(xué)，C++,python, html, sql等等
再學(xué)互聯(lián)網(wǎng)基本結構和原理，這些都是基礎知識。學(xué)的越多，你對網(wǎng)絡(luò )的掌握程度就越高，各種知識最后都會(huì )融會(huì )貫通到一起。
2.如何分析網(wǎng)站網(wǎng)頁(yè)爬蟲(chóng)爬取規則
既然確定了用爬蟲(chóng)來(lái)自動(dòng)整理文章，你得先理解爬蟲(chóng)是什么。爬蟲(chóng)說(shuō)白了就是一個(gè)腳本程序。說(shuō)到腳本，我們平時(shí)遇到一些費時(shí)費力又容易出錯的活兒，都可以把用到的命令寫(xiě)到腳本里，讓計算機自動(dòng)來(lái)執行。測試同學(xué)說(shuō)的自動(dòng)化腳本，運維同學(xué)說(shuō)的環(huán)境配置腳本，都是這個(gè)意思。一個(gè)腳本包含了很多命令，一個(gè)接一個(gè)，告訴計算機第一步干什么，之后干什么，最后干什么。
在這里，我們的目標很明確，就是寫(xiě)一個(gè)爬蟲(chóng)腳本，讓計算機一步一步的把「給產(chǎn)品經(jīng)理講技術(shù)」的所有歷史文章，保存成pdf。
歷史文章哪里去找？正好，微信公眾號的關(guān)注界面有一個(gè)查看歷史消息的鏈接。
點(diǎn)開(kāi)歷史消息，這個(gè)頁(yè)面每次顯示10篇文章，如果用戶(hù)滑到底，就會(huì )再加載10篇出來(lái)，典型的異步加載。我們要找的，就是每篇文章的URL地址。只要找到所有文章的URL，就能下載到每篇文章的內容和圖片，然后就可以進(jìn)一步加工處理成pdf了。
為此，我們長(cháng)按頁(yè)面選擇在瀏覽器中打開(kāi)，然后把地址欄里的URL復制出來(lái)，發(fā)送到電腦上，用Chrome打開(kāi)。用Chrome的最大好處，就是它有一個(gè)「開(kāi)發(fā)人員工具」，可以直接查看網(wǎng)頁(yè)的源碼。按下command+option+L，打開(kāi)開(kāi)發(fā)人員工具，就能看到這個(gè)網(wǎng)頁(yè)的源碼了。我們要找的東西，就藏在這些亂七八糟的HTML代碼里。
如何從HTML源碼里找到我們想要的文章鏈接呢？
這要從HTML的結構說(shuō)起。HTML全稱(chēng)超文本標記語(yǔ)言，所謂標記，就是說(shuō)是它通過(guò)很多標簽來(lái)描述一個(gè)網(wǎng)頁(yè)。你看到很多像以開(kāi)始，以結束的標志，就是標簽。這些標簽一般成對出現，標簽里面還可以套標簽，表示一種層級關(guān)系。最外面的html標簽是最大的，head、body次之，一層一層下來(lái)，最后才是一段文字，一個(gè)鏈接。你可以把它類(lèi)比成一個(gè)人，這個(gè)人叫html，有head，有body,body上有hand,hand上面有finger。
扯遠了，一些常用的標簽：
1、<head>；。一個(gè)網(wǎng)頁(yè)的很多重要信息，都是在這里聲明的。比如說(shuō)標題，就是在<head>；下的<title>；里定義的。一個(gè)網(wǎng)頁(yè)用到的CSS樣式，可以在<head>；下的<style>；里定義。還有你寫(xiě)的JavaScript代碼，也可以在<head>；下的<script>；里定義。
2、<body>；。它包含的東西就多了，基本上我們能看到的東西，一段文字，一張圖片，一個(gè)鏈接，都在這里面。比如說(shuō)：
<p>；表示一個(gè)段落
<h1>；是一段文字的大標題
<a>；表示一個(gè)鏈接
<img>；表示一張圖
<form>；是一個(gè)表單
<div>；是一個(gè)區塊
計算機是如何理解HTML的標簽的呢？其實(shí)很簡(jiǎn)單，它就是一棵樹(shù)。你可以把<html>；當做樹(shù)根，從樹(shù)根上分出<head>；和<body>；，各個(gè)分支上又有新的分支，直到不能再分為止。這有點(diǎn)類(lèi)似我們電腦上存放的文件。假設你有一本《21天學(xué)習C++》的電子書(shū)，存在D盤(pán)、study文件夾下的CS文件夾里。而study文件夾里除了CS文件夾，還有GRE、島國文化等目錄，代表著(zhù)另一個(gè)分支體系。這也是一棵樹(shù)。樹(shù)上的每一片葉子，都有一條從根部可以到達的路徑，可以方便計算機去查找。
回到正題，有了這些基礎知識，我么再來(lái)看微信這個(gè)歷史消息頁(yè)面。從最外層的<html>；標簽開(kāi)始，一層一層展開(kāi)，中間有<body>；、有<div>；、最后找到一個(gè)<a>；標簽，標簽里面的hrefs就是每篇文章的URL了。把這個(gè)URL復制下來(lái)，在新的TAB打開(kāi)，確認確實(shí)是文章的地址。
現在我們通過(guò)分析一個(gè)網(wǎng)頁(yè)的結構、標簽，找到了我們想要的文章URL，我們就可以寫(xiě)爬蟲(chóng)去模擬這個(gè)過(guò)程了。爬蟲(chóng)拿到網(wǎng)頁(yè)之后，我們可以用正則表達式去查找這個(gè)<a>；標簽，當然，也可以用一些更高級的手段來(lái)找。
3.Python爬蟲(chóng)基本知識：什么是爬蟲(chóng)
世界上80%的爬蟲(chóng)是基于Python開(kāi)發(fā)的，學(xué)好爬蟲(chóng)技能，可為后續的大數據分析、挖掘、機器學(xué)習等提供重要的數據源。
什么是爬蟲(chóng)？
網(wǎng)絡(luò )爬蟲(chóng)（又被稱(chēng)為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò )機器人，在FOAF社區中間，更經(jīng)常的稱(chēng)為網(wǎng)頁(yè)追逐者），是一種按照一定的規則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動(dòng)索引、模擬程序或者蠕蟲(chóng)。
其實(shí)通俗的講就是通過(guò)程序去獲取web頁(yè)面上自己想要的數據，也就是自動(dòng)抓取數據
爬蟲(chóng)可以做什么？
你可以用爬蟲(chóng)爬圖片，爬取視頻等等你想要爬取的數據，只要你能通過(guò)瀏覽器訪(fǎng)問(wèn)的數據都可以通過(guò)爬蟲(chóng)獲取。
4.如何抓取HTML頁(yè)面數據
用網(wǎng)絡(luò )爬蟲(chóng)軟件來(lái)抓取，前嗅的ForeSpider數據采集軟件可以采集任何網(wǎng)站的公開(kāi)數據。
ForeSpider數據采集軟件幾乎可以采集互聯(lián)網(wǎng)上所有公開(kāi)的數據，通過(guò)可視化的操作流程，從建表、過(guò)濾、采集到入庫一步到位。支持正則表達式操作，更有強大的面向對象的腳本語(yǔ)言系統。
臺式機單機采集能力可達4000-8000萬(wàn)，日采集能力超過(guò)500萬(wàn)。服務(wù)器單機集群環(huán)境的采集能力可達8億-16億，日采集能力超過(guò)4000萬(wàn)。
并行情況下可支撐百億以上規模數據鏈接，堪與百度等搜索引擎系統媲美。l 軟件特點(diǎn)一.通用性：可以抓取互聯(lián)網(wǎng)上幾乎100 %的數據1.支持數據挖掘功能，挖掘全網(wǎng)數據。
2.支持用戶(hù)登錄。3.支持Cookie技術(shù)。
4.支持驗證碼識別。5.支持HTTPS安全協(xié)議。
6.支持OAuth認證。7.支持POST請求。
8.支持搜索欄的關(guān)鍵詞搜索采集。9.支持JS動(dòng)態(tài)生成頁(yè)面采集。
10.支持IP代理采集。11.支持圖片采集。
12.支持本地目錄采集。13.內置面向對象的腳本語(yǔ)言系統，配置腳本可以采集幾乎100%的互聯(lián)網(wǎng)信息。
二.高質(zhì)量數據：采集+挖掘+清洗+排重一步到位1.獨立知識產(chǎn)權JS引擎，精準采集。2.集成數據挖掘功能，可以精確挖掘全網(wǎng)關(guān)鍵詞信息。
3.內部集成數據庫，數據直接采集入庫，入庫前自動(dòng)進(jìn)行兩次數據排重。4.內部創(chuàng )建數據表結構，抓取數據后直接存入數據庫相應字段。
5.根據dom結構自動(dòng)過(guò)濾無(wú)關(guān)信息。6.通過(guò)模板配置鏈接抽取和數據抽取，目標網(wǎng)站的所有可見(jiàn)內容均可采集，智能過(guò)濾無(wú)關(guān)信息。
7.采集前數據可預覽采集，隨時(shí)調整模板配置，提升數據精度和質(zhì)量。8.字段的數據支持多種處理方式。
9.支持正則表達式，精準處理數據。10.支持腳本配置，精確處理字段的數據。
三.高性能：千萬(wàn)級的采集速度1.C++編寫(xiě)的爬蟲(chóng)，具備絕佳采集性能。2.支持多線(xiàn)程采集。
3.臺式機單機采集能力可達4000-8000萬(wàn)，日采集能力超過(guò)500萬(wàn)。4.服務(wù)器單機集群環(huán)境的采集能力可達8億-16億，日采集能力超過(guò)4000萬(wàn)。
5.并行情況下可支撐百億以上規模數據鏈接，堪與百度等搜索引擎系統媲美。6.軟件性能穩健，穩定性好。
四.簡(jiǎn)易高效：節約70%的配置時(shí)間1.完全可視化的配置界面，操作流程順暢簡(jiǎn)易。2.基本不需要計算機基礎，代碼薄弱人員也可快速上手，降低操作門(mén)檻，節省企業(yè)爬蟲(chóng)工程師成本。
3.過(guò)濾采集入庫一步到位，集成表結構配置、鏈接過(guò)濾、字段取值、采集預覽、數據入庫。4.數據智能排重。
5.內置瀏覽器，字段取值直接在瀏覽器上可視化定位。五. 數據管理：多次排重1. 內置數據庫，數據采集完畢直接存儲入庫。
2. 在軟件內部創(chuàng )建數據表和數據字段，直接關(guān)聯(lián)數據庫。3. 采集數據時(shí)配置數據模板，網(wǎng)頁(yè)數據直接存入對應數據表的相應字段。
4. 正式采集之前預覽采集結果，有問(wèn)題及時(shí)修正配置。5. 數據表可導出為csv格式，在Excel工作表中瀏覽。
6. 數據可智能排除，二次清洗過(guò)濾。六. 智能：智能模擬用戶(hù)和瀏覽器行為1.智能模擬瀏覽器和用戶(hù)行為，突破反爬蟲(chóng)限制。
2.自動(dòng)抓取網(wǎng)頁(yè)的各類(lèi)參數和下載過(guò)程的各類(lèi)參數。3.支持動(dòng)態(tài)IP代理加速，智能過(guò)濾無(wú)效IP代理，提升代理的利用效率和采集質(zhì)量。
4.支持動(dòng)態(tài)調整數據抓取策略，多種策略讓您的數據無(wú)需重采，不再擔心漏采，數據采集更智能。5.自動(dòng)定時(shí)采集。
6.設置采集任務(wù)條數，自動(dòng)停止采集。7.設置文件大小閾值，自動(dòng)過(guò)濾超大文件。
8.自由設置瀏覽器是否加速，自動(dòng)過(guò)濾頁(yè)面的flash等無(wú)關(guān)內容。9.智能定位字段取值區域。
10.可以根據字符串特征自動(dòng)定位取值區域。11.智能識別表格的多值，表格數據可以完美存入相應字段。
七. 優(yōu)質(zhì)服務(wù)1.數據采集完全在本地進(jìn)行，保證數據安全性。2.提供大量免費的各個(gè)網(wǎng)站配置模板在線(xiàn)下載，用戶(hù)可以自由導入導出。
3.免費升級后續不斷開(kāi)發(fā)的更多功能。4.為用戶(hù)提供各類(lèi)高端定制化服務(wù)，全方位來(lái)滿(mǎn)足用戶(hù)的數據需求。
5.學(xué)習Python爬蟲(chóng)和Web應該看哪些書(shū)籍
看書(shū)是基礎，除此之外還有學(xué)習路線(xiàn)，該怎么學(xué)習，跟著(zhù)路線(xiàn)來(lái)學(xué)的話(huà)，更加有效果。
第一階段—Python基礎準備：本階段主要是學(xué)習Python零基礎入門(mén)學(xué)習視頻教程，html+css、javascript、jquery、python編程基礎、python初探等，讓你輕松入門(mén)python語(yǔ)言。
第二階段—Python Web開(kāi)發(fā)： 本階段是主要Python開(kāi)發(fā)基礎知識的講解，通過(guò)系統學(xué)習mysql數據庫、django、ajax、Tornado入門(mén)、個(gè)人博客系統實(shí)戰等相關(guān)技術(shù)，全面掌握python基礎開(kāi)發(fā)技能技巧。
第三階段—Python擴展開(kāi)發(fā)：本階段Python
開(kāi)發(fā)進(jìn)階，主要是Python開(kāi)發(fā)實(shí)戰講解，針對有一定Python開(kāi)發(fā)基礎學(xué)員，從Tkinter桌面編程、Python開(kāi)發(fā)跨平臺的記事本、編程實(shí)
戰、python爬蟲(chóng)、論壇項目實(shí)戰等方面深入講解，讓學(xué)員快速精通python開(kāi)發(fā)語(yǔ)言。
第四階段—Python開(kāi)發(fā)選修：本節階段是Python開(kāi)發(fā)的一個(gè)拓展講解，主要是Linux系統、Flask框架、redis框架、node.js框架、html5+css3等相關(guān)系統和框架及技術(shù)方面的結合使用學(xué)習，讓精通python開(kāi)發(fā)的你，技藝更加精湛。
