Python網(wǎng)絡(luò)爬蟲-Selenium

想要學(xué)習(xí)爬蟲，如果比較詳細(xì)的了解web開發(fā)的前端知識(shí)會(huì)更加容易上手，時(shí)間不夠充裕，僅僅了解html的相關(guān)知識(shí)也是夠用的。

準(zhǔn)備工作：

使用它肯定先要安裝它，對(duì)于Selenium的安裝推薦使用pip，十分方便。因?yàn)槲沂褂玫氖枪雀铻g覽器，使用前需要先配置相應(yīng)的ChromeDriver，在此放出對(duì)應(yīng)谷歌瀏覽器對(duì)應(yīng)的80版本的ChromeDriver。地址 ：點(diǎn)擊下載提取碼：sz2s
至于如何去安裝配置，網(wǎng)絡(luò)上有很多教程，在此不做贅述。

簡(jiǎn)要功能：

使用Selenium可以驅(qū)動(dòng)瀏覽器執(zhí)行特定操作，如點(diǎn)擊，下拉等等，同時(shí)也能直接抓取網(wǎng)頁源代碼，即做到可見即可爬。

1.訪問頁面

通過下面這幾行代碼可以實(shí)現(xiàn)瀏覽器的驅(qū)動(dòng)并獲取網(wǎng)頁源碼，非常便捷。

from selenium import webdriver

browser = webdriver.Chrome()  #聲明瀏覽器對(duì)象
browser.get('https://www.baidu.com')
print(browser.page_source)  #打印網(wǎng)頁源碼
browser.close()			#關(guān)閉瀏覽器

2.查找節(jié)點(diǎn)

selenium可以驅(qū)動(dòng)瀏覽器完成各種操作，但進(jìn)行模擬點(diǎn)擊，填寫表單時(shí)，我們總要知道這些輸入框，點(diǎn)擊按鈕在哪里，所以需要獲取相對(duì)的節(jié)點(diǎn)。總共有其中尋找節(jié)點(diǎn)的方法，在此給出一個(gè)非常全面的學(xué)習(xí)查找節(jié)點(diǎn)的教程。

=單個(gè)節(jié)點(diǎn)=
下面以百度首頁為例。通過查找源碼，我們可以發(fā)現(xiàn)對(duì)應(yīng)搜索文本框的class，name，id等屬性名。

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
input = browser.find_element_by_id('kw')		#獲取搜索框位置
input.send_keys('Python')    	#輸入內(nèi)容

運(yùn)行代碼得到如下內(nèi)容，此時(shí)我們只是輸入，并未進(jìn)行其他操作。

=多個(gè)節(jié)點(diǎn)=

如果查找目標(biāo)在網(wǎng)頁中只有一個(gè)，使用find_element（）方法就可了。如果有多個(gè)，舉個(gè)例子，如查找多個(gè)滿足條件的節(jié)點(diǎn)，通過html基本知識(shí)我們可以知道元素對(duì)應(yīng)的id名是唯一的，像是其他的class等可以多次出現(xiàn)，其中對(duì)應(yīng)的滿足條件的倘若還用一開始的方法便只能得到第一個(gè)節(jié)點(diǎn)的內(nèi)容，后面就不能得到，因此可以使用find_elements（）。

3.節(jié)點(diǎn)交互

意思就是讓瀏覽器模擬執(zhí)行一些動(dòng)作，常用的有：輸入文字用send_keys(),清空文字用clear(),點(diǎn)擊用click()。放個(gè)小實(shí)例。

from selenium import webdriver
import time

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
input = browser.find_element_by_id('kw')
input.send_keys('Python')
time.sleep(1)		#等待時(shí)間設(shè)置為1秒，方便查看
input.clear()		#清空搜索框
input.send_keys('LOL')
button = browser.find_element_by_id('su')
button.click()		#模擬點(diǎn)擊

4.獲取節(jié)點(diǎn)信息

因?yàn)閟elenium的page_source屬性可以直接獲取網(wǎng)頁源碼，接著就可以直接使用解析庫(kù)（如正則表達(dá)式，Beautiful Soup等）直接提取信息，不過Selenium已經(jīng)直接提供了選擇節(jié)點(diǎn)的方法了，返回的是WebElement類型，它也有相關(guān)的方法提取節(jié)點(diǎn)信息，如文本，屬性等。這也是使用它進(jìn)行一點(diǎn)簡(jiǎn)單的爬蟲非常方便的原因，代碼十分簡(jiǎn)潔。

=提取屬性=

使用get_attribute()方法，但前提需要先選中節(jié)點(diǎn)，同樣以百度首頁為實(shí)例，打印出百度logo的屬性。

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
input = browser.find_element_by_id('s_lg_img')
print(input)
print(input.get_attribute("class"))

'''打印結(jié)果
< selenium.webdriver.remote.webelement.WebElement (session="6013549f22f653cf081e0564da8315da", element="a924de49-358c-42e1-8c29-09bf0dd8d3c3") >
index-logo-src
'''

=獲取文本值=

每個(gè)WebElement節(jié)點(diǎn)都有text屬性，直接調(diào)用這個(gè)屬性就可以獲得節(jié)點(diǎn)內(nèi)的內(nèi)容，這相當(dāng)于Beautiful Soup中的get_text()方法。這里打開百度首頁，獲取搜索按鈕的百度一下文本。

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
input = browser.find_element_by_id('su')
print(input.text)

=獲取id、位置、標(biāo)簽名和大小=

id屬性獲取節(jié)點(diǎn)id
location屬性可以獲取該節(jié)點(diǎn)在頁面中的相對(duì)位置
tag_name屬性獲取標(biāo)簽名稱
size屬性獲取節(jié)點(diǎn)大小，就是寬高

5.延時(shí)等待

當(dāng)我們進(jìn)行網(wǎng)絡(luò)爬蟲時(shí)，請(qǐng)求的東西或許不會(huì)第一時(shí)間出現(xiàn)，此時(shí)就會(huì)拋出時(shí)間異常，因此我們需要加上延時(shí)等待避免程序中斷。這里面分為顯式等待和隱式等待，具體詳細(xì)教程參考鏈接: link.

6.異常處理

進(jìn)行爬蟲難免會(huì)遇到異常，如超時(shí)，節(jié)點(diǎn)未找到等錯(cuò)誤，此時(shí)用try except語句捕獲異常，可以避免程序因此中斷。

關(guān)于Selenium其他的函數(shù)如對(duì)網(wǎng)頁節(jié)點(diǎn)進(jìn)行拖拽，切換標(biāo)簽頁，前進(jìn)與后退，選項(xiàng)卡管理以及對(duì)cookies相關(guān)的操作等不做詳細(xì)說明，上面的知識(shí)足以進(jìn)行簡(jiǎn)單的爬蟲了，像是各大網(wǎng)頁的文本值都可以很簡(jiǎn)單的抓取下來，可以做一點(diǎn)簡(jiǎn)單的數(shù)據(jù)分析。當(dāng)然這僅對(duì)初學(xué)者是這樣的，后期稍微深入會(huì)遇到需要這些函數(shù)的操作，對(duì)于小白這些就夠了。