Scrapy是Python開(kāi)發(fā)的一個(gè)快速、高層次的屏幕抓取和web抓取框架，用于抓取web站點(diǎn)并從頁(yè)面中提取結(jié)構(gòu)化的數(shù)據(jù)。Scrapy吸引人的地方在于它是一個(gè)框架，任何人都可以根據(jù)需求方便的修改。Scrapy用途廣泛，可以用于數(shù)據(jù)挖掘、監(jiān)測(cè)和自動(dòng)化測(cè)試。

1、關(guān)于虛擬環(huán)境的創(chuàng)建可以參考之前發(fā)布的兩篇博文，在Windows下如何創(chuàng)建指定的虛擬環(huán)境和在Windows下如何創(chuàng)建虛擬環(huán)境（默認(rèn)情況下）。下面在指定的文件夾下，直接先創(chuàng)建環(huán)境，在命令行輸入環(huán)境創(chuàng)建命令“virtualenv －－python＝C：Python34python．exe scrapy＿demo”，指定Python的版本和路徑，以及虛擬環(huán)境的名字scrapy＿demo，其中虛擬環(huán)境可以自己進(jìn)行修改，這里命名為scrapy＿demo。

2、爾后進(jìn)入到scrapy＿demo文件夾下，找到Scripts文件夾，輸入activate．bat以激活虛擬環(huán)境，步驟如下圖所示。之后可以看到scrapy＿demo被括號(hào)括起來(lái)了，說(shuō)明進(jìn)入了環(huán)境，在命令行中輸入python，可以看到直接彈出Python3的環(huán)境。

3、新建完虛擬環(huán)境之后，接下來(lái)就開(kāi)始安裝Scrapy，輸入安裝命令“pip install Scrapy”或者“pip install －i https：／／pypi．douban．com／simple／ Scrapy”，后面這個(gè)命令是通過(guò)豆瓣源鏡像進(jìn)行下載，速度會(huì)快很多，而且較為穩(wěn)定，建議使用該方法進(jìn)行安裝，Python中的其他庫(kù)也建議用該命令進(jìn)行安裝，十分的方便快捷。輸入命令之后，等待Scrapy的安裝，如下圖所示。

4、可以看到Scrapy的安裝速度非?？?，因?yàn)槲覀兪褂昧绥R像進(jìn)行下載。不過(guò)稍等片刻之后可能會(huì)碰到timeout的問(wèn)題，這是由于Scrapy安裝的過(guò)程中需要很多依賴(lài)包，導(dǎo)致下載過(guò)程中會(huì)遇到網(wǎng)絡(luò)延時(shí)的問(wèn)題，此時(shí)只需要重新輸入安裝命令進(jìn)行安裝即可。除了timeout的問(wèn)題之外，可能還會(huì)碰到下圖這個(gè)問(wèn)題。

5、這個(gè)問(wèn)題的出現(xiàn)是因?yàn)槿狈wisted依賴(lài)包，此時(shí)通過(guò)“pip install twisted”可能有問(wèn)題，在Python包網(wǎng)站，里邊的Python包專(zhuān)門(mén)用于Windows下的安裝的。在網(wǎng)頁(yè)中找到Twisted安裝包，然后選擇本機(jī)Python對(duì)應(yīng)版本和電腦系統(tǒng)位數(shù)的安裝包，小編的電腦是64位的，而且Python版本是Python3．4，所以下載的包如下圖紅色框框所示。