如何在python代碼中使用HTTP代理IP。
以下代碼主要圍繞第一次接觸HTTP代理IP的python新手來寫。(步驟注釋清晰)
直接把下面示例代碼中的HTTP代理API,替換成你后臺生成的代理API鏈接,就可以跑起來了。
以下是一個示例代碼,只是一個基礎(chǔ)的演示,具體的代碼還是要根據(jù)你業(yè)務(wù)的實(shí)際情況去寫的。
示例代碼中的HTTP代理IP,我使用的是華益云的HTTP代理,注冊就送1萬個高匿爬蟲IP,有效期是一年,對于調(diào)試代碼來說這個時間是非常的友好。(步驟注釋清晰)
華益云-企業(yè)級HTTP爬蟲代理IP供應(yīng)商-點(diǎn)我免費(fèi)領(lǐng)取示例代碼demo中同款10000個高匿IP
打開代理API,獲取里面的IP,使用IP訪問目標(biāo)網(wǎng)站,其實(shí)代碼中就是執(zhí)行這個過程而已,然后加了幾個錯誤判斷有助于代碼的穩(wěn)定運(yùn)行。(步驟注釋清晰)
# 需要安裝此依賴 # pip install requests import requests def main(): # 發(fā)送給服務(wù)器的標(biāo)識 userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36" # 代理api(這里我推薦使用www.9vps.com華益云HTTP代理的API,注冊就送1萬IP) proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&" # 請求代理url,獲取代理ip outPutProxy = getProxy(proxyUrl, userAgent) if len(outPutProxy)==0: # 沒有獲取到代理 return # 目標(biāo)請求網(wǎng)站 url = "https://www.qq.com/" content = None for _ in range(0, 3): # 最多嘗試三次 try: # 從列表中取出一個代理出來 px = outPutProxy.pop(0) proxy = { "http": "http://"+px, "https": "http://"+px } content = requestGet(url, userAgent, proxy) break except Exception as e: print(e) if (len(outPutProxy) == 0): # 如果發(fā)現(xiàn)沒有代理了,就去獲取下。 outPutProxy = getProxy(proxyUrl, userAgent) print(content) def getProxy(proxyUrl, userAgent): proxyIps="" outPutProxy = [] try: proxyIps = requestGet(proxyUrl, userAgent, None) print(proxyIps) # {"code":3002,"data":[],"msg":"error!用戶名或密碼錯誤","success":false} if "{" in proxyIps: raise Exception("[錯誤]"+proxyIps) outPutProxy = proxyIps.split("\n") except Exception as e: print(e) print("總共獲取了"+str(len(outPutProxy))+"個代理") return outPutProxy def requestGet(url, userAgent, proxy): headers = { "User-Agent": userAgent } response = None if (proxy): # 有代理的時候走這個 response = requests.get(url, headers=headers, timeout=5, proxies=proxy) else: # 沒有代理走這個 response = requests.get(url, headers=headers, timeout=5) # 設(shè)置編碼,防止亂碼 # requests 庫會幫我們自動分析這個網(wǎng)頁的字符編碼 response.encoding = response.apparent_encoding return response.text main()
或者直接百度搜索:華益云HTTP代理
審核編輯:湯梓紅
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報投訴
-
HTTP
+關(guān)注
關(guān)注
0文章
537瀏覽量
35345 -
代碼
+關(guān)注
關(guān)注
30文章
4967瀏覽量
73954 -
python
+關(guān)注
關(guān)注
57文章
4876瀏覽量
90022
發(fā)布評論請先 登錄
相關(guān)推薦
熱點(diǎn)推薦
python代碼中如何使用HTTP代理
華益云HTTP代理API有效期是一年,也就是說一年內(nèi)這1萬IP用完就沒了,如果你一年都用不完那到時候剩余IP才會被清零,對于調(diào)試代碼來說時間
python代碼中如何使用HTTP代理
HTTP代理就是介于瀏覽器和web服務(wù)器之間的一臺服務(wù)器,連接代理后,瀏覽器不再直接向web服務(wù)器取回網(wǎng)頁,而是向代理服務(wù)器發(fā)出request信號,
如何在Python中使用MQTT
本文主要介紹如何在 Python 項(xiàng)目中使用?paho-mqtt?客戶端庫 ,實(shí)現(xiàn)客戶端與?MQTT?服務(wù)器的連接、訂閱、取消訂閱、收發(fā)消息等功能。
如何在python代碼中使用HTTP代理IP
評論