當前位置:商標查詢大全網 - 健康百科 - python爬蟲怎麽處理豆瓣網頁異常請求

python爬蟲怎麽處理豆瓣網頁異常請求

1.URLError

首先解釋下URLError可能產生的原因:

網絡無連接,即本機無法上網

連接不到特定的服務器

服務器不存在

在代碼中,我們需要用try-except語句來包圍並捕獲相應的異常。下面是壹個例子,先感受下它的風騷

Python

1

2

3

4

5

6

7

import urllib2

requset = urllib2.Request('')

try:

urllib2.urlopen(requset)

except urllib2.URLError, e:

print e.reason

我們利用了 urlopen方法訪問了壹個不存在的網址,運行結果如下:

Python

1

[Errno 11004] getaddrinfo failed

它說明了錯誤代號是11004,錯誤原因是 getaddrinfo failed

2.HTTPError

HTTPError是URLError的子類,在妳利用urlopen方法發出壹個請求時,服務器上都會對應壹個應答對象response,其中它包含壹個數字”狀態碼”。舉個例子,假如response是壹個”重定向”,需定位到別的地址獲取文檔,urllib2將對此進行處理。

其他不能處理的,urlopen會產生壹個HTTPError,對應相應的狀態嗎,HTTP狀態碼表示HTTP協議所返回的響應的狀態。下面將狀態碼歸結如下:

100:繼續 客戶端應當繼續發送請求。客戶端應當繼續發送請求的剩余部分,或者如果請求已經完成,忽略這個響應。

101: 轉換協議 在發送完這個響應最後的空行後,服務器將會切換到在Upgrade 消息頭中定義的那些協議。只有在切換新的協議更有好處的時候才應該采取類似措施。

102:繼續處理 由WebDAV(RFC 2518)擴展的狀態碼,代表處理將被繼續執行。

200:請求成功 處理方式:獲得響應的內容,進行處理

201:請求完成,結果是創建了新資源。新創建資源的URI可在響應的實體中得到 處理方式:爬蟲中不會遇到

202:請求被接受,但處理尚未完成 處理方式:阻塞等待

204:服務器端已經實現了請求,但是沒有返回新的信 息。如果客戶是用戶代理,則無須為此更新自身的文檔視圖。 處理方式:丟棄

300:該狀態碼不被HTTP/1.0的應用程序直接使用, 只是作為3XX類型回應的默認解釋。存在多個可用的被請求資源。 處理方式:若程序中能夠處理,則進行進壹步處理,如果程序中不能處理,則丟棄

301:請求到的資源都會分配壹個永久的URL,這樣就可以在將來通過該URL來訪問此資源 處理方式:重定向到分配的URL

302:請求到的資源在壹個不同的URL處臨時保存 處理方式:重定向到臨時的URL

304:請求的資源未更新 處理方式:丟棄

400:非法請求 處理方式:丟棄

401:未授權 處理方式:丟棄

403:禁止 處理方式:丟棄

404:沒有找到 處理方式:丟棄

500:服務器內部錯誤 服務器遇到了壹個未曾預料的狀況,導致了它無法完成對請求的處理。壹般來說,這個問題都會在服務器端的源代碼出現錯誤時出現。

501:服務器無法識別 服務器不支持當前請求所需要的某個功能。當服務器無法識別請求的方法,並且無法支持其對任何資源的請求。

502:錯誤網關 作為網關或者代理工作的服務器嘗試執行請求時,從上遊服務器接收到無效的響應。

503:服務出錯 由於臨時的服務器維護或者過載,服務器當前無法處理請求。這個狀況是臨時的,並且將在壹段時間以後恢復。

HTTPError實例產生後會有壹個code屬性,這就是是服務器發送的相關錯誤號。

因為urllib2可以為妳處理重定向,也就是3開頭的代號可以被處理,並且100-299範圍的號碼指示成功,所以妳只能看到400-599的錯誤號碼。

下面我們寫壹個例子來感受壹下,捕獲的異常是HTTPError,它會帶有壹個code屬性,就是錯誤代號,另外我們又打印了reason屬性,這是它的父類URLError的屬性。

Python

1

2

3

4

5

6

7

8

import urllib2

req = urllib2.Request('httt/cqcre')

try:

urllib2.urlopen(req)

except urllib2.HTTPError, e:

print e.code

print e.reason

運行結果如下

Python

1

2

403

Forbidden

錯誤代號是403,錯誤原因是Forbidden,說明服務器禁止訪問。

我們知道,HTTPError的父類是URLError,根據編程經驗,父類的異常應當寫到子類異常的後面,如果子類捕獲不到,那麽可以捕獲父類的異常,所以上述的代碼可以這麽改寫

Python

1

2

3

4

5

6

7

8

9

10

11

import urllib2

req = urllib2.Request('hcqcre')

try:

urllib2.urlopen(req)

except urllib2.HTTPError, e:

print e.code

except urllib2.URLError, e:

print e.reason

else:

print "OK"

如果捕獲到了HTTPError,則輸出code,不會再處理URLError異常。如果發生的不是HTTPError,則會去捕獲URLError異常,輸出錯誤原因。

另外還可以加入 hasattr屬性提前對屬性進行判斷,代碼改寫如下

Python

1

2

3

4

5

6

7

8

9

10

11

12

import urllib2

req = urllib2.Request('httcqcre')

try:

urllib2.urlopen(req)

except urllib2.URLError, e:

if hasattr(e,"code"):

print e.code

if hasattr(e,"reason"):

print e.reason

else:

print "OK"

首先對異常的屬性進行判斷,以免出現屬性輸出報錯的現象。

以上,就是對URLError和HTTPError的相關介紹,以及相應的錯誤處理辦法,小夥伴們加油!