python爬蟲入門教程

《python爬蟲入門教程》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在應用文檔-天天文庫。

1、Python爬蟲入門三之Urllib庫的基本使用?Python?崔慶才??5個月前(02-12)??13660℃??13評論那么接下來，小伙伴們就一起和我真正邁向我們的爬蟲之路吧。1.分分鐘扒一個網(wǎng)頁下來怎樣扒網(wǎng)頁呢？其實就是根據(jù)URL來獲取它的網(wǎng)頁信息，雖然我們在瀏覽器中看到的是一幅幅優(yōu)美的畫面，但是其實是由瀏覽器解釋才呈現(xiàn)出來的，實質它是一段HTML代碼，加JS、CSS，如果把網(wǎng)頁比作一個人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的，下面我

2、們就寫個例子來扒一個網(wǎng)頁下來。1234importurllib2?response=urllib2.urlopen("http://www.baidu.com")printresponse.read()是的你沒看錯，真正的程序就兩行，把它保存成demo.py，進入該文件的目錄，執(zhí)行如下命令查看運行結果，感受一下。1pythondemo.py看，這個網(wǎng)頁的源碼已經(jīng)被我們扒下來了，是不是很酸爽？2.分析扒網(wǎng)頁的方法那么我們來分析這兩行代碼，第一行1response=urllib2.urlopen("http

3、://www.baidu.com")首先我們調用的是urllib2庫里面的urlopen方法，傳入一個URL，這個網(wǎng)址是百度首頁，協(xié)議是HTTP協(xié)議，當然你也可以把HTTP換做FTP,FILE,HTTPS等等，只是代表了一種訪問控制協(xié)議，urlopen一般接受三個參數(shù)，它的參數(shù)如下：1urlopen(url,data,timeout)第一個參數(shù)url即為URL，第二個參數(shù)data是訪問URL時要傳送的數(shù)據(jù)，第三個timeout是設置超時時間。第二三個參數(shù)是可以不傳送的，data默認為空None，time

4、out默認為?socket._GLOBAL_DEFAULT_TIMEOUT第一個參數(shù)URL是必須要傳送的，在這個例子里面我們傳送了百度的URL，執(zhí)行urlopen方法之后，返回一個response對象，返回信息便保存在這里面。1printresponse.read()response對象有一個read方法，可以返回獲取到的網(wǎng)頁內(nèi)容。如果不加read直接打印會是什么？答案如下：1

5、x7f1513fb3ad0>>直接打印出了該對象的描述，所以記得一定要加read方法，否則它不出來內(nèi)容可就不怪我咯！3.構造Requset其實上面的urlopen參數(shù)可以傳入一個request請求,它其實就是一個Request類的實例，構造時需要傳入Url,Data等等的內(nèi)容。比如上面的兩行代碼，我們可以這么改寫12345importurllib2?request=urllib2.Request("http://www.baidu.com")response=urllib2.urlopen(reques

6、t)printresponse.read()運行結果是完全一樣的，只不過中間多了一個request對象，推薦大家這么寫，因為在構建請求時還需要加入好多內(nèi)容，通過構建一個request，服務器響應請求得到應答，這樣顯得邏輯上清晰明確。4.POST和GET數(shù)據(jù)傳送上面的程序演示了最基本的網(wǎng)頁抓取，不過，現(xiàn)在大多數(shù)網(wǎng)站都是動態(tài)網(wǎng)頁，需要你動態(tài)地傳遞參數(shù)給它，它做出對應的響應。所以，在訪問時，我們需要傳遞數(shù)據(jù)給它。最常見的情況是什么？對了，就是登錄注冊的時候呀。把數(shù)據(jù)用戶名和密碼傳送到一個URL，然后你得到服務

7、器處理之后的響應，這個該怎么辦？下面讓我來為小伙伴們揭曉吧！數(shù)據(jù)傳送分為POST和GET兩種方式，兩種方式有什么區(qū)別呢？最重要的區(qū)別是GET方式是直接以鏈接形式訪問，鏈接中包含了所有的參數(shù)，當然如果包含了密碼的話是一種不安全的選擇，不過你可以直觀地看到自己提交了什么內(nèi)容。POST則不會在網(wǎng)址上顯示所有的參數(shù)，不過如果你想直接查看提交了什么就不太方便了，大家可以酌情選擇。POST方式：上面我們說了data參數(shù)是干嘛的？對了，它就是用在這里的，我們傳送的數(shù)據(jù)就是這個參數(shù)data，下面演示一下POST方式。1

8、23importurllibimporturllib2?456789values={"username":"1016903103@qq.com","password":"XXXX"}data=urllib.urlencode(values)url="https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"request=urllib2.Request