前言：

今天為大家?guī)淼膬热菔?個詳細步驟講解Python爬取網頁數(shù)據操作過程！(含實例代碼）本文具有不錯的參考意義，希望在此能夠幫助到大家！

**提示：**由于涉及代碼較多，大部分代碼用圖片的方式呈現(xiàn)出來！

一、利用webbrowser.open()打開一個網站：

實例：使用腳本打開一個網頁。

所有Python程序的第一行都應以#!python開頭，它告訴計算機想讓Python來執(zhí)行這個程序。（我沒帶這行試了試，也可以，可能這是一種規(guī)范吧）

• 1.從sys.argv讀取命令行參數(shù)：打開一個新的文件編輯器窗口，輸入下面的代碼，將其保存為map.py。
• 2.讀取剪貼板內容：
• 3.調用webbrowser.open()函數(shù)打開外部瀏覽：

注：不清楚sys.argv用法的，請參考這里；不清楚.join()用法的，請參考這里。sys.argv是字符串的列表，所以將它傳遞給join()方法返回一個字符串。

好了，現(xiàn)在選中’天安門廣場’這幾個字并復制，然后到桌面雙擊你的程序。當然你也可以在命令行找到你的程序，然后輸入地點。

二、用requests模塊從Web下載文件：requests模塊不是Python自帶的，通過命令行運行pip install request安裝。沒翻墻是很難安裝成功的，手動安裝可以參考這里。

requests中查看網上下載的文件內容的方法還有很多，如果以后的博客用的到，會做說明，在此不再一一介紹。在下載文件的過程中，用raise_for_status()方法可以確保下載確實成功，然后再讓程序繼續(xù)做其他事情。

三、將下載的文件保存到本地：

四、用BeautifulSoup模塊解析HTML：在命令行中用pip install beautifulsoup4安裝它。

1.bs4.BeautifulSoup()函數(shù)可以解析HTML網站鏈接requests.get()，也可以解析本地保存的HTML文件，直接open()一個本地HTML頁面。

我這里有錯誤提示，所以加了第二個參數(shù)。

2.用select()方法尋找元素：需傳入一個字符串作為CSS“選擇器”來取得Web頁面相應元素，例如：

1. soup.select(‘div’)：所有名為

   的元素；

2. soup.select(‘#author’)：帶有id屬性為author的元素；

3. soup.select(‘.notice’)：所有使用CSS class屬性名為notice的元素；

4. soup.select(‘div span’)：所有在

   元素之內的 元素；

5. soup.select(‘input[name]’)：所有名為并有一個name屬性，其值無所謂的元素；

6. soup.select(‘input[type=“button”]’)：所有名為并有一個type屬性，其值為button的元素。

想查看更多的解析器，請參看這里。

3.通過元素的屬性獲取數(shù)據：接著上面的代碼寫。

>>> link[0].get('href') 
'css/mozMainStyle-min.css?v=20170705

以上就是本文的全部內容啦，同時這些代碼實例也算是對“網絡爬蟲”的一些初探。

今天只要你給我的文章點贊，我私藏的網安學習資料一樣免費共享給你們，來看看有哪些東西。

網絡安全學習資源分享:

最后給大家分享我自己學習的一份全套的網絡安全學習資料，希望對想學習 網絡安全的小伙伴們有幫助！

零基礎入門

對于從來沒有接觸過網絡安全的同學，我們幫你準備了詳細的學習成長路線圖?？梢哉f是最科學最系統(tǒng)的學習路線，大家跟著這個大的方向學習準沒問題。

【點擊領取】網絡安全重磅福利：入門&進階全套282G學習資源包免費分享！

1.學習路線圖

攻擊和防守要學的東西也不少，具體要學的東西我都寫在了上面的路線圖，如果你能學完它們，你去接私活完全沒有問題。

2.視頻教程

網上雖然也有很多的學習資源，但基本上都殘缺不全的，這是我自己錄的網安視頻教程，上面路線圖的每一個知識點，我都有配套的視頻講解?！军c擊領取視頻教程】

技術文檔也是我自己整理的，包括我參加大型網安行動、CTF和挖SRC漏洞的經驗和技術要點，電子書也有200多本【點擊領取技術文檔】

（都打包成一塊的了，不能一一展開，總共300多集）

3.技術文檔和電子書

技術文檔也是我自己整理的，包括我參加大型網安行動、CTF和挖SRC漏洞的經驗和技術要點，電子書也有200多本【點擊領取書籍】

4.工具包、面試題和源碼

“工欲善其事必先利其器”我為大家總結出了最受歡迎的幾十款款黑客工具。涉及范圍主要集中在 信息收集、Android黑客工具、自動化工具、網絡釣魚等，感興趣的同學不容錯過。

最后就是我這幾年整理的網安方面的面試題，如果你是要找網安方面的工作，它們絕對能幫你大忙。

這些題目都是大家在面試深信服、奇安信、騰訊或者其它大廠面試時經常遇到的，如果大家有好的題目或者好的見解歡迎分享。

參考解析：深信服官網、奇安信官網、Freebuf、csdn等

內容特點：條理清晰，含圖像化表示更加易懂。

內容概要：包括 內網、操作系統(tǒng)、協(xié)議、滲透測試、安服、漏洞、注入、XSS、CSRF、SSRF、文件上傳、文件下載、文件包含、XXE、邏輯漏洞、工具、SQLmap、NMAP、BP、MSF…

因篇幅有限，僅展示部分資料，需要點擊下方鏈接即可前往獲取
CSDN大禮包：《黑客&網絡安全入門&進階學習資源包》免費分享