【Python網路爬蟲筆記1】抓取整個網頁
在開始之前,你可能需要先安裝requests這個模組。 pip install requests
以下是爬取ssr1這個網站首頁的程式碼:
import requests url = 'https://ssr1.scrape.center/' response = requests.get(url) print(type(response)) # Response物件 if response.status_code == 200: print(response.text) # HTML
首先,我們需要引入requests模組,url是目標網站的網址。requests.get(url)用get方法取得url網站的內容後,丟給response物件。response物件有2個主要的屬性:status_code為200時,表示正常收到網頁伺服器的回應;text屬性則是回應的HTML網頁原始碼。以下是部分的輸出結果:
只要短短的幾行程式碼就抓到了整張網頁的原始碼,是不是很簡單呢?