簡介
scrapy 是一個 python 下面功能豐富、使用快捷方便的爬蟲框架。用 scrapy 可以快速的開發(fā)一個簡單的爬蟲，官方給出的一個簡單例子足以證明其強(qiáng)大：
快速開發(fā)
下面開始10分鐘倒計(jì)時：
當(dāng)然開始前，可以先看看之前我們寫過的 scrapy 入門文章 《零基礎(chǔ)寫python爬蟲之使用Scrapy框架編寫爬蟲
1. 初始化項(xiàng)目
|
1
2
3
|
scrapy startproject mztcd mztscrapy genspider meizitu meizitu.com |
2. 添加 spider 代碼：
定義 scrapy.Item ，添加 image_urls 和 images ，為下載圖片做準(zhǔn)備。
修改 start_urls 為初始頁面, 添加 parse 用于處理列表頁， 添加 parse_item 處理項(xiàng)目頁面。
3. 修改配置文件：
|
1
2
3
|
DOWNLOAD_DELAY = 1 # 添加下載延遲配置ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加圖片下載 pipelineIMAGES_STORE = '.' # 設(shè)置圖片保存目錄 |
4. 運(yùn)行項(xiàng)目：
|
1
|
scrapy crawl meizitu |
看，項(xiàng)目運(yùn)行效果圖
等待一會兒，就是收獲的時候了
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作能帶來一定的幫助，如果有疑問大家可以留言交流。
原文鏈接：http://www.factj.com/archives/609.html
