準(zhǔn)備工作

1.安裝scrapy_redis包,打開(kāi)cmd工具,執(zhí)行命令pip install scrapy_redis

2.準(zhǔn)備好一個(gè)沒(méi)有BUG,沒(méi)有報(bào)錯(cuò)的爬蟲(chóng)項(xiàng)目

3.準(zhǔn)備好redis主服務(wù)器還有跟程序相關(guān)的mysql數(shù)據(jù)庫(kù)

前提mysql數(shù)據(jù)庫(kù)要打開(kāi)允許遠(yuǎn)程連接,因?yàn)閙ysql安裝后root用戶默認(rèn)只允許本地連接,詳情請(qǐng)看此文章

部署過(guò)程

1.修改爬蟲(chóng)項(xiàng)目的settings文件

在下載的scrapy_redis包中,有一個(gè)scheduler.py文件,里面有一個(gè)Scheduler類(lèi),是用來(lái)調(diào)度url,還有一個(gè)dupefilter.py文件,里面有個(gè)類(lèi)是RFPDupeFilter,是用來(lái)去重,所以要在settings任意位置文件中添加上它們

還有在scrapy_redis包中,有一個(gè)pipelines文件,里面的RedisPipeline類(lèi)可以把爬蟲(chóng)的數(shù)據(jù)寫(xiě)入redis,更穩(wěn)定安全,所以要在settings中啟動(dòng)pipelines的地方啟動(dòng)此pipeline

最后修改redis連接配置

2.修改spider爬蟲(chóng)文件

首先我們要引入一個(gè)scrapy_redis.spider文件中的一個(gè)RedisSpider類(lèi),然后把spider爬蟲(chóng)文件原來(lái)繼承的scrapy.Spider類(lèi)改為引入的RedisSpider這個(gè)類(lèi)

接著把原來(lái)的start_urls這句代碼注釋掉,加入redis_key = '自定義key值',一般以爬蟲(chóng)名:urls命名

測(cè)試部署是否成功

直接運(yùn)行我們的項(xiàng)目,

打開(kāi)redis客戶端在redis添加key為yunqi:start_urls的列表,值為地址

添加成功后,程序直接跑了起來(lái)

查看數(shù)據(jù)是否插入

分布式用到的代碼應(yīng)該是同一套代碼
1） 先把項(xiàng)目配置為分布式
2） 把項(xiàng)目拷貝到多臺(tái)服務(wù)器中
3） 把所有爬蟲(chóng)項(xiàng)目都跑起來(lái)
4） 在主redis-cli中l(wèi)push你的網(wǎng)址即可
5） 效果：所有爬蟲(chóng)都開(kāi)始運(yùn)行，并且數(shù)據(jù)還都不一樣

到此這篇關(guān)于Scrapy基于scrapy_redis實(shí)現(xiàn)分布式爬蟲(chóng)部署的示例的文章就介紹到這了,更多相關(guān)Scrapy redis分布式爬蟲(chóng) 內(nèi)容請(qǐng)搜索服務(wù)器之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持服務(wù)器之家！

原文鏈接：https://blog.csdn.net/baoshuowl/article/details/79701303