国产一区二区久久,黄色美女免费,天堂网中文在线

題記：早已聽(tīng)聞python 爬蟲(chóng)框架的大名。近些天學(xué)習(xí)了下其中的Scrapy爬蟲(chóng)框架，將自己理解的跟大家分享。有表述不當(dāng)之處，望大神們斧正。

一、初窺Scrapy

Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù)，提取結(jié)構(gòu)性數(shù)據(jù)而編寫(xiě)的應(yīng)用框架。可以應(yīng)用在包括數(shù)據(jù)挖掘，信息處理或存儲(chǔ)歷史數(shù)據(jù)等一系列的程序中。

其最初是為了頁(yè)面抓取(更確切來(lái)說(shuō),網(wǎng)絡(luò)抓取)所設(shè)計(jì)的，也可以應(yīng)用在獲取API所返回的數(shù)據(jù)(例如Amazon Associates Web Services) 或者通用的網(wǎng)絡(luò)爬蟲(chóng)。

本文檔將通過(guò)介紹Scrapy背后的概念使您對(duì)其工作原理有所了解，并確定Scrapy是否是您所需要的。

當(dāng)您準(zhǔn)備好開(kāi)始您的項(xiàng)目后，您可以參考入門教程。

二、Scrapy安裝介紹

Scrapy框架運(yùn)行平臺(tái)及相關(guān)輔助工具

Python2.7（Python最新版3.5，這里選擇了2.7版本）
Python Package:pipandsetuptools. 現(xiàn)在pip依賴setuptools，如果未安裝，則會(huì)自動(dòng)安裝setuptools。
lxml. 大多數(shù)Linux發(fā)行版自帶了lxml。如果缺失，請(qǐng)查看http://lxml.de/installation.html
OpenSSL. 除了Windows(請(qǐng)查看平臺(tái)安裝指南)之外的系統(tǒng)都已經(jīng)提供。

您可以使用pip來(lái)安裝Scrapy(推薦使用pip來(lái)安裝Python package).

1	`pip install Scrapy`

Windows下安裝流程：

1、安裝Python 2.7之后，您需要修改PATH環(huán)境變量，將Python的可執(zhí)行程序及額外的腳本添加到系統(tǒng)路徑中。將以下路徑添加到PATH中:

C:\Python27\;C:\Python27\Scripts\;

除此之外，還可以用cmd命令來(lái)設(shè)置Path：

c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py

安裝配置完成之后，可以執(zhí)行命令python --version查看安裝的python版本。（如圖所示）

Python之Scrapy爬蟲(chóng)框架安裝及簡(jiǎn)單使用詳解

2、從http://sourceforge.net/projects/pywin32/安裝pywin32

請(qǐng)確認(rèn)下載符合您系統(tǒng)的版本(win32或者amd64)

從https://pip.pypa.io/en/latest/installing.html安裝pip

3、打開(kāi)命令行窗口，確認(rèn)pip被正確安裝:

1	`pip` `--version`

4、到目前為止Python 2.7 及pip已經(jīng)可以正確運(yùn)行了。接下來(lái)安裝Scrapy:

1	`pip install Scrapy`

至此windows下Scrapy安裝已經(jīng)結(jié)束。

三、Scrapy入門教程

1、在cmd中創(chuàng)建Scrapy項(xiàng)目工程。

scrapy startproject tutorial

									H:\python\scrapyDemo>scrapy startproject tutorial

									New Scrapy project 'tutorial', using template directory 'f:\\python27\\lib\\site-packages\\scrapy\\templates\\project', created in:

									  H:\python\scrapyDemo\tutorial

									You can start your first spider with:

									  cd tutorial

									  scrapy genspider example example.com

2、文件目錄結(jié)構(gòu)如下：

Python之Scrapy爬蟲(chóng)框架安裝及簡(jiǎn)單使用詳解。

解析scrapy框架結(jié)構(gòu)：

scrapy.cfg: 項(xiàng)目的配置文件。
tutorial/: 該項(xiàng)目的python模塊。之后您將在此加入代碼。
tutorial/items.py: 項(xiàng)目中的item文件。
tutorial/pipelines.py: 項(xiàng)目中的pipelines文件。
tutorial/settings.py: 項(xiàng)目的設(shè)置文件。
tutorial/spiders/: 放置spider代碼的目錄。

3、編寫(xiě)簡(jiǎn)單的爬蟲(chóng)

1、在item.py中配置需采集頁(yè)面的字段實(shí)例。

									# -*- coding: utf-8 -*-

									# Define here the models for your scraped items

									#

									# See documentation in:

									# <a href="http://doc.scrapy.org/en/latest/topics/items.htmlimport" rel="external nofollow">http://doc.scrapy.org/en/latest/topics/items.html

									import</a> scrapy

									from scrapy.item import Item, Field

									class TutorialItem(Item):

									  title = Field()

									  author = Field()

									  releasedate = Field()

2、在tutorial/spiders/spider.py中書(shū)寫(xiě)要采集的網(wǎng)站以及分別采集各字段。

									# -*-coding:utf-8-*-

									import sys

									from scrapy.linkextractors.sgml import SgmlLinkExtractor

									from scrapy.spiders import CrawlSpider, Rule

									from tutorial.items import TutorialItem

									reload(sys)

									sys.setdefaultencoding("utf-8")

									class ListSpider(CrawlSpider):

									  # 爬蟲(chóng)名稱

									  name = "tutorial"

									  # 設(shè)置下載延時(shí)

									  download_delay = 1

									  # 允許域名

									  allowed_domains = ["news.cnblogs.com"]

									  # 開(kāi)始URL

									  start_urls = [

									    "https://news.cnblogs.com"

									  ]

									  # 爬取規(guī)則,不帶callback表示向該類url遞歸爬取

									  rules = (

									    Rule(SgmlLinkExtractor(allow=(r'https://news.cnblogs.com/n/page/\d',))),

									    Rule(SgmlLinkExtractor(allow=(r'https://news.cnblogs.com/n/\d+',)), callback='parse_content'),

									  )

									  # 解析內(nèi)容函數(shù)

									  def parse_content(self, response):

									    item = TutorialItem()

									    # 當(dāng)前URL

									    title = response.selector.xpath('//div[@id="news_title"]')[0].extract().decode('utf-8')

									    item['title'] = title

									    author = response.selector.xpath('//div[@id="news_info"]/span/a/text()')[0].extract().decode('utf-8')

									    item['author'] = author

									    releasedate = response.selector.xpath('//div[@id="news_info"]/span[@class="time"]/text()')[0].extract().decode(

									      'utf-8')

									    item['releasedate'] = releasedate

									    yield item

3、在tutorial/pipelines.py管道中保存數(shù)據(jù)。

									# -*- coding: utf-8 -*-

									# Define your item pipelines here

									#

									# Don't forget to add your pipeline to the ITEM_PIPELINES setting

									# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html

									import json

									import codecs

									class TutorialPipeline(object):

									  def __init__(self):

									    self.file = codecs.open('data.json', mode='wb', encoding='utf-8')#數(shù)據(jù)存儲(chǔ)到data.json

									  def process_item(self, item, spider):

									    line = json.dumps(dict(item)) + "\n"

									    self.file.write(line.decode("unicode_escape"))

									    return item

4、tutorial/settings.py中配置執(zhí)行環(huán)境。

									# -*- coding: utf-8 -*-

									BOT_NAME = 'tutorial'

									SPIDER_MODULES = ['tutorial.spiders']

									NEWSPIDER_MODULE = 'tutorial.spiders'

									# 禁止cookies,防止被ban

									COOKIES_ENABLED = False

									COOKIES_ENABLES = False

									# 設(shè)置Pipeline,此處實(shí)現(xiàn)數(shù)據(jù)寫(xiě)入文件

									ITEM_PIPELINES = {

									  'tutorial.pipelines.TutorialPipeline': 300

									}

									# 設(shè)置爬蟲(chóng)爬取的最大深度

									DEPTH_LIMIT = 100