scrapy startproject SDFDQPRO

import scrapy
class SdfdqCjSpider(scrapy.Spider):
    name = 'sdfdq_cj'
    # 表示被允许的url
    # Allowed_domains = ['http://www.csrc.gov.cn/pub/shandong/']
    # 起始url列表:该列表中存放的url会被scrapy自动进行请求的发送
    start_urls = ['http://www.csrc.gov.cn/pub/shandong/sdfdqyxx/']

    # 用作于数据解析：response参数表示的就是请求成功后对应的响应对象
    def parse(self, response):
        pass

import scrapy
class SdfdqCjSpider(scrapy.Spider):
    name = 'sdfdq_cj'
    # 表示被允许的url
    # allowed_domains = ['http://www.csrc.gov.cn/pub/shandong/']
    # 起始url列表:该列表中存放的url会被scrapy自动进行请求的发送
    start_urls = ['http://www.csrc.gov.cn/pub/shandong/sdfdqyxx/']

    # 用作于数据解析：response参数表示的就是请求成功后对应的响应对象
    def parse(self, response):
        
        li_list = response.xpath('//div[@class="zi_er_right"]//div[@class="fl_list"]//li')
        for li in li_list:
            # xpath返回的是列表，但是列元素一定是Selector类型的对象
            # extract可以将Selector对象中的data参数存储的字符串提取出来
            # 列表调用了extract之后则表示将列表中每一个data参数存储的字符串提取出来
            title = li.xpath('./a//text()')[0].extract()
            date = li.xpath('./span/text()')[0].extract()
            url = 'http://www.csrc.gov.cn/pub/shandong/sdfdqyxx'+li.xpath('./a/@href').extract_First()
            print('title',title)
            print('url',url)
            print('date',date)

    def parse(self, response):
        # 创建一个列表接收获取的数据
        all_data = []
        li_list = response.xpath('//div[@class="zi_er_right"]//div[@class="fl_list"]//li')
        for li in li_list:
            # xpath返回的是列表，但是列元素一定是Selector类型的对象
            # extract可以将Selector对象中的data参数存储的字符串提取出来
            # 列表调用了extract之后则表示将列表中每一个data参数存储的字符串提取出来
            title = li.xpath('./a//text()')[0].extract()
            date = li.xpath('./span/text()')[0].extract()
            url = 'http://www.csrc.gov.cn/pub/shandong/sdfdqyxx'+li.xpath('./a/@href').extract_first()
            # 基于终端指令的持久化存储操作
            dic = {
                'title':title,
                'url':url,
                'date':date
            }
            all_data.apPEnd(dic)
        return all_data