心得技巧
html5HTML/XhtmlCSSXML/XSLTDreamweaver教程Frontpage教程心得技巧

数据采集第三次大作业1

发布时间：2022-06-30 发布网站：脚本宝典
脚本宝典收集整理的这篇文章主要介绍了数据采集第三次大作业1，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

 

数据挖掘第三次实践

作业一

天气图片爬取实验

作业内容

指定一个网站，爬取这个网站中的所有的所有图片，例如中国气象网（http://www.weather.COM.cn）。分别使用单线程和多线程的方式爬取。(限定爬取图片数量为学号后3位)

实践过程

　　　　主要思路，首先观察网站不难发现，中国气象网内部的url都存在a标签下的href标签中　

        urls = soup.select("a")
        for url in urls:
            i = url["href"]

　　　　通过以上代码可以遍历中国气象网内部的所有网站

images = soup.select("img")
                for image in images:
                    try:
                        src = image["src"]

　　　　再通过遍历每个网站下的所有img标签将所有图片的url存入列表当中，接下来我们只要将存有图片url的列表传入我们写好的download函数当中即可

　　　　代码部分：

def imageSpider(start_url):
    try:
        req = urllib.request.Request(start_url, headers=headers)
        data = urllib.request.urloPEn(req)
        data = data.read()
        dammIT = UnicodeDammit(data, ["utf-8", "gbk"])
        data = dammit.unicode_markup
        soup = BeautifulSoup(data, "lxml")
        urls = soup.select("a")
        for url in urls:
            i = url["href"]
            PRint(i)
            try:
                if count > 126:
                    break
                req = urllib.request.Request(i, headers=headers)
                data = urllib.request.urlopen(req)
                data = data.read()
                dammit = UnicodeDammit(data, ["utf-8", "gbk"])
                data = dammit.unicode_markup
                soup = BeautifulSoup(data, "lXMl")
                images = soup.select("img")
                for image in images:
                    try:
                        src = image["src"]
                        print(src)
                        url = urllib.request.urljoin(start_url, src)
                        download(url)
                        if count > 126:
                            break
                    except Exception as err:
                        print(err)
            except Exception as err:
                print(err)
    except Exception as err:
        print(err)
def download(url):
    global count
    try:
        if url[len(url) - 4] == ".":
            ext = url[len(url) - 4:]
        else:
            ext = ""
        req = urllib.request.Request(url, headers=headers)
        data = urllib.request.urlopen(req, timeout=100)
        data = data.read()
        fobj = open("images\" + str(count) + ext, "wb")
        fobj.write(data)
        fobj.close()
        print("正在下载第" + str(count) + "张" + ext + "图片" )
        count = count + 1
    except Exception as err:
        print(err)

　　　　单线程爬虫与多线程爬虫的实现大差不差 ，这里就不过分赘述了，详情请查看完整代码

　　结果截图：

数据采集第三次大作业1

　　心得体会：

　　　　在实现多线程爬取的过程中，我们通常会使用Thread函数中的args参数传入我们已经存好的url列表，但是在使用的过程中由于出现了不明的原因，导致代码出现以下的报错，函数会将一个完整的url中的每个字符都识别为一个参数，解决该问题的方法是，在args参数中多传递一个参数，具体是什么参数不重要，重要的是不能使用args仅仅传递一个url，否则便会出现以下的报错。

数据采集第三次大作业1

 

　　代码地址：

　　　　https://gitee.com/kilig-seven/crawl_project/blob/master/%E7%AC%AC%E4%B8%89%E6%AC%A1%E5%A4%A7%E4%BD%9C%E4%B8%9A/workone.py

　　　　https://gitee.com/kilig-seven/crawl_project/blob/master/%E7%AC%AC%E4%B8%89%E6%AC%A1%E5%A4%A7%E4%BD%9C%E4%B8%9A/workone%20mul.py

 

作业二

天气图片爬取实验（scrapy框架）

作业内容

使用scrapy框架复现作业①。

实践过程

大致爬取思路与作业一相同，我们只需要在scrapy框架下重现即可

　　代码部分：

　　　　　爬虫主体：

class WeatherSpidersSpider(scrapy.Spider):
    name = 'weather_spiders'
    #Allowed_domains = ['http://p.weather.com.cn/zrds/index.shtML']
    start_urls = ['http://p.weather.com.cn/zrds/index.shtml']

    def parse(self, response):
        urls = response.xpath('//div[@class="tu"]/a/@href').extract()
        for url in urls:
            yield scrapy.Request(url=url, callback=self.imgs_parse)

    def imgs_parse(self, response):
        item = WeatherItem()
        #获取对应图片的链接
        item["pic_url"] = response.xpath('/html/body/div[3]/div[1]/div[1]/div[2]/div/ul/li/a/img/@src').extract()
        yield item

　　　　　　items部分：

class WeatherItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    pic_url = scrapy.Field()

　　　　　　pipelines部分：

class WeatherPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        for i in range(len(item['pic_url'])):
            yield scrapy.Request(url=item['pic_url'][i])

    def item_completed(self, results, item, info):
        if not results[0][0]:
            raise DropItem('下载失败')
        return item

　　结果截图：

数据采集第三次大作业1

 

　　心得体会：

　　　　复现了相同代码在scrapy框架下的实现，重温了xpath的语法规则

　　代码地址：

　　　　https://gitee.com/kilig-seven/crawl_project/tree/master/%E7%AC%AC%E4%B8%89%E6%AC%A1%E5%A4%A7%E4%BD%9C%E4%B8%9A/%E4%BD%9C%E4%B8%9A%E4%BA%8Cscrapy

作业三

豆瓣电影信息实验

作业内容

爬取豆瓣电影数据使用scrapy和xpath，并将内容存储到数据库，同时将图片存储在imgs路径下。

实践过程

　　　　主要思路，在该网站下找到我们所需要的信息的路径，爬取并存入列表当中，再用数据库的方法将信息保存下来

　　　　代码部分：

　　　　　　爬虫主体：

class DouSpidersSpider(scrapy.Spider):
    name = 'douban_spiders'
    allowed_domains = ['movie.douban.com']
    start_urls = ['https://movie.douban.com/top250']

    def parse(self, response):
        item = DoubanItem()
        title = response.xpath('/html/body/div[3]/div[1]/div/div[1]/ol/li/div/div[2]/div[1]/a/span[1]/text()').extract()  # 多个span标签
        movieinfo = response.xpath('/html/body/div[3]/div[1]/div/div[1]/ol/li/div/div[2]/div[2]/p[1]/text()[1]').extract()
        star = response.xpath('/html/body/div[3]/div[1]/div/div[1]/ol/li/div/div[2]/div[2]/div/span[2]/text()').extract()
        quote = response.xpath('/html/body/div[3]/div[1]/div/div[1]/ol/li/div/div[2]/div[2]/p[2]/span/text()').extract()
        pic = response.xpath('/html/body/div[3]/div[1]/div/div[1]/ol/li/div/div[1]/a/img/@src').extract()
        directors = []
        actors = []
        for list in movieInfo:
            list = list.replace("n", "")
            director = re.findall(r'导演: (.*?)xa0', list)
            directors.append(director)
            actor = re.findall(r'主演: (.*?)[./]', list)
            actors.append(actor)
        item['movieinfo'] = movieInfo
        item['title'] = title
        item['director'] =directors
        item['actor'] = actors
        item['star'] = star
        item['quote'] = quote
        item['pic'] =pic
        yield item

　　　　　　items部分：

class DoubanItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()  # 电影名字
    director = scrapy.Field()  # 导演
    movieinfo = scrapy.Field()
    actor = scrapy.Field()#演员
    star = scrapy.Field()#分数
    quote = scrapy.Field()#简介
    pic = scrapy.Field()#电影封面

　　　　　　pipelines部分：

class DoubanPipeline(object):
    def process_item(self, item, spider):
        # movieinfo = item["movieinfo"]
        title = item["title"]
        director = item["director"]
        actor = item["actor"]
        star = item["star"]
        quote = item["quote"]
        pic = item["pic"]
        os.mkdir("./img/")
        moviedb = movieDB()  # 创建数据库对象
        moviedb.openDB()  # 打开数据库
        for i in range(len(title)):
            print(str(i + 1) + "t" + title[i] + "t" + director[i][0] + "t" + actor[i][0] + "t" + quote[i] + "t" +star[i] + "tt" + pic[i])
            moviedb.insert(i + 1, title[i], director[i][0], actor[i][0], quote[i], star[i], pic[i])
            urllib.request.urlretrieve(pic[i], "./img/" + title[i] + ".jpg")
        print("成功存入数据库")
        moviedb.closeDB()  # 关闭数据库

　　　　　　数据库部分：

class movieDB:
    def openDB(self):
        self.con = SQLite3.connect("movie.db")  # 连接数据库，没有的话会注定创建一个
        self.cursor = self.con.cursor()  # 设置一个游标
        try:
            self.cursor.execute("create table movies(排名 vArchar(10),电影名称 VARchar(16),导演 varchar(20),主演 varchar(20),简介 varchar(50),分数 varchar(10),电影封面 varchar(50))")
            # 创建电影表
        except:
            self.cursor.execute("delete From movies")

    def closeDB(self):
        self.con.commit() 
        self.con.close()  # 关闭数据库

    def insert(self,Rank,Name,Director,Actor,state,Score,Surface):
        try:
            self.cursor.execute("insert into movies(排名,电影名称,导演,主演,简介,分数,电影封面) values (?,?,?,?,?,?,?)", (Rank, Name, Director, Actor, State, Score, Surface))
            # 插入数据
        except Exception as err:
            print(err)

　　　　结果截图：

数据采集第三次大作业1

 

 

数据采集第三次大作业1

 

　　心得体会：

　　　　在经过了多次爬取的作业后，发现，大部分时候爬取的不同点在于每次需要的信息不同，这就需要我们通过xpath或是正则的不同语法来爬取我们所需要的内容，而在存储信息方式，大部分时候代码都是大差不差的，我们只需要考虑重新设计数据库的格式等方面即可。所以i，倘若是做好此方面的框架，我们在每次爬取的过程当中只需要对之前的代码进行微小的重构即可

　　代码地址：

　　　　https://gitee.com/kilig-seven/crawl_project/tree/master/%E7%AC%AC%E4%B8%89%E6%AC%A1%E5%A4%A7%E4%BD%9C%E4%B8%9A/%E4%BD%9C%E4%B8%9A%E4%B8%89scrapy

脚本宝典总结

以上是脚本宝典为你收集整理的数据采集第三次大作业1全部内容，希望文章能够帮你解决数据采集第三次大作业1所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。
标签：GBKGBKjavalistloadloadmasterphppythonscrapy参数参数数据库数据库电影电影程序员程序员遍历遍历重构
猜你在找的心得技巧相关文章
其他相关热搜词更多
phpjavapython程序员loadpost-format-gallerydivString参数开发ListcapMapClass工具安装SQL数据库资源this
全站导航更多
html5HTML/XhtmlCSSXML/XSLTDreamweaver教程Frontpage教程心得技巧JavaScriptASP.NETPHP编程正则表达式AJAX相关ASP编程JSP编程编程10000问CSS/HTMLFlexvbsDOS/BAThtahtcpythonperl游戏相关VBA远程脚本ColdFusionMsSqlMysqlmariadboracleDB2mssql2008mssql2005SQLitePostgreSQLMongoDB星外虚拟主机华众虚拟主机Linuxwin服务器FTP服务器DNS服务器Tomcatnginxzabbix云和虚拟化bios系统安装系统系统进程Windows系列LINUXRedHat/CentosUbuntu/DebianFedoraSolaris红旗Linux建站经验微信营销网站优化网站策划网络赚钱网络创业站长故事alexa域名photoshop教程摄影教程Fireworks教程CorelDraw教程Illustrator教程Painter教程Freehand教程IndesignSketch笔记本主板内存CPU存储显卡显示器光存储鼠标键盘平板电脑安全教程杀毒防毒安全设置病毒查杀脚本攻防入侵防御工具使用业界动态Exploit漏洞分析
最新心得技巧教程
热门心得技巧教程