脚本宝典收集整理的这篇文章主要介绍了

【爬虫】使用java爬取mm131美女图片

脚本宝典小编觉得挺不错的,现在分享给大家,也给大家做个参考,希望能帮助你少写一行代码,多一份安全和惬意。

前言

最近无意间在知乎专栏看到有人使用python爬取了mm131的图片。想着自己也有过爬虫的开发经验(抱着学习的态度),故使用java也来写个小爬虫,爬虫框架用的是webmagic,传送门:https://github.com/code4craft/webmagic

实现

整个爬虫项目如下图,极其精简,其中主要实现类是Mm131Spider

启动Mm131Spider后,图片会下载到指定的文件夹,如下图:

其中每个主类别(如:/chemo)文件夹有一个urlCheck.txt的文件,主要用于保存已经爬取的url,下一次启动的时候则不会再去爬取该url,所以任何时候都可以停止/启动爬取,不会导致爬取重复的问题

该项目已push到github,感兴趣的朋友可以自行查看源码,传送门:https://github.com/5-Ason/spider-mm131

总结

以上是脚本宝典为你收集整理的

【爬虫】使用java爬取mm131美女图片

全部内容,希望文章能够帮你解决

【爬虫】使用java爬取mm131美女图片

所遇到的程序开发问题,欢迎加入QQ群277859234一起讨论学习。如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典网站推荐给程序员好友。 本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。

80%的人都看过