前言

最近无意间在知乎专栏看到有人使用python爬取了mm131的图片。想着自己也有过爬虫的开发经验(抱着学习的态度)，故使用java也来写个小爬虫，爬虫框架用的是webmagic，传送门：https://github.com/code4craft/webmagic

实现

整个爬虫项目如下图，极其精简，其中主要实现类是Mm131Spider

启动Mm131Spider后，图片会下载到指定的文件夹，如下图：

其中每个主类别(如：/chemo)文件夹有一个urlCheck.txt的文件，主要用于保存已经爬取的url，下一次启动的时候则不会再去爬取该url，所以任何时候都可以停止/启动爬取，不会导致爬取重复的问题

该项目已push到gIThub，感兴趣的朋友可以自行查看源码，传送门：https://github.com/5-Ason/spider-mm131