novel 从“起点“网爬取小说并保存到本地。 使用requests请求、xpath解析、创建小说目录,保存小说到本地。 其中涉及到了随机UA代理,随机ip代理(但是代理ip不稳定,最后没有使用) 爬虫的采集量比较大,最多可实现10万多本小说的采集。(采集到300多本电脑关机了..) 另外:爬虫采集速度比较慢,实现大规模采集有点费劲,可以考虑使用多线程或者还有使用scrapy框架效率会高很多,同时也需注意做好反爬工作。