bitcoin是一个基于Scrapy的比特币新闻爬虫,爬取了巴比特网站有关比特币的新闻。
- Windows 10 专业版
- Python 3.5/Scrapy 1.5.0/MongoDB 3.4.7
- Requests
- Pymongo
- Faker(随机切换User-Agent)
目前只是爬取了该网站上的部分文章,如有需要,可以做全站爬虫,爬取该网站有关区块链、链创投、链研报、链周刊的有关信息。
在巴比特网站上总共爬取了50448条有关比特币的文章。结果由爬虫先存储在MongoDB中,再导出为Excle文件。部分数据如下截图: