上篇我们讲了学习scrapy框架是为了python爬虫做准备的,那么在本篇中就要开始真正的运行python爬虫了。经过了这么久爬虫理论知识的洗礼,想必小伙伴们已经迫不及待想要尝试一下怎么通过scrapy框架运行爬虫了。不着急,我们慢慢往下看。体会获取数据的成就感然后把成果保存下来。
在项目文件夹内打开cmd运行下列命令:
scrapy crawl douban_top250 -o douban.csv
注意此处的douban_movie_top250即为我们刚刚写的爬虫的name, 而-o douban.csv是scrapy提供的将item输出为csv格式的快捷方式,第一次输出后是乱码,这时候我们要在settings.py设置一些编码格式:
FEED_EXPORT_ENCODING = 'GBK'
另外,在python包下面exporters.py里面CsvItemExporter 类中io.TextIOWrapper添加参数newline=”,取消csv的自动换行
再次运行上述命令,我们想要的信息都被下载到douban.scv文件夹里了:
通过上述的工作,我们完成了第一页的页面信息爬取。
看到这种聪明的小伙伴已经猜出我们还有续篇要出现了,毕竟这只是第一页数据的获取~感兴趣的小伙伴跟小编一起看看下一篇吧。
本文链接:http://so.lmcjl.com/news/7881/