Scrapy + Splash Demo 示例

本示例基于scrapy和splash技术，实现的爬取去哪儿机票价格最优的一个Demo

---

###　　　　　　　　　　　　Author:Jason ###　　　　　　　　　 E-mail:372922638@qq.com

===========================

技术介绍

• scrapy: 一个基于Python实现的爬虫框架，提供了各种强大的功能，来帮助完成爬虫工作
• splash：提供基于js的页面渲染，帮助完成动态网站的加载

运行

运行splash

docker run -p 8050:8050 scrapinghub/splash

安转Python依赖包

pip install -r requirements.txt

配置MySQL（或修改存储方式）

DB_CONNECT = {
	'db': 'test',
	'user': 'root',
	'passwd': '111111',
	'host': '127.0.0.1',
	'charset': 'utf8',
 	'use_unicode': True,
}	

运行爬虫

scrapy crawl qunar	

参考

https://doc.scrapy.org/en/1.3/intro/overview.html https://github.com/scrapy-plugins/scrapy-splash