## 目录 [TOC] ## Scrapy 重新安装了一下python，pip就已经包含在内了 ### 遇到的问题 * `pip install Scrpay`报一堆错误，实质原因是`Twisted`安装失败了，找到一篇文章解决了，先下载文件，然后本地直接安装。 * 运行爬虫时`Twisted`在python3.7下有bug，卸载了python3.7，安装了一个低版本的3.6.6，再安装`Twisted`一帆风顺。 * `No module named 'win32api'`，安装`pip install pypiwin32` * 最终结果出来：`scrapy crawl itcast -o teachers.json -s FEED_EXPORT_ENCODING=utf-8` * 成果--取cnblogs近期用户，https://gist.github.com/lonlie/547870d1c09946dada53e771131b583e ## Python相关 * `cmd`中如需换行在行尾加`\` ## 部署 * 通过`scrapyd`来部署 * 部署，切换到你的scrapy项目根目录，`python c:\Python27\Scripts\scrapyd-deploy localhost -p projectname` * 调度，`curl http://localhost:6800/schedule.json -d project=projectname -d spider=spidername` * 安装`SpiderKeeper` * 执行，切换到你的scrapy项目根目录，`python C:\Users\Administrator\AppData\Local\Programs\Python\Python37-32\Scripts\scrapyd-deploy --build-egg output.egg`得到egg文件 ## 参考资料 * Scrapy 框架入门简介，https://segmentfault.com/a/1190000013178839 * Scrapy文档，https://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html * Python3.7下安装scrapy框架，https://blog.csdn.net/dvivily/article/details/81325337 * Scrapy爬虫——xpath与css选择器详解，https://www.jianshu.com/p/489c5d21cdc7 * Python爬虫防封杀方法集合，https://www.jianshu.com/p/73697828b8f8 * scrapyd部署scrapy项目(windows)，https://www.jianshu.com/p/799a5c3195e4 * scrapyd windows环境下安装和使用，https://blog.csdn.net/JLaiRen/article/details/82902321 * windows部署SpiderKeeper(爬虫监控)，https://blog.csdn.net/Crazy__Hope/article/details/79255142 * 安装spiderkeeper可视化部署scrapy爬虫项目，https://zhuanlan.zhihu.com/p/42077372 * windows部署SpiderKeeper(爬虫监控)，https://blog.csdn.net/xc_zhou/article/details/80935703