windows下爬虫框架的安装-pyspiderl
2020-01-09 11:26:57 Author: mp.weixin.qq.com(查看原文) 阅读量:56 收藏


命令行直接输入：
pip install pyspider 
不出意外的话肯定会报错，怎么解决呢？

一，下载pycurl 库


下载地址：

https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl 

这里注意 选择与自己下载python版本相对应的

 

下载好之后将下载的文件放在python 目录下像我一样

 然后在回到cmd 

   先  cd D:\python3 下 然后执行下边命令

   pip install pycurl-7.43.0.3-cp38-cp38-win_amd64.whl  

 （这里 .whl文件名 是你下载的那个.whl文件名） 

 切勿直接复制

 

二，安装pyspider 


直接cmd 下


pip install pyspider

 三，此时在运行pyspider 还是会报错


打开python安装目录，找到下边这四个文件(这里给大家截图看不懂文字的直接看图，标注的很清楚)。

 

1)Libsite-packagespyspiderrun.py


 

2)Libsite-packagespyspiderwebuiapp.py

 

3)Libsite-packagespyspiderfetchertornado_fetcher.py

 

重点来了，将这三个文件里边的async 全部修改为 async123（新手的话装一个小红本打开就好）

4)Libsite-packagespyspiderwebuiwebdav.py

 

将这个文件里边的
209行的  'domaincontroller': NeedAuthController(app),
修改为
'http_authenticator': {
        'HTTPAuthenticator': NeedAuthController(app),
},

四，运行pyspider测试是否成功安装


最后 在来运行 pyspider

 

此时打开浏览器试试 127.0.0.1:5000 

 

完美解决！

推荐文章++++

*中国网络爬虫违法违规案例收集与总结

*只因写了一段爬虫，公司200多人被抓！

*Proxy_Pool：简易爬虫代理IP池


文章来源: http://mp.weixin.qq.com/s?__biz=MzAxMjE3ODU3MQ==&mid=2650459319&idx=3&sn=8e20f06a0e11d91e1b287206272c5ba9&chksm=83bba953b4cc2045389b4f521c3b52cbd149c0e299d629e228a701e96102958995e21e23223a#rd
如有侵权请联系:admin#unsafe.sh