 |
|
3
pythonee 8 小时 56 分钟前
感谢分享 看了下文档，建议增加一些术语解释，比如说阶段这个概念 另外，不知道 scrapy 是不是默认已经集成？ |
 |
|
4
tikazyq 8 小时 51 分钟前
@pythonee 是的，现在文档还有些不那么完善，后续我们会进一步逐步完善的。 在 Docker 镜像中，scrapy 是已经集成了的了。 |
 |
|
6
qsbaq 7 小时 30 分钟前
demo 登录出错了
|
 |
|
7
musi 6 小时 16 分钟前
看了一下是支持多节点部署的？最近刚好想找一个爬虫管理平台管理一些内网环境下的爬虫(机器可通外网，但获取的数据在内网)貌似可以试试？
|
|
|
10
tikazyq 4 小时 26 分钟前
@musi 是的，这个本身就是支持分布式的平台，可以多节点部署。Crawlab 分主节点工作节点，主节点主要控制 API 和节点注册等，工作节点主要负责抓取，你可以让主节点在内网，工作节点在外网，这样就可以实现你想要做的事情了。
|
文章来源: https://www.v2ex.com/t/642005#reply10
如有侵权请联系:admin#unsafe.sh