全球人工智能
文章来源:GitHub 作者:modm 翻译:张智伟
文章投稿:news@top25.cn
SpiderKeeper:针对爬虫服务的可升级管理界面
项目特点:
通过主控面板来管理爬虫。调度爬虫以使爬虫服务运行过程自动化
通过点击鼠标就能完成scrapy的部署
可以显示爬虫的运行统计数据
提供api
当前支持的爬虫服务:
Scrapy(使用scrapyd部署)(https://github.com/scrapy/scrapy)
如何开始搭建?
安装:
部署:
使用方法:
待开发功能:
支持过滤的作业控制面板
用户验证
收集&显示scrapy的爬取统计
优化负载均衡过程
版本管理:
我们使用SemVer(https://semver.org/)来进行版本控制。对于可获取的版本,查看此库的标签(https://github.com/DormyMo/SpiderKeeper/tags)。
GitHub资源:https://github.com/DormyMo/SpiderKeeper
AIJob社是《全球人工智能》旗下专门为AI开发工程师免费服务的求职平台。我们将竭尽全力帮助每一个ai工程师对接自己喜欢的企业,推荐给你喜欢的直接领导,帮你谈一个最好的薪资待遇。
微信咨询:aihr007简历投递:hr@top25.cn企业合作:job@top25.cn
《全球人工智能》招聘5名兼职翻译:图像技术、语音技术、自然语言、机器学习、数据挖掘等专业技术领域,工作内容及待遇请添加工作人员微信:C691993。
热门文章推荐
重磅|微博终结者爬虫
重磅|AeroMobil首推商用飞行汽车:空陆两栖 2017年底就可预定
最新|Google新推AutoDraw,用机器学习帮你画画(附精彩视频)
重磅|读博不易!约1/3博士生面临或者潜伏有精神问题
重磅|申通快递分拣机器人效率惊人,70%工人直接下岗
最新|教育部公布2016年度440名“长江学者”入选名单:人工智能专家约占10%
重磅|DeepMind开源DL框架Sonnet:快速构建神经网络模块