订阅MediaCrawlerPro版本源码访问权限
获取Pro版本的访问权限
MediaCrawler开源超过一年了,相信该仓库帮过不少朋友低门槛的学习和了解爬虫。维护真的耗费了大量精力和人力
所以Pro版本不会开源,可以订阅Pro版本让我更加有动力去更新。
如果感兴趣可以加我微信,订阅Pro版本访问权限哦,有门槛💰。
仅针对想学习Pro版本源码实现的用户,如果是公司或者商业化盈利性质的就不要加我了,谢谢🙏
代码设计拓展性强,可以自己扩展更多的爬虫平台,更多的数据存储方式,相信对你架构这种爬虫代码有所帮助。
MediaCrawlerPro项目主页地址MediaCrawlerPro Github主页地址
扫描下方我的个人微信,备注:pro版本(如果图片展示不出来,可以直接添加我的微信号:yzglan)
Pro版本诞生的背景
MediaCrawler这个项目开源至今获得了大量的关注,同时也暴露出来了一系列问题,比如:
- 能否支持多账号?
- 能否在linux部署?
- 能否去掉playwright的依赖?
- 有没有更简单的部署方法?
- 有没有针对新手上门槛更低的方法?
诸如上面的此类问题,想要在原有项目上去动刀,无疑是增加了复杂度,可能导致后续的维护更加困难。 出于可持续维护、简便易用、部署简单等目的,对MediaCrawler进行彻底重构。
项目介绍
MediaCrawler的Pro版本python实现
小红书爬虫,抖音爬虫, 快手爬虫, B站爬虫, 微博爬虫,百度贴吧,知乎爬虫...。
支持多种平台的爬虫,支持多种数据的爬取,支持多种数据的存储,最重要的完美支持多账号+IP代理池,让你的爬虫更加稳定。 相较于MediaCrawler,Pro版本最大的变化:
- 去掉了playwright的依赖,不再将Playwright集成到爬虫主干中,依赖过重。
- 增加了Docker,Docker-compose的方式部署,让部署更加简单。
- 多账号+IP代理池的支持,让爬虫更加稳定。
- 新增签名服务,解耦签名逻辑,让爬虫更加灵活。