分享个人开源的爬虫框架

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 2653 days ago, the information mentioned may be changed or developed.

工作的需求和个人的兴趣上开发了一个爬虫框架，目前功能比较简单，后续会不断的完善，希望大家给提点建议，对爬虫感兴趣的一起交流~。
github: https://github.com/heyingcai/cetty

功能介绍：
1.基于完全自定义事件处理机制的爬虫框架
2.模块化的设计，提供强大的可扩展性
3.基于 HttpClient 支持同步和异步数据抓取
4.支持多线程
5.基于 Jsoup 页面解析框架提供强大的网页解析处理能力

TODO:
1.支持注解方式
2.支持代理池
3.支持 Berkeley 内存数据作为 url 管理器，提供海量 url 存储并提高存取效率
4.支持热更新
5.支持爬虫治理

爬虫

框架

支持

URL

4 replies