我开发了一款 AI+爬虫的工具，可以不需要配置爬虫，就能监控任意页面

用的视觉大模型?

@nananqujava 多个模型组合的，视觉+代码+文本大模型

1 、看到监控的部分，没看到抓取数据的部分，请问 OP 可以实现数据抓取吗？例如多页表格数据。
2 、部分网站有反爬虫的措施，如各种登陆验证码、IP 限制等等，可以解决吗？

@lswlray 重点是因为合规性和防止滥用的考虑，
1 、SaaS 版本只是做内容监控通知，完整内容的抓取，后续会现在浏览器插件版本开发
2 、关于“反-反爬”技术，我们只做轻微的处理（低频率、使用真实浏览器访问）
3 、IP 限制问题，我们仅绕开部分 WAF 会拦截机房 IP 的限制，gfw 的问题不处理，可自行翻墙后用浏览器插件版本
4 、验证码这个问题，暂时不处理

浏览器插件版本会在本月发布

@xjiang1982154112 #3 期待新版本，我有这方面的商业需求

AI 是其次的，要抓取的部分无非就那么点
主要对比八爪鱼，后羿那种采集器，有啥优势没。

特征还是比较明显未突破我司反爬，watching
获取页面标题失败：服务返回错误: 获取页面标题失败: chromium 获取标题失败: Inspected target navigated or closed (-32000)

@BenCoper @x86 我们只做了轻微的“反-反爬”处理，并且把抓取频率控制在最低 15 分钟。

我们这个产品需求的出发点，是为了服务原来一直都存在的一类人群：
1 、因为自己的工作、学业、娱乐的需要，要盯某几个网站；
2 、不是为了获取大量数据，也不会为了秒级抢购，只是需要一天刷几次网站，甚至几天刷一次；
3 、这类人群，愿意为此付出一点点的金钱，但是无法被有效服务（找不到程序员帮忙写爬虫，也学不来八爪鱼这类的工具）；

20 多年前，我接触爬虫技术的时候，就在想办法如何有效服务这些人（挨个写代码配脚本绝对不是好方式，八爪鱼这种方式对普通人还是鸡肋了点）。

这次 AI 技术变革，带来了真正的解决方法。任意一个页面，理论上-_-AI 都能帮你自动识别并抓取。

所以做了这套工具，我们的重点确实不是处理反爬问题，我们的重点只有一个：
相当于你请了一个兼职，每天帮你刷十几次网站，有你关心的数据就通知你；
或者是相当于你请了一个 1 年的程序员，帮你写写代码配脚本，并保证可以持续工作。
而你只要花一点点钱（一个月几块钱）

这是我的初心与设想，不知道是否能有足够的需求群体支撑这个产品走下去（想把 AI 优化的能处理好各种页面和不同需求，难度还挺高 -_-！！）/抱拳/抱拳

op 你是怎么找到你的付费人群的