今天在 V2EX 的日志里看到这样的一个 UA： Applebot

推荐书目

› Google Hacks: Tips & Tools for Finding and Using the World's Information

关于 Google SEO 最好的一本书

This topic created in 3952 days ago, the information mentioned may be changed or developed.

Mozilla/5.0 (compatible; Applebot/0.3; +http://www.apple.com/go/applebot)

来自 IP 17.138.57.82

貌似确实是苹果家的爬虫。

爬虫

V2EX

applebot

7 replies • 2015-08-12 15:33:05 +08:00

blank_dlh

Aug 12, 2015

是的，我在测 iOS 9 新的搜索的时候抓到过。

blank_dlh

Aug 12, 2015

https://search.developer.apple.com/appsearch-validation-tool/

skydiver

Aug 12, 2015

http://www.apple.com/go/applebot 这个链接确实可以访问的。

Applebot 是 Apple 的 Web 爬虫工具，使用此工具的产品包括 Siri 和 Spotlight 建议。其遵守 robots.txt 惯例规则和机器人元标签。这个工具源自 17.0.0.0 网络块。

如果机器人指令没有提及 Applebot，但提及了 Googlebot，Apple 机器人会遵循 Googlebot 指令。

Apple对Google是真爱啊。。

hweining

Aug 12, 2015

这是在对苹果news应用进行测试吗？好像苹果一直在爬社交媒体的热门关键词用在输入法里面

Croath

Aug 12, 2015

不是 news，是 Spotlight 搜索

dingtianran

Aug 12, 2015

News 也应该是，因为 CloudKit 会 host 所有 News 的内容，都是按照 RSS 爬来的

Aug 12, 2015

字母表里，A有了。G(ay)有了。