is101
V2EX  ›  Android

不懂就问,刚才看到一个很好的 AI 应用场景,想问一下这个是怎么实现的。

  •  
  •   is101 · Nov 19, 2025 · 3524 views
    This topic created in 200 days ago, the information mentioned may be changed or developed.

    看起来像是 AI 操作手机,手机 UI 界面每个控件被彩色框出来,框上还有数字标记,想问下这个是怎么实现的呀?

    应用场景视频: https://share.cleanshot.com/npxzbc0G

    没搞过安卓开发相关项目 问了下 gpt 回答是 AutoJs ? 不是吧...

    9 replies    2025-11-20 10:24:16 +08:00
    crysislinux
        1
    crysislinux  
       Nov 19, 2025
    Fooooo0
        2
    Fooooo0  
       Nov 19, 2025
    搜 mobile-use , UI-TARS
    jon97
        3
    jon97  
       Nov 19, 2025
    框像是是开发者模式中的“显示布局边界”,或者是配合了 uiautomator 抓取布局自己绘制的?
    leehaoze98
        4
    leehaoze98  
       Nov 19, 2025   ❤️ 1
    leehaoze98
        5
    leehaoze98  
       Nov 19, 2025
    mqnu00
        6
    mqnu00  
       Nov 19, 2025
    android 开发者模式 不是有 ui 标注功能吗?
    iflint
        7
    iflint  
       Nov 19, 2025
    但凡是能适用于任意三方进程的就来两种模式,一种是 Droidrun 、Maestro 那种去基于无障碍系统/uiAutomator 去 dump UI 布局信息然后画框的;另一种是走的纯截图然后视觉识别以后画框的。 当前主流的就还是通过拿无障碍信息
    iyaozhen
        8
    iyaozhen  
       Nov 19, 2025
    统称 computer-use ,其实很成熟了。可以是纯视觉方案,可以加一些元素辅助
    is101
        9
    is101  
    OP
       Nov 20, 2025
    @leehaoze98 #4 看了下感觉确实是这个 👍
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   6169 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 03:03 · PVG 11:03 · LAX 20:03 · JFK 23:03
    ♥ Do have faith in what you're doing.