• 请不要在回答技术问题时复制粘贴 AI 生成的内容
lame_chen
V2EX  ›  程序员

大模型不听话咋整(skill)

  •  
  •   lame_chen · May 30 · 2437 views
    就是说写了 skill,里边也定义了流程,checklist, 但是每一次跑大模型感觉就像炼丹,听话的时候我很满意,不听话的时候给我的感觉就是从来没看过这个 skill(实际打印了 skill 已加载)。 尝试过几种方法,skill 拆小,还有 skill 里边提供脚本让他检查产出物(但是跑脚本这句话大模型想不想跑完全不确定),还有让他每执行完一步就回显,但是都没效果,依然炼丹。 现在给我感觉就是纯靠 skill 写东西,保证不了任何效果,我看 cc 这些提供了 hook ,但是好像是 hook 读代码或者写文件啥的,有加载 skill 的能力可以 hook 吗?

    请教下万能的 v 友是怎么玩的?
    15 replies    2026-06-02 11:41:48 +08:00
    xxzhou
        1
    xxzhou  
       May 30
    能用脚本的时候就不要用 skill 。定义好每一阶段的输入和输出,让 hook 强制检查输入输出。
    renmu
        2
    renmu  
       May 30 via Android
    skill 就是纯靠模型能力能不能理解,不然就换更好的
    gadfly3173
        3
    gadfly3173  
       May 30
    skill 纯看大模型的指令遵循怎么样了。比如 GPT 就很喜欢不按照你要求的输出格式来输出。
    karld
        4
    karld  
       May 30
    模型太差
    laing
        5
    laing  
       May 31
    每次会话都明确告诉之前干了什么、要干什么、目标是什么。比如结合自己工作方式创建的 skill https://github.com/Geboler/slice-based-project-development-skill
    Each slice should have:

    A clear goal
    A limited scope
    Explicit out-of-scope boundaries
    Testable acceptance criteria
    A development prompt
    An acceptance prompt
    A handoff summary
    A recommended next slice
    wcwcxiaobin
        6
    wcwcxiaobin  
       4 days ago
    我之前用 skill 生成一些内容,每次都不一样,后来让 ai 先做一个模板,然后以后每次复用去套这个模板文件。。。。就可以批量生产了
    coderfee
        7
    coderfee  
       4 days ago
    你可以用 `/` 斜杠命令显式调用 skill ,效果会比较好。
    lame_chen
        8
    lame_chen  
    OP
       4 days ago
    我试了一种方法,就是每次调用大模型时候,加上一些提示词,让他检查下是否涉及调用 skill ,然后重复让他多关注流程和约束, 这样子效果好很多了
    lame_chen
        9
    lame_chen  
    OP
       4 days ago
    可以我试试
    lame_chen
        10
    lame_chen  
    OP
       4 days ago
    @coderfee 不太行,这种只是 skill 它调用了,但是对我的问题本身没啥帮助,就是 skill 的遵从度不够
    lame_chen
        11
    lame_chen  
    OP
       4 days ago
    @karld 其实确实不是最好的模型,不过还不至于最差的,公司里模型被限制了,没法自由选
    lame_chen
        12
    lame_chen  
    OP
       4 days ago
    @laing 学习下
    Ccbeango
        13
    Ccbeango  
       4 days ago
    执行结果输出回显,我是搞了个输出模板的 md ,告诉他输出的时候按照模板输出,我感觉效果还可以。要不然不同的模型理解不同,输出结果也都不同。
    fennu2333
        14
    fennu2333  
       4 days ago
    看你的实际需求了,我在做 cc 插件的时候需要用很多 hook ,在各种阶段去注入 prompt 来代替 skill ,比如在调用 xxx 工具之后用正则去匹配他调用的工具名和输入,在特定调用工具结束后注入一段 prompt 让他记得去做 xxx ,比单纯的 skill 有效但是调起来挺费劲的,给你看我的 hooks 做参考 https://github.com/Chorus-AIDLC/Chorus/blob/main/public/chorus-plugin/hooks/hooks.json#L26 。 另外就是把大 skill 拆分成原子 skill ,让 skill 之间互相引用,实现让 cc 完成一段任务加载下一阶段的 skill
    lame_chen
        15
    lame_chen  
    OP
       3 days ago
    @Ccbeango
    @fennu2333 可以,学习学习
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1069 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 46ms · UTC 23:13 · PVG 07:13 · LAX 16:13 · JFK 19:13
    ♥ Do have faith in what you're doing.