爱意满满的作品展示区。
Austin2035

👏🏻 [妙笔写作助手] 基于 ChatGPT 开发的一款垂直应用,顺便聊聊如何提速。

  •  
  •   Austin2035 · Mar 5, 2023 · 2581 views
    This topic created in 1190 days ago, the information mentioned may be changed or developed.

    简介

    一个基于 ChatGPT 的小程序,目前可以帮你写周报,文章检查与润色以及写小红书文案等。 如果反响还行,后面会开发网站,并且新增功能。

    优化了一下,能秒出结果了。 输入内容不能太少,要不然就是人工智障。

    gh_cc6f69c4359c_258

    🚀 如何提速?

    我的速度,经过我和我身边人的测试还是可以的,我是这么做的。

    1. 后端服务器在国内,通过反向代理解决 OpenAI 被墙问题。
    2. 使用 OpenAI 的流式传输,也即参数 Stream=True ,这种也是 EventStream 的方式。
    3. 后端接口全异步,使用 FastAPI + aiohttp 模块。
    4. 由于小程序不支持 EventStream 的方式,所以我使用 websocket 的方式替代。
    5. 上面那样做,是为了实时渲染 ChatGPT 的返回结果。

    经过这些优化,基本可以做到秒出结果(非高并发情景,大佬勿喷)。

    10 replies    2023-03-06 08:12:22 +08:00
    ersic
        1
    ersic  
       Mar 5, 2023
    有时确实挺智障的,经常驴唇不对马嘴😂
    Austin2035
        2
    Austin2035  
    OP
       Mar 5, 2023
    @ersic 多输入点东西就好了
    Austin2035
        3
    Austin2035  
    OP
       Mar 5, 2023
    @ersic 要不然 需求还没 prompt 的字数多,哈哈😄
    cyio
        4
    cyio  
       Mar 5, 2023
    挺好用的,加个自定义 prompt 就更好了

    chatgpt 类应用,不知道有没有被封杀风险
    Austin2035
        5
    Austin2035  
    OP
       Mar 5, 2023
    @cyio 加了自定义的 prompt 估计被封杀风险更大。
    dabaibai
        6
    dabaibai  
       Mar 5, 2023
    感觉很快会全线封杀。
    jchencode
        7
    jchencode  
       Mar 5, 2023
    反向代理怎么做的?
    Austin2035
        8
    Austin2035  
    OP
       Mar 5, 2023
    @LiuJiang 直接用 nginx
    LeeeSe
        9
    LeeeSe  
       Mar 6, 2023
    @Austin2035 国内服务器没被墙吗?能连到官方 api ?
    Austin2035
        10
    Austin2035  
    OP
       Mar 6, 2023
    @LeeeSe 帖子里面说了,用了反向代理呗
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2852 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 05:53 · PVG 13:53 · LAX 22:53 · JFK 01:53
    ♥ Do have faith in what you're doing.