V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
umesok
V2EX  ›  分享创造

AI 模型下载工具分享

  •  
  •   umesok · 12 天前 · 657 次点击

    大家好,最近在做模型相关的实验和自动化脚本时,经常需要从不同平台下载模型和数据集(主要是 HuggingFace 和 ModelScope )。每个平台下载方式、接口和参数都不太一样,用起来有些零散,于是就写了一个小工具,把这些逻辑统一了一下,项目叫 modely

    项目地址: https://github.com/fdddf/modely


    项目做了什么

    modely 是一个 Python 写的开源工具,目标很简单:

    用统一的命令 / API ,从不同模型平台下载模型和数据集。

    目前支持的平台有:

    • HuggingFace (模型、数据集)
    • ModelScope (模型、数据集)

    提供两种使用方式:

    • 命令行工具( CLI )
    • Python API ,方便在脚本或工程中调用

    一些设计点

    • 尽量保持接口统一,不关心平台差异
    • 支持下载整个仓库或指定文件
    • 内置进度条,支持断点续传
    • 支持使用 Token 访问私有仓库
    • 依赖尽量少,主要是 requeststqdm
    • MIT License ,方便二次使用或集成

    使用示例

    安装:

    pip install modely-ai
    

    下载 HuggingFace 模型:

    modely hf bert-base-uncased
    

    下载指定文件:

    modely hf bert-base-uncased --file config.json
    

    下载 ModelScope 模型:

    modely ms owner/model-name
    

    如果是在 Python 代码中,也可以直接调用对应的 API 来完成下载。


    当前状态 & 后续计划

    目前功能还比较聚焦,主要解决“下载”这一步,后续可能会考虑:

    • 更多模型平台支持
    • 更灵活的文件过滤规则
    • 和训练 / 推理流程的结合

    也欢迎大家提 issue 或 PR ,一起完善。


    如果你平时也需要频繁下载和管理模型文件,欢迎试用一下这个项目。 如果觉得有用,也欢迎点个 star 支持一下。

    项目地址: https://github.com/fdddf/modely

    目前尚无回复
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1644 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 16:27 · PVG 00:27 · LAX 08:27 · JFK 11:27
    ♥ Do have faith in what you're doing.