大家好,最近在做模型相关的实验和自动化脚本时,经常需要从不同平台下载模型和数据集(主要是 HuggingFace 和 ModelScope )。每个平台下载方式、接口和参数都不太一样,用起来有些零散,于是就写了一个小工具,把这些逻辑统一了一下,项目叫 modely。
项目地址: https://github.com/fdddf/modely
modely 是一个 Python 写的开源工具,目标很简单:
用统一的命令 / API ,从不同模型平台下载模型和数据集。
目前支持的平台有:
提供两种使用方式:
requests 和 tqdm安装:
pip install modely-ai
下载 HuggingFace 模型:
modely hf bert-base-uncased
下载指定文件:
modely hf bert-base-uncased --file config.json
下载 ModelScope 模型:
modely ms owner/model-name
如果是在 Python 代码中,也可以直接调用对应的 API 来完成下载。
目前功能还比较聚焦,主要解决“下载”这一步,后续可能会考虑:
也欢迎大家提 issue 或 PR ,一起完善。
如果你平时也需要频繁下载和管理模型文件,欢迎试用一下这个项目。 如果觉得有用,也欢迎点个 star 支持一下。