中文
本页内容

使用导读 ​

最佳实践旨在通过一系列简单的操作，让用户快速了解如何在魔乐社区进行模型贡献和基于openMind Library进行应用开发。

加入魔乐社区 ​

魔乐社区欢迎广大用户加入，并参与到社区共享的过程中来。在这里，您可以贡献模型、分享研究成果、反馈使用体验，以及使用openMind Library在本地开发调试。

在社区进行任一操作前，希望广大用户和我们一同遵守社区行为准则。

您可以选择以个人或者组织的身份成为魔乐社区贡献者中的一员，区别如下：

  • 个人用户：在注册账号后即可贡献模型。

  • 组织：

    • 组织创建者：请先以个人用户身份注册，并创建组织，以组织的名义贡献模型。

    • 组织成员：请联系组织管理员，将您添加至组织成员中，并赋予管理员或者编辑权限，以组织的名义贡献模型。

社区贡献 ​

模型贡献 ​

若您想在魔乐社区创建模型仓库或者在模型仓库内贡献模型相关的文件，主要流程参考如下：

  1. 了解模型基础知识和openMind Library平台的代码风格。
  2. 准备原始模型文件和openMind Library开发环境。
  3. 开发模型、调试并完成推理流程。
  4. 在openMind Library开发环境上完成端到端模型测试，并编写测试用例。
  5. （可选）准备数据集，将模型接入训练流程。
  6. 完成模型操作指导文档和详细介绍信息。
  7. 提交PR至openMind Library，完成模型贡献。

详细步骤请参考模型贡献指导文档。

数据集贡献 ​

若您想在魔乐社区创建数据集仓库，主要流程参考如下:

  1. 了解数据集格式。
  2. 了解数据集上传，下载方式。
  3. 验证上传的数据集可通过OmDataset下载，并在训练流程中被正常使用。

详细步骤请参考数据集贡献指导文档。

应用开发 ​

若您想在魔乐社区获取目标模型，在本地开发环境中对预训练模型进行微调或训练，从而高效构建智能应用，主要流程参考如下：

  1. 根据目标模型需求准备适配的数据集。
  2. 对数据进行预处理。
  3. 加载模型并配置参数进行模型微调。
  4. 加载微调后的模型，调用pipline接口完成模型推理。

详细步骤请参考应用开发指导文档。

生态库使用 ​

openMind Library可与其他生态库共同使用，目前已支持的生态库如下：

  1. PEFT：用于高效微调训练的生态库。
  2. DeepSpeed：用于分布式训练优化的生态库。
  3. openmind_datasets：基于datasets的轻量级数据集生态库，提供数据集下载等功能。
  4. openmind_evaluate：基于evaluate的轻量级评估生态库，提供评估指标下载加载功能。
  5. TRL：提供了一组通过强化学习训练Transformer模型的工具，包括监督微调、奖励模型训练、近端策略优化等。

详细特性支持情况请参考生态库特性支持说明指导文档。