生态库特性支持说明
openMind Library可与多个生态库共同使用,具体已支持的特性在本文中进行了阐述。其中具体列名意义如下:
- 是否支持: 从生态库角度出发,昇腾是否完成了必要的适配工作,以支持该特性。
- 端到端是否支持: 从端到端特性使用角度出发,各环节功能是否完全打通。例如以DeepSpeed Zero2为例,端到端支持代表昇腾计算卡侧支持DeepSpeed,openMind Library工具链侧支持DeepSpeed。
openMind Library支持PyTorch框架和MindSpore框架,以下支持情况基于PyTorch框架阐述,是否支持MindSpore框架请进入各生态库指南文档查看。
peft
已支持特性
以下三个特性已集成到openMind Library中可直接配置config使用。
| 特性 | 是否支持 | 端到端是否支持 |
|---|---|---|
| LoRA | 支持 | 支持 |
| AdaLoRA | 支持 | 支持 |
| IA3 | 支持 | 支持 |
待支持特性
其余特性暂时未支持,具体特性说明可查看PEFT文档中的ADAPTERS章节。
trl
已支持特性
以下三个特性已集成到openMind Library中可直接配置config使用。
| 特性 | 是否支持 | 端到端是否支持 |
|---|---|---|
| PPO | 支持 | 支持 |
| DPO | 支持 | 支持 |
| ORPO | 支持 | 支持 |
待支持特性
其余特性暂时未支持,具体特性说明可查看TRL文档。
DeepSpeed
已支持特性
| 特性 | 是否支持 | 端到端是否支持 |
|---|---|---|
| FP16 | 支持 | 支持 |
| BF16 | 支持 | 支持 |
| Gradient Accumulation | 支持 | 支持 |
| Data Parallelism | 支持 | 支持 |
| Zero 1/2/3 | 支持 | 支持 |
| Activation Checkpointing | 支持 | 支持 |
| Fused Adam | 支持 | 支持 |
| MoE | 支持 | 支持 |
| RLHF | 支持 | 支持 |
| ZeRO Offload | 支持 | 支持 |
| ZeRO infinity | 支持 | 支持 |
| 1-bit Adam | 支持 | 支持 |
| 1-bit LAMB | 支持 | 支持 |
| 0/1 Adam | 支持 | 支持 |
| Ulysses | 支持 | 支持 |
| Curriculum Learning | 支持 | 支持 |
| Layer Dropping | 支持 | 支持 |
| Automatic Tensor Parallelism | 支持 | 支持 |
待支持特性
其余特性暂时未支持, 具体可查看DeepSpeed文档。
openmind_datasets
已支持特性
| 特性 | 是否支持 | 端到端是否支持 | 备注 |
|---|---|---|---|
| Load | 支持 | 支持 | 支持从openMind下载 |
| Process | 支持 | 支持 | 无 |
| Stream | 支持 | 支持 | 无 |
| Cache management | 支持 | 支持 | 无 |
| Search index | 支持 | 支持 | 无 |
| Beam Datasets | 支持 | 支持 | 无 |
| Audio | 支持 | 支持 | 无 |
| Vision | 支持 | 支持 | 无 |
| Text | 支持 | 支持 | 无 |
| Tabular | 支持 | 支持 | 无 |
| Repository | 支持 | 支持 | 支持上传到openMind |
待支持特性
Metrics为废弃功能,不作支持。
其余特性暂时未支持,具体特性说明可查看Datasets说明文档。
openmind_evaluate
已支持特性
| 一级特性 | 二级特性 | 是否支持 | 端到端是否支持 | 备注 |
|---|---|---|---|---|
| comparisons | exact_match | 支持 | 支持 | 无 |
| measurements | perplexity | 支持 | 支持 | 无 |
| word_count | 支持 | 支持 | 无 | |
| word_length | 支持 | 支持 | 无 | |
| metrics | accuracy | 支持 | 支持 | 无 |
| exact_match | 支持 | 支持 | 无 | |
| f1 | 支持 | 支持 | 无 | |
| glue | 支持 | 支持 | 无 | |
| mae | 支持 | 支持 | 无 | |
| mape | 支持 | 支持 | 无 | |
| mase | 支持 | 支持 | 无 | |
| mse | 支持 | 支持 | 无 | |
| pearsonr | 支持 | 支持 | 无 | |
| precision | 支持 | 支持 | 无 | |
| r_squared | 支持 | 支持 | 无 | |
| recall | 支持 | 支持 | 无 | |
| roc_auc | 支持 | 支持 | 无 | |
| sacrebleu | 支持 | 支持 | 无 | |
| rouge | 支持 | 支持 | 无 | |
| squad | 支持 | 支持 | 无 | |
| squad_v2 | 支持 | 支持 | 无 |
待支持特性
push_to_hub和其余特性暂时未支持,具体特性说明可查看Evaluate说明文档。