中文
本页内容

生态库特性支持说明

openMind Library可与多个生态库共同使用,具体已支持的特性在本文中进行了阐述。其中具体列名意义如下:

  • 是否支持: 从生态库角度出发,昇腾是否完成了必要的适配工作,以支持该特性。
  • 端到端是否支持: 从端到端特性使用角度出发,各环节功能是否完全打通。例如以DeepSpeed Zero2为例,端到端支持代表昇腾计算卡侧支持DeepSpeed,openMind Library工具链侧支持DeepSpeed。

openMind Library支持PyTorch框架和MindSpore框架,以下支持情况基于PyTorch框架阐述,是否支持MindSpore框架请进入各生态库指南文档查看。

peft

已支持特性

以下三个特性已集成到openMind Library中可直接配置config使用。

特性是否支持端到端是否支持
LoRA支持支持
AdaLoRA支持支持
IA3支持支持

待支持特性

其余特性暂时未支持,具体特性说明可查看PEFT文档中的ADAPTERS章节

trl

已支持特性

以下三个特性已集成到openMind Library中可直接配置config使用。

特性是否支持端到端是否支持
PPO支持支持
DPO支持支持
ORPO支持支持

待支持特性

其余特性暂时未支持,具体特性说明可查看TRL文档

DeepSpeed

已支持特性

特性是否支持端到端是否支持
FP16支持支持
BF16支持支持
Gradient Accumulation支持支持
Data Parallelism支持支持
Zero 1/2/3支持支持
Activation Checkpointing支持支持
Fused Adam支持支持
MoE支持支持
RLHF支持支持
ZeRO Offload支持支持
ZeRO infinity支持支持
1-bit Adam支持支持
1-bit LAMB支持支持
0/1 Adam支持支持
Ulysses支持支持
Curriculum Learning支持支持
Layer Dropping支持支持
Automatic Tensor Parallelism支持支持

待支持特性

其余特性暂时未支持, 具体可查看DeepSpeed文档

openmind_datasets

已支持特性

特性是否支持端到端是否支持备注
Load支持支持支持从openMind下载
Process支持支持
Stream支持支持
Cache management支持支持
Search index支持支持
Beam Datasets支持支持
Audio支持支持
Vision支持支持
Text支持支持
Tabular支持支持
Repository支持支持支持上传到openMind

待支持特性

Metrics为废弃功能,不作支持。

其余特性暂时未支持,具体特性说明可查看Datasets说明文档

openmind_evaluate

已支持特性

一级特性二级特性是否支持端到端是否支持备注
comparisonsexact_match支持支持
measurementsperplexity支持支持
word_count支持支持
word_length支持支持
metricsaccuracy支持支持
exact_match支持支持
f1支持支持
glue支持支持
mae支持支持
mape支持支持
mase支持支持
mse支持支持
pearsonr支持支持
precision支持支持
r_squared支持支持
recall支持支持
roc_auc支持支持
sacrebleu支持支持
rouge支持支持
squad支持支持
squad_v2支持支持

待支持特性

push_to_hub和其余特性暂时未支持,具体特性说明可查看Evaluate说明文档