中文
本页内容

生态库特性支持说明 ​

openMind Library可与多个生态库共同使用,具体已支持的特性在本文中进行了阐述。其中具体列名意义如下:

  • 是否支持: 从生态库角度出发,昇腾是否完成了必要的适配工作,以支持该特性。
  • 端到端是否支持: 从端到端特性使用角度出发,各环节功能是否完全打通。例如以DeepSpeed Zero2为例,端到端支持代表昇腾计算卡侧支持DeepSpeed,openMind Library工具链侧支持DeepSpeed。

openMind Library支持PyTorch框架和MindSpore框架,以下支持情况基于PyTorch框架阐述,是否支持MindSpore框架请进入各生态库指南文档查看。

peft ​

已支持特性 ​

以下三个特性已集成到openMind Library中可直接配置config使用。

特性是否支持端到端是否支持
LoRA支持支持
AdaLoRA支持支持
IA3支持支持

待支持特性 ​

其余特性暂时未支持,具体特性说明可查看PEFT文档中的ADAPTERS章节。

trl ​

已支持特性 ​

以下三个特性已集成到openMind Library中可直接配置config使用。

特性是否支持端到端是否支持
PPO支持支持
DPO支持支持
ORPO支持支持

待支持特性 ​

其余特性暂时未支持,具体特性说明可查看TRL文档。

DeepSpeed ​

已支持特性 ​

特性是否支持端到端是否支持
FP16支持支持
BF16支持支持
Gradient Accumulation支持支持
Data Parallelism支持支持
Zero 1/2/3支持支持
Activation Checkpointing支持支持
Fused Adam支持支持
MoE支持支持
RLHF支持支持
ZeRO Offload支持支持
ZeRO infinity支持支持
1-bit Adam支持支持
1-bit LAMB支持支持
0/1 Adam支持支持
Ulysses支持支持
Curriculum Learning支持支持
Layer Dropping支持支持
Automatic Tensor Parallelism支持支持

待支持特性 ​

其余特性暂时未支持, 具体可查看DeepSpeed文档。

openmind_datasets ​

已支持特性 ​

特性是否支持端到端是否支持备注
Load支持支持支持从openMind下载
Process支持支持无
Stream支持支持无
Cache management支持支持无
Search index支持支持无
Beam Datasets支持支持无
Audio支持支持无
Vision支持支持无
Text支持支持无
Tabular支持支持无
Repository支持支持支持上传到openMind

待支持特性 ​

Metrics为废弃功能,不作支持。

其余特性暂时未支持,具体特性说明可查看Datasets说明文档。

openmind_evaluate ​

已支持特性 ​

一级特性二级特性是否支持端到端是否支持备注
comparisonsexact_match支持支持无
measurementsperplexity支持支持无
word_count支持支持无
word_length支持支持无
metricsaccuracy支持支持无
exact_match支持支持无
f1支持支持无
glue支持支持无
mae支持支持无
mape支持支持无
mase支持支持无
mse支持支持无
pearsonr支持支持无
precision支持支持无
r_squared支持支持无
recall支持支持无
roc_auc支持支持无
sacrebleu支持支持无
rouge支持支持无
squad支持支持无
squad_v2支持支持无

待支持特性 ​

push_to_hub和其余特性暂时未支持,具体特性说明可查看Evaluate说明文档。