阿里云国际人工智能平台 PAI – DLC支持存储服务挂载配置读写权限

人工智能平台 PAI – DLC支持存储服务挂载配置读写权限

优化内容

PAI 训练服务DLC，阿里云存储实例（OSS、NAS、 CPFS等）挂载时支持配置读写权限，支持用户存储实例权限的精细化管理。

在DLC训练任务中使用云存储

在提交DLC训练任务时，您可以通过代码配置或挂载的方式配置OSS、NAS、CPFS或MaxCompute存储，从而方便地在训练过程中直接读写相应存储中的数据。本文为您介绍如何在DLC训练任务中进行OSS、MaxCompute、NAS或CPFS的存储配置。

前提条件

已开通PAI（DLC）并创建工作空间。具体操作，请参见开通PAI并创建默认工作空间。
（可选）配置OSS数据存储时，需要完成以下准备工作：
- 已开通OSS并完成PAI访问授权，详情请参见开通OSS和PAI服务账号授权。
- 已创建OSS存储空间（Bucket），详情请参见控制台快速入门。
（可选）配置NAS数据存储时：需要创建通用型NAS文件系统，详情请参见创建文件系统。
（可选）配置MaxCompute存储时：需要开通MaxCompute并创建MaxCompute项目，详情请参见开通MaxCompute和创建MaxCompute项目。

使用OSS存储

通过挂载方式进行OSS存储配置

在创建分布式训练（DLC）任务时，挂载OSS存储。支持以下几种挂载类型，具体配置方法，请参见创建训练任务。

挂载类型

描述

数据集

通过数据集（自定义数据集或公共数据集）进行挂载，其中：

公共数据集只支持只读挂载模式。
自定义数据集（对象存储OSS）可以通过是否只读开关，来设置读写权限。

选择对象存储OSS类型的数据集，并配置挂载路径，当执行DLC任务时，系统会按照该路径来访问OSS中的数据。

直接挂载

直接挂载OSS Bucket存储路径，并通过是否只读开关，来设置读写权限。

当前DLC底层使用JindoFuse来挂载OSS。使用DLC的默认配置有功能限制（详情请参见JindoFuse），并不适合所有的场景。您可以通过调整参数，来适配具体的场景。具体操作，请参见JindoFuse。

通过非挂载方式进行OSS存储配置

DLC任务支持使用OSS Pytorch Connector或OSS SDK来读写OSS数据。您可以在创建训练任务时，通过代码配置来配置相关代码文件。具体代码示例，请参见OSS Pytorch Connector或OSS SDK。

使用NAS/CPFS存储

您可以在创建分布式训练（DLC）任务时，通过绑定NAS/CPFS类型的自定义数据集或直接挂载的方式，使用NAS/CPFS存储。具体配置方法，请参见NAS使用。

挂载类型

描述

数据集

通过自定义数据集进行挂载，您可以通过是否只读开关，来设置读写权限。

直接挂载

直接挂载NAS/CPFS文件系统，并通过是否只读开关，来设置读写权限。

此外，您还可以在高级配置中，通过设置nconnect参数提升DLC容器访问NAS的吞吐性能。nconnect是NFS客户端Linux挂载选项，通过在客户端和服务器之间建立更多的TCP传输连接来提高吞吐性能。建议将nconnect设置为4，命令示例如下。

{"nconnect":"4"}

使用MaxCompute存储

通过非挂载的方式进行MaxCompute存储配置。您可以在创建训练任务时，通过代码配置来配置相关代码文件。具体代码示例，请参见MaxCompute使用。

常见问题

使用paiio读表没有报错但日志里显示killed？

由于资源不足，paiio未做限制，导致MaxCompute数据读取到内存时会出现膨胀现象，同时操作系统和其他系统组件也会占用部分内存。

阿里云国际人工智能平台 PAI – DLC支持存储服务挂载配置读写权限

优化内容

在DLC训练任务中使用云存储

前提条件

使用OSS存储

通过挂载方式进行OSS存储配置

通过非挂载方式进行OSS存储配置

使用NAS/CPFS存储

使用MaxCompute存储

常见问题

使用paiio读表没有报错但日志里显示killed？

相关新闻

什么是WAF？

阿里云计算巢管理服务-实例管理-管理服务实例的生命周期事件

阿里云计算巢管理服务-实例管理-查看账单明细

阿里云计算巢部署服务实例-如何创建私有部署服务实例

阿里云计算巢服务升级场景说明-服务商通过代运维功能帮助用户升级服务实例

怎么使用CDN解决图片压缩优化？

联系我们