阿里云国际人工智能平台 PAI – DLC支持存储服务挂载配置读写权限

人工智能平台 PAI – DLC支持存储服务挂载配置读写权限
优化内容

PAI 训练服务DLC, 阿里云存储实例(OSS、NAS、 CPFS等)挂载时支持配置读写权限,支持用户存储实例权限的精细化管理。

在DLC训练任务中使用云存储

在提交DLC训练任务时,您可以通过代码配置或挂载的方式配置OSS、NAS、CPFS或MaxCompute存储,从而方便地在训练过程中直接读写相应存储中的数据。本文为您介绍如何在DLC训练任务中进行OSS、MaxCompute、NAS或CPFS的存储配置。

前提条件

使用OSS存储

通过挂载方式进行OSS存储配置

在创建分布式训练(DLC)任务时,挂载OSS存储。支持以下几种挂载类型,具体配置方法,请参见创建训练任务image

挂载类型

描述

数据集

通过数据集(自定义数据集或公共数据集)进行挂载,其中:

  • 公共数据集只支持只读挂载模式。

  • 自定义数据集(对象存储OSS)可以通过是否只读开关,来设置读写权限。

选择对象存储OSS类型的数据集,并配置挂载路径,当执行DLC任务时,系统会按照该路径来访问OSS中的数据。

直接挂载

直接挂载OSS Bucket存储路径,并通过是否只读开关,来设置读写权限。

当前DLC底层使用JindoFuse来挂载OSS。使用DLC的默认配置有功能限制(详情请参见JindoFuse),并不适合所有的场景。您可以通过调整参数,来适配具体的场景。具体操作,请参见JindoFuse

通过非挂载方式进行OSS存储配置

DLC任务支持使用OSS Pytorch Connector或OSS SDK来读写OSS数据。您可以在创建训练任务时,通过代码配置来配置相关代码文件。具体代码示例,请参见OSS Pytorch ConnectorOSS SDKimage

使用NAS/CPFS存储

您可以在创建分布式训练(DLC)任务时,通过绑定NAS/CPFS类型的自定义数据集或直接挂载的方式,使用NAS/CPFS存储。具体配置方法,请参见NAS使用image

挂载类型

描述

数据集

通过自定义数据集进行挂载,您可以通过是否只读开关,来设置读写权限。

直接挂载

直接挂载NAS/CPFS文件系统,并通过是否只读开关,来设置读写权限。

此外,您还可以在高级配置中,通过设置nconnect参数提升DLC容器访问NAS的吞吐性能。nconnect是NFS客户端Linux挂载选项,通过在客户端和服务器之间建立更多的TCP传输连接来提高吞吐性能。建议将nconnect设置为4,命令示例如下。

 
{"nconnect":"4"}

使用MaxCompute存储

通过非挂载的方式进行MaxCompute存储配置。您可以在创建训练任务时,通过代码配置来配置相关代码文件。具体代码示例,请参见MaxCompute使用image

常见问题

使用paiio读表没有报错但日志里显示killed?

由于资源不足,paiio未做限制,导致MaxCompute数据读取到内存时会出现膨胀现象,同时操作系统和其他系统组件也会占用部分内存。

相关新闻

  • 阿里云代理商:灵骏智算平台任务调度策略怎么进行优化?

    引言:在人工智能训练、科学计算等高性能计算场景中,任务调度策略直接关系到计算资源的利用效率和任务执行速度。阿里云灵骏智算平台作为专为智能计算设计的一体化平台,其任务调度系统提供了灵活的策略配置,帮助用户优化计算任务执行。本文将重点介绍两种常见的任务调度优化策略:高优先级计算任务插队机制和分布式训练任务排队优化方案。 一、高优先级计算任务插队机制 在灵骏智算平台上,用户可能会遇到紧急任务需要立即执行的情况。此时,通过设置任务优先级,可以让高优先级任务优先获得计算资源,实现“插队”。操作建议:1. …

    常见问答 2026年5月7日
  • 阿里云轻量应用服务器-通过阿里云客户端管理轻量应用服务器

    阿里云轻量应用服务器-通过阿里云客户端管理轻量应用服务器

    您可以在本地安装阿里云客户端来便捷地对轻量应用服务器实例进行查询、查看资源配置和使用情况、还可以远程连接和管理轻量应用服务器。 前提条件 您本地已下载并安装阿里云客户端。具体操作,请参见下载阿里云客户端。 您已在阿里云客户端添加账号。具体操作,请参见在阿里云客户端添加账号。 如果您添加的是RAM用户,请确保RAM用户具有轻量应用服务器相关操作的权限。具体授权操作,请参见为RAM用户授权。 远程连接轻量应用服务器 Linux、Windows轻量应用服务器远程连接方式有所不同,具体如下所示。 Lin…

    使用指南 2026年1月22日
  • 阿里云轻量应用服务器-创建自定义镜像

    通过创建自定义镜像,您可以保存一台轻量应用服务器的数据。创建完成的自定义镜像可用于共享到云服务器ECS或者创建相同配置的轻量应用服务器。 注意事项 创建的自定义镜像所属地域与对应的轻量应用服务器所属地域相同。 只有服务器的系统盘快照可以直接创建自定义镜像。如果您需要自定义镜像中包含服务器的数据盘数据,在创建自定义镜像的过程中,需要手动选择对应的数据盘快照。 因到期或退款的原因导致服务器被释放,其对应的自定义镜像也将同时被释放。 重置或更换镜像会清除服务器上的磁盘数据,请您根据需要做好数据备份。 …

    使用指南 2026年1月27日
  • 阿里云代理商:2026年金融效率革命 OpenClaw 技能组合实战指南

    在金融领域,从业者常被信息检索、数据处理、报告生成及协同办公等任务消耗大量精力 —— 手动追踪市场动态、反复整理表格、逐字提炼核心观点、机械处理邮件与日程,这些重复性工作不仅效率低下,还可能因信息滞后或操作失误影响决策质量。 2026 年,OpenClaw(昵称 “小龙虾”)凭借其专属金融能力模块,成为行业 “智能增效引擎”。参考权威机构实测,通过部署 10 项核心金融技能,OpenClaw 实现了从 “通用对话工具” 到 “专业金融智脑” 的升级,覆盖市场监测、个股诊断、量化策略、自动化办公等…

     OpenClaw 2026年4月7日
  • 无影云手机管理员实例版管理操作指南-创建和管理策略

    管理员实例版管理操作指南-创建和管理策略 云手机策略是一组规则的集合,用于控制和影响云手机使用全过程中各个环节的体验、行为、能力、安全性等等。管理员只需要创建自定义云手机策略,并将策略绑定至云手机实例组,就可以管控这些实例组中的云手机实例。 创建策略 登录无影云手机控制台。 在左侧导航栏,选择网络与安全 > 策略。 在策略页面上,单击创建策略。 在创建策略面板上完成以下配置,并单击创建。 配置项 说明 变更生效机制 策略名称 输入自定义的策略名称。 不涉及 基础策略页签 默认分辨率 客户端…

    无影云手机 2025年7月24日
  • 通用模板

    阿里云国际站如何购买国外域名?

    阿里云国际站如何购买国外域名? 第一步:需要注册阿里云国际站账号,并充值。开户注册可以联系云枢国际 @yunshuguoji 商务经理。 第二步:创建域名信息模版。 自2022年02月15日起,阿里云域名注册必须选择已完成实名核验的信息模板,即在您注册域名之前,需提前创建好域名持有者信息模板,并提交实名认证。 说明 完成信息模板实名认证后,注册域名、批量修改域名持有者信息、购买域名等场景下,您可以直接使用已完成实名认证的信息模板,减少反复填写注册信息和提交资料图片的操作,且大部分域名注册局可以直…

    常见问答 2024年1月5日
联系我们

联系我们

电报:@yunshuguoji

邮件:yunshuguoji@outlook.com

工作时间:早上8:00-晚上11:00

认准电报
认准电报
分享本页
返回顶部