EAS 服务部署将您的模型或算法封装为在线推理服务。EAS提供场景化部署、自定义部署和JSON独立部署三种方式，最终都生成同一份JSON服务配置。 工作原理（镜像部署） EAS服务运行在一个或多个隔离的容器实例中。启动过程包含以下核心要素： 镜像 ：一个包含操作系统、基础库（如CUDA）、语言环境（如Python）和必要依赖的只读模板。可使用PAI提供的官方镜像，也可以自定义镜像以满足特定业务需求。 代码与模型 ：您的业务逻辑代码和模型文件。推荐存储在对象存储OSS或文件存储NAS中。这能实现代…

在EAS服务中访问其他云资源时，需配置访问密钥进行身份验证。通过关联RAM角色，您可在EAS服务实例内基于STS临时凭证访问其他云资源，无需再配置长期AccessKey，减少密钥泄漏风险。本文介绍如何创建RAM角色并授权给EAS，以及如何基于RAM角色获取STS临时访问凭证。 功能优势 RAM角色是一种允许云服务扮演的可信实体角色，用于解决“跨服务访问”的问题。基于RAM角色获取临时访问凭证来验证身份信息和访问权限控制，具有以下优势： 安全保密：无需在服务内管理凭据，使用STS临时访问凭证替代长…

EAS通过服务关联角色AliyunServiceRoleForPaiEasManageCustomerClusters访问自运维资源组所需的云服务。首次使用EAS自运维资源组时，系统自动创建该角色。 背景信息 EAS服务关联角色AliyunServiceRoleForPaiEasManageCustomerClusters是EAS在使用自运维资源组时，为获取其他云服务访问权限而提供的RAM角色。关于服务关联角色的详细说明，请参见服务关联角色。 EAS通过该角色访问PrivateLink、VPC、…

EAS通过服务关联角色AliyunServiceRoleForPaiEas访问其他云服务。首次使用EAS时系统会自动创建该角色。如需删除该角色，请参见下文说明。 背景信息 EAS服务关联角色AliyunServiceRoleForPaiEas是EAS为完成自身功能而获取其他云服务访问权限的RAM角色。更多关于服务关联角色的信息请参见服务关联角色。 当EAS需要访问OSS、SLS、ECS或VPC的资源时，通过AliyunServiceRoleForPaiEas获取访问权限。 AliyunServi…

EAS（Elastic Algorithm Service）将训练好的模型部署为在线推理服务或AI-Web应用。EAS支持异构资源，结合自动扩缩容、一键压测、灰度发布、实时监控等能力，以更低成本保障高并发场景下的服务稳定性。 产品架构 核心能力 EAS覆盖资源管理、模型部署和服务运维全流程。 灵活的资源与成本管理 异构硬件支持：支持CPU、GPU及AI专属GU机型，满足不同模型的性能需求。 成本优化：支持抢占型实例，显著降低计算成本。通过定时扩缩容，可根据业务周期提前设定策略，精准控制资源投入。…

预训练的大语言模型（LLM）可能无法满足特定需求，需要通过微调提升其在特定任务中的表现。本指引介绍微调LLM时的策略选择（SFT/DPO）、微调技术（全参/LoRA/QLoRA）以及超参说明。 微调方法简介 SFT/DPO 在Model Gallery模块中，您可以对模型进行监督微调（SFT）和直接偏好优化（DPO）训练。大语言模型（LLM）的训练流程通常包括以下三步： 1. 预训练（Pre-Training, PT） 预训练是LLM训练流程的第一步，模型在大规模语料库上进行学习，以掌握基本的语…

阿里云人工智能平台PAI是NVIDIA授权的中国NIM合作伙伴。 NIM是英伟达推出的预构建容器工具，用于在云、数据中心和工作站上部署高性能AI模型推理。NIM模型经过NIM优化工具加工，相比原始开源模型有显著的推理性能提升。 PAI-Model Gallery提供多个NIM模型（在模型广场左侧筛选栏选择”模型来源”为”NIM”即可查看），支持2种使用方式： 在PAI-Model Gallery中一键部署使用 下载后在本地部署使用 支持的NIM模型列表 当前PAI-Model Gallery中可…

实验管理支持通过TensorBoard可视化对比多个训练任务的指标（如train_loss、total_flos等），便于在微调训练中选择最优超参数组合。 前提条件 使用TensorBoard进行指标可视化需要先创建OSS Bucket存储空间，具体操作请参见控制台创建存储空间。 使用费用 实验管理本身并不收费，但使用Model Gallery进行模型训练并把训练任务关联到实验时，需要收取DLC训练费用和OSS存储费用，计费详情请参见分布式训练（DLC）计费说明和OSS计费概述。 使用Tenso…

模型压缩通过量化等技术减小模型体积和计算复杂度，同时尽量保持预测性能。适用于GPU显存有限或需要降低部署成本的场景。 简介 PAI-Model Gallery支持基于Weight-only Quantization技术的模型量化，通过MinMax-8Bit或MinMax-4Bit策略将模型浮点数参数量化到8位或4位整数表示，减小模型体积、降低显存占用，同时保持较好的性能。 压缩模型 训练模型。 压缩功能仅支持训练后的模型，因此需要先完成模型训练。详情请参见模型部署及训练。 待模型训练完成之后，在…

模型蒸馏将大参数量模型（教师模型）的知识迁移到小参数量模型（学生模型），在保持模型性能的同时显著降低参数量，解决大模型推理成本高、响应速度慢的问题。PAI Model Gallery 基于阿里云自研模型蒸馏框架PAI-EasyDistill提供一键式模型蒸馏功能，无需编码即可完成模型蒸馏全流程。 应用场景 适合使用模型蒸馏的场景： 端侧/边缘部署：将大模型压缩为轻量模型，适配手机、IoT 设备等资源受限环境。 成本优化：当线上业务使用的模型推理成本过高时，可蒸馏出一个更小的模型来降低成本。 推理…