预训练的大语言模型（LLM）可能无法满足特定需求，需要通过微调提升其在特定任务中的表现。本指引介绍微调LLM时的策略选择（SFT/DPO）、微调技术（全参/LoRA/QLoRA）以及超参说明。 微调方法简介 SFT/DPO 在Model Gallery模块中，您可以对模型进行监督微调（SFT）和直接偏好优化（DPO）训练。大语言模型（LLM）的训练流程通常包括以下三步： 1. 预训练（Pre-Training, PT） 预训练是LLM训练流程的第一步，模型在大规模语料库上进行学习，以掌握基本的语…

阿里云人工智能平台PAI是NVIDIA授权的中国NIM合作伙伴。 NIM是英伟达推出的预构建容器工具，用于在云、数据中心和工作站上部署高性能AI模型推理。NIM模型经过NIM优化工具加工，相比原始开源模型有显著的推理性能提升。 PAI-Model Gallery提供多个NIM模型（在模型广场左侧筛选栏选择”模型来源”为”NIM”即可查看），支持2种使用方式： 在PAI-Model Gallery中一键部署使用 下载后在本地部署使用 支持的NIM模型列表 当前PAI-Model Gallery中可…

实验管理支持通过TensorBoard可视化对比多个训练任务的指标（如train_loss、total_flos等），便于在微调训练中选择最优超参数组合。 前提条件 使用TensorBoard进行指标可视化需要先创建OSS Bucket存储空间，具体操作请参见控制台创建存储空间。 使用费用 实验管理本身并不收费，但使用Model Gallery进行模型训练并把训练任务关联到实验时，需要收取DLC训练费用和OSS存储费用，计费详情请参见分布式训练（DLC）计费说明和OSS计费概述。 使用Tenso…

模型压缩通过量化等技术减小模型体积和计算复杂度，同时尽量保持预测性能。适用于GPU显存有限或需要降低部署成本的场景。 简介 PAI-Model Gallery支持基于Weight-only Quantization技术的模型量化，通过MinMax-8Bit或MinMax-4Bit策略将模型浮点数参数量化到8位或4位整数表示，减小模型体积、降低显存占用，同时保持较好的性能。 压缩模型 训练模型。 压缩功能仅支持训练后的模型，因此需要先完成模型训练。详情请参见模型部署及训练。 待模型训练完成之后，在…

模型蒸馏将大参数量模型（教师模型）的知识迁移到小参数量模型（学生模型），在保持模型性能的同时显著降低参数量，解决大模型推理成本高、响应速度慢的问题。PAI Model Gallery 基于阿里云自研模型蒸馏框架PAI-EasyDistill提供一键式模型蒸馏功能，无需编码即可完成模型蒸馏全流程。 应用场景 适合使用模型蒸馏的场景： 端侧/边缘部署：将大模型压缩为轻量模型，适配手机、IoT 设备等资源受限环境。 成本优化：当线上业务使用的模型推理成本过高时，可蒸馏出一个更小的模型来降低成本。 推理…

Model Gallery的模型评测功能支持使用自定义数据集和公开数据集（如MMLU、C-Eval等）评测大语言模型（LLM）的能力，帮助您量化对比不同模型的表现。 功能概述 模型评测功能支持从两个维度评测大语言模型： 自定义数据集评测 基于规则的评测：使用ROUGE和BLEU指标来衡量模型预测与标准答案之间的相似度。 裁判模型评测：使用Token服务提供的裁判员模型对模型输出进行逐题评分，特别适用于开放式和复杂的问答场景。 公开数据集评测 在行业标准的公开数据集上评测模型（如MMLU、Triv…

Model Gallery提供数百个预训练模型，支持一键部署为在线服务和微调训练。 选择适合业务的模型 Model Gallery 提供丰富多样的模型。按以下方法快速找到适合您需求的模型： 按领域和任务搜索： 根据您所需的应用领域和要执行的特定任务来查找模型。 查看预训练数据集： 大多数模型列出了预训练数据集。数据集与您的实际用例越接近，直接部署和微调的效果越好。模型详情页包含预训练数据集的详细信息。 考虑模型大小： 参数量越大的模型通常性能越好，但部署成本也更高，微调需要更多数据。 查找模型的…

训推一体是在同一GPU集群上同时运行推理服务和训练任务。通过父子级资源配额的算力抢占机制，推理自动抢占训练资源；结合EAS定时扩缩容和DLC闲时资源，白天保障推理、夜间自动训练，实现GPU集群全时段高效利用。 背景信息 场景示例 假设您有128卡GPU，分配给三个团队： A团队负责推理服务，资源优先级最高。 B、C团队负责模型训练，优先级低于推理。 A团队推理资源不足时，系统自动回收B、C团队的训练资源。 白天EAS自动扩容保障推理；夜间EAS缩容释放GPU，训练任务自动启动。 B、C团队各自独…

使用AI计算资源进行AI开发与推理的通用流程：购买资源、创建配额、提交训练任务或部署推理服务。 准备工作 准备AI计算资源 根据业务需求选择合适的计算资源： 通用计算资源：适用于中小规模训练或推理任务。 灵骏智算资源：基于高性能GPU，适用于深度学习、大模型训练及高性能推理场景。 前往AI计算资源>资源池页面，在灵骏智算资源或通用计算资源页签购买资源，详情请参见资源池。 前往AI计算资源>资源配额（Quota）页面，创建资源配额来分配资源。资源配额用于控制各团队或工作空间可使用的算力…

如果您已有阿里云容器服务（ACK）集群，可以将其接入PAI作为计算资源，用于DSW开发和DLC训练。 前置条件 请联系PDSA完成以下准备： 已准备好可在PAI中使用的ACK集群。 账号已完成白名单配置 配置自持计算资源 步骤一：新建资源组 首先在PAI中创建资源组，将其映射到指定的ACK集群。 登录PAI控制台，在左上角选择ACK集群所在地域。 在左侧导航栏，选择AI计算资源>资源池。 切换到自持计算资源页签，单击新建资源组，在弹出的对话框中从下拉列表中选择已准备好的ACK集群。 步骤二…