Model Gallery的模型评测功能支持使用自定义数据集和公开数据集（如MMLU、C-Eval等）评测大语言模型（LLM）的能力，帮助您量化对比不同模型的表现。 功能概述 模型评测功能支持从两个维度评测大语言模型： 自定义数据集评测 基于规则的评测：使用ROUGE和BLEU指标来衡量模型预测与标准答案之间的相似度。 裁判模型评测：使用Token服务提供的裁判员模型对模型输出进行逐题评分，特别适用于开放式和复杂的问答场景。 公开数据集评测 在行业标准的公开数据集上评测模型（如MMLU、Triv…

Model Gallery提供数百个预训练模型，支持一键部署为在线服务和微调训练。 选择适合业务的模型 Model Gallery 提供丰富多样的模型。按以下方法快速找到适合您需求的模型： 按领域和任务搜索： 根据您所需的应用领域和要执行的特定任务来查找模型。 查看预训练数据集： 大多数模型列出了预训练数据集。数据集与您的实际用例越接近，直接部署和微调的效果越好。模型详情页包含预训练数据集的详细信息。 考虑模型大小： 参数量越大的模型通常性能越好，但部署成本也更高，微调需要更多数据。 查找模型的…

训推一体是在同一GPU集群上同时运行推理服务和训练任务。通过父子级资源配额的算力抢占机制，推理自动抢占训练资源；结合EAS定时扩缩容和DLC闲时资源，白天保障推理、夜间自动训练，实现GPU集群全时段高效利用。 背景信息 场景示例 假设您有128卡GPU，分配给三个团队： A团队负责推理服务，资源优先级最高。 B、C团队负责模型训练，优先级低于推理。 A团队推理资源不足时，系统自动回收B、C团队的训练资源。 白天EAS自动扩容保障推理；夜间EAS缩容释放GPU，训练任务自动启动。 B、C团队各自独…

使用AI计算资源进行AI开发与推理的通用流程：购买资源、创建配额、提交训练任务或部署推理服务。 准备工作 准备AI计算资源 根据业务需求选择合适的计算资源： 通用计算资源：适用于中小规模训练或推理任务。 灵骏智算资源：基于高性能GPU，适用于深度学习、大模型训练及高性能推理场景。 前往AI计算资源>资源池页面，在灵骏智算资源或通用计算资源页签购买资源，详情请参见资源池。 前往AI计算资源>资源配额（Quota）页面，创建资源配额来分配资源。资源配额用于控制各团队或工作空间可使用的算力…

如果您已有阿里云容器服务（ACK）集群，可以将其接入PAI作为计算资源，用于DSW开发和DLC训练。 前置条件 请联系PDSA完成以下准备： 已准备好可在PAI中使用的ACK集群。 账号已完成白名单配置 配置自持计算资源 步骤一：新建资源组 首先在PAI中创建资源组，将其映射到指定的ACK集群。 登录PAI控制台，在左上角选择ACK集群所在地域。 在左侧导航栏，选择AI计算资源>资源池。 切换到自持计算资源页签，单击新建资源组，在弹出的对话框中从下拉列表中选择已准备好的ACK集群。 步骤二…

PAI新增了Flink全托管资源，您可以购买Flink全托管资源，并关联到工作空间，用于PAI大规模分布式模型训练。本文介绍如何开通和购买Flink全托管资源，以及如何使用该资源训练模型。 Flink全托管资源 阿里云实时计算Flink版是基于Apache Flink构建的一站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力。有关Flink全托管资源的详细信息请参见Flink全托管资源概述。 前提条件 开始操作前，请确认以下准备工作已完成： 购买Flink全托管资源需要使用阿里云账号。如果…

在PAI完成模型开发后，您可以购买并创建MaxCompute资源配额，然后提交任务至MaxCompute进行大规模分布式训练。本文介绍用于PAI模型训练的MaxCompute资源的要求和配置要点。 MaxCompute资源 MaxCompute是企业级SaaS模式云数据仓库，采用Serverless架构提供全托管的在线数据仓库服务，支持海量数据分析处理。有关MaxCompute资源的详细介绍，请参见MaxCompute资源概述。 MaxCompute资源类型与对比选择 PAI中支持使用的MaxC…

资源配额（Quota）支持监控资源状况，提供GPU、CPU、内存等监控指标。配置报警规则后，当资源水位异常（如CPU使用率超过阈值）时会发送通知。支持通过云监控和ARMS查看监控数据、配置报警通知和订阅监控指标。 前提条件 设置监控与报警前，需先创建资源配额，详情请参见资源配额（Quota）功能介绍。 监控指标说明 监控指标主要包括GPU、CPU、内存、磁盘、网络相关指标。支持的维度有Quota维度和节点维度。全量指标列表及细节说明请参见PAI-资源配额（Quota）指标列表。 Quota维度：…

PAI支持多级资源配额（Quota），可按层级划分算力资源。启用抢占功能后，当前资源配额中的排队任务可抢占同级或子级配额的空闲算力，提高资源利用率。 资源配额（Quota）层级说明 PAI支持将算力资源按企业组织架构划分为父子级资源配额，形成如下图所示的树状结构（简称QuotaTree），实现精细的资源管理和分配。 如上图所示，将算力资源拆分为了三级。其中： Root | Quota是父级，Quota-1、Quota-2…Quota-n是其子级且互为同级。 Quota-1是Quota…

调度策略决定排队任务的出队顺序，影响算力资源利用率。选择合适的调度策略可提高任务出队效率。 背景信息 PAI 提交到资源配额（Quota）中的每个任务都有优先级，取值为1~9，数字越大优先级越高。当多个任务同时请求算力资源时，按优先级排队等待执行。 为提高算力资源使用效率，PAI在资源配额维度提供了多种排队策略。选择不同的排队策略会影响任务的执行顺序，但不影响已开始执行的任务。 调度策略 配置资源配额时，支持以下调度策略，各策略的实现原理如下： FIFO策略 如果队列中的第一个任务无法出队，系统…