ensorFlow Serving是深度学习模型的推理服务引擎，支持将TensorFlow SavedModel格式的模型部署为在线服务，并支持模型热更新与版本管理。通过PAI-EAS的镜像部署方式，您可以快速上线TensorFlow Serving模型服务。 前提准备 模型文件 使用TensorFlow Serving镜像部署要求模型文件存储在OSS，且模型文件的存储目录需满足以下要求： 模型版本目录：每个模型至少包含一个模型版本目录，且必须以数字命名，作为模型版本号，数字越大版本号越新。 模…

EAS提供公共资源、EAS资源组和资源配额三种资源类型，满足从测试到生产的不同场景需求。选择合适的资源类型并配置计算资源与调度策略，可以兼顾性能和成本。 选择资源类型 资源类型 适用场景 计费 功能对比 公共资源 适用于测试或流量有波动大的业务（专属资源搭配弹性资源池）。 先使用，后付费，按需开通。 后付费（按量付费），详情请参见EAS计费说明。 使用公共计算资源，无需单独购买，高峰期无法保证稳定的资源分配。 支持CPU、GPU（A10、P4、P100、T4及V100卡） EAS资源组 专属资源…

Triton Inference Server是NVIDIA开发的推理服务引擎，支持TensorRT、TensorFlow、PyTorch、ONNX等多种AI框架的模型部署为在线推理服务，并提供多模型管理和自定义backend能力。您可以在PAI-EAS上快速部署基于Triton的推理服务。 前提条件 与 PAI 同地域的对象存储 OSS Bucket。 已训练好的模型文件（如 .pt、.onnx、.plan、.savedmodel）。 快速入门：部署单模型服务 步骤一：准备模型仓库 Trito…

Wan是开源的AI视频生成大模型，支持T2V（文本生成视频）和I2V（图像生成视频）。您可以部署ComfyUI服务并使用Wan生成视频内容。 部署标准版ComfyUI（单用户使用） 部署配置 使用自定义方式部署标准版ComfyUI镜像服务，具体操作步骤如下： 登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。 在推理服务页签，单击部署服务，然后在自定义模型部署区域，单击自定义部署。 在自定义部署页面，配置以下参数。 在环境信息区域，配置以下参数。 参数 描述…

ComfyUI是基于Stable Diffusion的节点式AIGC工具，用于短视频内容生成和动画制作。EAS支持场景化部署ComfyUI服务。 开始之前 重要限制与注意事项 部署前必读：了解以下关键限制，以避免资源浪费和常见错误。 部署资源：推荐使用GU30、A10或T4卡型，其中ml.gu7i.c16m60.1-gu30性价比高。 重要 每个 EAS 实例仅运行一个 ComfyUI 进程，仅支持单张 GPU（单机单卡或多机单卡），不支持多卡并行推理。请勿选择多卡 GPU 规格（如 2*A10…

Stable Diffusion（SD）是强大的图像生成模型，能够生成高质量、高分辨率的图像。Stable Diffusion WebUI基于Gradio开发了可视化图形界面，提供丰富的生图工具。EAS支持场景化部署，只需配置几个参数即可一键部署SD WebUI服务。 功能与优势 PAI-EAS 相比自建服务具有以下优势： 一键部署：预配置镜像，包含所有依赖项。 GPU 弹性伸缩：根据需求动态调整 GPU 资源。 企业级功能：多用户隔离、GPU 共享、成本分摊。 集成文件管理：FileBrows…

Dify 是开源的大模型应用开发平台。通过 PAI-EAS 部署 Dify，可利用托管服务和弹性伸缩能力，无需自行维护底层环境，加速从原型到生产的迭代。 工作原理 PAI-EAS 以多容器方式运行 Dify 服务组件，并挂载外部依赖（PostgreSQL、Redis、Elasticsearch、OSS）构建完整服务。各组件通过 VPC 网络通信。 架构核心组件包括： PAI-EAS 服务：作为核心计算平台，EAS 以多容器的方式运行 Dify 的所有服务组件，包括 Web 界面、API 后端、异…

PAI-RAG Web界面支持配置模型、知识库分块、Code沙箱、搜索服务和MCP工具。通过这些配置，您可以灵活调整RAG系统的检索和问答行为。 配置模型 单击左下角设置 > 模型，进入模型配置。在LLM页签添加模型。 说明: 如果是一体化部署，会自动生成一条模型配置记录。还可以继续添加其他来源的模型。 模型ID：区分不同的模型配置。 Endpoint URL：填写模型服务地址。 说明： 阿里云百炼模型调用需单独计费，请参见阿里云百炼计费项说明。 如为EAS模型服务，在服务详情的基本信息区…

RAG（Retrieval-Augmented Generation，检索增强生成）从外部知识库检索相关信息，与用户输入合并后传入大语言模型（LLM），增强模型在私有领域知识问答方面的能力。EAS支持场景化部署RAG对话系统，可灵活选择大语言模型和向量检索库。 适用范围 本文适用于RAG版本0.4.x。旧版本参见PAI-RAG（v0.3.x）。 步骤一：部署RAG服务 登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。 在推理服务页签，单击部署服务，然后在场…

WebUI 工作台是 LLM 智能路由的可视化管理界面，提供多用户角色管理与独立 API Key 分配、实时监控及配置热更新能力，实现用户身份隔离与访问审计，降低服务运维复杂度。 功能概述 工作台支持按需开启用户管理功能，不开启时提供以下功能模块： 实时监控：展示吞吐量、延迟、TTFT 等近实时性能指标及状态码分布，以及 Gateway、Scheduler 和推理实例的运行状态，帮助快速发现异常、定位性能瓶颈。 配置中心：支持分流代理、调度策略、请求限流、流量镜像等核心参数的热更新，无需重启服务…