Dify 是开源的大模型应用开发平台。通过 PAI-EAS 部署 Dify，可利用托管服务和弹性伸缩能力，无需自行维护底层环境，加速从原型到生产的迭代。 工作原理 PAI-EAS 以多容器方式运行 Dify 服务组件，并挂载外部依赖（PostgreSQL、Redis、Elasticsearch、OSS）构建完整服务。各组件通过 VPC 网络通信。 架构核心组件包括： PAI-EAS 服务：作为核心计算平台，EAS 以多容器的方式运行 Dify 的所有服务组件，包括 Web 界面、API 后端、异…

PAI-RAG Web界面支持配置模型、知识库分块、Code沙箱、搜索服务和MCP工具。通过这些配置，您可以灵活调整RAG系统的检索和问答行为。 配置模型 单击左下角设置 > 模型，进入模型配置。在LLM页签添加模型。 说明: 如果是一体化部署，会自动生成一条模型配置记录。还可以继续添加其他来源的模型。 模型ID：区分不同的模型配置。 Endpoint URL：填写模型服务地址。 说明： 阿里云百炼模型调用需单独计费，请参见阿里云百炼计费项说明。 如为EAS模型服务，在服务详情的基本信息区…

RAG（Retrieval-Augmented Generation，检索增强生成）从外部知识库检索相关信息，与用户输入合并后传入大语言模型（LLM），增强模型在私有领域知识问答方面的能力。EAS支持场景化部署RAG对话系统，可灵活选择大语言模型和向量检索库。 适用范围 本文适用于RAG版本0.4.x。旧版本参见PAI-RAG（v0.3.x）。 步骤一：部署RAG服务 登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。 在推理服务页签，单击部署服务，然后在场…

WebUI 工作台是 LLM 智能路由的可视化管理界面，提供多用户角色管理与独立 API Key 分配、实时监控及配置热更新能力，实现用户身份隔离与访问审计，降低服务运维复杂度。 功能概述 工作台支持按需开启用户管理功能，不开启时提供以下功能模块： 实时监控：展示吞吐量、延迟、TTFT 等近实时性能指标及状态码分布，以及 Gateway、Scheduler 和推理实例的运行状态，帮助快速发现异常、定位性能瓶颈。 配置中心：支持分流代理、调度策略、请求限流、流量镜像等核心参数的热更新，无需重启服务…

面对大语言模型（LLM）场景中请求长度多变、Token 生成随机及 GPU 资源波动等挑战，传统负载均衡因无法实时感知后端压力而导致实例负载不均，严重影响系统性能。为此，EAS 推出了集智能调度与可视化运维于一体的 LLM 智能路由服务，基于 LLM 实时指标动态均衡算力与显存，保障高吞吐与稳定性，并通过内置的 WebUI 工作台，提供实时监控、配置热更新及多用户 API Key 独立管控能力，在实现用户身份隔离的同时大幅降低运维复杂度。 工作原理 核心组件 LLM智能路由服务主要由以下两个核心…

混合专家模型（MoE）通过“稀疏激活”机制，在实现万亿级参数规模的同时降低计算成本，但也给传统推理部署带来挑战。专家并行（EP）是一种专为MoE设计的分布式策略，它将不同专家部署在不同GPU上，通过动态路由请求，有效解决显存瓶颈、提升并行计算性能，并显著降低部署成本。本文介绍在PAI-EAS上，为MoE模型启用专家并行（EP）和Prefill-Decode（PD）分离部署，以实现更高的推理吞吐和成本效益。 方案架构 阿里云人工智能平台PAI的模型在线服务（EAS） 提供生产级EP的部署支持，将P…

EAS的LLM智能路由支持兼容OpenAI的批量推理，允许提交大规模的推理请求并在后台处理，适用于离线评估、数据标注、内容生成等不需要实时响应的场景。相比在线推理，批量推理能够显著降低成本并提高资源利用率。 功能特点 异步处理，解耦调用：提交大规模请求后，无需同步等待结果，可以异步查询任务状态，降低了客户端的等待压力和复杂性。 削峰填谷，降本增效：允许在业务低峰期或资源空闲时执行大量推理任务，最大化GPU等计算资源的利用率，从而显著降低单位推理请求的成本。 服务部署 核心参数说明 要使用LLM批…

EAS提供了一站式LLM部署解决方案，可一键部署DeepSeek、Qwen等热门模型，免去手动部署时复杂的环境配置、性能调优和成本管理。 快速入门：部署一个开源模型 以部署开源模型Qwen3-8B为例，该流程同样适用于其他支持的模型。 步骤一：创建服务 登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。 单击部署服务，然后在场景化模型部署区域，单击LLM大语言模型部署。 配置以下关键参数： 配置项 值 模型配置 选择公共模型，搜索并选择Qwen3-8B。 推…

Hermes Agent 是 Nous Research 开发的自进化 AI Agent 框架，内置闭环学习机制，可从经验中自动创建技能并持久化跨会话记忆，支持 Telegram、钉钉、飞书等多消息平台。在PAI-EAS上部署 Hermes Agent 服务后，您可以构建”越用越懂你”的专属助手。 部署EAS服务 登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。 在推理服务页签，单击部署服务，然后在场景化模型部署区域，单击Hermes Agent部署。 配…

在PAI-EAS上部署QwenPaw个人智能体框架，结合PAI-EAS自定义模型或阿里云百炼模型，快速构建专属AI助手。QwenPaw是AgentScope团队于2026年2月开源的本地优先、可自托管框架，支持通过Coding Plan控制推理成本。 部署EAS服务 登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。 在推理服务页签，单击部署服务，然后在场景化模型部署区域，单击QwenPaw部署。 配置关键参数： 参数 描述 服务名称 示例：qwenpaw_…