阿里云国际代理商：人工智能平台 PAI-Triton Inference Server镜像部署

步骤三：部署服务

1. 登录PAI控制台，在页面上方选择目标地域。

2. 在左侧导航栏单击模型在线服务（EAS），选择目标工作空间，然后单击部署服务。

3. 在场景化模型部署区域，单击Triton部署。

4. 配置部署参数：

   • 服务名称：自定义服务名称。

   • 模型配置：配置类型选择对象存储（OSS），填写模型仓库路径（如 oss://your-bucket/models/triton/）。

   • 副本数及资源规格按需选择。估算模型部署所需显存您可参考估算大模型所需显存。

5. 单击部署，等待服务启动完成。

步骤四：启用gRPC（可选）

默认情况下，Triton 在端口 8000 提供 HTTP 服务。如需使用 gRPC：

1. 单击服务配置页面右上角的切换为自定义部署。

2. 在环境信息区域，将端口号修改为 8001。

3. 在服务功能 > 高级网络下，启用gRPC。

4. 单击部署。

目录结构

your_model_name/
├── 1/
│   ├── model.pt          # 模型文件
│   └── model.py          # 自定义推理逻辑
└── config.pbtxt

实现Python Backend

创建 model.py 文件，定义 TritonPythonModel 类.

还可参考示例，更新配置文件。

部署服务

使用Python backend必须设置共享内存。在自定义模型部署 > JSON独立部署填写如下JSON配置并部署。

{
  "metadata": {
    "name": "triton_server_test",
    "instance": 1
  },
  "cloud": {
        "computing": {
            "instance_type": "ml.gu7i.c8m30.1-gu30",
            "instances": null
        }
    },
  "containers": [
    {
      "command": "tritonserver --model-repository=/models",
      "image": "eas-registry-vpc.<region>.cr.aliyuncs.com/pai-eas/tritonserver:25.03-py3",
      "port": 8000,
      "prepare": {
        "pythonRequirements": [
          "torch==2.0.1"
        ]
      }
    }
  ],
  "storage": [
    {
      "mount_path": "/models",
      "oss": {
        "path": "oss://oss-test/models/triton_backend/"
      }
    },
    {
      "empty_dir": {
        "medium": "memory",
        // 配置共享内存为1 GB。
        "size_limit": 1
      },
      "mount_path": "/dev/shm"
    }
  ]
}

关键JSON配置说明：

• containers[0].image: Triton官方镜像。请将 cn-hangzhou 替换为您服务所在的地域。

• containers[0].prepare.pythonRequirements: 在此列出您的Python依赖库，EAS会在服务启动前自动安装。

• storage: 包含两个挂载项。

  • 第一个将您的OSS模型仓库路径挂载到容器的 /models 目录。

  • 第二个是必须配置的共享内存。Triton Server与Python Backend进程之间通过共享内存 /dev/shm 传递张量数据以实现零拷贝，从而最大化性能。size_limit 单位为GB，请根据模型和并发量估算所需大小。

调用服务

发送gRPC请求

端口号配置为8001，并添加gRPC相关配置后，服务支持发送gRPC请求。

调试技巧

client = httpclient.InferenceServerClient(url=url, verbose=True)

在线调试

可以直接在控制台的在线调试功能中进行测试，请求地址补全为/api/predict/triton_test/v2/models/resnet50_pt/versions/1/infer，Body使用详细日志中的 JSON 请求数据。

发送请求后返回 Status Code 200，响应 Body 中包含 model_version:"1"，输出名称为 OUTPUT__0，数据类型为 FP32，shape 为 [1,1000]，data 为浮点数数组，表明推理请求成功。

压测服务

以单个数据压测为例，操作步骤如下。更多压测说明请参见服务压测：

1. 在压测任务页签，单击添加压测任务，选择已部署的Triton服务，并填写压测地址。

2. 数据来源选择单个数据，并参考如下代码将JSON请求体转换为Base64编码的字符串。

   import base64
   
   # 已有的 JSON 请求体字符串
   json_str = '{"inputs":[{"name":"INPUT__0","shape":[1,3,32,32],"datatype":"FP32","data":[1.0,1.0,.....,1.0]}]}'
   # 直接编码
   base64_str = base64.b64encode(json_str.encode('utf-8')).decode('ascii')
   print(base64_str)

   在添加压测任务页面完成以下配置：

   • 所属服务：选择目标 Triton 服务。

   • 压测地址：路径部分填写为 /api/predict/triton_xxx/v2/models/resnet50_pt/versions/1/infer。

   • 单个数据：将上述 Base64 编码结果粘贴至文本框。

   • 压测时长上限：300 秒。

   • 压测 QPS 上限：64000。

常见问题