10、使用Ray Serve实现微服务与模型部署

使用Ray Serve实现微服务与模型部署

1. Ray Serve简介

Ray最初是为实现强化学习而创建的框架，后来逐渐演变成一个成熟的无服务器平台。Ray Serve最初作为更好地服务机器学习模型的方式引入，如今已发展成为一个成熟的微服务框架。下面将介绍如何使用Ray Serve实现通用微服务框架以及如何将其用于模型服务。

2. Ray微服务架构理解

Ray微服务架构（Ray Serve）基于Ray的Actor实现，一个Serve实例由三种Actor组成：
- Controller ：每个Serve实例独有的全局Actor，管理控制平面，负责创建、更新和销毁其他Actor。所有Serve API调用（如创建或获取部署）都通过它执行。
- Router ：每个节点有一个Router，是Uvicorn HTTP服务器，接收传入请求，将其转发给副本，并在请求完成后响应。
- Worker replica ：执行用户定义的代码以响应请求，每个副本处理来自Router的单个请求。

用户定义的代码通过Ray部署实现，这是Ray Actor的扩展，具有额外功能。下面从一个简单的温度控制器部署示例开始。

3. 部署基础

在Ray Serve中，核心概念是部署，它定义了处理传入请求的业务逻辑以及该逻辑通过HTTP或Python暴露的方式。

示例7 - 1：温度控制器部署