Paddle Serving飞桨服务器端部署库

联合创作 · 2023-09-26 05:24

Paddle Serving 是 PaddlePaddle 的在线预估服务框架,能够帮助开发者轻松实现从移动端、服务器端调用深度学习模型的远程预测服务。当前 Paddle Serving 以支持 PaddlePaddle 训练的模型为主,可以与 Paddle 训练框架联合使用,快速部署预估服务。

## CPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

Paddle Serving 围绕常见的工业级深度学习模型部署场景进行设计,一些常见的功能包括多模型管理、模型热加载、基于 brpc 的高并发低延迟响应能力、在线模型 A/B 实验等。与 Paddle 训练框架互相配合的 API 可以使用户在训练与远程部署之间无缝过度,提升深度学习模型的落地效率。

浏览 3
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报