C/C++教程

亚马逊和脸书发布 TorchServe 解决Pytorch 模型的部署问题

本文主要是介绍亚马逊和脸书发布 TorchServe 解决Pytorch 模型的部署问题,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

4月21日官方发布,PyTorch 用户可以使用TorchServe(PyTorch生态新的模型服务框架)来大规模部署经过训练的模型,而无需编写自定义代码。

PyTorch是最初由Facebook创建的开源机器学习框架,由于其易用性在机器学习研究人员和数据科学家中广受欢迎。

img

但是,在生产中部署和管理模型通常是机器学习过程中最困难的部分,需要客户编写预测API并对它们进行扩展,而谷歌的 Tensorflow 工业化程度更高。TorchServe 的发布开始打破 Pytorch 的被动局面。

img

通过TorchServe,可以轻松地在生产环境中大规模部署PyTorch模型。它以低延迟提供轻量级服务,因此您可以部署模型以进行高性能推理。它为最常见的应用程序提供了默认处理程序,例如目标检测和文本分类,因此您不必编写自定义代码即可部署模型。借助强大的TorchServe功能,包括多模型服务,用于A / B测试的模型版本控制,用于监视的指标以及用于应用程序集成的RESTful端点,您可以将模型从研究阶段快速投入生产。TorchServe支持任何机器学习环境,包括Amazon SageMaker,Kubernetes,Amazon EKS和Amazon EC2。

TorchServe由AWS与Facebook合作构建和维护,是PyTorch开源项目的一部分。相关的代码已经开放可到GitHub进行下载。

这篇关于亚马逊和脸书发布 TorchServe 解决Pytorch 模型的部署问题的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!