部署开源模型可能会让你感到棘手，特别是在考虑隐私、安全性和成本效益等因素时，可能会让你感到更加头疼。然而，有了正确的知识和平台，这个过程可以变得简单很多。我做了大量的研究，涵盖了价格、速度等几个关键因素，比如隐私和控制等，并找到了在2024年5月部署开源大型语言模型的最佳方法。

我将整个部署分为两类：自管理的和托管的

在自管理环境中部署大型语言模型（LLMs）可能是一个既具挑战性又令人满意的任务。这种方法可以完全掌控模型，允许更灵活的调整。挑战有高延迟问题和额外费用，以及需要具备机器学习运维（Machine Learning Operations, MLOPs）方面的技术知识才能顺利部署。

这种方法通常涉及自己准备一个GPU实例（比如一个大的EC2或Azure虚拟机），然后按照手动部署步骤来，首先安装Python，然后从Hugging Face加载一个LLM模型，接着安装所有必要的软件，设置好防火墙或Nginx的路由，最后准备好一个可用的链接。

优点有:

1. 完全控制：自行部署提供了对模型的完全控制，允许更灵活地修改、训练或调整模型。
2. 用户体验：了解大规模语言模型的优势和局限性，并有效利用其能力，可以在跨领域开发创新且有影响力的应用程序。

缺点:

1. 成本和延迟：更长的提示会增加计算成本，而输出长度直接影响延迟时间。然而，值得注意的是，由于这个领域发展迅速，LLM的成本和延迟分析可能很快会过时。
2. 资源密集型：自行部署LLM可能需要大量计算资源和存储空间，这对许多组织来说可能是个挑战，尤其是资源有限的小公司。

自己管理的LLM与托管的LLM API价格对比

现在这种方法涉及使用一些平台，如Together AI、Refactor等，这些平台为所有这些开源模型提供高效的API接口。你所需要做的就是使用他们的代码块，并更改你想要使用的不同模型的名称，就这么简单。所以不管明天还是后天有没有新模型发布，你的代码块用法都是一样的。这里有一些托管的开源大型语言模型API。

1. 一起用AI

2. 复制一下.

3. 深度基础设施

四. 困惑不解

5. AWS Bedrock

好的地方:

1. 易用性：托管API为开发人员提供了一个平台，让开发人员可以利用大型语言模型（LLM）的能力，而无需管理底层基础设施。这使开发人员能够专注于构建利用大型语言模型能力的应用和服务。
2. 灵活性：这些API通常支持多种编程语言和平台，使其适应各种开发环境。
3. 成本效益：使用托管API可能比自行构建和维护LLM所需的基础设施更实惠。

缺点是:

1. 有限控制：虽然托管API提供了便利性，但可能无法提供与自管理部署相同的模型控制水平。这可能会限制你对模型进行修改、训练或微调的能力。
2. 依赖性：API的可用性和性能依赖于服务提供商。服务提供商的任何停机或性能问题都可能直接影响使用该API的软件或服务。

(Note: The "#" symbol is retained as per the expert suggestion to omit it, but since the task requires retaining the "#" from the source text, it is included. However, in standard Chinese context, it is typically not used.)

Alternatively, if strictly following the expert's advice:
什么最适合你？

根据您的使用情况和总成本，你可以得出最终结论。但要是问我，我个人的建议是：

—— 个人小项目

— 公司项目中那些不太重视安全和隐私的

— 面向消费者的程序，速度要求高且项目成本控制在较低水平

自己攒钱起步的初创公司

— 涉及财务和银行数据的项目（金融服务业，BFSI）

在使用公司内部敏感文件的项目中，隐私和安全问题非常重要。

如果你喜欢这个博客，也别忘了来看看我在 Instagram 上发的内容：https://www.instagram.com/parasmadan.in/

如果有任何问题，欢迎随时联系我，邮箱是 hello@parasmadan.in 。