C/C++教程

在ubuntu上部署chatglm

本文主要是介绍在ubuntu上部署chatglm，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

chatglm是清华大学推出的一个中英双语大模型，通过万亿字符的文本与代码预训练，结合有监督微调，具备丰富的能力，包括通用问答、多轮对话、角色扮演、文本生成、代码生成等功能。下文讲述了在ubuntu上部署调用的基本流程

1、获取代码
     在服务器上创建一个目录，如chatglm
     从https://github.com/THUDM/ChatGLM-6B上获取代码，放到该目录中
     
2、下载模型
     在chatglm目录下创建model文件夹，从https://huggingface.co/THUDM/chatglm-6b/tree/main下载模型

3、创建虚拟环境并激活
      https://img3.sycdn.imooc.com/64c0dc5a00017bca03120037.jpg

      https://img3.sycdn.imooc.com/64c0dc6b0001089f02930049.jpg

4、下载依赖
  pip install –r requirements.txt


5、修改web_demo.py文件如下，以便加载本地模型
     https://img2.sycdn.imooc.com/64c0dca60001170a04430047.jpg

6、修改web_demo.py文件中如下位置，以便非本机访问
     https://img4.sycdn.imooc.com/64c0dcc50001bb3905130044.jpg

7、启动
     python web_demo.py
     https://img4.sycdn.imooc.com/64c0dce20001d37f04610055.jpg

8、打开网页
     https://img3.sycdn.imooc.com/64c0dcf50001fbae06910229.jpg
       接下来就可以输入问题，提交，看看它的表现了

这篇关于在ubuntu上部署chatglm的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航