windows使用nvdia显卡运行ChatGLM

1. 安装nvidia显卡驱动

https://developer.nvidia.com/cuda-11-8-0-download-archive?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exe_local

我使用cuda_11.8.0_522.06_windows

2.清华的开源git项目

通过pycharm 拉取项目

注意http后面加上ghproxy.com代理，会加快github clone

创建一个虚拟的环境，所有的依赖会装在这个文件夹

安装所需依赖

3.运行此程序

报错，装成cpu的torch

默认执行 pip3 install -r requirements.txt 会安装cpu版本的torch，需要手动删除torch，然后安装gpu版本的torch

(venv) PS C:\Users\supermao\PycharmProjects\ChatGLM-6B> pip3 uninstall torch
(venv) PS C:\Users\supermao\PycharmProjects\ChatGLM-6B> pip3 install torch --index-url https://download.pytorch.org/whl/cu118

我的gpu只有6G，修改web.demo.py

demo.queue().launch(share=False, inbrowser=True, server_name="0.0.0.0")
修改代码最后一行共享给局域网使用

第一次运行web.demo.py会下载模型，需要等待一段时间。模型位置在用户家目录 为 .cache