本地部署chatGLM方式，是否可行呢？本地部署后，报错401

[Jason36912]

你好，我尝试将GLM部署在本地使用
1、通过git clone https://huggingface.co/THUDM/chatglm3-6b 将模型下载到本地后，
2、然后在zhipuai.yaml文件中，pi_key: ${oc.env:ZHIPUAI_API_KEY,"我的路径/chatglm3-6b"} ，运行main.py

出现报错提示“”zhipuai.core._errors.APIAuthenticationError: Error code: 401, with error text {"error":{"code":"401","message":"令牌已过期或验证不正确！"}}“”
电脑是windows系统，请问，这个过程哪里不对？

[Furffico]

您好，项目中没有在本地部署模型的代码，您修改的配置文件 zhipuai.yaml 的作用是使程序在运行过程中调用智谱AI开放平台提供的 LLM API，而非在本地部署模型。

若要实现您所期望的 “本地部署ChatGLM“，请您参考智谱AI提供的方法，在本地启动 ChatGLM3 的推理服务器。

若您需要让我们的程序调用上述推理服务器，可以使用如下指令运行程序：

python main.py llm_client.base_url=http://127.0.0.1:8000/v1

其中，参数 llm_client.base_url 的作用是让程序调用您在本地运行的推理服务器，IP 地址和端口号需要按实际情况修改。等价的配置文件如下 (cfg/llm_client/chatglm.yaml)：

_target_: utils.llm_client.openai.OpenAIClient

base_url: http://127.0.0.1:8000/v1
model: chatglm3-6b
temperature: 1.0  # 可以按需修改

最后，感谢您对本项目的关注。如果您有更多论文或项目相关的问题，欢迎在此提出。