- 使用chatglm.cpp这个工具来进行模型量化，它是基于GGML库实现的量化工具，除了可以量化 ChatGLM 系列的 LLM 外，还支持其他比如 BaiChuan、CodeGeeX、InternLM 等 LLM 的量化。 chatglm.cpp 除了提供量化功能外，还提供了多种运行量化模型的方式，包括源码编译运行、Python 代码运行、 Web 服务和 API 服务等，这些运行方式可以让我们在不同的场景下使用量化后的模型。
- 基础模型：chatglm3-6b
- 使用q4_0这个量化类型来进行量化，其他的量化类型可以参考 chatglm.cpp 的文档。
python chatglm.cpp/chatglm_cpp/convert.py -i ./chatglm3-6b -t q4_0 -o chatglm-ggml.bin
Inference Providers
NEW
This model is not currently available via any of the supported Inference Providers.
The model cannot be deployed to the HF Inference API:
The model has no library tag.