之前看到 CodeGeeX2 大语言模型发布了，介绍说比上一个版本效果要好上不少，因此也想在本地跑一个看看，能不能在项目开发的流程中能应用一下。

CodeGeeX2 是多语言代码生成模型 CodeGeeX (KDD’23) 的第二代模型。不同于一代 CodeGeeX（完全在国产华为昇腾芯片平台训练） ，CodeGeeX2 是基于 ChatGLM2 架构加入代码预训练实现，得益于 ChatGLM2 的更优性能，CodeGeeX2 在多项指标上取得性能提升（+107% > CodeGeeX；仅60亿参数即超过150亿参数的 StarCoder-15B 近10%）

不过因为手上只有一个笔记本用的 Nvdia 显卡，型号是 3070，并且显存还只有 8G，因此在运行过程中相对更高显存的显卡会碰到一些坑，这里就记录一下整个安装过程、踩的坑和解决方法。

系统环境

我的笔记本安装了 Windows 10 系统，并且还没有安装 WSL，因此就直接在 Windows 系统中来安装和部署 CodeGeeX2 了。

软件和硬件环境：

• OS： Windows 10 22H2 (19045)
• Python：3.10.11
• CPU：AMD Ryzen 7 5800H
• 内存：32GB
• 显卡：RTX