[踩坑记] CUDA环境下bitsandbytes安装报错/异常解决-Toy模板网

这篇具有很好参考价值的文章主要介绍了[踩坑记] CUDA环境下bitsandbytes安装报错/异常解决。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

关键词：模型量化，bitsandbytes，bitsandbytes报错，大模型环境，CUDA环境

1. 问题描述

在部署大模型LLaMA的过程中，需要安装量化工具包bitsandbytes，环境如下：
操作系统：Ubuntu 18.04
GPU：4xA100 40G
CUDA：11.7
cuDNN：8.4
bitsandbytes: 0.38.0 github库

在conda python环境下，通过pip install bitsandbytes直接安装，或是按源码编译安装，在python -m bitsandbytes检测时均出现异常。详见ISSUES），主要异常内容如下：

File 'bitsandbytes/cextension.py', line 20, in <module> raise RuntimeError('''
RuntimeError:
CUDA Setup failed despite GPU being available. Inspect the CUDA SETUP outputs above to fix your environment!
''')

在环境变量LD_LIBRARY_PATH中增加CUDA的lib路径，问题依旧。重新编译出现异常内容如下：

nvcc fatal: Unsupported gpu architecture 'compute_75'

在环境变量中增加CUDA_HOME，编译成功，但执行模块加载后出依然出现问题：

RuntimeError:
CUDA Setup failed despite GPU being available. Please run the following command to get more information: 

python -m bitsandbytes

Inspect the output of the command and see if you can locate CUDA libraries. You might need to add them to your LD_LIBRARY_PATH. ...

在bitsandbytes仓库中发布ISSUES，无论是增加环境变量，还是重新编译，均没有解决。