问题

nvidia-smi 输出正常，nvcc --version 输出正常，但 pytorch 调用显卡一直报错 cuda runtime error (802) : system not yet initialized。

解决方法

执行 sudo systemctl status nvidia-fabricmanager 发现服务启动失败，日志显示原因是 nvidia-fabricmanager 版本跟驱动版本不一致。

在官网下载与驱动版本一致的 nvidia-fabricmanager 并安装即可。