如果想在容器中可以调用 NVIDIA GPU，还需要在宿主机需要安装 NVIDIA Container Toolkit，以便容器能够访问和使用 GPU。 # 配置仓库信息 [root@gpu-server-001 ~]# wget -O /etc/yum.repos.d/nvidia-container-to...

与安装 NVIDIA 显卡驱动相比，卸载驱动相对简单。然而，卸载驱动的方式会因安装方法的不同而有所变化。对于通过离线方式安装的 NVIDIA 显卡驱动，可以直接使用 /usr/bin/nvidia-uninstall 命令进行卸载。对于通过在线方式安装的 NVIDIA 显卡驱动，如果安装的是 nvidia-driver:560，可以采用与离线...

本文详细介绍了在 Rocky Linux 9 上在线安装 NVIDIA 闭源驱动的步骤和注意事项。相比于离线安装，在线安装较为复杂，需要了解不同类型驱动的差异和选择适合的选项。安装步骤包括启用 EPEL 源、配置 BIOS 安全引导和禁用开源驱动等。文章还详细说明了如何获取显卡信息、安装依赖包和驱动模块的具体操作。驱动模块分为标准版、DKMS 版和开源版，三者适用于不同的使用场景。标准版适合需要高性能和稳定性的用户，DKMS 版适合经常更新内核的用户，而开源版则适合倾向于开源软件的用户。文章通过实际操作步骤展示如何启用和安装合适的驱动模块，同时提供了验证驱动是否正确安装的方法。若使用场景仅限于普通图形处理，本文所述步骤已经足够。如果涉及高级需求如科学计算或 CUDA 应用，可以参考文末提供的相关文献。

cuDNN 简介 cuDNN（CUDA Deep Neural Network library）是由 NVIDIA 提供的一个 GPU 加速库，专门用于深度学习中的神经网络操作。cuDNN 提供了高度优化的实现，支持卷积、池化、归一化、激活函数以及 RNN（循环神经网络）等常见的神经网络操作。 cuDNN 的作用 加速深度学习：cuDNN...

CUDA Toolkit 是为了利用 NVIDIA GPU 实现高性能并行计算和图形处理而设计的完整开发环境。本文详细介绍了 CUDA Toolkit 的组成部分和关键功能，包括 CUDA 驱动程序、运行时库、开发工具和数学库的作用。此外，提供了具体的安装指南，包括如何选择合适版本、离线安装和在线安装步骤，以及在不同操作系统和硬件环境中的配置方法。通过遵循本指南，用户将在 Rocky Linux 9 系统上成功安装并配置 CUDA Toolkit，结合 NVIDIA 驱动程序，以充分发挥 GPU 的计算能力。本文还介绍了如何验证安装结果和使用 Docker 镜像运行 CUDA 应用程序，确保无缝对接和兼容性。无论您是进行科学计算、图像处理还是机器学习，利用 CUDA Toolkit 都能够显著提升计算性能，并释放 GPU 的潜能，让您的计算任务更加轻松！

在前文中提到，大部分 Linux 发行版默认使用开源的 NVIDIA 驱动程序。然而，出于性能或功能需求，有时需要安装闭源（也称专有）驱动。例如，木子需要使用 CUDA 功能，因此需要安装 NVIDIA 的闭源驱动。 安装 NVIDIA 闭源驱动的步骤如下： 配置 BIOS 安全引导启动设置。 禁用系统默认的开源驱动。 确认显卡型号。 从 NVI...

前述 自 2023 年 OpenAI 推出以来，人工智能领域迎来了爆发性增长。经过一年多的周期性优化和完善，大模型及其相关产品已经日趋成熟。木子认为现在是时候撰写一些关于大模型应用的文章了。在接下来的系列文章中，我们将基于 Rocky Linux 9 进行部署。文章内容包括： 系统配置 Rocky Linux 物理服务器上的 NVIDIA 显...