标签: LLM

13 篇文章

thumbnail
密码保护:Rocky Linux 9 AI 系列 003 — 安装 CUDA Toolkit
CUDA Toolkit 是为了利用 NVIDIA GPU 实现高性能并行计算和图形处理而设计的完整开发环境。本文详细介绍了 CUDA Toolkit 的组成部分和关键功能,包括 CUDA 驱动程序、运行时库、开发工具和数学库的作用。此外,提供了具体的安装指南,包括如何选择合适版本、离线安装和在线安装步骤,以及在不同操作系统和硬件环境中的配置方法。通过遵循本指南,用户将在 Rocky Linux 9 系统上成功安装并配置 CUDA Toolkit,结合 NVIDIA 驱动程序,以充分发挥 GPU 的计算能力。本文还介绍了如何验证安装结果和使用 Docker 镜像运行 CUDA 应用程序,确保无缝对接和兼容性。无论您是进行科学计算、图像处理还是机器学习,利用 CUDA Toolkit 都能够显著提升计算性能,并释放 GPU 的潜能,让您的计算任务更加轻松!
thumbnail
Rocky Linux 9 AI 系列 002 — 离线安装 NVIDIA 闭源驱动
在前文中提到,大部分 Linux 发行版默认使用开源的 NVIDIA 驱动程序。然而,出于性能或功能需求,有时需要安装闭源(也称专有)驱动。例如,木子需要使用 CUDA 功能,因此需要安装 NVIDIA 的闭源驱动。 安装 NVIDIA 闭源驱动的步骤如下: 配置 BIOS 安全引导启动设置。 禁用系统默认的开源驱动。 确认显卡型号。 从 NVI...
thumbnail
Rocky Linux 9 AI 系列 001 — NVIDIA 显卡驱动安装介绍
前述 自 2023 年 OpenAI 推出以来,人工智能领域迎来了爆发性增长。经过一年多的周期性优化和完善,大模型及其相关产品已经日趋成熟。木子认为现在是时候撰写一些关于大模型应用的文章了。在接下来的系列文章中,我们将基于 Rocky Linux 9 进行部署。文章内容包括: 系统配置 Rocky Linux 物理服务器上的 NVIDIA 显...