基于 Rocky Linux 9 AI 大模型系列上线

自 2023 年 OpenAI 推出以来,人工智能领域迎来了爆发性增长。经过一年多的周期性优化和完善,大模型及其相关产品已经日趋成熟。木子认为现在是时候撰写一些关于大模型应用的文章了。在接下来的系列文章中,我们将基于 Rocky Linux 9 进行部署。文章内容包括:

系统配置

  • Rocky Linux 物理服务器上的 NVIDIA 显卡驱动安装与配置
  • CUDA Toolkit 的安装与配置
  • cuDNN 的安装与配置
  • NVIDIA Container Toolkit 的安装与配置
  • Docker GPU 调度配置

生产力工具

  • Ollama
  • ComfyUI
  • Open-WebUI
  • LiteLLM
  • RAGFlow
  • STT

本地大模型构建

  • llama 3.1
  • llama2-chinese
  • qwen2:7b
  • qwen2:32b
  • codegeex4:9b
  • glm4:9b

公有云大模型应用

  • Azure OpenAI
  • Claude
  • IBM Watsonx

我们热烈欢迎对人工智能和大模型感兴趣的朋友加入我们的撰写团队,共同探讨和分享创新应用。

902 日 , 2024 20:19
thumbnail
Rocky Linux 9 AI 系列 001 — NVIDIA 显卡驱动安装介绍
前述 自 2023 年 OpenAI 推出以来,人工智能领域迎来了爆发性增长。经过一年多的周期性优化和完善,大模型及其相关产品已经日趋成熟。木子认为现在是时候撰写一些关于大模型应用的文章了。在接下来的系列文章中,我们将基于 Rocky Linux 9 进行部署。文章内容包括: 系统配置 Rocky Linux 物理服务器上的 NVIDIA 显...
thumbnail
Redis基础篇14 — 使用命令(六)对 value 的操作命令
sort set (zset) 简述 前面提到,set 这种数据类型具有 无序性 和 不可重复性(或者称 唯一性) ,即在 set 数据类型的底层中,其仅存储 key(string 类型),不存储 value(因为都是 nil) sort set (有序集合)的说明: 会对集合中的每一个成员进行排序。因为 sort set 中的每一个成员都关联一...
thumbnail
Redis基础篇13 — 使用命令(五)对 value 的操作命令
set 数据类型 前面我们提到了 list 链表数据类型,它本质是双向链表,这种数据类型拥有 有序性 和 可重复性 的特性。 set 数据类型与 list 数据类型大致相同,但它拥有 无序性 和 不可重复性(或称 唯一性)的特性,即在 set 数据类型的底层中,其仅存储 key,不存储 value(因为都是 nil)。 --------------…
thumbnail
Rocky Linux 9 从入门到精通007 — DNS管理(CoreDNS 集群部署篇)
CoreDNS 简介 CoreDNS 是一个灵活且可扩展的 DNS 服务器,它的设计目标是提供一种更现代化的 DNS 解决方案,用于服务发现和服务代理,特别是在云原生和容器化环境中。CoreDNS 是云原生计算基金会毕业的项目。CoreDNS 的主要特点包括: 插件架构:CoreDNS 采用模块化设计,所有功能都通过插件实现。用户可以根据需求...
thumbnail
招聘:爬虫工程师1人 — 广州
招聘状态 真实招聘,正在招聘中 ...... 联系木子内推 公司信息 上市: 否 规模: 1000+ 人 公司类型: 电商 岗位要求 招聘人数: 1人 招聘岗位: 爬虫工程师 工作年限: 2 年 学历要求: 本科 薪资范围: 10-15K 工作地点: 广州白云区 面试流程: 现场面试 岗位职责 1、负责设计和开发网络爬虫系统,进行电商或社会媒体等平…
thumbnail
招聘:前端开发工程师1人 — 上海
招聘状态 真实招聘,正在招聘中 ...... 联系木子内推 公司信息 上市: 是 规模: 10000+ 人 公司类型: 汽车制造 岗位要求 招聘人数: 1人 招聘岗位: 前端开发工程师 工作年限: 5-10 年 学历要求: 本科 薪资范围: 30-40万/年 工作地点: 上海长宁区 面试流程: 现场面试 岗位职责 无 任职资格 1、本科学历,工作经…