902 日 , 2024 20:19:21
基于 Rocky Linux 9 AI 大模型系列上线

自 2023 年 OpenAI 推出以来,人工智能领域迎来了爆发性增长。经过一年多的周期性优化和完善,大模型及其相关产品已经日趋成熟。木子认为现在是时候撰写一些关于大模型应用的文章了。在接下来的系列文章中,我们将基于 Rocky Linux 9 进行部署。文章内容包括:

系统配置

  • Rocky Linux 物理服务器上的 NVIDIA 显卡驱动安装与配置
  • CUDA Toolkit 的安装与配置
  • cuDNN 的安装与配置
  • NVIDIA Container Toolkit 的安装与配置
  • Docker GPU 调度配置

生产力工具

  • Ollama
  • ComfyUI
  • Open-WebUI
  • LiteLLM
  • RAGFlow
  • STT

本地大模型构建

  • llama 3.1
  • llama2-chinese
  • qwen2:7b
  • qwen2:32b
  • codegeex4:9b
  • glm4:9b

公有云大模型应用

  • Azure OpenAI
  • Claude
  • IBM Watsonx

我们热烈欢迎对人工智能和大模型感兴趣的朋友加入我们的撰写团队,共同探讨和分享创新应用。

Avatar photo

关于 木子

Founder of the Rocky Linux Chinese community, MVP、VMware vExpert、TVP, advocate for cloud native technologies, with over ten years of experience in site reliability engineering (SRE) and the DevOps field. Passionate about Cloud Computing、Microservices、CI&CD、DevOps、Kubernetes, currently dedicated to promoting and implementing Rocky Linux in Chinese-speaking regions.
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!