标签: AI

18 篇文章

thumbnail
在 Azure AI Foundry 上部署 DeepSeek R1
[admonition title="注意" icon="exclamation-triangle" color="orange"]Azure AI Foundry 目前提供的 DeepSeek R1 为 671B 满血版,活动参数 37B,并且免费。但由于资源池限制,所以响应速度较慢。 [/admonition] DeepSeek 简介 深度求...
thumbnail
在 macOS 上安装 ComfyUI 桌面版
前述 最近木子的 MacBook M4 Pro 14CPU + 20GPU + 48G MEM 京东首发已经到货三周了,一直没有跑大模型,简直有点暴遣天物,所以必须整一套 ComfyUI 来体验一下。最近官方出了 ComfyUI Desktop For macOS App,可以直接安装,相对于 Linux 命令行安装 ComfyUI,简单太多了,基...
thumbnail
Rocky Linux 9 AI 系列 015 — ComfyUI 模型与插件管理
前述 上手 ComfyUI 可能会有一定难度,主要是因为涉及到以下几个方面:工作流管理、模型管理和节点(插件)管理。每一个部分的细节都很复杂,不是一两篇文章可以完全覆盖的。尤其是工作流管理,不同业务场景下的配置需求和调整细节有所不同。如果您希望深入学习,建议去 bilibili 或 YouTube 查看相关视频教程。 常用目录说明 在 Comf...
thumbnail
密码保护:Rocky Linux 9 AI 系列 014 — 基于 Docker 部署 ComfyUI
ComfyUI 是基于节点流程的 Stable Diffusion WebUI,旨在通过自定义工作流快速实现多种图像生成服务,包括批量图片处理、老照片修复、换脸、换背景等,主要应用于电商、影视、创意设计等领域。其优势在于低显存要求、高生成自由度、环境和模型可共享,以及可复现和自动还原工作流程。然而,操作门槛较高且生态系统尚不完善。本文主要介绍在 Rocky Linux 9 和 Ubuntu 20.04 环境中使用 Docker 部署 ComfyUI 的方法,并包含详细的 Dockerfile、entrypoint.sh 和 docker-compose.yaml 配置。
thumbnail
密码保护:Rocky Linux 9 AI 系列 013 — 使用开源 RAGFlow 结合 Qwen2 构建帮忙中心Q&A
本文介绍了阿里巴巴最新发布的大语言模型 Qwen2.5 的特点及其多模态、多语言处理能力,并通过详细步骤展示了如何在 Ollama 上部署 Qwen2.5 模型以及使用 RAGFlow 构建本地知识库。重点强调了在实际应用中,精准的提示词、准确的关键词定义以及高质量数据解析对提高回答准确性的重要性。最终建议结合 GPT 来处理和优化文档内容,以提升自动化程度和用户体验。
thumbnail
Rocky Linux 9 AI 系列 012 — 安装大模型拉取工具 Git-LFS
Git LFS 简介 Git LFS(Large File Storage)是一种 Git 扩展,用于管理和存储大文件和二进制文件。它通过将大文件的实际内容存储在外部服务器上,并在 Git 仓库中保存指向这些文件的引用,从而优化了版本控制系统的性能。以下是 Git LFS 的一些关键特性和功能: 大文件管理 :Git LFS 通过对大文件进行...
thumbnail
密码保护:Rocky Linux 9 AI 系列 011 — 使用开源 RAGFlow 结合 Azure OpenAI 构建企业知识库
本文首先介绍了RAGFlow,这是一款基于深度文档理解的开源检索增强生成(RAG)引擎,可为不同规模的企业和个人提供简化的RAG工作流程。接着,详细描述了RAGFlow的部署步骤,包括系统要求、Linux内核参数调整和Docker容器安装。文中还展示了如何配置Azure OpenAI模型提供商、知识库和数据集,并提供了基于个人笔记的实例进行测试验证,显示了RAGFlow在问答及引用方面的效果。此外,本文探讨了在企业环境中构建有效知识库所面临的挑战,以及不同大语言模型(LLM)在此过程中表现出的差异,尤其是嵌入模型与大语言模型的最佳组合。文章也提示了构建企业级知识库时需要重点考虑的诸多复杂问题,并对不同行业人员给出针对性的建议。最后,文中提供了一些主要参考文献,以便读者深入了解和进一步研究。
thumbnail
密码保护:Rocky Linux 9 AI 系列 010 — LiteLLM 反代火山引擎 DeepSeek R1 671B 满血版大模型
本文介绍了LiteLLM,这是一款专为大语言模型(LLM)服务提供代理网关的工具,能够代理包括OpenAI、Azure OpenAI等在内的多种LLM提供商,并支持统一的API调用方式。文中详细描述了如何通过LiteLLM代理Azure OpenAI,从而使Open-WebUI能够调用Azure OpenAI接口进行自然语言处理。具体内容包括LiteLLM和Open-WebUI的部署步骤与配置方法,以及如何在Open-WebUI中设置LiteLLM代理和默认模型。通过示例,本文展示了如何使用LiteLLM实现对话管理和模型切换功能。此外,文章还介绍了其他可选的开源产品,并提供了一些相关的参考文献供进一步研究。
thumbnail
密码保护:Rocky Linux 9 AI 系列 009 — Open-WebUI 与 Ollama 无缝集成配置指南
在本文中,我们将带您一步一步完成 Open-WebUI 的全面部署,从基础设施配置到高级用户管理和模型下载。本文特别针对 Ollama 用户,详细介绍了如何通过 Docker Compose 将 Open-WebUI 与 Ollama 无缝集成,并利用 Open-WebUI 强大的管理和扩展功能实现对话权限控制、LDAP 用户认证以及负载均衡等高级功能。此外,我们还深入探讨如何通过不同版本的 Open-WebUI 来管理模型、设置默认模型以及启用网络搜索功能。通过这篇文章,您将学会如何有效、自定义地部署和配置 Open-WebUI,使其成为您本地大模型交互的最佳工具。