本文主要是讲的是如何在 macOS ComfyUI 中安装 Flux.1 大模型(Docker 容器操作方法相同)。Flux.1 是 Black Forest Labs 开发的一系列文生图 (generating images from text descriptions) 大模型,木子觉得这个系列模型超越了 SDXL 和 Stable Diffusion 3 的品质。
官方链接:Black Forest Labs – Frontier AI Lab
GitHub 链接:GitHub – black-forest-labs/flux: Official inference repo for FLUX.1 models
HuggingFace 链接:black-forest-labs (Black Forest Labs)
官方样例参考:ComfyUI Examples | ComfyUI_examples
Flux.1 版本
Flux.1 这个模型有三个变种,分别是:
- FLUX.1 Pro 商业版仅提供 API 接口对外服务,大模型文件未对外开放。
- FLUX.1 Dev 有 12B 参数,要签署同意书才能下载。
- FLUX.1 Schnell 快速版。
因为 Pro 是商业版本并不对外开放,因此我们可以使用的只有 FLUX.1 Dev 与 FLUX.1 Schnell 两个版本。
在 Hugging Face 上对于 FLUX.1 Dev 和 FLUX.1 Schnell 有很多变体,包括:
- 单文件 FP8 版本(Single-file FP8):这种降低精度的模型,只需要安装单一的模型文件就可以跑了,使用上非常简单。建议 VRAM 16 GB 以上运行。
- Flux Schnell 版本:A distilled 4-steps model (四步骤模型),降低品质以换取更快的成像时间。建议 VRAM 16 GB 以上运行。备注:Schnell 是德文,这个单词的意思是快速或迅速。
- FP16 全精度版本:FLUX.1 Dev,建议 VRAM 24 GB 以上运行。
FP8 版本只需要下载一个文件即可,另外两个分别有四个文件要下载。详细如下表所示:
存放目录 | Single-file FP8 版本 | Schnell 版本 | FP16 全精度版本 |
---|---|---|---|
checkpoint | flux1-dev-fp8.safetensors (17.2 GB) | – | – |
unet | – | flux1-schnell-fp8.safetensors (17.2 GB) | flux1-dev.safetensors (23.8 GB) |
CLIP | – | clip_l.safetensors (246 MB) | clip_l.safetensors (246 MB) |
CLIP | – | t5xxl_fp8_e4m3fn.safetensors (4.89 GB) | t5xxl_fp16.safetensors (9.79 GB) |
VAE | – | ae.safetensors (335 MB) | ae.safetensors (335 MB) |
所需磁盘空间 | 17.2 GB | 22.71 GB | 34.17 GB |
安装 Flux.1 模型
各位同学可以根据自身需求选择安装一种或多种 Flux.1 模型。
安装单文件 FP8 版本
- flux1-dev-fp8.safetensors 模型文件 | 文件大小:17.25 GB | 下载位置 | 存放目录:
ComfyUI/models/checkpoints
- Flux_single_file.json 测试工作流文件| 下载位置 |存放目录:
ComfyUI/user/default/workflows
演示工作流生成图如下:
安装 schnell 版本
- flux1-schnell-fp8.safetensors 模型文件 | 文件大小:17.2 GB | 下载位置 | 存放目录:
ComfyUI/models/unet
- clip_l.safetensors 模型文件 | 文件大小:246 MB | 下载位置 | 存放目录:
ComfyUI/models/CLIP
- t5xxl_fp8_e4m3fn.safetensors 模型文件 | 文件大小:4.89 GB | 下载位置 | 存放目录:
ComfyUI/models/CLIP
- ae.safetensors 模型文件 | 文件大小:335 MB | 下载位置 | 存放目录:
ComfyUI/models/VAE
- Flux_schnell.json 测试工作流文件| 下载位置|存放目录:
ComfyUI/user/default/workflows
演示工作流生成图如下:
一位身穿白衬衫手拿一杯卡布奇诺的美丽日本女人正坐在咖啡馆里。
A beautiful Japanese woman in a white shirt and a cup of cappuccino is sitting in a cafe.
出图速度:54 秒(首次需要加载大模型文件会慢一些,具体速度与磁盘 IO 有关)
got prompt
100%|██████████| 4/4 [00:50<00:00, 12.69s/it]
Prompt executed in 53.91 seconds
安装 FP16 全精度版本
- flux1-dev.safetensors 模型文件 | 文件大小:23.8 GB | 下载位置 | 存放目录:
ComfyUI/models/unet
- clip_l.safetensors 模型文件 | 文件大小:246 MB | 下载位置 | 存放目录:
ComfyUI/models/CLIP
- t5xxl_fp16.safetensors 模型文件 | 文件大小:9.79 GB | 下载位置 | 存放目录:
ComfyUI/models/CLIP
- ae.safetensors 模型文件 | 文件大小:335 MB | 下载位置 | 存放目录:
ComfyUI/models/VAE
- Flux_full.json 测试工作流文件 | 下载位置 |存放目录:
ComfyUI/user/default/workflows
A corner of the ancient temple and the yellow ginkgo leaves form an autumn painting
古寺一角,金黄的银杏叶,构成一幅秋日画卷
A corner of the ancient temple, golden ginkgo leaves, and a small boat in the lake in the distance form an autumn picture
古庙一角、金色银杏叶、远处湖中小舟,构成一幅秋日画卷
古寺一角,金黄的银杏叶,远处湖面上飘荡着一艘小船
A corner of the ancient temple, golden ginkgo leaves, and a small boat floating in the lake in the distance
特写:一片金黄色的银杏叶飘在湖中
Close-up: A golden ginkgo leaf floating in the lake
GGUF 量化模型
除了测试了 Flux.1 官方原版模型外,木子还测试了 GUFF 量化模型: GitHub – city96/ComfyUI-GGUF: GGUF Quantization support for native ComfyUI models。安装方式与官方一样,将对应模型文件下载放至对应目录,重启 ComfyUI 即可。
使用 GGUF 量化模型,需要先安装 ComfyUI-GGUF,可以在 Manager — Custom Nodes Manager 搜索安装即可。详细如下图所示:
安装以后,重启 ComfyUI 即可。
也可以 git clone
,详细如下所示:
# 进入自定义节点目录
❯ cd ComfyUI/custom_nodes
# 克隆 ComfyUI-GGUF
❯ git clone https://github.com/city96/ComfyUI-GGUF
# 确保克隆成功,即安装成功
❯ ls -l
drwxr-xr-x@ - muzi 4 Dec 10:10 ComfyUI-GGUF
工作流
如果您还不会自己创建工作流,可以先使用官方默认自带的,可以从 Flux Examples | ComfyUI_examples 下载。
刚刚接触 Flux 的同学可能会疑惑,这个链接里面哪有工作流?
将 Flux Examples | ComfyUI_examples 文章中的图片保存,然后拖动这个图片至 ComfyUI 界面,就会自动导入对应工作流了。(图片中包含工作流😂,就是这么简单)。
当然后续木子会出一篇怎样自己创建文生图工作流教程。
工作流导入以后,可能会出现缺失 custom_nodes
,可以在 ComfyUI 管理器中选择“安装缺失节点”,进行安装。也可以通过 Git URL 手动安装。安装完成以后,重启 ComfyUI 即可。
提示词(Prompt)
提示词(Prompt),在生成图像时,非常的重要。下面是一些测试验证。
以下图片基于 GGUF 量化模型生成:
漂亮的中国女人手捧野菊花,森林,真实的照片风格,半蹲着,白衬衫,蕾丝,诱惑
Beautiful Chinese woman holding wild chrysanthemums, forest, real photo style, half squatting, white shirt, lace, temptation
森林鸟语花香
Forest with birdsong and flowers
森林鸟语花香,真实的照片风格
Forest with birdsong and flowers,real photo style
参考文献
[1] Hugging Face 官网
[2] Black Forest Labs官网