1. 背景

在2024年的12月21日，Flux重磅发布了Flux.1的工具，这四套模型旨在为基本文本到图像模型FLUX.1 添加控制和可控性，从而能够修改和重新创建真实和生成的图像。在发布时，Flux.1工具包含了四个不同的功能。

  • FLUX.1 fill重绘模型： 最先进的修复和图像处理模型，在给定文本描述和二进制掩码的情况下，支持编辑和扩展真实和生成的图像。
  • FLUX.1 depth深度控制模型： 经过训练的模型，可根据从输入图像和文本提示中提取的深度图来启用结构引导。
  • FLUX.1 canny线稿控制模型： 经过训练的模型，可以根据从输入图像和文本提示中提取的边缘信息来启用结构引导。
  • FLUX.1 redux风格迁移模型： 允许混合和重新创建输入图像和文本提示的适配器。
    1
    网址：https://blackforestlabs.ai/flux-1-tools/

1.1 FLUX.1 fill重绘模型

最先进的修复和图像处理模型，在给定文本描述和二进制掩码的情况下，支持编辑和扩展真实和生成的图像。比如可以支持掩码修复。

支持图像扩展：

1.2 FLUX.1 depth 和canny模型

经过训练的模型，可以根据从输入图像和文本提示中提取的边缘信息和深度信息结构，重新绘制。

1.4 FLUX.1 redux模型

适配器可以允许输入图像和文本重新进行绘制，给定一个输入图像，FLUX.1 Redux 可以再现图像，但有轻微的变化，从而允许优化给定的图像。

2. 实际安装

进入官网的comfyui链接网址：https://comfyanonymous.github.io/ComfyUI_examples/flux
下载fill model：

1
2
3
4
5
cd ComfyUI/models/diffusion_models
# huggingface
wget https://huggingface.co/black-forest-labs/FLUX.1-Fill-dev/resolve/main/flux1-fill-dev.safetensors?download=true
# 魔塔社区
wget https://modelscope.cn/models/AI-ModelScope/FLUX.1-Fill-dev/resolve/master/flux1-fill-dev.safetensors

图片拖到comfyui里就可以，详情可以看第一章安装与使用。本图片可以进行图像修复。

以下图片可以绘制：

下载redux模型：

1
2
cd ComfyUI/models/clip_vision
wget https://huggingface.co/Comfy-Org/sigclip_vision_384/raw/main/sigclip_vision_patch14_384.safetensors