controlnet1.1模型和预处理器功能详解（各预处理器出稿对比及对应模型说明）

ControlNet 1.1 与 ControlNet 1.0 具有完全相同的体系结构,ControlNet 1.1 包括所有以前的模型，具有改进的稳健性和结果质量，且增加并细化了多个模型。

命名规范

项目名+版本号+标识+基础模型版本+功能名+文件后缀名

• control

  官方总是以control为项目名，还有类似coadapter、ti2adapter等

• v11

  该controlnet版本号，v11意味着1.1版本

• p

  标识：p：正式产品；e：测试版; u：未完成版； f修复版；

• sd15

  将stable diffusion 1.5版作为基础模型进行训练

• canny

  该模型功能，比如canny是边缘检测模型

• pth

  文件名后缀，有pth、safetensors等，一般还有yaml配置文件

  • control_v11p_sd15_canny
  • control_v11p_sd15_mlsd
  • control_v11f1p_sd15_depth
  • control_v11p_sd15_normalbae
  • control_v11p_sd15_seg
  • control_v11p_sd15_inpaint
  • control_v11p_sd15_lineart
  • control_v11p_sd15s2_lineart_anime
  • control_v11p_sd15_openpose
  • control_v11p_sd15_scribble
  • control_v11p_sd15_softedge
  • control_v11e_sd15_shuffle
  • control_v11e_sd15_ip2p
  • control_v11u_sd15_tile

    预处理器与模型一览表

    分类	预处理器	备注	模型
    黑白倒转	invert
    边缘检测	canny		control_v11p_sd15_canny
    深度检测	depth_leres	LeRes depth estimation	control_v11f1p_sd15_depth
    深度检测	depth_midas		control_v11f1p_sd15_depth
    深度检测	depth_zoe	推荐，最精细	control_v11f1p_sd15_depth
    局部重绘	inpaint_global_harmonious	controlnet自带局部重绘	control_v11p_sd15_inpaint
    线稿控制	lineart_anime	动画	control_v11p_sd15s2_lineart_anime
    线稿控制	lineart_anime_denoise	动画	control_v11p_sd15s2_lineart_anime
    线稿控制	lineart_coarse		control_v11p_sd15_lineart
    线稿控制	lineart_realistic	最像线稿	control_v11p_sd15_lineart
    线稿控制	lineart_standard		control_v11p_sd15_lineart
    面部控制	mediapipi_face
    直线检测	mlsd	M-LSD line detection，直线检测，建筑类最适用	control_v11p_sd15_mlsd
    法线贴图	normal_bae		control_v11p_sd15_normalbae
    法线贴图	normal_midas		control_v11p_sd15_normalbae
    姿态估计	OpenPose pose detection		control_v11p_sd15_openpose
    姿态估计	openpose_face		control_v11p_sd15_openpose
    姿态估计	openpose_faceonly		control_v11p_sd15_openpose
    姿态估计	openpose_full		control_v11p_sd15_openpose
    姿态估计	openpose hand		control_v11p_sd15_openpose
    涂鸦	scribble_hed		control_v11p_sd15_scribble
    涂鸦	scribble_pidinet		control_v11p_sd15_scribble
    涂鸦	scribble_xdog		control_v11p_sd15_scribble
    语义分割	seg_ofade20k		control_v11p_sd15_seg
    语义分割	seg_ofcoco		control_v11p_sd15_seg
    语义分割	seg_ufade20k		control_v11p_sd15_seg
    风格转移	shuffle	图像风格化	control_v11e_sd15_shuffle
    软边缘	softedge_hed		control_v11p_sd15_softedge
    软边缘	softedge_hedsafe		control_v11p_sd15_softedge
    软边缘	softedge_pidinet	推荐	control_v11p_sd15_softedge
    软边缘	softedge_pidisafe		control_v11p_sd15_softedge
    提取色彩	t2ia_color_grid		t2iadapter_color_sd14v1
    边缘检测	t2ia_sketch_pidi		t2iadapter_sketch_sd14v1 / t2iadapter_sketch_sd15v2
    风格转移	t2ia_style_clipvision	图像风格化	t2iadapter_style_sd14v1
    阈值	threshold
    局部重绘	tile_resample	优化图生图自带的局部重绘	control_v11u_sd15_tile

    预览对比

    原图

    1	2	3	4

    黑白倒转|invert

    1	2	3	4

    边缘检测|canny

    1	2	3	4

    深度检测|depth_leres

    1	2	3	4

    深度检测|depth_midas

    1	2	3	4

    深度检测|depth_zoe

    1	2	3	4

    局部重绘|inpaint_global_harmonious

    1	2	3	4

    线稿控制|lineart_anime

    1	2	3	4

    线稿控制|lineart_anime_denoise

    1	2	3	4

    线稿控制|lineart_coarse

    1	2	3	4

    线稿控制|lineart_realistic

    1	2	3	4

    线稿控制|lineart_standard

    1	2	3	4

    面部控制|mediapipi_face

    1	2	3	4

    直线检测|mlsd

    1	2	3	4

    法线贴图|normal_bae

    1	2	3	4

    法线贴图|normal_midas

    1	2	3	4

    姿态估计|OpenPose pose detection

    1	2	3	4

    姿态估计|openpose_face

    1	2	3	4

    姿态估计|openpose_faceonly

    1	2	3	4

    姿态估计|openpose_full

    1	2	3	4

    姿态估计|openpose hand

    1	2	3	4

    涂鸦|scribble_hed

    1	2	3	4

    涂鸦|scribble_pidinet

    1	2	3	4

    涂鸦|scribble_xdog

    1	2	3	4

    语义分割|seg_ofade20k

    1	2	3	4

    语义分割|seg_ofcoco

    1	2	3	4

    语义分割|seg_ufade20k

    1	2	3	4

    风格转移|shuffle

    1	2	3	4

    软边缘|softedge_hed

    1	2	3	4

    软边缘|softedge_hedsafe

    1	2	3	4

    软边缘|softedge_pidinet

    1	2	3	4

    软边缘|softedge_pidisafe

    1	2	3	4

    提取色彩|t2ia_color_grid

    1	2	3	4

    边缘检测|t2ia_sketch_pidi

    1	2	3	4

    风格转移|t2ia_style_clipvision

    无法预览

    1	2	3	4

    阈值|threshold

    1	2	3	4

    局部重绘|tile_resample

    1	2	3	4