ComfyUi | 一份简单的修手方案
其他垂类 其他风格 其他主体 其他模型功能工作流思路:
写实部分:
HandRefiner + FaceDetailer
二次元部分:
不论是换脸的Reactor还是手部检测的HandRefiner,对于写实类模型效果很好(毕竟容易捕捉特征),而对于特征不易捕捉的二次元,效果要大打折扣,所以既然HandRefiner不易识别二次元手部,那干脆就不让它识别,以写实大模型去生成需要的动作与姿势,然后获取它的姿势图与手部深度图,以二次元大模型出图。
基础步骤:
-》选择大模型
-》填写提示词
【插件自动下载失败或缓慢,以下为手动下载步骤】
1.下载comfyui_controlnet_aux插件
1.1 通过管理器下载
1.2 手动下载: https://github.com/Fannovel16/comfyui_controlnet_aux
2.下载HandRefiner的3个文件
2.1 网址: https://huggingface.co/hr16/ControlNet-HandRefiner-pruned/tree/main
2.2 下载control_sd15_inpaint_depth_hand_fp16.safetensors,放入ControLNet文件夹中
2.3下载graphormer_hand_state_dict与hrnetv2_w64_imagenet_pretrained.pth,放入aux插件中的ckpts/hr16/ControlNet-HandRefiner-pruned中(没有文件夹则手动新建)
3.下载MeshGraphormer插件
3.1手动下载: https://github.com/microsoft/MeshGraphormer
4.下载MeshGraphormer的预训练模型
4.1 详细流程: https://github.com/microsoft/MeshGraphormer/blob/main/docs/DOWNLOAD.md
4.2 通过“4.1”网址中的第一步与第二步中提供的两条代码,可以自动新建3个文件夹以及3个预处理模型和4个预处理模型的权重,计7个文件。(这个部分若出错,可从/scripts中的download_models.sh文件中找到下载路径)
5.从 SMPLify下载basicModel_neutral_lbs_10_207_0_v1.0.0.pkl,从MANO下载MANO_RIGHT.pkl,并将两个文件放置在MeshGraphormer/src/modeling/data文件夹中(具体步骤见下述)
5.1 登录https://smplify.is.tue.mpg.de/download.php,下载SMPLIFY_CODE_V2,在该文件夹中的models文件夹中找到所需文件。
5.2登录 https://mano.is.tue.mpg.de/download.php,下载Models&Code,在该文件夹中的models文件夹中找到所需文件。
6.如果不显示MeshGraphormer Hand Refine节点,若之前已经安装了comfyui_controlnet_aux插件,则删除重新下载。
暂无评论信息...