ComfyUI 2. 노드와 워크플로우를 이용한 text-to-image
ComfyUI 소개 및 설치글에 이어, 이번엔 간단한 이미지를 만들어보면서, 어떻게 생성하는지 알아보겠다
1. text-to-image 템플릿 불러오기
먼저 좌측 상단에서 Workflow > Browse Templates를 눌러
Image Generation을 선택하면
다음과 같이 워크플로우가 생성된다
블렌더같은 그래픽 디자인이나, 영상편집을 해본 사람은 익숙할텐데
ComfyUI는 노드와 워크플로우 기반으로 이루어져있다
이 노드의 입출력을 다른 노드와 연결하고, 이런 흐름을 만들어 원하는 이미지를 생성할 수 있는 것이다
기존의 WebUI가 이러한 과정을 원버튼으로 가능하게 했다면
ComfyUI는 이런 세부 과정을 직접 손 볼수 있다는 장점이 있어 많은 사람들이 이를 선택한다
2. 노드 설명
왼쪽 노드부터 하나씩 살펴보면
1. Load CheckPoint
- 체크포인트, 모델을 불러오는 노드
- 노드의 우측 MODEL, CLIP, VAE에서 연결해줘야 워크플로우가 생성됨
- 체크포인트는 Civitai나 HuggingFace 등에서 받을 수 있음
2. CLIP Text Encode
- 프롬프트 입력창. 텍스트 노드
- 상단은 Positive Prompt, 하단은 Negative Prompt
3. Empty Latent Image
- Latent 노드
- 이미지의 크기 및 batch 사이즈 변경
- SDXL은
1024*1024혹은832*1216, SD1.5는512*512추천
4. KSampler
- 노이즈를 제거하면서 이미지를 생성하는(샘플링) 과정을 제어하는 노드 이미지 생성의 품질과 스타일에 큰 영향을 미침
- seed : 이미지 고유 값
- Control after generate : 다음 생성 시, 시드값을 어떻게 변경할 지
- Steps : 이미지 생성 단계 수 (노이즈 제거 과정 수)
- CFG : 프롬프트의 인식도
- Sampler name : 이미지 생성 도구 정하는 파라미터
- Scheduler : 각 단계별로 노이즈를 얼마나 제거할지 정해주는 함수
- Denoise : 노이즐를 얼마나 줄일것인지 지정하는 값. text-to-image는 1로 고정
5. VAE Decoder
- KSampler에서 처리가 완료된 Latent를 이미지로 변환해줌
6. Image 노드
- 최종적으로 제작한 이미지를 활용할 수 있는 노드
- 주로 바로 결과를 확인할 수 있는
Preview Image노드나, 저장해주는Save Image노드를 사용
이 노드를 Preview Image로 바꾸고
positive : beautiful scenery nature glass bottle landscape, purple galaxy bottle
negative : text, watermark
로 출력해보면
다음과 같이 preview 에서 정상적으로 출력되는것을 볼 수 있다
3. LoRA
Low-Rank Adaptation(LoRA)는 모델의 세부조정을 위한 학습 기법으로, 체크포인트 모델에서 작은 변화만 일으키는 크기가 작은 Stable Diffusion 모델이다
체크포인트 모델이 전체적인 그림을 그린다면, LoRA는 특정 스타일, 디테일같은 세부적인 부분만 따로 손볼 수 있게 해준다
기존 모델 전체를 다시 학습할 필요 없이, 수백 MB 파일로도 모델을 원하는 대로 수정할 수 있게 해준다
화면의 빈공간에 더블클릭하면, 노드를 새로 불러오는 창이 뜬다
이곳에 LoRA를 검색하면, Load LoRA 노드를 찾을 수 있다
이를 불러온다
Load LoRA 노드
- LoRA를 적용하는 파라메터
- 가중치를 통해, 얼마나 적용할지 설정할 수 있음
- 노드를 사용하지 않고도
<lora:{LoRA이름}:0.8>와 같이 프롬프트로도 사용 가능함 - 노드 여러개를 동시에 사용할 수 도 있음
- LoRA의 추천 가중치는 0~1, 프롬프트의 추천 가중치는 0.7~1.5
pixel art LoRA를 적용한 모습
이런식으로 그림의 스타일을 바꿀 수도 있다
다음은 Image to Image를 다루어보도록 하겠다