AI 캐릭터는 왜 자꾸 얼굴이 바뀔까? 캐릭터 정체성은 어떻게 고정할까? NadouPro 캐릭터 일관성 가이드

AI 연재 콘텐츠를 만들어 본 사람이라면 누구나 이 벽에 부딪혀 봤을 것입니다. 첫 번째 이미지의 주인공이 다섯 번째 이미지에서는 이미 다른 사람이 되어 있습니다. 헤어스타일은 맞는데 얼굴형이 바뀌고, 얼굴형은 맞는데 피부색이 또 다릅니다. 이것은 미신이 아니라 생성 메커니즘의 필연적인 결과이며, 분명한 해결 방법도 있습니다.

드리프트의 근원: 모델에는 기억이 없다

확산 모델은 매번 생성할 때 무작위 노이즈에서 시작하며, 유일한 근거는 텍스트 프롬프트입니다. 모델은 지난번에 누구를 그렸는지 기억하지 못하고, 각각의 이미지는 프롬프트를 새롭게 해석한 결과입니다.

또한 텍스트는 본질적으로 하나의 얼굴을 정확히 묘사할 수 없습니다. ‘스물다섯 살 여성, 초록색 눈’ 같은 설명은 특정한 얼굴 하나가 아니라 수백만 개 얼굴의 분포에 대응합니다. 형용사를 아무리 많이 추가해도 소용없습니다. 모델은 매번 처음부터 샘플링합니다. 그래서 이미지 열 장을 만들다 보면 세 번째에서는 콧대가 좁아지고, 여섯 번째에서는 얼굴형이 바뀌며, 열 번째에서는 같은 옷을 입은 낯선 사람이 되어 버립니다.

가장 흔한 다섯 가지 드리프트 유발 요인

유발 요인을 이해하면 많은 문제를 시작부터 피할 수 있습니다.

텍스트 설명에만 의존하는 것. 이것이 가장 큰 유발 요인입니다. 설명어는 유형을 정의할 뿐, 구체적인 사람을 정의하지 않습니다.

매번 랜덤 시드를 바꾸는 것. 시드를 고정하면 여러 번 생성할 때 구도와 이미지가 더 비슷해집니다.

참고 이미지 품질이 낮은 것. 선글라스를 쓴 사진, 짙은 그림자, 잘린 얼굴, 서로 다른 시기의 사진을 섞어 쓰는 것은 모두 모델을 방해합니다.

얼굴 비중이 너무 작은 것. 화면에서 얼굴이 20%도 차지하지 않으면 모델이 고정할 수 있는 디테일이 충분하지 않습니다.

중간에 모델을 바꾸는 것. 각 모델은 프롬프트를 다르게 이해하므로 섞어 쓰면 드리프트가 누적됩니다.

두 가지 고정 방식

일관성 도구는 두 계열로 나뉘며, 적용되는 상황이 다릅니다.

참고 기반 방식: 하나 또는 여러 장의 참고 이미지를 제공하면 모델이 이미지 속 형상을 새 생성 결과에 반영합니다. 장점은 학습이 필요 없고 바로 사용할 수 있다는 점입니다. 기존 이미지를 편집하거나 여러 이미지 사이에서 같은 스타일을 이어 가기에 적합합니다. NadouPro의 Multi-reference 입력과 Image Fusion 모드는 이 방식입니다. 인물, 장면, 소품의 참고 이미지를 동시에 제공할 수 있으며, 모델은 이들 사이의 관계를 이해합니다.

정체성 기반 방식: 하나의 캐릭터를 중심으로 완전한 설정을 만들고, 여러 각도의 참고 이미지로 형상을 단단히 고정합니다. 장기 콘텐츠에 적합합니다. NadouPro의 캐릭터 설정과 캐릭터 3면도를 함께 쓰는 것이 이런 방식입니다. 정면, 측면, 후면을 한 번에 만들어 두면 이후 수십 장의 이미지에서, 장면과 의상이 바뀌어도 같은 정체성을 호출할 수 있습니다.

실무에서의 역할 구분은 명확합니다. 이 한 장을 수정하거나 이 스타일을 이어 가려면 참고 기반 방식을 쓰고, 같은 사람이 모든 콘텐츠에서 같은 얼굴로 보여야 한다면 정체성 기반 방식을 씁니다.

캐릭터가 정말 고정되었는지 검증하는 방법

감으로 판단하지 말고 비교 테스트를 하세요.

같은 캐릭터로 서로 다른 장면의 이미지 열 장을 생성한 뒤 나란히 놓고 얼굴형, 눈 사이 거리, 헤어라인이 일관적인지 확인합니다. 그중 두 장을 뽑아 First/Last Frame 방식으로 영상을 생성하고, 움직임 속에서 형태가 무너지지 않는지 봅니다. 마지막으로 캐릭터를 원경에 배치해 작은 비중에서도 알아볼 수 있는지 확인합니다.

세 가지를 모두 통과해야 이 캐릭터 자산을 실제로 사용할 수 있습니다.

상주 캐릭터를 만드는 전체 흐름

첫 번째, 기준 이미지를 정하고 고품질 참고 이미지로 최종 룩 이미지를 생성합니다.

두 번째, 캐릭터 3면도를 만들어 여러 각도의 형상을 고정합니다.

세 번째, 프롬프트 템플릿을 고정하고 캐릭터 설명 부분은 항상 같은 문장을 재사용합니다.

네 번째, 이후 모든 생성은 캐릭터 자산을 참조하고 텍스트만으로 생성하지 않습니다.

다섯 번째, 위의 비교 테스트를 정기적으로 진행하고 드리프트가 발견되면 즉시 다시 조정합니다.

캐릭터 일관성은 한 번 설정하고 끝나는 것이 아니라 하나의 규칙 체계입니다. 자산을 탄탄하게 만들수록 이후의 창작은 더 자유로워집니다.

자주 묻는 질문

Q: 텍스트 프롬프트만으로 캐릭터를 고정할 수 있나요?
완전히 고정할 수는 없습니다. 텍스트는 유형만 제한할 수 있으며, 같은 설명도 매번 다른 얼굴을 샘플링합니다. 구체적인 사람을 고정하려면 반드시 참고 이미지나 캐릭터 설정을 사용해야 합니다.

Q: 어떤 참고 이미지가 가장 좋은가요?
조명이 충분하고 이목구비가 선명하며 가려진 부분이 없는 최근 사진이 좋고, 여러 각도에서 각각 한 장씩 준비하는 것이 좋습니다. 선글라스, 마스크, 극단적인 각도는 피하세요.

Q: 원경에서 캐릭터가 자꾸 무너지면 어떻게 하나요?
원경에서는 얼굴 비중이 낮다는 물리적 한계가 있습니다. 근경으로 생성한 뒤 다시 구도를 잡거나, 프롬프트에서 얼굴 특징을 강조할 수 있습니다. 필요하면 Repaint로 얼굴을 수정하세요.

Q: 중간에 모델을 바꾸면 어떻게 되나요?
모델마다 이미지를 해석하는 방식이 다르기 때문에 모델을 바꾸는 것은 캐릭터의 ‘외모 유전자’를 바꾸는 것과 같습니다. 반드시 바꿔야 한다면 같은 참고 이미지 세트로 다시 앵커링하고 비교 테스트를 진행해야 합니다.

Q: 영상에서의 일관성이 이미지보다 더 어렵나요?
네, 움직임은 표정과 각도의 변화를 더합니다. 먼저 이미지로 캐릭터를 단단히 고정한 뒤 영상을 생성하면 성공률이 훨씬 높아집니다.

더 많은 기능은 NadouPro에서 경험해 보세요: NadouPro

이 콘텐츠에는 AI 생성 정보가 포함되어 있으며 오류가 있을 수 있습니다. 직접 확인해 주세요.