단 몇 초 만에 신원을 보호하는 효율성으로 이미지 생성을 재정의하는 Tencent의 FaceStudio

최근 텍스트-이미지 확산 모델은 상세한 서면 설명을 다양한 스타일과 미학을 아우르는 매력적인 시각적 표현으로 손쉽게 변환할 수 있는 능력으로 높은 평가를 받고 있습니다. 이 최첨단 기술은 한때는 불가능하다고 여겨졌던 수많은 애플리케이션의 가능성을 확장했습니다.

이 분야의 괄목할 만한 발전에도 불구하고 여전히 몇 가지 장애물이 남아 있습니다. 그 중 하나는 현재의 텍스트-이미지 확산 모델은 텍스트 정보만을 기반으로 피사체의 정확한 표현을 생성하는 데 어려움을 겪는 경우가 많다는 점입니다. 또한 이러한 모델을 미세 조정하려면 상당한 양의 컴퓨팅 리소스와 사람의 개입이 필요하므로 시간과 노동력이 많이 소요될 수 있습니다.

이러한 한계를 극복하기 위해 텐센트의 연구 부서에서는 고유한 정체성을 유지하면서 사실적인 인간 이미지를 생성하기 위해 특별히 고안된 새로운 방법론을 개발했습니다. 이 혁신적인 기술은 광범위한 미세 조정이 필요 없는 간단한 피드 포워드 전략을 채택하여 전체 이미지 합성 프로세스를 간소화합니다.

이 그룹의 노력 중 주목할 만한 성과는 다음과 같이 요약할 수 있습니다:

튜닝이 필요 없는 하이브리드 가이드 이미지 생성 프레임워크: 이 팀은 광범위한 미세 조정 없이도 다양한 이미지 스타일에 걸쳐 사람의 신원을 보존하는 새로운 프레임워크를 제시합니다. 다중 아이덴티티 교차주의 메커니즘: 여러 아이덴티티의 안내 세부 정보를 이미지 내의 특정 사람 세그먼트에 매핑하는 탁월한 능력을 보여주는 독특한 메커니즘이 개발되었습니다. 포괄적인 실험 검증: 연구팀은 정성적, 정량적 실험 결과를 모두 제공하여 기준 모델 및 기존 연구와 비교하여 방법의 뛰어난 효율성을 보여줍니다.

특히 하이브리드 안내 이미지를 생성하는 데 사용되는 조건 모듈과 관련하여 주목할 만한 변경 사항을 특징으로 하는 StableDiffusion의 고급 버전인 FaceStudio 모델은 효율성과 사용 편의성에서 차별화되었습니다. 시간이 많이 걸리는 미세 조정 프로세스가 필요한 다른 방법과 달리 이 모델은 간단한 피드포워드 방식을 채택하여 고품질 이미지를 빠르게 생성합니다.

제안된 방법의 기반은 스타일 및 정체성과 관련된 텍스트 단서와 시각적 정보를 모두 통합하여 잠재적 확산 모델의 생성 과정을 관리하는 하이브리드 안내 모듈에 뿌리를 두고 있습니다.

다양한 정체성을 지닌 시각적 요소를 효율적으로 관리하기 위해 저희 그룹은 다중 정체성 교차주의 방법론이라는 새로운 접근법을 개발했습니다. 이 최첨단 기법을 사용하면 서로 다른 출처에서 추출한 안내 정보를 원활하게 통합하고, 이미지에 표시된 관심 영역과의 연관성을 파악할 수 있습니다.

FaceStudio는 고급 이미지 합성 기능을 통해 사람을 매우 정확하고 실물처럼 표현하는 것으로 나타났습니다. 따라서 추가 수정이나 미세 조정이 필요하지 않으므로 개인화된 이미지를 생성하는 데 효율적인 도구입니다. 주목할 만한 기능 중 하나는 개인의 얼굴 특징을 다양한 예술적 스타일에 오버레이하여 개성을 유지하면서 다양한 맥락에서 어떻게 보일지 확인할 수 있다는 것입니다. 또한 개별 사진의 여러 얼굴을 조화롭게 합친 합성물을 만들 수 있어 복잡한 신원 조작 작업을 처리할 수 있는 다재다능함을 보여줍니다.

프로젝트의 GitHub 에서 코드를 확인할 수 있습니다. 논문 FaceStudio: 몇 초 만에 모든 곳에 얼굴 적용 arXiv .