[논문리뷰] Benchmarking Diversity in Image Generation via Attribute-Conditional Human Evaluation

링크: 논문 PDF로 바로 열기

저자: Isabela Albuquerque¹, Ira Ktena², Olivia Wiles¹, Ivana Kajić¹, Amal Rannen-Triki¹, Cristina Vasconcelos¹ and Aida Nematzadeh¹

핵심 연구 목표

현재 텍스트-투-이미지(T2I) 모델이 종종 동질적인 이미지를 생성하며 다양성이 부족하다는 문제를 해결하고자 합니다. 기존 다양성 평가 지표들이 충실도(fidelity)와 혼동되거나 표준화되지 않아 모호한 결과를 초래하는 한계를 극복하고, T2I 모델의 다양성을 체계적이고 견고하게 평가하기 위한 프레임워크를 제시하는 것이 이 연구의 주된 목표입니다.

핵심 방법론

본 연구는 속성 조건부 인간 평가 (Attribute-Conditional Human Evaluation) 프레임워크를 도입합니다. 이 프레임워크는 다양한 개념과 그 변형 요인(예: '사과'의 '색상')을 포함하는 큐레이션된 프롬프트 세트 와 미묘한 다양성 평가를 위한 새로운 인간 평가 템플릿 을 포함합니다. 모델 간의 다양성 비교를 위해 인간 주석에 대한 이항 테스트 (Binomial Tests) 를 사용하며, 자동 평가 지표의 신뢰성을 검증하기 위해 Vendi Score 와 Inception, ViT, DINOv2, PALI, CLIP 등 다양한 이미지 임베딩을 활용합니다.

주요 결과

인간 평가 결과, Imagen 3 와 Flux 1.1 이 속성 다양성 측면에서 가장 우수한 T2I 모델로 나타났습니다. Vendi Score 기반 자동 평가 접근 방식 은 적절한 표현 공간에서 최적화될 경우 약 80%의 정확도 로 인간이 인지하는 다양성을 포착할 수 있음을 보여주었습니다. 특히 Gemini v2.5 Flash 모델은 골든 세트 다양성 평가에서 0.926의 정확도 를 달성하여 인간 평가자(0.815)보다 뛰어난 성능을 보였습니다.

AI 실무자를 위한 시사점

T2I 모델의 다양성 평가 시 명확하게 정의된 속성 기반 평가 가 인간 판단의 일관성과 정확도를 크게 향상시킨다는 점을 시사합니다. Vendi Score 와 같은 자동 지표는 유용하지만, 인간의 다양성 인식을 정확히 반영하려면 적절한 임베딩 모델과 컨디셔닝 프롬프트 선택 이 중요함을 강조합니다. Gemini v2.5 Flash 와 같은 강력한 LLM은 임베딩 추출 없이도 다양성 평가에 효과적으로 활용될 수 있어, 향후 평가 프로세스 자동화 및 확장 가능성에 대한 새로운 방향을 제시합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.