[논문리뷰] Noise Hypernetworks: Amortizing Test-Time Compute in Diffusion Models

링크: 논문 PDF로 바로 열기

저자: Luca Eyring, Shyamgopal Karthik, Alexey Dosovitskiy, Nataniel Ruiz, Zeynep Akata

핵심 연구 목표

본 논문은 확산 모델에서 추론 시 계산 비용을 크게 증가시키는 테스트-시간 스케일링(test-time scaling) 의 문제점을 해결하고자 합니다. 모델이 추가적인 계산을 통해 생성 품질을 향상시키는 이점은 유지하면서도, 추론 과정의 속도 저하와 비실용성을 제거하여 계산 오버헤드 없이 고품질 생성을 달성 하는 것을 목표로 합니다.

핵심 방법론

저자들은 초기 노이즈 분포를 조절하는 노이즈 하이퍼네트워크(Noise Hypernetwork) , 즉 HyperNoise 를 제안합니다. 이 경량 네트워크( f_phi )는 표준 가우시안 노이즈를 변형하여 최적화된 노이즈 잠재 변수를 예측하며, 이는 기존의 동결된 생성기( g_theta )의 입력으로 사용됩니다. 학습은 L2 페널티 를 통해 노이즈 공간에서의 KL 발산을 근사하고 보상 최대화를 목표로 하는 L_noise(phi) = E_x0~p0 [ ||f_phi(x0)||^2 - r(g_theta(x0 + f_phi(x0))) ] 목적 함수를 통해 이루어집니다. 이 방식은 LoRA(Low-Rank Adaptation) 를 사용하여 파라미터 효율성을 높이고 추론 비용을 최소화합니다.

주요 결과

제안된 HyperNoise는 SD-Turbo , SANA-Sprint , FLUX-Schnell 등 최신 증류 모델에 적용되었을 때 상당한 성능 향상을 보였습니다. 예를 들어, SD-Turbo + HyperNoise 는 GenEval 평균 0.57 을 달성하여 기본 모델(0.49)을 크게 능가했으며, 이는 기존 SDXL 모델과 유사한 성능을 25배 적은 NFEs 로 달성한 것입니다. SANA-Sprint + HyperNoise 는 기본 모델(0.70) 대비 0.75 를 달성하며 ReNO 의 성능 향상(0.81)의 절반 가량을 300배 빠른 속도 로 회복했습니다. 이러한 개선은 이미지 품질 및 프롬프트 충실도 측면에서 두드러졌습니다.

AI 실무자를 위한 시사점

HyperNoise는 테스트-시간 최적화 의 이점을 학습 과정에 통합함으로써, 실시간 애플리케이션 에 적합한 효율적인 고품질 생성 모델을 구현할 수 있게 합니다. 특히 GPU 메모리 제약 이 있거나 빠른 추론 속도 가 필수적인 환경에서 효과적입니다. 또한, LoRA 기반 으로 기존 모델에 쉽게 적용 가능하며, 직접 미세 조정 시 발생할 수 있는 '보상 해킹(reward hacking)' 문제를 원칙적인 정규화를 통해 방지하여 생성된 이미지의 품질과 다양성을 유지할 수 있도록 돕습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.