[논문리뷰] Decouple to Generalize: Context-First Self-Evolving Learning for Data-Scarce Vision-Language Reasoning

링크: 논문 PDF로 바로 열기

저자: Tingyu Li, Zheng Sun, Jingxuan Wei, Siyuan Li, Conghui He, Lijun Wu, Cheng Tan

핵심 연구 목표

본 논문은 데이터 부족 및 보상 해킹(reward hacking) 문제로 인해 강화 학습(RL) 기반 Vision-Language Models (VLMs) 의 전문 도메인(예: 화학, 지구 과학) 적용 및 지속적인 자체 진화 학습이 어려운 문제를 해결하고자 합니다. 기존 합성 데이터 및 자체 보상 메커니즘의 한계를 극복하여 일반화 가능한 자체 진화형 대규모 VLM (LVLMs) 을 구현하는 것을 목표로 합니다.

핵심 방법론

저자들은 DoGe (Decouple to Generalize) 라는 이중 분리 프레임워크를 제안합니다. 이 프레임워크는 학습 과정을 두 단계의 RL 루프로 분리합니다. 첫 번째 단계인 Learning from Context 에서는 질문이 마스킹된 입력으로 Thinker (맥락 분석)를 학습시키고, Solver (원래 문제 해결)의 통과율을 Thinker 의 보상으로 활용합니다. 두 번째 단계인 Learning from Application 에서는 학습된 Thinker 를 활용하여 원래 문제를 해결하도록 최적화합니다. 또한, 진화적 커리큘럼 학습 파이프라인 을 통해 훈련 데이터의 다양성을 높이고 GRPO 알고리즘을 사용하여 정책을 최적화합니다.

주요 결과

DoGe 는 3B 모델에서 평균 5.7% , 7B 모델에서 평균 2.3% 의 성능 향상을 달성하며 7개의 벤치마크 테스트에서 기준 모델보다 지속적으로 우수한 성능을 보였습니다. 특히 MathVision , ChemBench , MSEarthMCQ 와 같은 전문 도메인 추론 작업에서 상당한 개선을 보였으며, HallBench 에서 2.0% 향상으로 모델 환각 문제를 완화했습니다. 이 방법론은 정책 엔트로피를 효과적으로 높여 탐색 가능성을 유지하고 보상 해킹을 방지합니다.

AI 실무자를 위한 시사점

DoGe 는 데이터 부족 전문 도메인 에서 LVLMs 의 자체 진화 학습을 실현하는 확장 가능한 경로를 제공합니다. Thinker-Solver 아키텍처를 통한 맥락 이해와 문제 해결의 분리 는 보상 해킹을 완화하고 모델의 일반화 능력을 향상시키는 데 기여합니다. 이는 고품질의 풍부한 멀티모달 데이터에 대한 의존도를 줄여 RL 미세 조정 비용을 절감하고 VLM 기반 에이전트 개발 및 배포를 가속화할 수 있음을 시사합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.