[논문리뷰] Shortcut Learning in Generalist Robot Policies: The Role of Dataset Diversity and Fragmentation

링크: 논문 PDF로 바로 열기

저자: Youguang Xing, Xu Luo, Junlin Xie, Lianli Gao, Hengtao Shen, Jingkuan Song

핵심 연구 목표

본 논문은 일반 로봇 정책의 제한된 일반화 능력의 근본 원인을 규명하고자 합니다. 특히, 태스크와 관련 없는 특징에 의존하는 숏컷 학습(shortcut learning)이 일반화의 주요 장애물인지 조사합니다. 개별 서브 데이터셋 내의 제한된 다양성과 서브 데이터셋 간의 현저한 분포 불일치가 숏컷 학습에 미치는 기여도를 분석합니다.

핵심 방법론

연구팀은 Open X-Embodiment (OXE)와 같은 대규모 로봇 데이터셋의 시각 및 텍스트 특징을 분석하여 다양성과 단편화 문제를 측정했습니다. 이론적 분석을 통해 데이터셋의 구조적 특성이 숏컷 학습을 유발함을 입증했습니다. 또한, LIBERO 벤치마크 및 실세계 환경에서 Diffusion Policy , MiniVLA , π0 와 같은 정책을 사용하여 제어된 실험을 수행하고, 뷰포인트 및 객체 증강 등의 데이터 증강 전략이 숏컷 학습을 완화하는 효과를 검증했습니다. 숏컷 학습 정도는 인간 보조 점수 매기기 방식으로 정량화되었습니다.

주요 결과

OXE 데이터셋이 개별 서브 데이터셋 내의 낮은 다양성과 서브 데이터셋 간의 심각한 단편화를 겪고 있음을 확인했습니다. 실험 결과, 서브 데이터셋 내 다양성을 높이고 서브 데이터셋 간 불일치를 줄임으로써 모든 평가 모델에서 숏컷 의존성이 효과적으로 감소하고 OOD(Out-of-Distribution) 성공률 이 향상됨을 입증했습니다. 특히, π0 모델의 실세계 실험에서 세 번째 객체를 추가했을 때 숏컷 학습이 0.6에서 0으로 완전히 제거 되고 OOD 성공률이 0.2에서 0.75로 크게 개선되었습니다. 뷰포인트 증강 또한 π0의 숏컷 학습을 0.6에서 0.15로 감소 시키고 OOD 성공률을 0.2에서 0.55로 향상시켰습니다.

AI 실무자를 위한 시사점

본 연구는 일반 로봇 정책의 일반화 능력 향상을 위한 데이터셋 수집 전략에 중요한 통찰력을 제공합니다. 기존 데이터셋의 한계를 극복하기 위해 뷰포인트 및 객체 증강과 같은 데이터 증강 기법을 적극적으로 활용하여 숏컷 학습을 효과적으로 완화하고 일반화 성능을 개선할 수 있음을 실증했습니다. 이는 새로운 대규모 데이터 수집이 비현실적인 상황에서 오프라인 데이터셋을 개선하는 실용적인 방법을 제시하며, OOD 환경에서의 로봇 성능 향상에 기여할 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.