[논문리뷰] Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens

링크: 논문 PDF로 바로 열기

저자: Chengshuai Zhao, Zhen Tan, Pingchuan Ma, Dawei Li, Bohan Jiang, Yancheng Wang, Yingzhen Yang, Huan Liu

핵심 연구 목표

본 연구는 대규모 언어 모델(LLM)의 Chain-of-Thought (CoT) 추론 이 진정한 논리적 추론이 아닌, 훈련 데이터 분포에 강하게 의존하는 표면적인 패턴 매칭 일 가능성을 탐구합니다. 특히, CoT 추론이 훈련 데이터와 테스트 쿼리 간의 분포 불일치(distribution discrepancy)에 따라 언제, 왜 실패하는지 데이터 분포 관점에서 심층적으로 이해하고자 합니다.

핵심 방법론

연구팀은 DATAALCHEMY 라는 통제된 합성 데이터셋 프레임워크를 설계하여 LLM을 처음부터 훈련시키고 다양한 OOD(Out-of-Distribution) 시나리오에서 CoT 추론을 체계적으로 분석했습니다. CoT 추론의 일반화 능력을 태스크, 길이, 형식 의 세 가지 차원으로 분해하여 각각의 분포 변화에 대한 영향을 조사했습니다. 실험에는 GPT-2 스타일의 디코더 전용 트랜스포머 모델이 사용되었으며, 정확도(Exact Match), 편집 거리(Edit Distance), BLEU 점수 를 통해 성능을 평가했습니다.

주요 결과

실험 결과, CoT 추론은 훈련 데이터 분포 내에서는 효과적이지만, 분포가 조금만 벗어나도 성능이 급격히 저하되어 "취약한 신기루"임이 드러났습니다. 태스크 일반화 에서는 훈련 중 보지 못한 변환(transformation)이나 구성(composition)에 대해 정확도(Exact Match)가 100%에서 0~0.01%로 급락 하며, 추론 단계는 옳아도 최종 답은 틀리는 불일치성 을 보였습니다. 길이 일반화 에서는 훈련 길이를 벗어난 입력에 대해 정확도가 0%로 떨어지는 현상 이 관찰되었습니다. 미세 조정(SFT) 은 아주 적은 양의 새로운 데이터를 통해 일반화에 도움을 주었으나, 이는 분포 내 "인접성(proximity)" 에 기반한 패치 역할에 불과했습니다.

AI 실무자를 위한 시사점

CoT 추론이 겉보기에 유창하고 논리적으로 보일지라도, 실제로는 훈련 데이터의 통계적 규칙성을 보간하고 외삽하는 고도로 정교한 패턴 매칭 에 가깝다는 점을 시사합니다. 따라서 의료, 금융, 법률 등 높은 신뢰성이 요구되는 도메인 에서는 CoT를 "플러그 앤 플레이" 솔루션으로 맹신해서는 안 되며, 충분한 도메인 전문가의 검증 이 필수적입니다. 또한, 실제 추론 능력 부족을 보완하기 위해 엄격한 OOD 테스트 와 함께 모델의 추상적 추론 능력 개발에 대한 지속적인 연구가 필요합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.