[논문리뷰] Webscale-RL: Automated Data Pipeline for Scaling RL Data to Pretraining Levels

링크: 논문 PDF로 바로 열기

저자: Zhepeng Cen, Haolin Chen, Shiyu Wang, Zuxin Liu, Zhiwei Liu, Ding Zhao, Silvio Savarese, Caiming Xiong, Huan Wang, Weiran Yao

핵심 연구 목표

대규모 언어 모델(LLM)이 모방 학습의 한계(훈련-추론 격차, 견고한 추론 능력 부족)를 극복하고 강화 학습(RL)을 통해 더 강력한 능력을 얻도록 하는 것이 목표입니다. 하지만 기존 RL 데이터셋은 웹 스케일 사전 훈련 코퍼스에 비해 규모와 다양성 면에서 현저히 작다는 병목 현상을 해결하고자 합니다.

핵심 방법론

웹 스케일 사전 훈련 문서를 RL 학습에 적합한 검증 가능한 질문-답변(QA) 쌍으로 변환하는 자동화된 데이터 파이프라인인 Webscale-RL 을 제안합니다. 이 파이프라인은 데이터 필터링 , 도메인 분류 및 페르소나 할당 (GPT-4.1-mini 사용) , 검증 가능한 QA 생성 (GPT-4.1 사용) , 그리고 품질 검사 및 정보 유출 방지 (GPT-4.1-mini 사용) 의 네 단계로 구성됩니다. RL 훈련에는 GRPO [56] 알고리즘을 사용하며, 생성된 답변이 정답과 일치할 경우 이진 보상(1)을 부여합니다.

주요 결과

Webscale-RL 데이터셋으로 훈련된 모델은 지속적인 사전 훈련 및 고급 데이터 정제(QuRating, ProX, GDR) 베이스라인보다 다양한 벤치마크에서 뛰어난 성능을 보였으며, 가장 강력한 베이스라인(GDR) 대비 평균 3.4점 향상 을 달성했습니다. 특히 MATH500 벤치마크에서는 47.6점에서 58.0점으로 크게 향상 되었습니다. 또한, RL 훈련은 데이터 효율성 측면에서 월등하여, MMLU-pro에서 기존 사전 훈련 대비 최대 100배 적은 토큰 으로 유사한 성능을 달성했습니다.

AI 실무자를 위한 시사점

이 연구는 RL 학습을 위한 대규모, 고품질 데이터셋을 효과적으로 생성 할 수 있는 실용적인 방법을 제시하여 LLM의 RL 적용 데이터 병목 현상을 해결합니다. Webscale-RL 파이프라인은 기존 사전 훈련 코퍼스의 방대한 다양성을 활용하여, 일반 지식 및 개방형 추론 작업에서 LLM의 역량과 효율성을 크게 향상 시킬 수 있음을 보여줍니다. 특히, 페르소나 기반의 QA 생성 및 다단계 품질 검증 방법론은 실제 synthetic 데이터 생성 파이프라인 설계에 중요한 통찰을 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.