[논문리뷰] Focused Chain-of-Thought: Efficient LLM Reasoning via Structured Input Information

링크: 논문 PDF로 바로 열기

저자: Lukas Struppek, Dominik Hintersdorf, Hannah Struppek, Daniel Neider, Kristian Kersting

핵심 연구 목표

본 연구는 대규모 언어 모델(LLM)의 Chain-of-Thought (CoT) 추론 과정에서 발생하는 과도한 토큰 사용과 높은 추론 지연 시간 문제를 해결하고자 합니다. 훈련 없이(training-free) 입력 중심의 접근 방식을 통해 LLM의 추론 효율성을 높이고자 합니다.

핵심 방법론

제안하는 Focused Chain-of-Thought (F-CoT) 는 인지 심리학의 ACT(Active Control of Thought) 프레임워크에서 영감을 받아 정보 추출과 추론 과정을 명확히 분리합니다. 첫 번째 단계에서는 LLM(예: GPT-5 mini )이 질의에서 핵심 정보를 추출하여 간결하고 구조화된 XML-유사 컨텍스트 로 구성합니다. 두 번째 단계에서는 해당 구조화된 컨텍스트 만을 입력으로 받아 Qwen3 와 같은 LLM이 표준 CoT 방식으로 추론을 수행하도록 안내합니다.

주요 결과

F-CoT 는 산술 단어 문제 벤치마크(SVAMP, GSM-Hard, MATH-500)에서 표준 제로샷 CoT 대비 생성 토큰 수를 2-3배 감소시켰습니다. 특히, Qwen3 32B 모델 의 경우 MATH-500에서 0-CoT의 4.4k 토큰 에 비해 약 2.3k 토큰 으로 줄이면서도 유사하거나 더 높은 Pass@5 정확도( 99.0% )를 유지했습니다. 토큰 감소는 주로 불필요한 추론 및 필러 문장 감소에서 비롯되었으며, 모델의 '과잉 사고' 경향이 2.35 ± 1.5 에서 1.74 ± 1.4 로 줄었습니다.

AI 실무자를 위한 시사점

F-CoT 는 LLM의 추론 효율성을 향상시키는 간단하고 훈련이 필요 없는 강력한 대안 을 제공합니다. 이는 특히 GPU 자원이 제한적인 환경 에서 LLM 배포의 경제성을 크게 개선할 수 있습니다. 더 큰 모델로 컨텍스트를 사전 계산하고 더 작은 모델로 추론하는 하이브리드 전략 을 통해 비용 효율성을 극대화할 수 있으며, 구조화된 입력은 모델의 '과잉 사고'를 완화 하고 추론의 해석 가능성을 높이는 데 기여합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.