[논문리뷰] LiteStage: Latency-aware Layer Skipping for Multi-stage Reasoning

링크: 논문 PDF로 바로 열기

저자: Beomseok Kang, Jiwon Song, Jae-Joon Kim

핵심 연구 목표

본 연구는 소규모 LLM에서 다단계 추론 시 발생하는 높은 레이턴시 문제를 해결하고자 합니다. 기존 계층 건너뛰기(layer skipping) 기법이 각 추론 단계의 상이한 민감도와 불필요한 토큰 생성으로 인해 효율성과 정확도 균형을 맞추기 어렵다는 한계를 극복하고, 이를 보완하는 레이턴시 인식 계층 건너뛰기 프레임워크인 LiteStage를 제안하는 것을 목표로 합니다.

핵심 방법론

LiteStage는 오프라인 구성 과 온라인 조정 의 두 가지 상호 보완적인 구성 요소로 이루어져 있습니다. 오프라인 단계 에서는 단계별 오프라인 검색 을 통해 정확도 임계값 내에서 레이턴시를 최소화하는 최적의 계층 예산(layer budget)을 할당합니다. 온라인 단계 에서는 디코딩 중 토큰 신뢰도(token confidence) 를 모니터링하고, 신뢰도가 임계값 아래로 떨어질 경우 생성 조기 종료(generation early exit) 를 통해 불필요한 토큰 생성을 억제합니다.

주요 결과

LiteStage는 OBQA, CSQA, StrategyQA 세 가지 벤치마크에서 기존의 훈련 없는 계층 건너뛰기 방법론을 능가하는 성능을 보였습니다. 특히 4.0% 미만의 정확도 손실 로 최대 1.70배 의 추론 속도 향상을 달성했습니다. 예를 들어, OBQA 데이터셋에서 AdaSkip 이 성능 저하를 보이는 구간에서 LiteStage는 60.0% 정확도를 유지하며 1.32배 속도 를 달성하는 견고함을 보여주었습니다.

AI 실무자를 위한 시사점

본 연구는 소규모 LLM으로 복잡한 다단계 추론 작업을 수행할 때 레이턴시 최적화 와 정확도 유지 를 동시에 달성할 수 있는 실용적인 방법론을 제시합니다. 다단계 추론의 단계별 특성 을 고려한 비균일 계층 건너뛰기 전략 과 신뢰도 기반 생성 조기 종료 가 효과적인 가속화에 필수적임을 시사합니다. 훈련이 필요 없는(training-free) 접근 방식이므로, 기존 LLM에 추가 훈련 없이 적용하여 비용 효율적인 배포가 가능하다는 장점이 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.