[논문리뷰] When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs

링크: 논문 PDF로 바로 열기

저자: Mikhail Seleznyov, Mikhail Chaichuk, Gleb Ershov, Alexander Panchenko, Elena Tutubalina, Oleg Somov

핵심 연구 목표

본 연구는 LLM이 프롬프트 구문 및 형식의 미묘한 비의미적 변화에 매우 민감하게 반응하는 문제를 해결하고자 합니다. 기존의 프롬프트 강건성(robustness) 향상 방법론들이 개별적으로 평가되어 실무자가 비교하고 선택하기 어려웠던 공백을 채우기 위해, 다양한 LLM 패밀리, 학습 패러다임, 분포 변화 유형에 걸쳐 5가지 프롬프트 강건성 방법론을 체계적으로 비교 평가하는 것을 목표로 합니다.

핵심 방법론

저자들은 Natural Instructions 데이터셋의 52개 태스크와 Llama, Qwen, Gemma 패밀리의 8개 모델(1.5B~9B 파라미터)을 사용하여 실험을 수행했습니다. 비교 대상 방법론으로는 Few-shot (FS) , Batch Calibration (BC) , Template Ensembles (TE) , Sensitivity-Aware Decoding (SAD) , 그리고 LoRA with format augmentations (LoRA) 가 포함됩니다. 추가적으로 GPT-4.1 및 DeepSeek V3 와 같은 최신 모델에 대한 평가도 진행했으며, 그리디 디코딩(greedy decoding) 과 확률 랭킹(probability ranking) 등 두 가지 추론 전략의 영향을 분석했습니다.

주요 결과

Batch Calibration 은 분포 변화가 없을 때 가장 높은 정확도를 달성하고 확산을 크게 줄여 강건성을 향상시켰습니다. 반면, LoRA with augmentations 는 정확도를 크게 높였지만 프롬프트 형식 변화에 대한 강건성 개선에는 효과적이지 않았고, Template Ensembles 는 확산을 줄였지만 정확도를 낮출 수 있었습니다. 그리디 디코딩 은 확률 랭킹 보다 훨씬 낮은 강건성을 보였습니다. 최신 모델인 DeepSeek V3 와 GPT-4.1 은 소규모 오픈소스 모델보다 강건했지만, 특정 태스크에서는 여전히 8-10% 의 정확도 확산을 보였으며, 다수결 투표(majority voting) 를 사용한 Template Ensembles 가 이러한 불안정성을 완화하는 데 효과적이었습니다.

AI 실무자를 위한 시사점

실무자는 프롬프트 형식에 대한 LLM의 민감성을 완화하기 위해 여러 전략을 고려할 수 있습니다. 배치 캘리브레이션은 데이터 분포 편향이 심하지 않은 경우 정확도와 강건성 모두를 개선하는 효율적인 방법입니다. 프롬프트 형식 변화에 대한 강건성을 위해서는 파인튜닝 기반의 LoRA with augmentations 만으로는 충분하지 않으며, 확률 랭킹 과 같은 추론 전략을 우선적으로 고려해야 합니다. 또한, 최신 LLM도 특정 상황에서는 여전히 프롬프트 민감도를 보이며, 로짓 접근이 제한적인 블랙박스 모델의 경우 다수결 투표 기반의 Template Ensembles 가 유용한 강건성 확보 기법이 될 수 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.