[논문리뷰] SCOPE: Prompt Evolution for Enhancing Agent Effectiveness

링크: 논문 PDF로 바로 열기

저자: Zehua Pei, Hui-Ling Zhen, Shixiong Kai, Sinno Jialin Pan, Yunhe Wang, Mingxuan Yuan, Bei Yu

핵심 연구 목표

대규모 언어 모델(LLM) 에이전트가 방대한 동적 컨텍스트에 직면했을 때 정적인 프롬프트로 인해 발생하는 '수정(Corrective)' 및 '강화(Enhancement)' 실패 를 해결하는 것을 목표로 합니다. 에이전트가 컨텍스트에 접근하더라도 이를 효과적으로 관리하지 못하는 근본적인 간극을 메우고, 실행 흔적에서 가이드라인을 합성하여 프롬프트를 자동으로 진화시키는 프레임워크를 개발하는 것이 연구의 주된 목적입니다.

핵심 방법론

제안된 SCOPE (Self-evolving Context Optimization via Prompt Evolution) 프레임워크는 컨텍스트 관리를 온라인 최적화 문제로 정의합니다. 에이전트의 실행 추적(execution trace)을 학습 신호로 사용하여 Trace-Based Guideline Synthesis 를 통해 가이드라인을 생성하고, 이는 Dual-Stream Routing 메커니즘을 통해 전술적(즉각적 오류 수정) 또는 전략적(장기적 원칙) 메모리로 분류됩니다. 또한, Perspective-Driven Exploration 을 통해 '효율성'과 '철저함' 같은 여러 병렬 스트림으로 프롬프트를 진화시켜 전략 커버리지를 극대화하며, GPT-4.1 및 Gemini-2.5-Pro 를 메타 에이전트 모델로 활용합니다.

주요 결과

SCOPE 는 HLE 벤치마크 에서 정적 에이전트의 성공률을 14.23%에서 38.64% 로 크게 향상시켰으며, GAIA 벤치마크 에서는 32.73%에서 56.97% 로 개선했습니다. 이는 정적 프롬프트 및 기존 최적화 방법론 대비 우월한 성능입니다. 특히 Perspective-Driven Exploration 이 GAIA에서 10.91%p 의 가장 큰 성능 향상을 가져왔고, 합성된 가이드라인의 61% 가 강화(Enhancement) 유형 으로 오류 수정 외의 사전 예방적 최적화가 주도적임을 보였습니다.

AI 실무자를 위한 시사점

SCOPE 는 LLM 에이전트의 성능 향상을 위해 수동적인 프롬프트 엔지니어링에서 온라인으로 자율 진화하는 프롬프트 패러다임으로의 전환을 제시합니다. 다양한 관점(Efficiency, Thoroughness) 을 통한 병렬적 전략 탐색은 복잡하고 이질적인 실제 AI 태스크에서 에이전트의 견고성과 적응력 을 향상시키는 효과적인 방법론임을 시사합니다. 또한, 메타 에이전트 모델 선택에 대한 높은 강건성 을 보여주어, 비용이나 레이턴시를 고려한 모델 선택에도 불구하고 안정적인 성능을 기대할 수 있어 실제 배포에 대한 실용적인 이점을 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.