[논문리뷰] Adaptive Multi-Agent Response Refinement in Conversational Systems

링크: 논문 PDF로 바로 열기

저자: Soyeong Jeong, Aparna Elangovan, Emine Yilmaz, Oleg Rokhlenko

핵심 연구 목표

대규모 언어 모델(LLM) 기반 대화 시스템이 사용자 페르소나 정렬 및 사실적 정확도와 같은 복합적인 요구사항을 충족하지 못해 발생하는 불만족스러운 응답 문제를 해결하는 것이 목표입니다. 기존 단일 에이전트 응답 개선 방식의 한계를 극복하고, 여러 측면을 동시에 고려하여 응답 품질을 향상시키는 다중 에이전트 프레임워크를 제안합니다.

핵심 방법론

본 연구는 MARA (Multi-Agent Refinement with Adaptive agent selection) 라는 다중 에이전트 프레임워크를 도입합니다. 이 프레임워크는 페르소나 개선 에이전트 , 사실 개선 에이전트 , 일관성 개선 에이전트 의 세 가지 전문화된 에이전트로 구성됩니다. 플래너 에이전트 가 각 쿼리의 요구사항에 맞춰 최적의 에이전트 순서와 정당성을 동적으로 결정하며, 각 에이전트는 이전 에이전트가 개선한 응답을 입력으로 받아 순차적으로 개선을 수행합니다.

주요 결과

MARA는 PersonaChat, INSCIT, FoCus 등 다양한 대화 데이터셋에서 기존 단일 에이전트 및 다중 에이전트 베이스라인을 일관되게, 그리고 현저히 능가 했습니다. 특히, FoCus 데이터셋에서 전체 점수 74.51 을 달성하여 No Refine(56.71) 및 다른 다중 에이전트 모델(예: MultiDebate 54.81) 대비 우수한 성능을 보였습니다. 동적 플래너 에이전트의 효율성과 각 개선 에이전트의 중요성은 실험 결과 및 G-Eval 기반 평가 를 통해 입증되었습니다.

AI 실무자를 위한 시사점

AI/ML 실무자들은 LLM 기반 대화 시스템의 응답 품질을 높이기 위해 다중 에이전트 접근 방식 을 적극적으로 고려할 수 있습니다. 특히, 페르소나, 사실성, 일관성 등 특정 도메인이나 측면에 특화된 에이전트를 구성하고, 동적인 에이전트 할당 및 협업 전략 을 통해 시스템의 유연성과 성능을 극대화할 수 있습니다. 또한, RAG(Retrieval-Augmented Generation) 와 같은 외부 도구를 다중 에이전트 프레임워크에 통합하는 방안은 향후 연구 및 실제 적용에 있어 유망한 방향을 제시합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.