Taste-Bench, AI 에이전트 여전히 장기적 의사결정에 취약하다는 결과

새 벤치마크 Taste-Bench에 따르면 AI 에이전트는 장기적 선택에 약하다. 최고 점수는 59.7%였고, 보상이 늦게 드러날수록 결과는 찍기 수준으로 떨어졌다.

4 min read

Taste-Bench, AI 에이전트 여전히 장기적 의사결정에 취약하다는 결과

Illustration made on Lumeta with GPT Image 2.5Make one like it

2026년 10월 18일, Microsoft와 홍콩시립대 연구진이 장시간 실행되는 에이전트의 의사결정을 평가하는 벤치마크 Taste-Bench를 공개했다. 초기 결과는 냉정하다. 현재 AI 에이전트는 장기적으로 더 나은 경로를 고르는 데 그리 능숙하지 않다. 연구에서 가장 뛰어난 모델의 점수는 59.7%였고, 선택의 이점이 한참 뒤에야 드러나는 경우에는 성능이 무작위 수준에 가깝게 떨어졌다. 코딩이나 연구 작업에 에이전트를 활용하는 이들이라면 주목할 만한 결과다.

Taste-Bench가 실제로 평가하는 것

Taste-Bench는 에이전트가 결국 작업을 끝내는지를 묻지 않는다. 대신 작업의 핵심 갈림길에서 더 나은 방향을 알아볼 수 있는지를 묻는다. 이 벤치마크는 코딩과 AI 연구 작업의 실제 에이전트 실행 궤적을 바탕으로 만든 502개 문항으로 구성된다. 각 갈림길에서 이후 단계는 숨겨지며, 모델은 결과가 분명해지기 전에 두 경로 중 하나를 골라야 한다. 각 문항은 선택지 순서를 바꿔 두 번 출제되므로, 논문의 규칙상 순전히 찍기만 하면 25%가 나온다.

복도에서 열린 두 문을 마주한 작은 로봇: 왼쪽에는 깔끔한 서재, 오른쪽에는 어수선한 작업실이 있다.
이 갈림길에서 로봇은 어느 미래가 나중에 보상을 줄지 여전히 추측해야 한다.

Illustration made on Lumeta with GPT Image 2.5Make one like it

현재 모델들의 성적

핵심 결과는 평범한 수준이었다. GPT-5.6 Sol이 59.7%로 1위를 차지했고 GPT-5.5가 59.5%로 근소하게 뒤따랐으며, 나머지 모델들은 이에 크게 못 미쳤다. 더 어려운 경우는 결정적 단서가 한참 뒤의 작업 이후에야 나타나는 문항이었다. 단서가 앞선 맥락에서 이미 보일 때 모델 평균 정확도는 62.3%였지만, 많은 후속 단계를 거친 뒤에야 드러날 때는 21.0%에 그쳤다. 연구진은 추론 예산도 달리해 봤지만, 더 오래 생각해도 정확도는 거의 변하지 않았다.

학습된 taste 모델의 조언으로 SWE-bench Pro 성적 향상
조언 없음14.6%
학생 모델 조언33.7%
완벽한 조언39%
Pan 외, 별도 보류된 SWE-bench Pro 41개 과제에 대한 개입 실험 결과
케이블과 OpenAI 로고가 있는 작업실에서 큰 로봇이 작은 로봇에게 빛나는 나침반을 건네는 페이퍼컷 스타일 장면.
최선의 선택이 한참 뒤에야 보상을 줄 때는 약간의 안내가 도움이 된다.

Illustration made on Lumeta with GPT Image 2.5Make one like it

논문에서 더 고무적인 부분은 이런 판단력이 학습 가능해 보인다는 점이다. 연구팀은 Qwen3.6-27B를 기반으로, 교사 모델의 결정을 벤치마크 문항만 보는 학생 모델에 증류했다. 처음 보는 과제에서 학생 모델의 판단 정확도는 30.0%에서 47.9%로 올랐다. 학생 모델이 각 갈림길에서 별도의 에이전트에 조언하자, 보류된 SWE-bench Pro 41개 과제의 성공률은 14.6%에서 33.7%로 높아졌다. 저자들은 이 결과가 장기 계획에 대한 taste를 단지 관찰하는 데 그치지 않고 측정하고 개선할 수 있음을 보여준다고 말한다. 벤치마크와 코드도 공개했다.

여기서 AI 에이전트의 'taste'란 무슨 뜻인가?

이 논문에서 'taste'는 긴 작업 도중 보상이 분명해지기 전에 더 나은 경로를 고르는 에이전트의 능력을 뜻한다. 최종 답이 테스트를 통과하는지만이 아니라, 중간 결정에서의 판단력에 관한 것이다.

성능이 정말 무작위 수준에 가까웠나?

경우에 따라서는 그렇다. 이 벤치마크의 채점 방식에서는 각 문항을 두 가지 선택지 순서 모두에서 맞혀야 하므로, 순전히 찍으면 25%가 나온다. 유용한 근거가 실행 궤적 한참 뒤에야 나타난 경우, 모델 평균 정확도는 21.0%로 떨어져 이 무작위 기준선에 근접했다.

모델에 추론 시간을 더 주면 도움이 됐나?

별로 그렇지 않았다. 연구진은 두 모델에 대해 서로 다른 추론 설정을 시험했고, 추론 예산을 낮은 수준에서 높은 수준으로 올려도 정확도는 거의 변하지 않았다고 보고했다.

모델이 일부 작업은 여전히 끝낼 수 있는데 왜 중요한가?

에이전트가 처음에는 괜찮아 보이지만 나중에 문제를 일으키는 초기 선택을 할 수 있기 때문이다. 코딩과 연구 작업에서는 이렇게 숨은 잘못된 결정이 예산을 낭비하고, 향후 변경을 가로막거나, 에이전트를 비생산적인 방향으로 이끌 수 있다.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

Seedance 2.5세계 최고의 동영상 생성기 Seedance 2.0 및 2.5로 동영상을 생성하세요

All tools for "From a description"

More from Lumeta

All 뉴스