Taste-Bench, AI 에이전트 여전히 장기적 의사결정에 취약하다는 결과
새 벤치마크 Taste-Bench에 따르면 AI 에이전트는 장기적 선택에 약하다. 최고 점수는 59.7%였고, 보상이 늦게 드러날수록 결과는 찍기 수준으로 떨어졌다.
Illustration made on Lumeta with GPT Image 2.5Make one like it
2026년 10월 18일, Microsoft와 홍콩시립대 연구진이 장시간 실행되는 에이전트의 의사결정을 평가하는 벤치마크 Taste-Bench를 공개했다. 초기 결과는 냉정하다. 현재 AI 에이전트는 장기적으로 더 나은 경로를 고르는 데 그리 능숙하지 않다. 연구에서 가장 뛰어난 모델의 점수는 59.7%였고, 선택의 이점이 한참 뒤에야 드러나는 경우에는 성능이 무작위 수준에 가깝게 떨어졌다. 코딩이나 연구 작업에 에이전트를 활용하는 이들이라면 주목할 만한 결과다.
Taste-Bench가 실제로 평가하는 것
Taste-Bench는 에이전트가 결국 작업을 끝내는지를 묻지 않는다. 대신 작업의 핵심 갈림길에서 더 나은 방향을 알아볼 수 있는지를 묻는다. 이 벤치마크는 코딩과 AI 연구 작업의 실제 에이전트 실행 궤적을 바탕으로 만든 502개 문항으로 구성된다. 각 갈림길에서 이후 단계는 숨겨지며, 모델은 결과가 분명해지기 전에 두 경로 중 하나를 골라야 한다. 각 문항은 선택지 순서를 바꿔 두 번 출제되므로, 논문의 규칙상 순전히 찍기만 하면 25%가 나온다.

Illustration made on Lumeta with GPT Image 2.5Make one like it
현재 모델들의 성적
핵심 결과는 평범한 수준이었다. GPT-5.6 Sol이 59.7%로 1위를 차지했고 GPT-5.5가 59.5%로 근소하게 뒤따랐으며, 나머지 모델들은 이에 크게 못 미쳤다. 더 어려운 경우는 결정적 단서가 한참 뒤의 작업 이후에야 나타나는 문항이었다. 단서가 앞선 맥락에서 이미 보일 때 모델 평균 정확도는 62.3%였지만, 많은 후속 단계를 거친 뒤에야 드러날 때는 21.0%에 그쳤다. 연구진은 추론 예산도 달리해 봤지만, 더 오래 생각해도 정확도는 거의 변하지 않았다.

Illustration made on Lumeta with GPT Image 2.5Make one like it
논문에서 더 고무적인 부분은 이런 판단력이 학습 가능해 보인다는 점이다. 연구팀은 Qwen3.6-27B를 기반으로, 교사 모델의 결정을 벤치마크 문항만 보는 학생 모델에 증류했다. 처음 보는 과제에서 학생 모델의 판단 정확도는 30.0%에서 47.9%로 올랐다. 학생 모델이 각 갈림길에서 별도의 에이전트에 조언하자, 보류된 SWE-bench Pro 41개 과제의 성공률은 14.6%에서 33.7%로 높아졌다. 저자들은 이 결과가 장기 계획에 대한 taste를 단지 관찰하는 데 그치지 않고 측정하고 개선할 수 있음을 보여준다고 말한다. 벤치마크와 코드도 공개했다.
여기서 AI 에이전트의 'taste'란 무슨 뜻인가?
이 논문에서 'taste'는 긴 작업 도중 보상이 분명해지기 전에 더 나은 경로를 고르는 에이전트의 능력을 뜻한다. 최종 답이 테스트를 통과하는지만이 아니라, 중간 결정에서의 판단력에 관한 것이다.
성능이 정말 무작위 수준에 가까웠나?
경우에 따라서는 그렇다. 이 벤치마크의 채점 방식에서는 각 문항을 두 가지 선택지 순서 모두에서 맞혀야 하므로, 순전히 찍으면 25%가 나온다. 유용한 근거가 실행 궤적 한참 뒤에야 나타난 경우, 모델 평균 정확도는 21.0%로 떨어져 이 무작위 기준선에 근접했다.
모델에 추론 시간을 더 주면 도움이 됐나?
별로 그렇지 않았다. 연구진은 두 모델에 대해 서로 다른 추론 설정을 시험했고, 추론 예산을 낮은 수준에서 높은 수준으로 올려도 정확도는 거의 변하지 않았다고 보고했다.
모델이 일부 작업은 여전히 끝낼 수 있는데 왜 중요한가?
에이전트가 처음에는 괜찮아 보이지만 나중에 문제를 일으키는 초기 선택을 할 수 있기 때문이다. 코딩과 연구 작업에서는 이렇게 숨은 잘못된 결정이 예산을 낭비하고, 향후 변경을 가로막거나, 에이전트를 비생산적인 방향으로 이끌 수 있다.


