Taste-Bench เผย AI agent ยังตัดสินใจระยะยาวได้ไม่ดี

Taste-Bench เบนช์มาร์กใหม่พบว่าเอเจนต์ AI ยังอ่อนเรื่องการตัดสินใจระยะยาว โดยโมเดลที่ดีที่สุดทำได้ 59.7 เปอร์เซ็นต์ และผลลัพธ์ตกลงใกล้เคียงการเดาสุ่มเมื่อผลตอบแทนของทางเลือกมาช้า

1 min read

Taste-Bench เผย AI agent ยังตัดสินใจระยะยาวได้ไม่ดี

Illustration made on Lumeta with GPT Image 2.5Make one like it

เมื่อวันที่ 18 ต.ค. 2026 นักวิจัยจาก Microsoft และ City University of Hong Kong เปิดตัว Taste-Bench เบนช์มาร์กสำหรับการตัดสินใจของเอเจนต์ที่ทำงานต่อเนื่องยาวนาน และผลลัพธ์แรกก็ตรงไปตรงมา: เอเจนต์ AI ในปัจจุบันยังเลือกเส้นทางที่ดีกว่าในระยะยาวได้ไม่ค่อยดีนัก โมเดลที่ดีที่สุดในงานวิจัยทำคะแนนได้ 59.7 เปอร์เซ็นต์ และประสิทธิภาพลดลงจนใกล้เคียงการสุ่มเมื่อประโยชน์ของทางเลือกจะเห็นได้ก็ต่อเมื่อผ่านไปนานแล้ว ซึ่งเป็นเรื่องสำคัญสำหรับทุกคนที่ใช้เอเจนต์ทำงานเขียนโค้ดหรืองานวิจัย

Taste-Bench ทดสอบอะไรกันแน่

แทนที่จะถามว่าเอเจนต์ทำงานเสร็จในท้ายที่สุดหรือไม่ Taste-Bench ถามว่าเอเจนต์มองออกหรือไม่ว่าทิศทางไหนดีกว่า ณ จุดแยกสำคัญของงาน เบนช์มาร์กนี้มีคำถาม 502 ข้อ ซึ่งสร้างจากเส้นทางการทำงานจริงของเอเจนต์ในงานเขียนโค้ดและงานวิจัย AI ที่จุดแยกแต่ละจุด ขั้นตอนถัดไปจะถูกซ่อนไว้ และโมเดลต้องเลือกระหว่างสองเส้นทางก่อนที่ผลลัพธ์จะชัดเจน เนื่องจากแต่ละคำถามถูกถามสองครั้ง โดยครั้งหนึ่งสลับลำดับตัวเลือก การเดาล้วนๆ จึงได้คะแนนเพียง 25 เปอร์เซ็นต์ตามกติกาของงานวิจัย

หุ่นยนต์ตัวเล็กในทางเดินหันหน้าเข้าหาประตูที่เปิดอยู่สองบาน: ห้องทำงานเป็นระเบียบทางซ้าย และโรงช่างรกๆ ทางขวา
ที่ทางแยกนี้ หุ่นยนต์ยังต้องเดาว่าอนาคตแบบไหนจะคุ้มค่าในภายหลัง

Illustration made on Lumeta with GPT Image 2.5Make one like it

โมเดลปัจจุบันทำได้แค่ไหน

ผลลัพธ์หลักถือว่าไม่โดดเด่นนัก GPT-5.6 Sol นำด้วยคะแนน 59.7 เปอร์เซ็นต์ ตามมาติดๆ ด้วย GPT-5.5 ที่ 59.5 เปอร์เซ็นต์ ส่วนโมเดลอื่นที่ทดสอบได้คะแนนต่ำกว่านั้นมาก กรณีที่ยากกว่าคือกรณีที่เบาะแสชี้ขาดปรากฏหลังจากทำงานไปอีกนาน: ความแม่นยำเฉลี่ยของทุกโมเดลอยู่ที่ 62.3 เปอร์เซ็นต์เมื่อเบาะแสปรากฏอยู่แล้วในบริบทก่อนหน้า แต่เหลือเพียง 21.0 เปอร์เซ็นต์เมื่อเบาะแสโผล่มาหลังขั้นตอนต่อมาอีกมาก นักวิจัยยังทดสอบงบการให้เหตุผลหลายระดับ และพบว่าการคิดนานขึ้นแทบไม่ทำให้ความแม่นยำเปลี่ยนไป

คำแนะนำจากโมเดล taste ที่ผ่านการฝึกช่วยให้ผล SWE-bench Pro ดีขึ้น
ไม่มีคำแนะนำ14.6%
คำแนะนำจากโมเดลนักเรียน33.7%
คำแนะนำที่สมบูรณ์แบบ39%
Pan et al. ผลการแทรกแซงบนงาน SWE-bench Pro ที่กันไว้ 41 งาน
ภาพสไตล์กระดาษตัด หุ่นยนต์ตัวใหญ่ยื่นเข็มทิศเรืองแสงให้หุ่นยนต์ตัวเล็กในโรงช่างที่มีสายเคเบิลและโลโก้ OpenAI
คำแนะนำเล็กๆ น้อยๆ ช่วยได้ เมื่อทางเลี้ยวที่ดีที่สุดจะเห็นผลก็ต่อเมื่อผ่านไปอีกนาน

Illustration made on Lumeta with GPT Image 2.5Make one like it

ส่วนที่น่าให้กำลังใจกว่าของงานวิจัยคือ วิจารณญาณแบบนี้ดูเหมือนฝึกได้ ทีมวิจัยใช้ Qwen3.6-27B เป็นโมเดลฐาน แล้วกลั่นการตัดสินใจของโมเดลครูลงสู่โมเดลนักเรียนที่เห็นเพียงคำถามของเบนช์มาร์กเท่านั้น ในงานที่ไม่เคยเห็นมาก่อน ความแม่นยำในการตัดสินของโมเดลนักเรียนเพิ่มจาก 30.0 เป็น 47.9 เปอร์เซ็นต์ และเมื่อให้โมเดลนักเรียนแนะนำเอเจนต์อีกตัวที่จุดแยกแต่ละจุด อัตราความสำเร็จบนงาน SWE-bench Pro ที่กันไว้ 41 งานเพิ่มขึ้นจาก 14.6 เป็น 33.7 เปอร์เซ็นต์ ผู้เขียนระบุว่าสิ่งนี้แสดงให้เห็นว่า taste ในการวางแผนระยะยาวสามารถวัดผลและพัฒนาได้ ไม่ใช่แค่สังเกตได้เท่านั้น นอกจากนี้ยังเปิดเผยเบนช์มาร์กและโค้ดต่อสาธารณะด้วย

คำว่า 'taste' ในที่นี้หมายถึงอะไรสำหรับเอเจนต์ AI

ในงานวิจัยนี้ 'taste' หมายถึงความสามารถของเอเจนต์ในการเลือกเส้นทางที่ดีกว่าระหว่างทำงานยาวๆ ก่อนที่ผลตอบแทนจะชัดเจน เป็นเรื่องของวิจารณญาณในการตัดสินใจระหว่างทาง ไม่ใช่แค่ว่าคำตอบสุดท้ายผ่านการทดสอบหรือไม่

ประสิทธิภาพใกล้เคียงการสุ่มจริงหรือ

ในบางกรณีก็ใช่ ภายใต้ระบบการให้คะแนนของเบนช์มาร์ก การเดาล้วนๆ ได้ 25 เปอร์เซ็นต์ เพราะแต่ละคำถามต้องตอบถูกทั้งสองลำดับตัวเลือก เมื่อหลักฐานที่เป็นประโยชน์ปรากฏในช่วงท้ายของเส้นทางการทำงาน ความแม่นยำเฉลี่ยของทุกโมเดลลดลงเหลือ 21.0 เปอร์เซ็นต์ ซึ่งใกล้เคียงกับเกณฑ์การสุ่ม

การให้เวลาโมเดลคิดมากขึ้นช่วยได้ไหม

ไม่มากนัก นักวิจัยทดสอบการตั้งค่าการให้เหตุผลหลายแบบกับสองโมเดล และรายงานว่าการเพิ่มงบการให้เหตุผลจากระดับต่ำไปสูงแทบไม่ทำให้ความแม่นยำเปลี่ยน

ทำไมเรื่องนี้จึงสำคัญ ในเมื่อโมเดลยังทำงานบางอย่างสำเร็จได้

เพราะเอเจนต์อาจตัดสินใจบางอย่างตั้งแต่ต้นที่ดูไม่มีปัญหา แต่กลับสร้างปัญหาในภายหลัง สำหรับงานเขียนโค้ดและงานวิจัย การตัดสินใจผิดที่ซ่อนอยู่เหล่านี้อาจทำให้สิ้นเปลืองงบประมาณ ขัดขวางการเปลี่ยนแปลงในอนาคต หรือพาเอเจนต์ไปสู่เส้นทางที่ไม่เกิดผล

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

Seedance 2.5สร้างวิดีโอด้วยเครื่องมือสร้างวิดีโอที่ดีที่สุดในโลก Seedance 2.0 และ 2.5

All tools for "From a description"

More from Lumeta

All ข่าว