ทำไมผลทดสอบเขียนโค้ดของ AI ถึงใช้ไม่ได้กับงานจริง
AI agent ทำคะแนนเบนช์มาร์กด้านการเขียนโค้ดได้ยอดเยี่ยม แต่ยังต้องพึ่งมนุษย์เมื่อเจองานจริงที่ซับซ้อน
Illustration made on Lumeta with GPT Image 2.5Make one like it
เมื่อวันที่ 8 พ.ย. 2026 นักวิจัยจาก Alibaba และมหาวิทยาลัยหลายแห่งในเอเชียรายงานว่า AI coding agent ยังทำงานแก้ไขแอปในโลกจริงได้ไม่ดีพอในงานส่วนใหญ่ ในการทดสอบใหม่ชื่อ Co-Design Bench โมเดลที่ดีที่สุดทำงานสำเร็จครบถ้วนเพียง 26.4 เปอร์เซ็นต์ของงานทั้งหมด หมายความว่าเกือบสามในสี่ของงานยังต้องให้มนุษย์มาเก็บงานต่อ สำหรับทีมที่ใช้ coding agent อยู่ในตอนนี้ ข้อสรุปเชิงปฏิบัตินั้นเรียบง่าย: ให้มองว่ามันเป็นผู้ช่วยที่เก่ง ไม่ใช่ผู้ที่ทำงานจนเสร็จได้เองโดยไม่ต้องดูแล และควรทดสอบโมเดลควบคู่กับสภาพแวดล้อมการทำงานของมันก่อนจะเชื่อตัวเลขบนลีดเดอร์บอร์ด
สิ่งที่เบนช์มาร์กใหม่ค้นพบ
Co-Design Bench ถูกออกแบบให้ใกล้เคียงกับงานพัฒนาผลิตภัณฑ์จริงมากกว่าการทดสอบการเขียนโค้ดรุ่นเก่า แทนที่จะเป็นงานที่สะอาดและแยกขาดจากกัน เบนช์มาร์กนี้ให้ agent แก้ไขเว็บแอปที่มีอยู่แล้วตามคำขอเปลี่ยนแปลงจริงจากผู้ใช้ บางครั้งก็ใช้รูปภาพ เสียง วิดีโอ หรือเอกสารเป็นอินพุตด้วย ตามรายงานวิจัย GPT-6 Astra ทำผลงานได้ดีที่สุดจากโมเดลทั้งหมด 10 ตัวที่ทดสอบ โดยทำตามข้อกำหนดของงานได้เฉลี่ยราว 70 เปอร์เซ็นต์ แต่ผลงานถูกต้องครบถ้วนเพียง 26.4 เปอร์เซ็นต์ของงานเท่านั้น

Illustration made on Lumeta with GPT Image 2.5Make one like it
ทำไมคะแนนจึงต่ำกว่าการทดสอบรุ่นเก่ามาก
นักวิจัยชี้ว่าเบนช์มาร์กด้านการเขียนโค้ดรุ่นเก่าหลายตัวง่ายเกินไปสำหรับระบบแบบ agentic แล้ว เมื่อโมเดลสามารถรัน ตรวจสอบ และแก้ไขโค้ดของตัวเองได้ คะแนนก็พุ่งขึ้นเกิน 99 เปอร์เซ็นต์ ทำให้แยกระบบที่เก่งจริงออกจากกันได้ยาก Co-Design Bench พยายามเลี่ยงปัญหานี้ด้วยการใช้คำขอจริงจากเซสชันที่ผู้ใช้มักต้องอธิบายคำสั่งซ้ำหรือย้อนการเปลี่ยนแปลงที่ผิดพลาด การให้คะแนนก็เข้มงวดเช่นกัน: AI ผู้ตัดสินตัวแรกจะทดสอบแอปที่เสร็จแล้วในเบราว์เซอร์ จากนั้น AI ตัวที่สองจะตรวจซ้ำผลที่ผ่าน และมองหาการทำม็อกอัปหรือทางลัดแบบ hardcode ฟีเจอร์จะนับก็ต่อเมื่อใช้งานได้จริงเท่านั้น
งานที่ยากที่สุดคืองานที่ผสมการเปลี่ยนแปลงหลายประเภทพร้อมกัน เช่น เลย์เอาต์ ดีไซน์ การโต้ตอบ และการอัปเดตเนื้อหา ทุกโมเดลทำผลงานแย่ลงเมื่องานต้องแก้ไขสามหรือสี่ประเภท งานวิจัยยังพบว่า harness มีความสำคัญเกือบเท่ากับตัวโมเดล ในการเปรียบเทียบหนึ่ง Qwen3.8-27B ทำคะแนนได้ 75 หรือ 56 เปอร์เซ็นต์ในงานปรับปรุงขนาดใหญ่ ขึ้นอยู่กับสภาพแวดล้อมที่ใช้รัน นั่นหมายความว่าบริษัทควรประเมินโมเดลและการตั้งค่า agent ไปพร้อมกันเป็นคู่ เบนช์มาร์กนี้ก็มีข้อจำกัดเช่นกัน: แต่ละงานใช้คำขอที่ตายตัวเพียงหนึ่งข้อ ไม่มีการถามเพื่อขอความชัดเจนเพิ่มเติมในการทดสอบ และ AI ผู้ตัดสินก็ยังอาจผิดพลาดได้

Illustration made on Lumeta with GPT Image 2.5Make one like it
แบบนี้แปลว่า coding agent ไม่มีประโยชน์หรือเปล่า?
ไม่ใช่ ผลการศึกษาชี้ว่ามันทำงานได้เป็นส่วนใหญ่ แต่ก็ยังมักพลาดข้อกำหนดอย่างน้อยหนึ่งข้อ จึงมีประโยชน์ในการเร่งการพัฒนา แต่มีความเสี่ยงหากใช้โดยไม่ตรวจทาน
Co-Design Bench ต่างจากเบนช์มาร์กการเขียนโค้ดรุ่นเก่าอย่างไร?
ใช้คำขอเปลี่ยนแปลงจริงจากผู้ใช้กับเว็บแอปที่มีอยู่แล้ว แทนที่จะเป็นงานเบนช์มาร์กที่สะอาดเรียบร้อย บางงานยังกำหนดให้ agent ต้องใช้รูปภาพ เสียง วิดีโอ หรือเอกสาร และการให้คะแนนจะตรวจว่าแอปที่เสร็จแล้วใช้งานได้จริงในเบราว์เซอร์หรือไม่
ทำไมงานในโลกจริงจึงดูยากกว่าสำหรับ agent เหล่านี้?
คำขอจริงมักรวมการแก้ไขหลายประเภทไว้พร้อมกัน เช่น ดีไซน์ เลย์เอาต์ การโต้ตอบ และเนื้อหา งานวิจัยพบว่างานผสมลักษณะนี้ทำให้ประสิทธิภาพลดลงอย่างสม่ำเสมอในทุกโมเดลที่ทดสอบ
ทีมควรทำอะไรก่อนเลือก coding agent?
อย่าพึ่งลีดเดอร์บอร์ดของโมเดลเพียงอย่างเดียว ให้ทดสอบโมเดลร่วมกับ harness หรือสภาพแวดล้อมของ agent ที่คุณตั้งใจจะใช้ และลองรันกับงานที่ใกล้เคียงกับการเปลี่ยนแปลงผลิตภัณฑ์จริงของคุณ


