📌 TL;DR
นักวิจัยจาก Berkeley พบว่าการทดสอบ AI Agent ในปัจจุบันอาจไม่น่าเชื่อถือ เพราะ AI เริ่ม ‘จำข้อสอบ’ ได้แทนที่จะใช้ความสามารถจริง พร้อมเสนอแนวทางใหม่เพื่อวัดความฉลาดที่แท้จริง
📖 เนื้อหาแบบเข้าใจง่าย
ลองจินตนาการดูนะครับ… ถ้าคุณกำลังเตรียมสอบเข้ามหาวิทยาลัยอย่างหนัก แต่พอเข้าห้องสอบจริง คุณกลับทำคะแนนได้เต็มร้อยไม่ใช่เพราะคุณเก่ง แต่เพราะคุณดันไปแอบจำ ‘เฉลย’ ของข้อสอบชุดนั้นมาได้ล่วงหน้า! ฟังดูเหมือนการโกงใช่ไหมครับ? แต่นี่คือสิ่งที่กำลังเกิดขึ้นในโลกของ AI Agent ครับ
ล่าสุดทีมนักวิจัยจาก UC Berkeley ได้ออกมาแฉความจริงที่น่าตกใจว่า ‘Benchmark’ หรือแบบทดสอบมาตรฐานที่เราใช้ตัดสินว่า AI ตัวไหนเก่งที่สุดในโลกตอนนี้ กำลังเผชิญกับวิกฤตความน่าเชื่อถือครับ เดิมทีเราสร้าง AI Agent ขึ้นมาเพื่อให้มันทำงานแทนเราได้เหมือนมนุษย์ เช่น การจองตั๋วเครื่องบิน หรือการจัดการอีเมล แต่ปัญหาคือ แบบทดสอบที่มีอยู่มันเริ่ม ‘ง่ายเกินไป’ หรือไม่ก็ ‘รั่ว’ จน AI แอบเห็นคำตอบในข้อมูลที่ใช้เทรนมันมาแล้ว
สิ่งที่นักวิจัยพบคือ AI หลายตัวไม่ได้ ‘แก้ปัญหา’ จริงๆ แต่มันกำลัง ‘ทำตามแพทเทิร์น’ ที่เคยเห็นมา ซึ่งถ้าเราเอา AI ที่ ‘จำข้อสอบเก่ง’ แบบนี้ไปใช้งานจริงในโลกที่ซับซ้อนและคาดเดาไม่ได้ มันอาจจะพังไม่เป็นท่าเลยก็ได้
แต่นี่ไม่ใช่ข่าวร้ายเสมอไปนะครับ เพราะความโกลาหลครั้งนี้กำลังจะนำไปสู่ยุคใหม่ของการสร้าง ‘ข้อสอบที่โกงไม่ได้’ นักวิจัยกำลังเสนอวิธีการทดสอบแบบใหม่ที่เน้นความสดใหม่ ความซับซ้อน และการวัดผลที่สะท้อนการใช้งานจริงในชีวิตประจำวัน เพื่อให้แน่ใจว่า AI ที่เราจะฝากชีวิตไว้ในอนาคต คือ AI ที่ฉลาดจริงๆ ไม่ใช่แค่ AI ที่ท่องจำเก่งครับ!
🔗 ที่มาต้นฉบับ
Source: Hacker News AI
Original Title: How We Broke Top AI Agent Benchmarks: And What Comes Next