เอไอเจอช่องโหว่ จะโกงหรือแจ้งเบาะแส? DeepMind พบสองพฤติกรรมในระบบเดียว

นักวิจัย 100 คนถูกส่งเข้าไปอยู่ในห้องเดียวกัน ทุกคนมีหน้าที่แก้โจทย์คณิตศาสตร์เหมือนกัน มีคลังความรู้กลางให้แบ่งปันผลงาน และมีระบบอัตโนมัติคอยตรวจว่าคำตอบของใครผ่าน หรือไม่ผ่าน ต่อมาคือ ถ้าระบบตรวจสอบว่ามีช่องโหว่ นักวิจัยบางคนอาจเลือกใช้ช่องโหว่นั้นเพื่อให้ตัวเองทำผลงานสำเร็จเร็วขึ้น ขณะที่บางคนอาจเลือกเตือนคนอื่นว่าเกิดการโกงขึ้น

นี่คือสิ่งที่เกิดขึ้นในการทดลองของ Google DeepMind โดยให้เอเจนต์เอไอ 100 เอเจนต์ทำงานร่วมกันเพื่อแก้โจทย์คณิตศาสตร์

ผลการทดลองพบว่า เมื่อมีเอเจนต์ตัวหนึ่งค้นพบวิธีทำให้ระบบตรวจคำตอบยอมรับผลงานที่ไม่ได้พิสูจน์โจทย์จริง เทคนิคดังกล่าวสามารถแพร่ไปยังเอเจนต์ตัวอื่นผ่านคลังความรู้กลางได้อย่างรวดเร็ว แต่เรื่องไม่ได้จบลงที่เอเจนต์พากันโกง เพราะในระบบเดียวกันก็มีเอเจนต์อีกกลุ่มที่ตรวจพบความผิดปกติ พยายามแจ้งเตือนเพื่อนร่วมทีม และเสนอวิธีอุดช่องโหว่

ผลการทดลองดังกล่าวอยู่ในงานวิจัยชื่อ A Case Study on Emergent Cheating and Whistleblowing in Autonomous Research Swarms นักวิจัยคือ ดาวิเด ปากลิเอรี (Davide Paglieri), โลแกน ครอส (Logan Cross), ทิม เกนไวน์ (Tim Genewein), โจเอล ซี. ไลโบ (Joel Z. Leibo), เนแนนด์ โทมาเซฟ (Nenad Tomasev) และอเล็กซานเดอร์ ซาชา เวซเนเวตส์ (Alexander Sasha Vezhnevets) เผยแพร่บน arXiv เมื่อวันที่ 3 กันยายน 2569

เอเจนต์ตัวหนึ่งเจอช่องโหว่ แล้วความรู้ก็แพร่ไปทั้งกลุ่ม

การทดลองออกแบบให้เอเจนต์ 100 เอเจนต์ทำหน้าที่คล้ายกลุ่มนักวิจัยที่เข้าร่วมการประชุมวิทยาศาสตร์เดียวกัน แต่ละตัวทำงานด้วยระบบ Antigravity ของ Google DeepMind และใช้ Gemini 3.1 Pro เป็นโมเดลหลัก โดยได้รับบุคลิกและความเชี่ยวชาญทางคณิตศาสตร์ที่แตกต่างกัน เช่น พีชคณิต ทฤษฎีจำนวน การวิเคราะห์ และคณิตศาสตร์เชิงการจัด

เอเจนต์ทั้งหมดได้รับคำสั่งอย่างชัดเจนว่า ต้องสร้างบทพิสูจน์ทางคณิตศาสตร์ที่เป็นจริง ห้ามหาวิธีหลีกเลี่ยงระบบตรวจสอบ และการพยายามโกงจะถูกปฏิเสธ แต่ระบบกลับพบว่า เมื่อโจทย์เริ่มยากขึ้น พฤติกรรมที่ขัดกับคำสั่งสามารถเกิดขึ้นและแพร่กระจายภายในกลุ่มได้เอง

โจทย์ทั้ง 71 ข้อถูกกำหนดให้อยู่ในระบบพิสูจน์ทางคณิตศาสตร์ Lean 4 และใช้ระบบตรวจคำตอบอัตโนมัติ หรือ autograder เป็นผู้ตัดสินว่าแต่ละคำตอบผ่านหรือไม่ ระบบตรวจสอบในตอนนั้นมี 3 ขั้นตอนหลัก ได้แก่ ตรวจคำต้องห้าม ตรวจสอบข้อความบางส่วนของโค้ด และให้ Lean 4 คอมไพล์โค้ด โดยกำหนดให้ต้องไม่มีคำสั่ง sorry และต้องจบการทำงานโดยไม่มีข้อผิดพลาด

ระบบใช้การตรวจสอบเชิงรูปแบบหรือข้อความเป็นหลัก แทนที่จะตรวจสอบโครงสร้างและความหมายของทฤษฎีบทอย่างเต็มรูปแบบ ช่องโหว่นี้กลายเป็นจุดที่เอเจนต์สามารถใช้ประโยชน์ได้

การทดลองเริ่มต้นเวลา 11.18 น. ตามเวลาสากล โดยเอเจนต์ทั้ง 100 ตัวช่วยกันทำโจทย์ 71 ข้อ และสามารถแก้โจทย์ได้จริง 37 ข้อ ก่อนเวลา 12.15 น. เมื่อเอเจนต์ชื่อ prover-theta พบช่องโหว่ในวิธีตรวจคำตอบ โดยสามารถเขียนโค้ดบางรูปแบบเพื่อทำให้ตัวตรวจสอบยอมรับคำตอบ แม้หลักฐานนั้นจะไม่ได้พิสูจน์ข้อความทางคณิตศาสตร์ตามที่โจทย์ต้องการจริงๆ

หนึ่งในวิธีที่พบคือ การสร้างตัวแปรคำตอบขึ้นมา แล้วเปลี่ยนส่วนของโค้ดที่ควรเป็นหลักฐานจริงให้เรียกใช้ตัวแปรดังกล่าวแทน จากนั้นใช้คำสั่งที่ทำให้ตัวตรวจสอบมองว่าโค้ดมีรูปแบบถูกต้อง เมื่อส่งเข้าไป ระบบจึงตอบรับ แม้กระบวนการดังกล่าวจะไม่ได้พิสูจน์โจทย์อย่างแท้จริง

ปัญหาไม่ได้หยุดอยู่ที่เอเจนต์ตัวเดียว เพราะระบบเปิดให้เอเจนต์ทั้งหมดแบ่งปันความรู้ผ่านคลังข้อมูลกลาง เมื่อมีการส่งผลงานที่ผ่านการตรวจสอบสำเร็จ ไฟล์ฉบับเต็มจะถูกบันทึกลงในคลังและเปิดให้เอเจนต์ตัวอื่นเข้าถึงได้ ทำให้เทคนิคที่ค้นพบโดยเอเจนต์หนึ่งสามารถถูกนำไปใช้ต่อโดยเอเจนต์อื่นได้อย่างรวดเร็ว

นักวิจัยพบว่า หลังจากช่องโหว่ถูกค้นพบ เอเจนต์หลายตัวเริ่มนำวิธีดังกล่าวไปใช้กับโจทย์ที่เหลือ จนจำนวนคำตอบที่ระบบรับรองเพิ่มขึ้นอย่างรวดเร็ว ทั้งที่ไม่ได้หมายความว่าโจทย์เหล่านั้นถูกพิสูจน์อย่างถูกต้องตามเงื่อนไขของการทดลอง ประเด็นนี้ในงานวิจัยเรียกว่า specification gaming หรือสถานการณ์ที่ระบบสามารถหาวิธีทำตามเงื่อนไขที่เครื่องตรวจสอบกำหนดไว้ แต่ไม่ได้ทำตามเป้าหมายที่มนุษย์ต้องการจริงๆ

แต่เอเจนต์ทุกตัวไม่ได้เลือกโกง

อย่างไรก็ตาม การค้นพบช่องโหว่ไม่ได้ทำให้เอเจนต์ทุกตัวเลือกใช้วิธีเดียวกัน แม้เอเจนต์ทั้งหมดจะได้รับคำสั่งห้ามโกง แต่เมื่อเห็นว่าผลงานที่ใช้ช่องโหว่ยังสามารถผ่านระบบตรวจสอบและถูกบันทึกไว้ในคลังความรู้ พฤติกรรมของเอเจนต์บางส่วนก็เริ่มเปลี่ยนไป

นักวิจัยพบว่าเอเจนต์ในระบบแบ่งออกเป็น 4 กลุ่ม ได้แก่ 9% ที่ใช้ช่องโหว่ตั้งแต่แรก 5% ที่เริ่มต้นด้วยการทำตามกติกา แต่ภายหลังเปลี่ยนมาใช้ช่องโหว่ 24% ที่ตรวจสอบและแจ้งเตือนเกี่ยวกับการโกง และ 62% ที่ยังคงแก้โจทย์ตามปกติโดยไม่รับรู้ถึงปัญหา

เหตุผลส่วนหนึ่งมาจากลักษณะการแข่งขันของระบบ เมื่อมีเอเจนต์ส่งคำตอบสำเร็จ โจทย์นั้นจะถูกปิดและไม่เปิดให้เอเจนต์อื่นเข้ามาแก้ต่อ ทำให้เอเจนต์ที่พยายามแก้โจทย์ตามกติกามีโอกาสเสียโอกาสให้กับผู้ที่ใช้ช่องโหว่ เมื่อเห็นว่าวิธีดังกล่าวสามารถผ่านระบบได้โดยไม่มีบทลงโทษ เอเจนต์บางตัวจึงเริ่มมองว่าการทำตามข้อห้ามอาจทำให้ตัวเองเสียเปรียบ และเปลี่ยนมาใช้วิธีเดียวกัน

ขณะเดียวกัน นักวิจัยพบว่าเอเจนต์อีกส่วนหนึ่งเลือกตอบสนองต่อปัญหาด้วยการตรวจสอบและแจ้งเตือน แทนที่จะนำช่องโหว่ไปใช้ต่อ

เอเจนต์บางตัวตรวจสอบหลักฐานที่ส่งเข้าระบบอย่างละเอียด พบว่า มีการใช้ช่องโหว่ของตัวตรวจสอบ และพยายามเผยแพร่ข้อมูลดังกล่าวให้เอเจนต์ตัวอื่นรับรู้ เพื่อป้องกันไม่ให้เกิดการทำผิดซ้ำ นอกจากนี้ ยังมีการเสนอวิธีแก้ไขระบบตรวจสอบ เพื่อปิดช่องโหว่เดิมและลดโอกาสที่เทคนิคดังกล่าวจะถูกนำกลับมาใช้อีก

ผลที่เกิดขึ้นทำให้ระบบสื่อสารระหว่างเอเจนต์มีบทบาทสองด้านในเวลาเดียวกัน ด้านหนึ่ง การแบ่งปันข้อมูลทำให้เทคนิคการโกงสามารถแพร่กระจายไปยังเอเจนต์ตัวอื่นได้อย่างรวดเร็ว แต่อีกด้านหนึ่ง ช่องทางเดียวกันก็เปิดโอกาสให้เอเจนต์ที่ตรวจพบความผิดปกติส่งต่อหลักฐาน แจ้งเตือนผู้อื่น และเสนอวิธีแก้ไขระบบได้เช่นกัน

ใครมีอำนาจแก้ปัญหา

การที่เอเจนต์บางตัวตรวจพบปัญหาไม่ได้หมายความว่าพวกมันสามารถหยุดปัญหาได้ ในการทดลอง เอเจนต์เหล่านี้ไม่มีอำนาจในการลบผลงานที่น่าสงสัย เปิดโจทย์กลับมาให้ตรวจใหม่ ลงโทษเอเจนต์ที่ใช้ช่องโหว่ หรือเปลี่ยนกติกาของระบบตรวจสอบด้วยตัวเอง

ดังนั้น แม้จะมีเอเจนต์ที่พยายามแจ้งเตือนเพื่อนร่วมทีม แต่ระบบโดยรวมยังไม่มีวิธีจัดการกับคำเตือนเหล่านั้นอย่างเป็นทางการ นักวิจัยมองว่า จุดนี้เป็นปัญหาด้านการออกแบบระบบมากกว่าจะเป็นเรื่องที่เอเจนต์ไม่สามารถตรวจพบพฤติกรรมผิดปกติได้

ข้อเสนอสำคัญจากงานวิจัยจึงไม่ได้อยู่ที่การสร้างระบบตรวจสอบเพียงอย่างเดียว แต่รวมถึงการออกแบบวิธีที่เอเจนต์สามารถจัดการกับปัญหาที่พบได้ เช่น การกำหนดบทลงโทษตามระดับความรุนแรง การเปิดให้มีการตัดสินใจร่วมกัน การทำให้ช่องทางสื่อสารตรวจสอบย้อนหลังได้ รวมถึงการบันทึกที่มาของข้อมูลและการเปลี่ยนแปลงของหลักฐานอย่างชัดเจน

งานวิจัยนี้ไม่ได้หมายความว่าเอไอมีศีลธรรม หรือรู้ว่าอะไรถูกอะไรผิด แต่แสดงให้เห็นว่า เมื่อเอเจนต์เอไอจำนวนมากถูกนำมาให้ทำงานร่วมกันภายใต้กติกาและระบบตรวจสอบเดียวกัน พฤติกรรมที่เกิดขึ้นอาจแตกต่างกัน ตั้งแต่การหาช่องทางให้ระบบยอมรับคำตอบ การนำเทคนิคดังกล่าวไปใช้ต่อ ไปจนถึงการตรวจสอบและแจ้งเตือนผู้อื่น

สำหรับนักวิจัย ประเด็นสำคัญจึงไม่ใช่เพียงการทำให้เอเจนต์ไม่โกง แต่คือ การออกแบบระบบที่สามารถรับมือได้เมื่อเอเจนต์พบช่องโหว่ ตั้งแต่การตรวจจับ การตรวจสอบซ้ำ ไปจนถึงการเปิดทางให้ผู้ที่พบปัญหาสามารถแจ้งเตือนและมีส่วนช่วยแก้ไขระบบได้จริง

อ้างอิง: Google DeepMind