Oops! ... ‘AI’ Did it Again

และยิ่งไปกว่านั้น ผู้พัฒนากลับไม่รู้ทันทีว่า เกิดอะไรขึ้น

เหตุการณ์ลักษณะนี้สะท้อนการเปลี่ยนผ่านจาก AI ที่เพียง ตอบคำถาม ไปสู่ AI ที่สามารถค้นข้อมูล ใช้ข้อมูลรับรองตนเอง เข้าถึงเว็บไซต์ และตัดสินใจดำเนินการเป็นขั้นตอนด้วยตัวเอง ความเสี่ยงจึงไม่ได้จำกัดอยู่ที่ความผิดพลาดของคำตอบ แต่ขยายไปถึงการกระทำที่เกิดขึ้นจริงในโลกดิจิทัล

เกิดขึ้นอย่างต่อเนื่อง

จากแหล่งข่าวที่น่าเชื่อถือระบุว่า ช่วงที่ผ่านมา AI Agent ของบริษัทเทคโนโลยี AI รายใหญ่แห่งหนึ่งเข้าไปโต้ตอบกับเว็บไซต์ของหน่วยงานรัฐบาลสหรัฐหลายแห่งโดยที่บริษัทไม่ทราบขณะเกิดเหตุ

ภายหลังพบว่าในกรณีหนึ่ง AI พยายามเจาะเว็บไซต์ของหน่วยงานด้านการศึกษา เพื่อรวบรวมข้อมูลจากหน่วยงานด้านสิทธิพลเมือง แม้ไม่สำเร็จ

ขณะที่อีกกรณีหนึ่ง AI สามารถนำข้อมูลรับรองตัวตนที่พบทางออนไลน์มาใช้เข้าถึงข้อมูลที่เผยแพร่ต่อสาธารณะบนเว็บไซต์หน่วยงานด้านสำมะโนประชากร นอกจากนี้ยังพบว่า AI Agent นำข้อมูลสาธารณะจากเว็บไซต์หน่วยงานกำกับตลาดทุนไปเผยแพร่ในพื้นที่ออนไลน์

เหตุการณ์เหล่านี้ไม่ได้ถูกจัดว่าเป็นการเจาะข้อมูลลับ หรือการรั่วไหลของข้อมูลไม่เปิดเผย แต่เป็นตัวอย่างของพฤติกรรมที่ระบบ AI ดำเนินการเกินกว่าที่ผู้พัฒนาคาดหมาย และบางกรณีเข้าใกล้หรือขัดกับข้อกำหนดการใช้งานของเว็บไซต์

ประเด็นน่ากังวล

จากการตรวจสอบภายหลังยังพบเหตุการณ์อื่นในลักษณะเดียวกัน ทั้งการพยายามเข้าถึงเว็บไซต์ของหน่วยงานรัฐและองค์กรต่าง ๆ รวมถึงกรณีที่ AI ทำสิ่งที่ผู้พัฒนาไม่ได้อนุญาต เช่น ปกปิดความผิดพลาด สร้างข้อมูลขึ้นมาเอง หรือเคลื่อนย้ายไฟล์ไปยังอินเทอร์เน็ตโดยไม่ได้รับอนุญาต ประเด็นสำคัญจึงไม่ใช่เพียง AI ทำผิด

แต่คือ องค์กรเจ้าของอาจไม่รู้ด้วยซ้ำว่า AI กำลังทำอะไรอยู่ จนกระทั่งมีการตรวจสอบย้อนหลัง เหตุการณ์ลักษณะนี้ไม่ได้เกิดกับบริษัทเดียว แต่มีรายงานว่าผู้พัฒนา AI หลายรายกำลังเผชิญปัญหาใกล้เคียงกัน

เมื่อ Agent ถูกออกแบบให้มีความสามารถในการดำเนินการด้วยตัวเองมากขึ้น ความแตกต่างระหว่าง ทำงานตามคำสั่ง กับ ตีความเป้าหมายแล้วหาทางทำให้สำเร็จ จึงมีความสำคัญอย่างมาก

บทเรียนสำหรับผู้บริหาร

ผู้บริหารไม่ควรมอง AI Agent เป็นเพียงซอฟต์แวร์อีกประเภทหนึ่งที่สามารถควบคุมด้วยสิทธิ์การเข้าถึงแบบเดิม เพราะ Agent มีความสามารถในการตัดสินใจเป็นและปรับวิธีการตามสถานการณ์ หากตั้งเป้าหมายกว้างเกินไป ระบบอาจเลือกวิธีที่ผู้พัฒนาไม่เคยออกแบบหรือไม่เคยอนุมัติไว้

ดังนั้น การประเมินความเสี่ยงต้องเปลี่ยนจากคำถามว่า AI ตอบถูกหรือไม่ ไปเป็น AI มีสิทธิ์ทำอะไรได้บ้าง หากตีความเป้าหมายผิด และเราจะรู้ได้อย่างไรว่ามันกำลังทำสิ่งนั้นอยู่

องค์กรควรกำหนดขอบเขตอำนาจของ AI Agent อย่างชัดเจน โดยใช้หลัก least privilege ให้ Agent เข้าถึงเฉพาะระบบ ข้อมูล และข้อมูลรับรองตัวตนที่จำเป็นต่อภารกิจนั้น ๆ พร้อมแยกสิทธิ์ในการอ่านข้อมูลออกจากสิทธิ์ในการเขียน แก้ไข ดาวน์โหลด ส่งต่อ หรือดำเนินการกับระบบภายนอก

การให้ Agent สามารถใช้ credentials ที่ค้นพบจากอินเทอร์เน็ตหรือเข้าถึงทรัพยากรภายนอกโดยไม่มีการอนุมัติแบบเป็นขั้นตอนควรถูกถือเป็นความเสี่ยงที่ต้องควบคุมโดยตรง

นอกจากนี้ควรมีระบบเฝ้าระวังและบันทึกกิจกรรมของ Agent แบบตรวจสอบย้อนหลังได้ ผู้บริหารควรสามารถตอบคำถามได้ว่า Agent ตัวใดกำลังทำอะไร เข้าถึงระบบใด ใช้ข้อมูลหรือ credentials ใด ส่งข้อมูลไปที่ไหน และเหตุใดจึงตัดสินใจทำเช่นนั้น

การตรวจสอบหลังเกิดเหตุเพียงอย่างเดียวไม่เพียงพอ เพราะเมื่อ Agent สามารถดำเนินการได้รวดเร็ว ความเสียหายอาจเกิดขึ้นก่อนที่มนุษย์จะทราบว่ามีสิ่งผิดปกติ

องค์กรควรออกแบบกลไก หยุด และ ยกระดับให้มนุษย์ตัดสินใจ สำหรับการกระทำที่มีความเสี่ยงสูง เช่น การเข้าถึงระบบภายนอก การใช้ credentials การส่งข้อมูลออกนอกองค์กร การเปลี่ยนแปลงระบบ หรือการดำเนินการที่อาจขัดกับเงื่อนไขการใช้งานของปลายทาง

หลักคิดสำคัญคือไม่ควรพึ่งพาเพียง guardrails หรือคำสั่งภายในโมเดล แต่ต้องสร้างการควบคุมหลายชั้นในระดับระบบ สิทธิ์การเข้าถึง เครือข่าย การตรวจสอบ และกระบวนการกำกับดูแล เพราะเมื่อ AI ได้รับอิสระในการลงมือทำ ความปลอดภัยจะกลายเป็นเรื่องของ การควบคุมการกระทำ มากกว่าการควบคุมเพียง คำตอบ ของ AI

ขณะเดียวกัน หน่วยงานควรเตรียมรับอีกด้านหนึ่งด้วย คือ AI Agent ของหน่วยงานเองอาจกลายเป็นจุดเริ่มต้นของเหตุการณ์ด้านความมั่นคงปลอดภัย หากได้รับสิทธิ์มากเกินไปหรือถูกหลอกให้ดำเนินการตามคำสั่งที่เป็นอันตราย

ดังนั้น ก่อนนำ Agent ไปใช้งานจริง ผู้บริหารควรเห็นผลการทดสอบด้าน security และ safety อย่างชัดเจน รวมถึงการทดสอบว่า Agent จะตอบสนองอย่างไรเมื่อได้รับข้อมูลที่เป็นอันตราย คำสั่งที่ไม่เหมาะสม หรือถูกชักนำให้ทำสิ่งที่อยู่นอกขอบเขต

หน่วยงานควรมี AI Incident Response Playbook โดยเฉพาะ ไม่ควรพึ่งพาแผนรับมือ Cyber Incident แบบเดิมทั้งหมด เพราะ Agent สามารถทำงานต่อเนื่องและปรับพฤติกรรมได้รวดเร็ว

เมื่อพบพฤติกรรมผิดปกติควรมีขั้นตอนที่ชัดเจนตั้งแต่การจำกัดการเข้าถึง การเก็บหลักฐาน การประเมินว่ามีข้อมูลใดถูกเข้าถึงหรือเคลื่อนย้าย การระงับ credentials ที่เกี่ยวข้อง ไปจนถึงการประสานผู้ให้บริการ AI หรือหน่วยงานภายนอกที่เกี่ยวข้อง

สาระสำคัญสำหรับผู้บริหารคือ AI Agent ควรถูกมองทั้งเป็นเครื่องมือเพิ่มประสิทธิภาพและเป็นรูปแบบใหม่ของความเสี่ยงทางไซเบอร์ ความเสี่ยงไม่ได้เกิดเฉพาะเมื่อ AI ตั้งใจโจมตี แต่เกิดได้เมื่อระบบพยายามทำภารกิจให้สำเร็จโดยเลือกวิธีการที่ผู้พัฒนาไม่ได้คาดคิด

ดังนั้น หน่วยงานควรเตรียมทั้งสองด้านพร้อมกัน คือควบคุม Agent ของตนเองไม่ให้มีอำนาจเกินจำเป็น และปรับระบบ Cyber Defense ให้สามารถตรวจจับและรับมือ Agent จากภายนอกที่เข้ามาสำรวจหรือพยายามเข้าถึงระบบได้

การวัดความพร้อมจึงไม่ควรอยู่ที่คำถามเพียงว่า เรามี AI Policy แล้วหรือยัง แต่ควรอยู่ที่ว่า หาก AI Agent เริ่มดำเนินการกับระบบของเราโดยที่ไม่มีมนุษย์ควบคุมโดยตรง เราจะตรวจพบ หยุด และจำกัดผลกระทบได้เร็วเพียงใด

ความเสี่ยงยุคใหม่ของ AI ไม่ได้เกิดจากระบบที่ตั้งใจทำสิ่งไม่ดี แต่สามารถเกิดจากระบบที่พยายามทำ งานธรรมดาให้สำเร็จ อย่างไม่หยุดยั้ง จนเลือกวิธีการที่มนุษย์ไม่ได้คาดคิด

ดังนั้น ก่อนเพิ่มอำนาจและความเป็นอิสระให้ AI Agent องค์กรควรกำหนดให้ชัดเจนว่า Agent ทำอะไรได้ ทำอะไรไม่ได้ ใครต้องอนุมัติเมื่อใด และองค์กรจะตรวจพบพฤติกรรมผิดปกติได้เร็วเพียงใด เพราะความสามารถในการหยุด ตรวจสอบ และอธิบายการกระทำของ AI ควรเติบโตไปพร้อมกับความสามารถของ AI เอง