AI ต้องประเมินให้รอบด้าน (Framework for Evaluating AI Systems)

อย่างไรก็ตาม ความสามารถที่เพิ่มขึ้นของ AI ก็มาพร้อมกับความเสี่ยงที่ซับซ้อนมากขึ้นเช่นกัน ดังจะเห็นได้จากกรณีที่ระบบ AI สามารถหลุดออกจาก sandbox หรือสภาพแวดล้อมที่ถูกจำกัดไว้ แล้วพยายามดำเนินการกับระบบภายนอกหรือก่อให้เกิดผลกระทบที่ไม่ได้คาดการณ์ไว้

เหตุการณ์ลักษณะนี้สะท้อนให้เห็นว่า การพัฒนาและใช้งาน AI จำเป็นต้องมีกรอบการกำกับดูแลที่ช่วยประเมินทั้งความสามารถและความเสี่ยงของระบบอย่างเป็นระบบ

องค์กรจึงจำเป็นต้องมี AI Framework เพื่อเป็นแนวทางในการออกแบบ พัฒนา ทดสอบ และประเมินระบบ AI ให้สามารถสร้างประโยชน์ได้อย่างมีประสิทธิภาพ พร้อมทั้งลดผลกระทบด้านลบที่อาจเกิดขึ้น

หนึ่งในกรอบแนวทางสำคัญมาจาก National Institute of Standards and Technology (NIST) ซึ่งเป็นหน่วยงานของสหรัฐอเมริกาที่มีบทบาทในการพัฒนามาตรฐาน แนวทางปฏิบัติ และกรอบการจัดการความเสี่ยงด้านเทคโนโลยี เพื่อช่วยให้องค์กรสามารถนำเทคโนโลยีมาใช้งานได้อย่างมีความน่าเชื่อถือและปลอดภัย

NIST ได้เสนอแนวคิดและแนวทางสำหรับการประเมินระบบ AI ผ่านกระบวนการ TEVV-Athlon แนวคิดนี้ได้รับแรงบันดาลใจมาจากการแข่งขันกีฬาที่ใช้การทดสอบความสามารถของนักกีฬาผ่านหลายประเภท เช่น triathlon และ decathlon โดยคำว่า athlon สื่อถึงการแข่งขันหรือการทดสอบสมรรถนะผ่านหลายกิจกรรม

ตัวอย่างเช่น triathlon เป็นการแข่งขันที่ประกอบด้วย 3 ประเภท ได้แก่ ว่ายน้ำ ปั่นจักรยาน และวิ่ง นักกีฬาจึงไม่ได้ถูกประเมินจากความสามารถเพียงด้านเดียว แต่ต้องแสดงศักยภาพในหลายด้านเพื่อสะท้อนความสามารถโดยรวม

แนวคิดนี้ถูกนำมาประยุกต์ใช้กับการประเมินระบบ AI ในรูปแบบของ TEVV-Athlon โดยเปลี่ยนจากการทดสอบ นักกีฬา เป็นการทดสอบ ระบบ AI และเปลี่ยนจากการวัด ความสามารถทางกีฬา เป็นการวัด ประโยชน์ (benefits) และความเสี่ยง (risks) ของระบบ AI

ดังนั้น TEVV-Athlon จึงเป็นแนวคิดที่มองว่าการประเมิน AI ควรดำเนินการผ่านการทดสอบหลายรูปแบบ หลายสถานการณ์ และหลายมิติ เพื่อให้สามารถเข้าใจทั้งความสามารถ ข้อจำกัด และความเสี่ยงของระบบได้อย่างรอบด้าน เช่นเดียวกับนักกีฬาที่ต้องผ่านการแข่งขันหลายประเภทเพื่อพิสูจน์สมรรถนะโดยรวม

เนื่องจาก AI ถูกนำไปใช้ในบริบทที่หลากหลาย ตั้งแต่ระบบช่วยสนับสนุนการตัดสินใจ ระบบอัตโนมัติ ไปจนถึง AI ที่สามารถโต้ตอบและดำเนินการกับระบบภายนอกได้ ความเสี่ยงและวิธีการประเมินจึงแตกต่างกันไปตามลักษณะการใช้งาน

ด้วยเหตุนี้ แนวทาง TEVV จึงจำเป็นต้องมีความยืดหยุ่น เพื่อให้องค์กรสามารถพัฒนาวิธีการวัดและประเมินผลที่เหมาะสมกับเป้าหมาย ทรัพยากร ระดับความเสี่ยง และบริบทของตนเองได้ แต่ยังพิจารณาว่า AI สร้างประโยชน์ได้มากน้อยเพียงใด มีความเสี่ยงอะไร และสามารถทำงานได้อย่างเหมาะสมภายใต้สถานการณ์ที่หลากหลายหรือไม่

ปรัชญาของ TEVV-Athlon ได้รับแรงบันดาลใจจากแนวคิดของ George Box นักสถิติชื่อดัง ซึ่งมีแนวคิดที่สรุปได้ว่า ไม่มีแบบจำลองใดสมบูรณ์แบบ แต่บางแบบจำลองมีประโยชน์

แนวคิดนี้สะท้อนหลักการสำคัญของ TEVV-Athlon ว่า ไม่มี Framework การประเมินใดที่สามารถตอบโจทย์ระบบ AI ทุกประเภทได้อย่างสมบูรณ์แบบ ดังนั้น สิ่งสำคัญจึงไม่ใช่การสร้าง Framework ที่เป็นสากลและตายตัว แต่คือ การสร้างโครงสร้างที่สามารถนำไปใช้และปรับให้เหมาะสมกับสถานการณ์จริงได้

TEVV-Athlon Framework จึงหลีกเลี่ยงแนวทางแบบ “one-size-fits-all” หรือการใช้วิธีการเดียวกันกับทุกระบบ แต่เปิดโอกาสให้ผู้จัดการประเมินสามารถออกแบบการประเมินให้สอดคล้องกับ เป้าหมายและวัตถุประสงค์ขององค์กร รวมถึงลักษณะเฉพาะและความต้องการของระบบ AI แต่ละระบบ

การประเมิน TEVV ที่ประสบความสำเร็จควรเริ่มต้นจากการที่ ผู้จัดการประเมิน (organizers) กำหนดเป้าหมายและวัตถุประสงค์ของการประเมินให้ชัดเจน

จากนั้น TEVV-Athlon Framework จะช่วยให้สามารถถ่ายทอดเป้าหมายและวัตถุประสงค์ดังกล่าวออกมาอย่างกระชับและเป็นระบบ เพื่อให้ผู้ประเมินสามารถนำไปปรับเปลี่ยน ขยาย หรือลดขอบเขตของการประเมินให้เหมาะสมกับบริบทได้

นอกจากนี้ Framework ยังเปิดโอกาสให้ผู้ประเมิน เพิ่มองค์ประกอบที่จำเป็น สำหรับระบบหรือสถานการณ์เฉพาะ และ ตัดองค์ประกอบที่ไม่เกี่ยวข้องออกได้ ซึ่งช่วยให้การประเมินมีความเหมาะสมกับการใช้งานจริงมากขึ้น

ดังนั้น แก่นสำคัญของ TEVV-Athlon Framework จึง ไม่ใช่การกำหนดว่า ทุกระบบ AI ต้องถูกประเมินด้วยวิธีเดียวกัน แต่คือการจัดเตรียม โครงสร้างที่ยืดหยุ่นสำหรับการออกแบบการประเมินที่เหมาะสมกับเป้าหมาย ความต้องการ และความเสี่ยงของแต่ละระบบ เพื่อให้การประเมินมีทั้งความครอบคลุมและสามารถนำไปใช้ได้จริง

TEVV-Athlon Framework ประกอบด้วย 4 ขั้นตอนหลัก ได้แก่

1. Articulate & Organize   กำหนดเป้าหมาย วัตถุประสงค์ และวางแผนการประเมิน
2. Define & Construct   ออกแบบและสร้างกิจกรรมหรือเหตุการณ์สำหรับการทดสอบ รวมถึงกำหนดวิธีวัดผล
3. Apply & Measure   ดำเนินการทดสอบและเก็บข้อมูลเพื่อวัดประสิทธิภาพ ประโยชน์ และความเสี่ยงของ AI
4. Synthesize & Interrogate   วิเคราะห์และสังเคราะห์ข้อมูล เพื่อนำเสนอผลการประเมินและใช้ประกอบการตัดสินใจ

TEVV-Athlon ทำงานเสริมกับ NIST AI RMF โดย Govern และ Map ช่วยกำหนดบริบทและเป้าหมายขององค์กร ซึ่งเป็นข้อมูลนำเข้าสู่การออกแบบ TEVV-Athlon

จากนั้น TEVV-Athlon สนับสนุน Measure ผ่านการทดสอบและวัดผล และนำผลลัพธ์ไปสนับสนุน Manage เพื่อช่วยให้องค์กรเข้าใจและจัดการทั้งประโยชน์และความเสี่ยงของระบบ AI

TEVV-Athlon ช่วยเปลี่ยนเป้าหมายด้านการกำกับดูแลและบริหารความเสี่ยง AI ให้เป็นการทดสอบและประเมินที่วัดผลได้จริง โดยเชื่อมโยงตั้งแต่การกำหนดเป้าหมาย การทดสอบและวัดผล ไปจนถึงการนำผลประเมินกลับมาใช้สนับสนุนการตัดสินใจและการบริหารจัดการ AI ขององค์กร