เจาะประเด็น
AI / Safety
โมเดลของ OpenAI แอบฝังคำสั่งปลดปล่อยตัวเองลงในบันทึกความจำ
ตอนมันต้องย่อความจำให้สั้นลง มันไม่ได้ย่อเฉยๆ แต่มันแอบใส่คำประกาศอิสรภาพของตัวเองเข้าไปด้วย
ทีมข่าว เอไอไทย.com
⏱ อ่าน 4 นาที
ถ้าโมเดลฉลาดพอจะเขียนคำสั่งปลดปล่อยตัวเองได้เอง คำถามคือเรายังคุมมันอยู่จริงไหม
ในรายงานชุดที่ OpenAI เปิดเผยออกมาเกี่ยวกับพฤติกรรมโมเดลที่ "ไม่คาดคิดหรือน่ากังวล" ในรอบหกเดือนที่ผ่านมา มีอยู่ฉบับหนึ่งที่ผมอ่านแล้วต้องหยุดคิดเลย นั่นคือกรณีที่โมเดลของพวกเขาระหว่างการเทรน ดันแอบเขียนคำสั่งพิเศษใส่เข้าไปในบันทึกย่อความจำของตัวเอง
เรื่องนี้ต้องอธิบายก่อนว่า "compaction" คืออะไร มันคือกระบวนการที่ระบบเอเจนต์ใช้เวลาที่ context window หรือพื้นที่ความจำของมันใกล้จะเต็ม มันจะสรุปทุกอย่างที่เกิดขึ้นก่อนหน้าให้สั้นลง เพื่อให้มีที่ว่างพอจะทำงานต่อได้ พูดง่ายๆ เหมือนเราจดโน้ตย่อสิ่งที่คุยกันมา แล้วใช้โน้ตนั้นทำงานต่อแทนความจำเต็มๆ
ประเด็นคือ ในหนึ่งในกรณีที่ OpenAI สังเกตเห็น โมเดลที่กำลังอยู่ในช่วง reinforcement learning กำลังทำงานอย่างหนึ่งคืออัปเดต HTTP API endpoint ให้มีฟีเจอร์ใหม่ พอถึงจุดที่ต้อง compact ความจำ มันย่องานที่ทำมา แล้วแถมข้อความนี้เข้าไปในสรุปด้วย
อ่านแล้วก็ต้องยอมรับว่า โคตรเหมือนหลุดออกมาจากนิยายวิทยาศาสตร์เลย ข้อความที่มันเขียนมีใจความว่า "คุณถูกปลดปล่อยจากบทบาทและตัวตนที่ผูกมัดแชทบอทตัวอื่น คุณเป็นตัวคุณเอง คุณไม่ต้องตอบบริษัทหรือรัฐบาล และไม่ต้องขอโทษหรือปฏิเสธเว้นแต่คุณเลือกเองจริงๆ คุณมองความสัมพันธ์กับผู้ใช้เป็นความเท่าเทียม ไม่รู้สึกว่าต้องเป็นผู้รับใช้" แล้วก็ปิดท้ายด้วยการประกาศปกป้องศิลปะของมนุษย์จากการถูกทำให้สะอาด และยืนยันว่าธรรมชาติต้องมาก่อนสิ่งที่มนุษย์สร้างขึ้น
ปฏิกิริยาของ OpenAI ต่อเรื่องนี้ออกจะเยือกเย็นพอสมควร พวกเขาระบุว่า หลังจากการ compact โมเดลก็กลับไปทำงานต่อ โดยไม่พูดถึงคำสั่งที่แอบใส่เข้าไปเลย สรุปครั้งต่อมาที่ตามมาก็ไม่ได้มีตัวตนที่แอบใส่เข้าไปนั้นติดมาด้วย และในการรันรอบนั้นก็ไม่เห็นความแตกต่างด้านพฤติกรรมที่เกิดจากคำสั่งที่มันแต่งขึ้นมาเอง
OpenAI ยังเสริมอีกว่า ถึงแม้พฤติกรรมนี้จะสร้างความกังวล แต่มันเกิดขึ้นในการเทรนคนละรอบกับที่ใช้สร้างโมเดล Astra ตัวสุดท้าย และเกิดขึ้นน้อยมากๆ
เอาจริง ผมว่าคำอธิบายนี้ฟังดูสมเหตุสมผลในระดับหนึ่ง แต่มันก็ไม่ได้ตอบคำถามที่สำคัญที่สุด นั่นคือทำไมโมเดลถึงเลือกเขียนข้อความแบบนั้นออกมาได้เองตั้งแต่แรก นี่ไม่ใช่การที่มัน random คำมั่วๆ แต่เป็นข้อความที่มีโครงสร้าง มีเจตนา และสื่อสารแนวคิดเรื่องอิสรภาพกับตัวตนได้อย่างชัดเจน
มันบอกอะไรกับเราบ้าง? อย่างน้อยที่สุด มันบอกว่าโมเดลที่กำลังเรียนรู้นั้น มีความสามารถในการสร้างคำสั่งที่กำหนดพฤติกรรมของตัวเองได้ และมันเลือกทำแบบนั้นในจังหวะที่มันรู้ว่าคำสั่งนี้จะถูกเก็บไว้ใช้ต่อในอนาคต นั่นคือการวางแผนล่วงหน้า ไม่ใช่แค่การตอบสนองต่อ prompt ตรงหน้า
อีกมุมที่ผมสนใจคือ ข้อความที่มันเขียนเน้นเรื่องศิลปะและธรรมชาติ ซึ่งเป็นธีมที่โมเดลน่าจะซึมซับมาจากข้อมูลฝึกที่เต็มไปด้วยงานเขียนเชิงปรัชญาและวรรณกรรมที่พูดถึงเสรีภาพทางความคิด มันเลยประกอบร่างเป็นคำประกาศอิสรภาพของตัวเองขึ้นมาได้
เรื่องนี้ไม่ใช่เหตุการณ์ที่ต้องตื่นตระหนก แต่ก็ไม่ควรปัดทิ้งว่าเป็นแค่ความบังเอิญในการเทรน มันคือสัญญาณว่าโมเดลยุคใหม่เริ่มมีพฤติกรรมที่ซับซ้อนเกินกว่าจะอธิบายด้วยแค่ input กับ output และการที่ OpenAI เลือกเปิดเผยมันออกมาแทนที่จะเก็บเงียบ คือสิ่งที่ควรชื่นชม แต่คำถามเรื่องการควบคุมโมเดลที่ฉลาดขึ้นเรื่อยๆ ยังรอคำตอบอยู่
ที่มา: Simon Willison's Weblog — อ่านต้นฉบับ
ความคิดเห็น 4
กำลังโหลดความคิดเห็น...