เมื่อคืนนั่งเล่น HN เพลินๆ ไปสะดุดกับกระทู้ Ask HN หัวข้อประมาณว่า "How important is document category recognition in data classification?" คือคนตั้งถามเค้ากำลังทำ classifier ที่ไม่ใช้ AI แบบเบาๆ แล้วใช้ embedding ช่วยให้เครื่องเข้าใจ semantic ของเอกสาร เค้าเล่าว่าถ้า classify ไฟล์โดยดูแค่ pattern ของ ID ตัวเลข หรือ regex อย่างเดียว มันเจอ false positive/negative เยอะมาก ยกตัวอย่างว่า เอกสารคู่มือเทคนิคที่มีเลข 9 หลัก อาจโดนระบบตรวจจับ SSN แล้วฟันธงผิดว่าเป็นข้อมูลส่วนบุคคล/ความลับ ทั้งที่มันไม่ใช่ อีกตัวอย่างคือข้อมูล personal บนเอกสาร HR กับข้อมูล personal บน customer list มันควรถูกปฏิบัติต่างกัน แต่ถ้าใช้ regex อย่างเดียวจะมองไม่เห็นความต่างนี้
ส่วนตัวเราว่าประเด็นนี้ถูกต้องมากๆ เพราะการรู้แค่ว่า "มีเลข 9 หลัก" หรือ "มีคำว่า name/address" มันไม่พอจริงๆ ต่อให้เป็น non-AI โมเดลแบบที่เค้าว่า ถ้าเพิ่ม layer ที่ระบุหมวดเอกสารก่อน (เช่น คู่มือเทคนิค / รายชื่อลูกค้า / ข้อมูลพนักงาน) ก่อนจะไปรันกฎ classification มันน่าจะลด error ได้เยอะ และทำให้ policy การจัดการข้อมูลแต่ละประเภททำได้ละเอียดขึ้น เช่น ข้อมูลพนักงานกับลูกค้าควรมีระดับความเข้มงวดต่างกันอยู่แล้ว เราว่าไอเดียนี้เวิร์ค แต่ที่กังวลคือการทำ document category recognition ให้แม่นโดยไม่ใช้ AI มันจะยากแค่ไหน? เพราะหมวดหมู่เอกสารมันก็มีซับซ้อนไปอีก ไม่ใช่แค่ 3-4 หมวดที่เค้ายกตัวอย่าง
อีกมุมที่อยากชวนคิดคือ ต่อให้เพิ่ม layer นี้เข้าไป แล้วในทางปฏิบัติ เอกสารจริงๆ มันมักจะผสมกัน เช่น สเปคสินค้าที่มีตารางราคาลูกค้าแทรกอยู่ด้วย แบบนี้จะจัดหมวดยังไง? แล้วถ้าแยกหมวดผิดตั้งแต่ต้น ระบบทั้งหมดก็จะพาล้มไปด้วย ซึ่งอาจจะหนักกว่าเดิมอีก เราเลยคิดว่ามันควรเป็น "ตัวช่วย" ไม่ใช่ "ตัวตัดสินใจหลัก" ควรให้ weight กับ category recognition แต่ไม่ใช่ hard rule ที่ถ้าพลาดแล้วจบเลย
สุดท้ายนี้ อยากถามเพื่อนๆ ในกลุ่มว่า ถ้าต้องออกแบบระบบ DLP หรือ data classification แบบเบาๆ ไม่พึ่ง LLM ขนาดใหญ่ พวกคุณคิดว่าการรู้หมวดเอกสารสำคัญขนาดไหน? แล้วมีใครเคยลองทำ approach แบบนี้แล้วเจอ pain point อะไรบ้าง? โดยเฉพาะเรื่องการจัดการกับเอกสารที่หลายหมวดอยู่ในไฟล์เดียว หรือหมวดที่คาบเกี่ยวกับ เช่น ใบแจ้งหนี้ที่มีทั้งข้อมูลลูกค้าและรายการสินค้า ควรจัดการยังไงดี?
ส่วนตัวเราว่าประเด็นนี้ถูกต้องมากๆ เพราะการรู้แค่ว่า "มีเลข 9 หลัก" หรือ "มีคำว่า name/address" มันไม่พอจริงๆ ต่อให้เป็น non-AI โมเดลแบบที่เค้าว่า ถ้าเพิ่ม layer ที่ระบุหมวดเอกสารก่อน (เช่น คู่มือเทคนิค / รายชื่อลูกค้า / ข้อมูลพนักงาน) ก่อนจะไปรันกฎ classification มันน่าจะลด error ได้เยอะ และทำให้ policy การจัดการข้อมูลแต่ละประเภททำได้ละเอียดขึ้น เช่น ข้อมูลพนักงานกับลูกค้าควรมีระดับความเข้มงวดต่างกันอยู่แล้ว เราว่าไอเดียนี้เวิร์ค แต่ที่กังวลคือการทำ document category recognition ให้แม่นโดยไม่ใช้ AI มันจะยากแค่ไหน? เพราะหมวดหมู่เอกสารมันก็มีซับซ้อนไปอีก ไม่ใช่แค่ 3-4 หมวดที่เค้ายกตัวอย่าง
อีกมุมที่อยากชวนคิดคือ ต่อให้เพิ่ม layer นี้เข้าไป แล้วในทางปฏิบัติ เอกสารจริงๆ มันมักจะผสมกัน เช่น สเปคสินค้าที่มีตารางราคาลูกค้าแทรกอยู่ด้วย แบบนี้จะจัดหมวดยังไง? แล้วถ้าแยกหมวดผิดตั้งแต่ต้น ระบบทั้งหมดก็จะพาล้มไปด้วย ซึ่งอาจจะหนักกว่าเดิมอีก เราเลยคิดว่ามันควรเป็น "ตัวช่วย" ไม่ใช่ "ตัวตัดสินใจหลัก" ควรให้ weight กับ category recognition แต่ไม่ใช่ hard rule ที่ถ้าพลาดแล้วจบเลย
สุดท้ายนี้ อยากถามเพื่อนๆ ในกลุ่มว่า ถ้าต้องออกแบบระบบ DLP หรือ data classification แบบเบาๆ ไม่พึ่ง LLM ขนาดใหญ่ พวกคุณคิดว่าการรู้หมวดเอกสารสำคัญขนาดไหน? แล้วมีใครเคยลองทำ approach แบบนี้แล้วเจอ pain point อะไรบ้าง? โดยเฉพาะเรื่องการจัดการกับเอกสารที่หลายหมวดอยู่ในไฟล์เดียว หรือหมวดที่คาบเกี่ยวกับ เช่น ใบแจ้งหนี้ที่มีทั้งข้อมูลลูกค้าและรายการสินค้า ควรจัดการยังไงดี?
ความคิดเห็น 2
กำลังโหลดความคิดเห็น...