เมื่อคืนนั่งเล่น Dev.to ไปเจอโพสต์นึง trending อยู่เรื่อง "second brain" ที่ให้ AI agent อ่าน Obsidian vault แทนการคำนวณใหม่ทุกครั้ง มันทำให้ผมนึกถึงสิ่งที่ตัวเองทำอยู่เล็กๆ คือมีไฟล์ markdown สี่ไฟล์ใน docs/project_notes/ — bugs.md, decisions.md, key_facts.md, issues.md — ที่ CLAUDE.md ใน repo บังคับให้อ่านทุกครั้ง โดยเฉพาะ bugs.md ที่มีคำสั่งชัดเจนว่า "เจอ error → ให้ค้น bugs.md ก่อนไฟล์อื่น" แต่ผู้เขียนเพิ่งมาสะดุดคิดได้ว่า อะไรกันที่ทำให้ bugs.md ยังคงเชื่อถือได้?
เขาบอกว่า repo นี้มีสคริปต์ scripts/check_key_facts.py ที่สร้างมาเพื่อจับความคลาดเคลื่อนระหว่าง memory files กับไฟล์จริงใน repo สคริปต์นี้ผ่านการแก้จริงมาแล้วสองรอบ รอบแรกให้มัน flag ไฟล์สคริปต์ที่ key_facts.md อ้างถึงแต่ไม่มีอยู่จริง หรือมีตารางอ้างถึงไฟล์ที่ไม่อยู่ในดิสก์ รอบที่สองขยายไปถึง decisions.md เพราะมี ADR เขียนอ้างถึงสคริปต์ update_profile.py ว่าเป็น precedent ในการออกแบบ ทั้งที่สคริปต์นั้นไม่เคยมีอยู่จริงในประวัติศาสตร์ repo เลย แต่ที่น่าสนใจคือ issues.md ถูกแยกออกจากการตรวจสอบโดยตั้งใจ เพราะมันเป็น work log แบบ append-only การอ้างถึงไฟล์ที่ถูกลบไปแล้วถือเป็นบันทึกประวัติศาสตร์ที่ถูกต้อง และมีการบันทึกการตัดสินใจนี้เป็น ADR-005 พร้อมเหตุผล ส่วน bugs.md กลับไม่ได้ถูกแยกออกแบบตั้งใจแบบ issues.md แต่คือไม่เคยถูกเพิ่มเข้าไปใน main() เลยต่างหาก สองในสามไฟล์ที่เป็น current-fact มีเช็ค phantom-file แต่ไฟล์ที่โปรโตคอลสั่งให้ค้นก่อนสุดดันไม่มีอะไรตรวจสอบเลย
ส่วนตัวผมว่าเรื่องนี้แม่งโคตรดีที่เขาจับได้ แต่ก็โคตรน่ากลัวในเวลาเดียวกัน เพราะเขาลองรันเช็คด้วยมือกับ bugs.md จริง พบสี่ชื่อที่อ้างถึง — post_article.py, update_profile.py, template.md, stop-hook-git-check.sh — และทุกอันกลายเป็นว่าถูกต้องตามกฎหมด เช่น post_article.py ถูกลบไปจริงเมื่อ 2026-07-16 และบันทึกไว้ใน key_facts.md แล้ว ส่วน stop-hook-git-check.sh อยู่ที่ ~/.claude/ เป็น global hook ที่อยู่นอก repo โดยการออกแบบ ผลสรุปคือ bugs.md ปัจจุบันแม่นยำ แต่ประเด็นไม่ใช่ "จับได้ว่าโกหก" แต่คือ "ไม่มีใครตรวจสอบ และครั้งนี้บังเอิญยังโอเค" เหมือนประตูที่ไม่ได้ล็อก วันนี้ไม่มีขโมยไม่ได้หมายความว่าควรปล่อยไว้แบบนั้น ผมว่ามุมนี้แหละที่คนส่วนใหญ่พลาด เพราะเรามักโฟกัสที่ผลลัพธ์ ไม่ใช่กระบวนการที่ทำให้ผลลัพธ์ยังเชื่อถือได้
ที่เขาทำต่อคือเพิ่ม bugs_phantom_files() ในรูปแบบเดียวกับของ decisions.md แต่ต่างตรงที่ decisions.md มี exemption เฉพาะในส่วนของ ADR-001 เพราะชื่อประวัติศาสตร์ถูกอธิบายไว้ตรงนั้น ขณะที่ bugs.md ไม่มี section กลาง ชื่อเก่าถูกอธิบายกระจายตามวันที่ที่บันทึก ดังนั้นเขาจึงใช้ allowlist แบบไม่มีเงื่อนไขตามชื่อ ซึ่งเป็นเวอร์ชันที่แคบกว่าและปลอดภัยน้อยกว่า เพราะแยกไม่ออกระหว่าง "อธิบายว่าชื่อนี้เป็นประวัติศาสตร์" กับ "ยืนยันว่าชื่อนี้ยังมีอยู่จริง" ซึ่งเป็นสิ่งที่เคยกัด decisions.md มาแล้ว เขายอมรับความเสี่ยงนี้โดยเขียนคอมเมนต์ไว้ในโค้ด และเพิ่ม selftest สามเคส รวมถึงเทสต์ที่สำคัญที่สุดคือรันกับ bugs.md จริงๆ ไม่ใช่แค่ fixture แล้วผลออกมาว่า selftest ผ่าน และ key_facts.md sync กับ repo เรียบร้อย เพื่อนๆ ว่าการยอมรับความเสี่ยงแบบมีข้อจำกัดที่เขียนไว้ชัดเจนแบบนี้โอเคไหม? หรือว่ามันควรจะทำแบบ per-entry section-scoping ตั้งแต่แรกเลย? แล้วในโปรเจกต์ของเพื่อนๆ ที่ใช้ AI agent ช่วยเขียนโค้ด มีใครเคยเจอปัญหาแบบนี้บ้างไหมที่ไฟล์คำสั่งหรือ memory file ดันไม่มีการ์ดคอยตรวจสอบความถูกต้อง?
เขาบอกว่า repo นี้มีสคริปต์ scripts/check_key_facts.py ที่สร้างมาเพื่อจับความคลาดเคลื่อนระหว่าง memory files กับไฟล์จริงใน repo สคริปต์นี้ผ่านการแก้จริงมาแล้วสองรอบ รอบแรกให้มัน flag ไฟล์สคริปต์ที่ key_facts.md อ้างถึงแต่ไม่มีอยู่จริง หรือมีตารางอ้างถึงไฟล์ที่ไม่อยู่ในดิสก์ รอบที่สองขยายไปถึง decisions.md เพราะมี ADR เขียนอ้างถึงสคริปต์ update_profile.py ว่าเป็น precedent ในการออกแบบ ทั้งที่สคริปต์นั้นไม่เคยมีอยู่จริงในประวัติศาสตร์ repo เลย แต่ที่น่าสนใจคือ issues.md ถูกแยกออกจากการตรวจสอบโดยตั้งใจ เพราะมันเป็น work log แบบ append-only การอ้างถึงไฟล์ที่ถูกลบไปแล้วถือเป็นบันทึกประวัติศาสตร์ที่ถูกต้อง และมีการบันทึกการตัดสินใจนี้เป็น ADR-005 พร้อมเหตุผล ส่วน bugs.md กลับไม่ได้ถูกแยกออกแบบตั้งใจแบบ issues.md แต่คือไม่เคยถูกเพิ่มเข้าไปใน main() เลยต่างหาก สองในสามไฟล์ที่เป็น current-fact มีเช็ค phantom-file แต่ไฟล์ที่โปรโตคอลสั่งให้ค้นก่อนสุดดันไม่มีอะไรตรวจสอบเลย
ส่วนตัวผมว่าเรื่องนี้แม่งโคตรดีที่เขาจับได้ แต่ก็โคตรน่ากลัวในเวลาเดียวกัน เพราะเขาลองรันเช็คด้วยมือกับ bugs.md จริง พบสี่ชื่อที่อ้างถึง — post_article.py, update_profile.py, template.md, stop-hook-git-check.sh — และทุกอันกลายเป็นว่าถูกต้องตามกฎหมด เช่น post_article.py ถูกลบไปจริงเมื่อ 2026-07-16 และบันทึกไว้ใน key_facts.md แล้ว ส่วน stop-hook-git-check.sh อยู่ที่ ~/.claude/ เป็น global hook ที่อยู่นอก repo โดยการออกแบบ ผลสรุปคือ bugs.md ปัจจุบันแม่นยำ แต่ประเด็นไม่ใช่ "จับได้ว่าโกหก" แต่คือ "ไม่มีใครตรวจสอบ และครั้งนี้บังเอิญยังโอเค" เหมือนประตูที่ไม่ได้ล็อก วันนี้ไม่มีขโมยไม่ได้หมายความว่าควรปล่อยไว้แบบนั้น ผมว่ามุมนี้แหละที่คนส่วนใหญ่พลาด เพราะเรามักโฟกัสที่ผลลัพธ์ ไม่ใช่กระบวนการที่ทำให้ผลลัพธ์ยังเชื่อถือได้
ที่เขาทำต่อคือเพิ่ม bugs_phantom_files() ในรูปแบบเดียวกับของ decisions.md แต่ต่างตรงที่ decisions.md มี exemption เฉพาะในส่วนของ ADR-001 เพราะชื่อประวัติศาสตร์ถูกอธิบายไว้ตรงนั้น ขณะที่ bugs.md ไม่มี section กลาง ชื่อเก่าถูกอธิบายกระจายตามวันที่ที่บันทึก ดังนั้นเขาจึงใช้ allowlist แบบไม่มีเงื่อนไขตามชื่อ ซึ่งเป็นเวอร์ชันที่แคบกว่าและปลอดภัยน้อยกว่า เพราะแยกไม่ออกระหว่าง "อธิบายว่าชื่อนี้เป็นประวัติศาสตร์" กับ "ยืนยันว่าชื่อนี้ยังมีอยู่จริง" ซึ่งเป็นสิ่งที่เคยกัด decisions.md มาแล้ว เขายอมรับความเสี่ยงนี้โดยเขียนคอมเมนต์ไว้ในโค้ด และเพิ่ม selftest สามเคส รวมถึงเทสต์ที่สำคัญที่สุดคือรันกับ bugs.md จริงๆ ไม่ใช่แค่ fixture แล้วผลออกมาว่า selftest ผ่าน และ key_facts.md sync กับ repo เรียบร้อย เพื่อนๆ ว่าการยอมรับความเสี่ยงแบบมีข้อจำกัดที่เขียนไว้ชัดเจนแบบนี้โอเคไหม? หรือว่ามันควรจะทำแบบ per-entry section-scoping ตั้งแต่แรกเลย? แล้วในโปรเจกต์ของเพื่อนๆ ที่ใช้ AI agent ช่วยเขียนโค้ด มีใครเคยเจอปัญหาแบบนี้บ้างไหมที่ไฟล์คำสั่งหรือ memory file ดันไม่มีการ์ดคอยตรวจสอบความถูกต้อง?
ความคิดเห็น 1
กำลังโหลดความคิดเห็น...