“บอทที่ตายไปแล้วสิบปี อยู่ๆ ฟื้นคืนชีพมาเฉพาะตอนเราบล็อก AI — บังเอิญหรือมีอะไรซ่อนอยู่?”
เมื่อเดือนก่อนผมเริ่มใส่ meta tag กันบอท AI สำหรับ bingbot ตามที่ Microsoft เขาแนะนำกัน ก็คือใส่ไว้ไม่ให้ bot เอาข้อมูลไป train model อะ แต่ผ่านไปแค่เดือนเดียว อยู่ดีๆ msnbot ซึ่งมัน retire ไปตั้งแต่สิบปีที่แล้วตอนที่เขาเปลี่ยนมาใช้ bingbot แทน อยู่ๆ มันก็กลับมาวิ่งบนเว็บผมแบบหนักมาก หนักจนต้องร้องว้าว ผมเช็ค IP แล้วมันเป็นของ Microsoft จริงๆ ไม่ได้ปลอม
ที่แปลกกว่าคือ pattern การ crawl มันไม่เหมือน search engine เลย มันไล่ดูหน้าเว็บแบบที่ AI indexer ทำ เช่น มันโฟกัสที่เนื้อหาหลัก ไม่สนใจ navigation หรือ footer อะไรพวกนั้น แล้วมันก็ไม่ดู robots.txt ด้วยซ้ำ ผมลองเทียบกับ bingbot ปกติที่ยังวิ่งอยู่ หน้าตาต่างกันชัดเจนมาก ตัวนึงเดินตามลิงก์ปกติ อีกตัวนึงดูเหมือนมันกำลังเก็บข้อมูลเพื่อสร้าง dataset โดยเฉพาะ
ผมไปหาข้อมูลมาเป็นอาทิตย์ ไม่เจออะไรเลยว่า Microsoft เอา msnbot กลับมาใช้ตอนไหน หรือทำไมต้องใช้ตัวที่ตายแล้วทั้งๆ ที่มี bingbot อยู่แล้ว คำตอบเดียวที่คิดออกคือเขาอยากหลบเลี่ยงการบล็อก เพราะคนส่วนใหญ่ไม่รู้จัก msnbot แล้วก็ไม่คิดจะบล็อกมันด้วยซ้ำ ใครจะไปคิดว่าบอทที่เลิกใช้ไปตั้งแต่ปี 2015 จะกลับมา
ส่วนตัวผมรู้สึกว่ามันคือการเลี่ยงภาษีชัดๆ คือเขาใส่ tag กัน AI ไว้ให้ bingbot แต่พอเราใส่แล้วมันดันไปใช้ bot เก่าที่ไม่มีใครรู้จักแทน มันเหมือนกับบอกว่า "โอเค เราไม่ใช้ตัวหลัก แต่ใช้ตัวสำรองที่คุณไม่รู้จักแทนนะ" แบบนี้มันก็ไม่ต่างจากหนีเลี่ยงความยินยอมของเจ้าของเว็บ ต่อให้เขาจะอ้างว่า msnbot มันคือตัวเดียวกันกับ bingbot ก็เถอะ มันก็ยังดูไม่ชอบมาพากลอยู่ดี
มีใครเคยเจอแบบนี้บ้างมั้ย? แล้วถ้าใครใช้ Cloudflare หรือ service อื่นอยู่ ช่วยแชร์หน่อยว่าบล็อก msnbot ยังไง เพราะผมลองบล็อกตาม IP แล้วมันเด้งไปเรื่อย ไม่รู้จบจริงๆ หรือว่าเราควรจะยอมให้มันทำไปเพราะยังไงเราก็ห้ามไม่ได้?
เมื่อเดือนก่อนผมเริ่มใส่ meta tag กันบอท AI สำหรับ bingbot ตามที่ Microsoft เขาแนะนำกัน ก็คือใส่ไว้ไม่ให้ bot เอาข้อมูลไป train model อะ แต่ผ่านไปแค่เดือนเดียว อยู่ดีๆ msnbot ซึ่งมัน retire ไปตั้งแต่สิบปีที่แล้วตอนที่เขาเปลี่ยนมาใช้ bingbot แทน อยู่ๆ มันก็กลับมาวิ่งบนเว็บผมแบบหนักมาก หนักจนต้องร้องว้าว ผมเช็ค IP แล้วมันเป็นของ Microsoft จริงๆ ไม่ได้ปลอม
ที่แปลกกว่าคือ pattern การ crawl มันไม่เหมือน search engine เลย มันไล่ดูหน้าเว็บแบบที่ AI indexer ทำ เช่น มันโฟกัสที่เนื้อหาหลัก ไม่สนใจ navigation หรือ footer อะไรพวกนั้น แล้วมันก็ไม่ดู robots.txt ด้วยซ้ำ ผมลองเทียบกับ bingbot ปกติที่ยังวิ่งอยู่ หน้าตาต่างกันชัดเจนมาก ตัวนึงเดินตามลิงก์ปกติ อีกตัวนึงดูเหมือนมันกำลังเก็บข้อมูลเพื่อสร้าง dataset โดยเฉพาะ
ผมไปหาข้อมูลมาเป็นอาทิตย์ ไม่เจออะไรเลยว่า Microsoft เอา msnbot กลับมาใช้ตอนไหน หรือทำไมต้องใช้ตัวที่ตายแล้วทั้งๆ ที่มี bingbot อยู่แล้ว คำตอบเดียวที่คิดออกคือเขาอยากหลบเลี่ยงการบล็อก เพราะคนส่วนใหญ่ไม่รู้จัก msnbot แล้วก็ไม่คิดจะบล็อกมันด้วยซ้ำ ใครจะไปคิดว่าบอทที่เลิกใช้ไปตั้งแต่ปี 2015 จะกลับมา
ส่วนตัวผมรู้สึกว่ามันคือการเลี่ยงภาษีชัดๆ คือเขาใส่ tag กัน AI ไว้ให้ bingbot แต่พอเราใส่แล้วมันดันไปใช้ bot เก่าที่ไม่มีใครรู้จักแทน มันเหมือนกับบอกว่า "โอเค เราไม่ใช้ตัวหลัก แต่ใช้ตัวสำรองที่คุณไม่รู้จักแทนนะ" แบบนี้มันก็ไม่ต่างจากหนีเลี่ยงความยินยอมของเจ้าของเว็บ ต่อให้เขาจะอ้างว่า msnbot มันคือตัวเดียวกันกับ bingbot ก็เถอะ มันก็ยังดูไม่ชอบมาพากลอยู่ดี
มีใครเคยเจอแบบนี้บ้างมั้ย? แล้วถ้าใครใช้ Cloudflare หรือ service อื่นอยู่ ช่วยแชร์หน่อยว่าบล็อก msnbot ยังไง เพราะผมลองบล็อกตาม IP แล้วมันเด้งไปเรื่อย ไม่รู้จบจริงๆ หรือว่าเราควรจะยอมให้มันทำไปเพราะยังไงเราก็ห้ามไม่ได้?
ความคิดเห็น 1
กำลังโหลดความคิดเห็น...