Spotify เลิกง้อฐานข้อมูล สร้างดัชนีภายนอกบน Data Lake ฉีกกติกาเดิมเพื่อความไวระดับมิลลิวินาที

วงการ data engineering ต้องสะเทือนอีกครั้ง เมื่อ Spotify ออกมาเปิดเผยสถาปัตยกรรมใหม่ที่กล้าท้าทายความเชื่อดั้งเดิมที่ว่า ถ้าอยากได้ query แบบเจาะจงจุด (point query) ที่ไวจนวัดเป็นมิลลิวินาทีได้ ต้องก็อปปี้ข้อมูลไปไว้ในฐานข้อมูลปฏิบัติการ (operational database) แยกต่างหากเท่านั้น ไม่มีทางลัด

แต่ Spotify บอกว่า "ไม่จริง" พวกเขาสร้าง external indexing architecture สำหรับ Apache Parquet data lakes ที่สามารถดึงข้อมูลแบบ low-latency point queries ได้ โดยไม่ต้องจำลองชุดข้อมูลไปไว้ที่ไหนเลยแม้แต่ไบต์เดียว นี่ไม่ใช่การปรับแต่งเล็กน้อย แต่คือการรื้อโครงสร้างวิธีคิดทั้งระบบ

หลักการทำงานมันไม่ได้ซับซ้อนอย่างที่คิด พวกเขาแมป lookup keys ไปยังไฟล์ Parquet และตำแหน่งของแถวข้อมูล (row locations) ทำให้เวลาจะ query หาอะไรสักอย่าง ระบบรู้ได้ทันทีว่าต้องไปอ่านไฟล์ไหน จากตำแหน่งไหน ใน cloud object storage โดยไม่ต้องสแกนทั้งตารางหรือทั้ง data lake แบบเมื่อก่อน

ฟังเผินๆ อาจดูเหมือนเรื่องธรรมดา แต่เบื้องหลังมันคือการแก้ปริศนาที่ท้าทายที่สุดของ data platform สมัยใหม่ นั่นคือการทำให้ชุดข้อมูลชุดเดียว สามารถรองรับทั้งงาน analytics หนักๆ, machine learning, AI applications และ online services ที่ต้องการความหน่วงต่ำมากๆ พร้อมกันได้ โดยไม่ต้องมีข้อมูลซ้ำซ้อน

ประเด็นสำคัญที่หลายคนอาจมองข้ามคือ คำว่า "without replicating datasets" นี่คือหัวใจของเรื่อง เพราะการจำลองข้อมูลไปไว้หลายที่คือต้นตอของปัญหาเรื่องความสอดคล้องของข้อมูล (data consistency), ต้นทุนพื้นที่จัดเก็บที่บานปลาย, และความยุ่งยากในการจัดการนับไม่ถ้วน

ในมุมของผม นี่คือการเดินหมากที่ชาญฉลาดมากของ Spotify เพราะพวกเขาไม่ได้คิดแค่แก้ปัญหาเฉพาะหน้า แต่กำลังวางรากฐานให้ data lake เป็นศูนย์กลางทุกอย่างจริงๆ ไม่ใช่แค่ที่ทิ้งข้อมูลดิบไว้ให้ data scientist ดึงไปใช้ทีหลัง แต่เป็นโครงสร้างพื้นฐานที่รองรับระบบ production ได้จริง

ลองนึกภาพตามนะ ทุกวันนี้บริษัทส่วนใหญ่มี data lake ไว้เก็บทุกอย่าง แต่พออยากทำ feature ที่ต้อง query แบบ real-time หรือ near real-time ก็ต้องไปตั้งฐานข้อมูลแยก เช่น DynamoDB หรือ Cassandra แล้วก็ต้องเขียน pipeline เพื่อซิงก์ข้อมูลไปมา โค้ดก็เยอะ ปัญหาก็ตามมา

Spotify กำลังบอกว่า "หยุดสิ นี่คือทางออกที่ดีกว่า" การที่พวกเขาทำสำเร็จบน Apache Parquet ซึ่งเป็น open format ที่ใช้กันแพร่หลายมากที่สุดในโลก data engineering ยิ่งทำให้เรื่องนี้ใหญ่กว่าแค่ข่าวประชาสัมพันธ์ของบริษัทใดบริษัทหนึ่ง มันคือพิมพ์เขียวที่ทั้งวงการสามารถหยิบไปใช้ได้

แน่นอนว่ายังมีคำถามที่ต้องตอบอีกเยอะ เช่น เรื่องการจัดการเมื่อข้อมูลมีการ update บ่อยแค่ไหน, ผลกระทบต่อ write performance, และการทำงานร่วมกับเครื่องมือ ecosystem อื่นๆ แต่ที่แน่ๆ นี่คือทิศทางที่ถูกต้อง และเป็นอีกหนึ่งหลักฐานว่า data lake ยุคใหม่ไม่ได้เป็นแค่คลังข้อมูลเฉยๆ อีกต่อไป

การตัดสินใจครั้งนี้ของ Spotify สะท้อนให้เห็นถึงวุฒิภาวะของทีมวิศวกรที่เข้าใจทั้งปัญหาและวิธีแก้อย่างลึกซึ้ง พวกเขาไม่เลือกทางง่ายด้วยการซื้อโซลูชันแพงๆ หรือเพิ่มฮาร์ดแวร์ แต่เลือกที่จะออกแบบสถาปัตยกรรมที่ฉลาดและยั่งยืนกว่า นี่แหละคือสิ่งที่เรียกว่าวิศวกรรมที่แท้จริง