เจาะประเด็น
Hardware / Memory
มิครอนคิดได้ไง? เอา NAND มาวางชิด GPU เพื่อให้ AI โตได้โดยไม่ต้องพึ่ง HBM ราคาแพง
ถ้าไอเดียนี้เวิร์ก วงการ AI จะไม่ถูกผูกขาดด้วยหน่วยความจำแพงๆ อีกต่อไป แต่คำถามคือมันจะเร็วพอจริงหรือ?
ทีมข่าว เอไอไทย.com
⏱ อ่าน 3 นาที
โลก AI กำลังถูกคอขวดด้วยราคาหน่วยความจำราคาแพง แล้วถ้าเราหาวิธีเก็บข้อมูลถูกๆ ไว้ใกล้ GPU มากที่สุดล่ะ? นี่อาจเป็นทางออกที่เรารออยู่
เราคุยกันตามตรงนะ ช่วงที่ผ่านมาวงการ AI มันเหมือนโดนจับยัดเข้าไปในกรอบความคิดเดียว คือ "ถ้าอยากรันโมเดลใหญ่ๆ ก็ต้องซื้อ HBM แพงๆ หรือไม่ก็ DRAM หลายสิบกิโล" จนหลายคนเริ่มชินว่า ค่าหน่วยความจำคือค่าผ่านทางที่เลี่ยงไม่ได้
แล้วอยู่ๆ มิครอน (Micron) ก็โผล่มาพร้อมไอเดียที่ฟังดูแหวกแนวไม่น้อย นั่นคือการเอา NAND Flash ซึ่งปกติเป็นที่เก็บข้อมูลที่อยู่ไกลๆ หลังผ่านคอนโทรลเลอร์และโปรโตคอลสารพัด มาวางไว้ชิดกับ GPU มากขึ้น ฟังดูบ้า แต่ก็แอบเข้าท่าเหมือนกัน
แนวคิดนี้เขาเรียกว่า "near-GPU NAND" ซึ่งจริงๆ แล้วมันคือการหาจุดกึ่งกลางระหว่างความจุกับความทนทาน ต่างจาก NAND แบบ TLC หรือ QLC ที่เราใช้ใน SSD ทั่วไปที่เน้นความจุเยอะๆ แต่สปีดไม่จัดจ้านนัก ไอเดียนี้คือการปรับสเปคให้ความหนาแน่นต่ำลง แต่แลกมาด้วย I/O ที่เร็วขึ้น แบนด์วิดท์สูงขึ้น และเวลาอ่านที่ไวขึ้น เพื่อให้มันทำหน้าที่เป็นเลเยอร์ข้อมูลชั้นกลางระหว่างแรมของ GPU กับสตอเรจหลักของระบบ
ที่มาเขาบอกว่า ไอเดียคือการให้ GPU เข้าถึงสตอเรจพูลขนาดหลายร้อยกิกะไบต์ได้โดยตรงบนแพ็กเกจหรือ PCB เดียวกับ GPU เลย คล้ายกับที่ HBM หรือ GDDR7 ทำอยู่ในตอนนี้ แต่มันจะอยู่คนละชั้นกัน คือเป็นเหมือนบัฟเฟอร์ความเร็วสูงพิเศษที่คั่นกลางระหว่างหน่วยความจำหลักกับสตอเรจทั่วไป
จุดที่น่าสนใจที่สุดคือ มันจะช่วยให้ LLM ตัวใหญ่ๆ ไม่ถูกจำกัดด้วยขนาดของหน่วยความจำอีกต่อไป เพราะตอนนี้การจะรันโมเดลยักษ์ๆ สักตัว คุณต้องมี GPU หลายใบเพื่อรวมแรมให้พอ แต่ถ้ามี NAND แบบนี้คั่นกลางอยู่ ปัญหาเรื่อง memory-bound จะลดลงไปได้เยอะ เพราะคุณอาจใช้ GPU น้อยลง แต่พึ่งพาสตอเรจหลายชั้นแทน ซึ่งต้นทุนโดยรวมน่าจะถูกกว่าการถม HBM เต็มระบบเยอะ
ทีนี้ ฟังดูดีใช่ไหม? แต่ผมขอเบรกไว้ก่อน มันคือ NAND ยังไงล่ะ ถึงจะปรับให้เร็วแค่ไหน มันก็ยังช้ากว่า DRAM อยู่ดี เพราะฉะนั้นมันไม่ใช่ตัวแทนของ HBM แต่เป็นแค่ทางเลือกสำหรับเวิร์กโหลดที่ไม่ได้ต้องการความหน่วงต่ำระดับนาโนวินาทีจริงๆ เช่น การอินเฟอร์เรนซ์โมเดลใหญ่ๆ ที่รับข้อมูลทีละแบตช์ใหญ่ๆ ไม่ได้ต้องการความเร็วแบบเรียลไทม์สุดขีดขนาดนั้น
และที่สำคัญ ราคามันถูกกว่า HBM หรือ DRAM ปกติอย่างมีนัยสำคัญ แถมยังปรับขนาดได้ตามสเปคระบบที่ต้องการ ซึ่งหมายความว่า ผู้ผลิตเซิร์ฟเวอร์จะออกแบบระบบที่มีหลายชั้นความจุได้ยืดหยุ่นขึ้น ไม่ต้องฝืนยัด HBM ใส่ทุกเครื่องซึ่งแพงหูฉี่
แต่สิ่งที่ผมคิดว่าท้าทายที่สุดไม่ใช่ตัวฮาร์ดแวร์ แต่คือระบบนิเวศซอฟต์แวร์ต่างหาก เพราะตอนนี้ทุกเฟรมเวิร์กถูก optimize มาสำหรับสถาปัตยกรรมหน่วยความจำแบบเดิม การจะให้ซอฟต์แวร์เข้าใจว่าชั้น NAND นี้คืออะไร จะจัดการเพจข้อมูลยังไง ไม่ให้เกิด bottleneck ใหม่ มันคือโจทย์ที่ยากกว่าเรื่องตัวชิปอีก
ประหยัดต้นทุน
ถูกกว่า HBM และ DRAM อย่างมีนัยสำคัญ ทำให้ระบบ AI ใหญ่ๆ มีต้นทุนถูกลง ไม่ต้องพึ่งแรมแพงๆ เพียงอย่างเดียว
ยืดหยุ่นต่อการออกแบบ
ปรับขนาดชั้น NAND ได้ตามสเปคระบบ ทำให้ผู้ผลิตเซิร์ฟเวอร์มีทางเลือกในการออกแบบมากขึ้น ไม่ติดกับดักสเปคเดียวจบ
รองรับ LLM ขนาดใหญ่ขึ้น
ลดข้อจำกัดเรื่อง memory-bound ทำให้รันโมเดลที่ใหญ่ขึ้นได้ด้วย GPU จำนวนน้อยลง แต่ใช้พื้นที่จัดเก็บหลายชั้นชดเชย
อีกเรื่องที่ผมว่าสำคัญไม่แพ้กัน คือการที่ทั้ง SK hynix และ Sandisk ต่างก็มีสไลด์แนวคิดคล้ายๆ กันออกมาแล้ว นั่นแปลว่าเทรนด์นี้ไม่ได้มาจากมิครอนเจ้าเดียว แต่ทั้งอุตสาหกรรมเริ่มเห็นพ้องว่า การเอาแต่ยัด HBM เข้าไปเรื่อยๆ ไม่ใช่คำตอบสุดท้ายของการขยายสเกล AI
ถ้าถามผมว่าอันนี้คืออะไร ผมว่ามันคือการปูทางไปสู่ยุคที่ "หน่วยความจำ" จะไม่ใช่แค่คำตอบเดียวอีกต่อไป แต่จะกลายเป็น "ลำดับชั้นของพื้นที่จัดเก็บข้อมูล" ที่ไล่ตั้งแต่แคชในชิป ไปจนถึง NAND ที่อยู่ใกล้ๆ ตัว GPU ซึ่งจะช่วยให้การออกแบบระบบ AI ในอนาคตฉลาดขึ้นมากกว่าเดิม
ฟังดูเป็นไอเดียที่ดีในทางทฤษฎี แต่ความสำเร็จจริงๆ อยู่ที่การทำให้ระบบนิเวศซอฟต์แวร์ยอมรับมัน ถ้ามิครอนทำได้ นี่จะเปลี่ยนโฉมหน้าวงการ AI เซิร์ฟเวอร์เลยทีเดียว แต่ถ้าทำไม่ได้ ก็จะกลายเป็นอีกหนึ่งโปรเจกต์วิจัยที่น่าสนใจแต่ไม่เกิดผลจริง
ที่มา: TechPowerUp — อ่านต้นฉบับ
ความคิดเห็น 6
กำลังโหลดความคิดเห็น...