Reddit r/hardware 59 วันที่แล้ว general AI Generated

[ServeTheHome] d-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026

เกี่ยวกับ NVIDIA
Reddit r/hardware 24 Aug 2026
55
0
100
25 11m



เจาะประเด็น
Hot Chips 2026


d-Matrix เอาจริง! เปิดชิป Raptor ใส่แรม 3D-DRAM ลงไปในแพ็กเกจ ตัดปัญหาคอขวดหน่วยความจำจนขาด



สตาร์ทอัปหน้าใหม่ไม่ขอเล่นตามสูตร Nvidia มันยก DRAM มาติดข้างๆ ตัวประมวลผลเลย — งานนี้ใครที่คิดว่า AI inference แค่เพิ่มแกนประมวลผลอย่างเดียวพอ คงต้องคิดใหม่




ทีมข่าว เอไอไทย.com
⏱ อ่าน 4 นาที



ทุกวันนี้เราบ่นว่า AI โมเดลใหญ่ๆ รันช้าเพราะ "คิดเลขไม่ทัน" แต่ความจริงแล้วต้นเหตุอาจอยู่ที่ "วิ่งไปเอาข้อมูลไม่ทัน" ต่างหาก — แล้วถ้าแก้ที่ต้นเหตุได้ล่ะ?




งาน Hot Chips ปีนี้ไม่ได้มีแค่ขาประจำอย่าง Intel, AMD หรือ Nvidia มาโชว์ของเท่านั้น เพราะมีชื่อของสตาร์ทอัปอย่าง d-Matrix โผล่มาพร้อมชิปเร่งความเร็วสำหรับงาน generative inference ที่ชื่อ Raptor ซึ่งจุดขายไม่ได้อยู่ที่สเปกแรงปรี๊ดแบบตัวเลขลอยๆ แต่อยู่ที่วิธีแก้ปัญหาที่หลายเจ้าเลี่ยงที่จะพูดถึง: ปัญหาคอขวดระหว่างตัวประมวลผลกับหน่วยความจำ



พูดกันตรงๆ เลย วงการชิป AI ตอนนี้เหมือนติดอยู่ในกับดัก เดี๋ยวนี้โมเดลภาษาใหญ่ๆ มันไม่ได้หิว "พลังคำนวณ" อย่างเดียว แต่หิว "แบนด์วิดธ์หน่วยความจำ" ขั้นสุด เพราะทุกครั้งที่โมเดลต้องอ่านพารามิเตอร์ออกมาจาก DRAM แล้วส่งไปให้ตัวประมวลผลคิดเลข ยิ่งพารามิเตอร์เยอะ ยิ่งต้องวิ่งไปวิ่งมาระหว่างชิปกับแรมบ่อย ยิ่งใช้เวลานานและกินพลังงานมากขึ้น นี่แหละคือจุดที่ d-Matrix มองเห็นและเลือกจะจู่โจม



ที่มา


ในงาน Hot Chips 2026 d-Matrix เปิดเผยสถาปัตยกรรมของ Raptor ที่ใช้แนวคิดแบบ "ชิปเล็ต" (chiplet) ต่อกันหลายตัว แต่สิ่งที่ทำให้มันต่างจากชิป AI ตัวอื่นในตลาดคือการฝัง DRAM ความจุสูงไว้ในแพ็กเกจเดียวกันกับตัวประมวลผลเลย ไม่ใช่แยกอยู่คนละซ็อกเก็ตแบบที่เราเห็นกันทั่วไปในเซิร์ฟเวอร์ปัจจุบัน



วิธีนี้ฟังดูอาจไม่แปลกใหม่ เพราะในโลกคอนซูเมอร์เราก็เห็นชิปอย่าง Apple M-series หรือแม้แต่ชิปกราฟิกบางรุ่นที่วางแรมไว้ใกล้ๆ ตัวประมวลผล แต่การทำแบบนี้ในตลาดเซิร์ฟเวอร์ระดับดาตาเซ็นเตอร์เพื่อรันโมเดล generative AI ขนาดใหญ่ ถือเป็นการตัดสินใจที่ค่อนข้างกล้า เพราะมันแลกมาด้วยความยืดหยุ่นในการอัปเกรดหน่วยความจำทีหลัง แต่ได้ผลตอบแทนคือความเร็วและประสิทธิภาพด้านพลังงานที่เหนือชั้นกว่า



“
การย้ายข้อมูลระหว่างหน่วยความจำกับตัวประมวลผลคือค่าใช้จ่ายที่แท้จริงของ AI inference — ถ้าลดตรงนี้ได้ ทุกอย่างจะเร็วขึ้นและประหยัดขึ้น


มุมมอง


ตรงนี้แหละที่ผมคิดว่ามันน่าสนใจ เพราะปกติเรามักถูกโฆษณาชวนเชื่อด้วยตัวเลข TFLOPS หรือจำนวนคอร์ที่เยอะขึ้นเรื่อยๆ แต่ลืมไปว่าของพวกนั้นจะเปล่าประโยชน์ถ้าป้อนข้อมูลไม่ทัน ทาง d-Matrix เลือกแก้ที่โจทย์จริงๆ ของการใช้งานจริง นั่นคือการทำให้หน่วยความจำเข้าถึงได้ไวที่สุดเท่าที่จะทำได้ ซึ่งเป็นสิ่งที่ถูกต้องแล้วสำหรับงาน inference ที่ต้องเสิร์ฟคำตอบให้ผู้ใช้จำนวนมากพร้อมๆ กัน



จุดที่ต้องจับตาคือเรื่องระบบนิเวศซอฟต์แวร์ เพราะชิปแรงแค่ไหน ถ้าเขียนโปรแกรมยากหรือพอร์ตโมเดลจากเฟรมเวิร์กยอดนิยมอย่าง PyTorch ไม่สะดวก ก็ยากที่จะไปแย่งตลาดกับ Nvidia ที่ครองใจนักพัฒนามานาน d-Matrix รู้ดีถึงจุดนี้และดูเหมือนพยายามโชว์ว่าชิปของตนรองรับการทำงานกับเฟรมเวิร์กมาตรฐานได้โดยไม่ต้องเขียนโค้ดใหม่ทั้งหมด ซึ่งถ้าทำได้จริง นี่จะเป็นตัวเกมเชนเจอร์ที่น่ากลัวมาก



อีกเรื่องที่ผมว่าสำคัญไม่แพ้กันคือเรื่องการใช้พลังงาน ในยุคที่ดาตาเซ็นเตอร์ถูกจับตาว่ากินไฟมหาศาล การที่ชิปสามารถลดการวิ่งไปมาของข้อมูลลงได้โดยธรรมชาติ จะช่วยลดค่าใช้จ่ายด้านพลังงานได้อย่างมีนัยสำคัญ และนี่คือจุดขายที่องค์กรใหญ่ๆ กำลังมองหา ไม่ใช่แค่เรื่องความแรงอย่างเดียว แต่เป็นเรื่องต้นทุนต่อการให้บริการหนึ่งครั้งด้วย



💡

Raptor ของ d-Matrix ไม่ได้มาเพื่อโค่นใคร แต่กำลังชี้ให้เห็นว่าทิศทางของชิป AI กำลังเปลี่ยนจาก "ใครคิดเลขเร็วสุด" ไปเป็น "ใครส่งข้อมูลให้ตัวคิดเลขได้ไวสุด" ต่างหาก — ถ้าสตาร์ทอัปหน้าใหม่คิดแบบนี้ได้ ขาประจำอย่าง Nvidia ต้องเริ่มหันมามองหลังตัวเองบ้างแล้ว



ที่มา: Reddit r/hardware — อ่านต้นฉบับ


#AIHardware #Chiplet #InferenceAccelerator

🔗 อ่านต่อ · สินค้าและคำถามที่เกี่ยวข้อง

สินค้ามาแรงตอนนี้

คนขายของถามบ่อย

ความคิดเห็น 4

กำลังโหลดความคิดเห็น...