เจาะประเด็น
Hardware
NVIDIA อ้าง Rubin แรงกว่า GB300 NVL72 ถึง 30 เท่าต่อเมกะวัตต์ แต่ตัวเลขนี้ยังไม่ผ่านใครตรวจ
Hot Chips ปีนี้ไม่มีใครคุยเรื่องชิปเปล่าๆ อีกแล้ว ทุกเจ้ามาเป็นแร็ค และตัวเลขที่ต้องจับตาคือวัตต์ ไม่ใช่ FLOPS
ทีมข่าว เอไอไทย.com
⏱ อ่าน 6 นาที
ถ้าตัวเลข 30 เท่ามันวัดที่จุด interactivity ที่เลือกเอง คำถามจริงคือ แล้วถ้าเปลี่ยนจุดวัดล่ะ เหลือกี่เท่า
งาน Hot Chips ปีนี้เปลี่ยนโฉมไปเลย คือแทบไม่มีใครนำเสนอ GPU แบบเดี่ยวๆ อีกแล้ว ทุกเจ้าขึ้นเวทีพร้อม "แร็ค" ทั้งแร็ค แล้วมองชิปเป็นแค่ชิ้นส่วนหนึ่งในนั้น ซึ่งหมายความว่าเฟรมการวัดผลก็เปลี่ยนตามไปด้วย — ไม่ใช่ FLOPS ต่อชิปแล้ว แต่เป็นวัตต์ต่อแร็ค ต่อตู้ ต่อโรงงานทั้งโรง
และเจ้าแรกที่ตีความใหม่ได้ชัดที่สุดก็คือ NVIDIA ที่ประกาศว่าเป้าหมายของ Rubin ไม่ใช่ตัวเลข FLOPS แต่เป็น "token revenue" วัดกันที่ tokens ต่อวินาที ต่อเมกะวัตต์ ณ ระดับ interactivity ที่กำหนดของคนใช้ พร้อมตัวชี้วัดประกอบอีกชุด — time to first token, mean time between interruptions และอายุการใช้งานจริงของแร็ค
ที่ระดับ 100 เมกะวัตต์ของ AI factory NVIDIA เคลมว่าได้ NVFP4 inference 2 zettaFLOPS, HBM4 11 PB และแบนด์วิดท์ HBM 800 PB/s ส่วนตัวเลข 30 เท่าต่อเมกะวัตต์เมื่อเทียบกับ GB300 NVL72 นั้นมาจาก agentic benchmark ตัวหนึ่ง
ประเด็นสำคัญคือ — NVIDIA เองติดป้ายตัวเลขนี้ว่า "unofficial" และรอ third-party review อยู่ นี่คือการยอมรับตรงๆ ว่ายังไม่มีใครตรวจสอบได้ และมันก็คือจุดที่ผมอยากให้ทุกคนจับตา เพราะจุด interactivity ที่ใช้ตอนวัดนี่แหละที่จะตัดสินว่าผลลัพธ์สุดท้ายออกมาเท่าไหร่
ฝั่ง interconnect NVIDIA ใช้ NVLink 6 วิ่ง 3.6 TB/s แบบ all-to-all ต่อ GPU ในโดเมน 72 GPU เทียบกับ Ethernet scale-up แล้วเคลมว่า latency ต่ำกว่า 3 เท่า, packet rate สูงกว่า 10 เท่า, in-network compute มากกว่า 4 เท่า และใช้ receiver-side counter แทน membar round trip สำหรับ sync ระหว่าง GPU
ส่วนเรื่องแร็ค NVIDIA บอกว่ารองรับน้ำเข้า 45 องศาเซลเซียส, จ่ายไฟ 800 VDC, MGX tray แบบไม่มีสายไม่มีพัดลม และมีระบบ power smoothing ที่ลดพีคตอนเทรนได้ 13% รวมกันแล้ว NVIDIA อ้างว่าได้ GPU ต่อวัตต์ที่ provision ไว้เพิ่มขึ้นถึง 40%
AMD ขึ้นมาพร้อม MI455X ที่ประกอบจาก N2 compute die 8 ตัว hybrid-bonded ลงบน N3P fabric-and-cache die 2 ตัว บวก I/O die อีก 2 ตัวบน CoWoS-L พร้อม HBM4 432 GB ที่ 23.3 TB/s และ MXFP4 40.26 PF เอามาใส่ Helios 72 ตัวก็ได้ 2.9 EFLOPS, HBM4 31 TB, 1.7 PB/s
fabric ของ AMD คือ UALink บน Ethernet ตามมาตรฐานเปิด ESUN ใช้สวิตช์ของ Broadcom GPU ตัวไหนก็เข้าไป load/store HBM ของตัวอื่นได้ทั้งแร็คที่ 1.8 TB/s ต่อ GPU ต่อทิศทาง และใน failure walkthrough ที่เขาสาธิต DMA traffic ก็ rebalance ได้เองทั้งตอนลิงก์ตายและตอนดึง switch tray ทั้งใบออก — อันนี้คือส่วนที่ผมว่าสนใจที่สุดในเซสชันของ AMD
ฝั่ง Intel มาพร้อม Crescent Island การ์ด PCIe ระบายความร้อนด้วยอากาศ 32 Xe3P core กินไฟ 350 วัตต์ รองรับ LPDDR5X สูงสุด 480 GB และ scale ผ่าน PCIe Gen5 switching
แต่ที่ Intel ทำได้ดีที่สุดไม่ใช่ตัวการ์ด — มันคือการวิเคราะห์ที่รองรับการตัดสินใจสร้างการ์ดใบนี้ ข้อมูลบอกว่าไบต์ที่โมเดลต้องถือไว้โตขึ้นประมาณ 7.5 เท่าจาก Llama 2 70B ไป Kimi K2 1T (นับจาก config file ที่เผยแพร่ ไม่รวม KV) แต่ในห้วงเดียวกัน ไบต์ที่ต้องอ่านต่อ token กลับลดลงประมาณ 4.4 เท่า เพราะโมเดล MoE เปิดใช้ตัวเองแค่เสี้ยวเดียวต่อ token หนึ่งครั้ง
โมเดลโตเร็ว แต่ bandwidth ที่ต้องใช้ต่อ token ลดลง
จาก Llama 2 70B ถึง Kimi K2 1T ไบต์ที่ต้องถือโต 7.5 เท่า แต่ไบต์ที่อ่านต่อ token ลด 4.4 เท่า เพราะ MoE activate แค่บางส่วน
Speculative decoding ช่วยซ้ำ
โมเดล MoE ระดับ frontier รับได้ 2.9-4.9 token ต่อการ verify หนึ่งรอบ จากข้อมูล LMSYS SpecBundle EAGLE-3 ที่ batch 8
สองข้อนี้รวมกันแล้วอธิบายการ์ดที่มีแรมเยอะแต่ bandwidth พอประมาณ ซึ่งก็คือสิ่งที่ Intel สร้างนั่นเอง
ผมมองว่าอาร์กิวเมนต์ของ Intel คือของที่เอาไปใช้ต่อได้จริงที่สุดในวันนั้น และมันจะยังจริงไม่ว่าการ์ดของเขาจะรอดหรือไม่ ส่วนตัวเลข 30 เท่าของ NVIDIA ต้องรอคนอื่นตรวจ เพราะจุด interactivity ที่เลือกวัดเป็นตัวตัดสินผลเกือบทั้งหมด และ fabric ของ AMD ก็เป็นคำตอบแบบเปิดมาตรฐานที่ตรงข้ามกับ NVLink ชัดเจน
ที่มา: Reddit r/hardware — อ่านต้นฉบับ
ความคิดเห็น 4
กำลังโหลดความคิดเห็น...