“การมีคอร์เยอะๆ ไม่ได้แปลว่า AI จะฉลาด ถ้าแคชไม่ใหญ่พอจะเอาข้อมูลไปคิดต่อได้ทัน”
เมื่อวานนั่งดูคลิปงาน HOT CHIPS ย้อนหลังไปเรื่อยๆ เพิ่งสะดุดตากับตอนที่ Intel ขึ้นโชว์สเปก Xeon 7 "Diamond Rapids" จังหวะที่เขาขึ้นสไลด์บอกว่า 256 คอร์ ต่อซ็อกเก็ต และแคช L3 รวมกัน 1.28GB คือผมดูอยู่นานมาก เพราะมันไม่ใช่ตัวเลขที่เห็นบ่อยๆ ในฝั่งเซิร์ฟเวอร์ทั่วไป โดยเฉพาะถ้าจำไม่ผิด AMD EPYC รุ่นท็อปๆ ตอนนี้เขาอยู่ที่ 192 คอร์ แล้วก็แคชรวมไม่น่าจะถึงขนาดนี้ เพราะฉะนั้นตัวเลขนี้มันคือการชิงความได้เปรียบด้านสเปกแบบชัดเจนมาก
ที่ผมว่ามันน่าสนใจไม่ใช่แค่จำนวนคอร์ที่เยอะขึ้นนะ แต่เป็นดีไซน์แพ็กเกจที่เขาเปลี่ยนไป เขาบอกว่าใช้แนวคิดแบบ chiplets แต่จัดวางใหม่ให้มี L3 แชร์กันทั้งซ็อกเก็ตได้ถึง 1.28GB ซึ่งปกติแล้วการทำแคชเยอะขนาดนี้ในชิปเซิร์ฟเวอร์มันแพงและยากมากเรื่องความร้อน แต่เขาบอกว่าออกแบบมาเพื่อรับมือกับเวิร์กโหลด AI Agent ในองค์กรโดยเฉพาะ เพราะตอนนี้โมเดลภาษามันใหญ่ขึ้นเรื่อยๆ การที่แคชใหญ่พอจะเก็บพวก KV cache หรือข้อมูลชั่วคราวไว้ในตัวชิปได้ทั้งหมด จะลด latency ไปได้มหาศาล ไม่ต้องวิ่งไปเอาข้อมูลจาก RAM หรือ HBM บ่อยๆ
ส่วนตัวผมมองว่า Intel เริ่มกลับมาคิดถูกแล้วล่ะ เพราะที่ผ่านมาเขามัวแต่ไล่สเปกแรงม้ากับ AMD แล้วแพ้ตลอด แต่รอบนี้เขาจับจุดที่ AI มันต้องการจริงๆ เรื่อง bandwidth กับ capacity มากกว่าแค่เลขคอร์ดิบๆ แต่อย่าลืมว่าการที่มีแคชใหญ่ขนาดนี้ มันก็แลกมาด้วยต้นทุนตายตัวที่สูง และซอฟต์แวร์ต้องปรับตัวให้ใช้ประโยชน์จากแคชใหม่นี้ให้เป็นด้วย ถ้าผู้ใช้ยังรันแอปพลิเคชันแบบเดิมๆ ที่เขียนมาเมื่อห้าปีที่แล้ว ก็อาจจะไม่ได้เห็นความต่างที่ว่านี้เท่าไหร่
อยากถามเพื่อนๆ ในกลุ่มหน่อยว่า ใครที่ดูแลฝั่งเซิร์ฟเวอร์อยู่บ้าง คิดว่าการเพิ่มแคชเป็น 1.28GB เนี่ย มันจะช่วยงานจริงๆ มากกว่าแค่การเพิ่มคอร์เป็น 256 ตัวไหม หรือว่ายังไงก็ต้องรอดูราคาและระบบนิเวศซอฟต์แวร์ก่อนถึงจะตัดสินใจย้ายจาก EPYC หนีมาลองตัวนี้ครับ?
เมื่อวานนั่งดูคลิปงาน HOT CHIPS ย้อนหลังไปเรื่อยๆ เพิ่งสะดุดตากับตอนที่ Intel ขึ้นโชว์สเปก Xeon 7 "Diamond Rapids" จังหวะที่เขาขึ้นสไลด์บอกว่า 256 คอร์ ต่อซ็อกเก็ต และแคช L3 รวมกัน 1.28GB คือผมดูอยู่นานมาก เพราะมันไม่ใช่ตัวเลขที่เห็นบ่อยๆ ในฝั่งเซิร์ฟเวอร์ทั่วไป โดยเฉพาะถ้าจำไม่ผิด AMD EPYC รุ่นท็อปๆ ตอนนี้เขาอยู่ที่ 192 คอร์ แล้วก็แคชรวมไม่น่าจะถึงขนาดนี้ เพราะฉะนั้นตัวเลขนี้มันคือการชิงความได้เปรียบด้านสเปกแบบชัดเจนมาก
ที่ผมว่ามันน่าสนใจไม่ใช่แค่จำนวนคอร์ที่เยอะขึ้นนะ แต่เป็นดีไซน์แพ็กเกจที่เขาเปลี่ยนไป เขาบอกว่าใช้แนวคิดแบบ chiplets แต่จัดวางใหม่ให้มี L3 แชร์กันทั้งซ็อกเก็ตได้ถึง 1.28GB ซึ่งปกติแล้วการทำแคชเยอะขนาดนี้ในชิปเซิร์ฟเวอร์มันแพงและยากมากเรื่องความร้อน แต่เขาบอกว่าออกแบบมาเพื่อรับมือกับเวิร์กโหลด AI Agent ในองค์กรโดยเฉพาะ เพราะตอนนี้โมเดลภาษามันใหญ่ขึ้นเรื่อยๆ การที่แคชใหญ่พอจะเก็บพวก KV cache หรือข้อมูลชั่วคราวไว้ในตัวชิปได้ทั้งหมด จะลด latency ไปได้มหาศาล ไม่ต้องวิ่งไปเอาข้อมูลจาก RAM หรือ HBM บ่อยๆ
ส่วนตัวผมมองว่า Intel เริ่มกลับมาคิดถูกแล้วล่ะ เพราะที่ผ่านมาเขามัวแต่ไล่สเปกแรงม้ากับ AMD แล้วแพ้ตลอด แต่รอบนี้เขาจับจุดที่ AI มันต้องการจริงๆ เรื่อง bandwidth กับ capacity มากกว่าแค่เลขคอร์ดิบๆ แต่อย่าลืมว่าการที่มีแคชใหญ่ขนาดนี้ มันก็แลกมาด้วยต้นทุนตายตัวที่สูง และซอฟต์แวร์ต้องปรับตัวให้ใช้ประโยชน์จากแคชใหม่นี้ให้เป็นด้วย ถ้าผู้ใช้ยังรันแอปพลิเคชันแบบเดิมๆ ที่เขียนมาเมื่อห้าปีที่แล้ว ก็อาจจะไม่ได้เห็นความต่างที่ว่านี้เท่าไหร่
อยากถามเพื่อนๆ ในกลุ่มหน่อยว่า ใครที่ดูแลฝั่งเซิร์ฟเวอร์อยู่บ้าง คิดว่าการเพิ่มแคชเป็น 1.28GB เนี่ย มันจะช่วยงานจริงๆ มากกว่าแค่การเพิ่มคอร์เป็น 256 ตัวไหม หรือว่ายังไงก็ต้องรอดูราคาและระบบนิเวศซอฟต์แวร์ก่อนถึงจะตัดสินใจย้ายจาก EPYC หนีมาลองตัวนี้ครับ?
ความคิดเห็น 0
กำลังโหลดความคิดเห็น...