เจาะประเด็น
AI / Tools
Google เปิดให้เห็นถึงระดับ cycle ใน kernel ของ TPU แล้ว งานนี้คนเขียน Pallas ต้องยิ้ม
จากที่เคยเห็น kernel เป็นก้อนดำๆ ใน trace ตอนนี้เห็นทะลุถึงระดับ cycle ได้แล้ว
ทีมข่าว เอไอไทย.com
⏱ อ่าน 3 นาที
การ optimize kernel บน TPU กำลังเปลี่ยนจากงานที่ต้องเดา ไปเป็นงานที่วัดได้จริงในระดับ cycle
ถ้าคุณเคยนั่งไล่ trace ของ TPU แล้วเจอ kernel โผล่มาเป็นก้อนทึบๆ ก้อนเดียว บอกเลยว่าคุณไม่ได้ฝันไป และคุณก็ไม่ได้ทำอะไรผิดด้วย มันเป็นข้อจำกัดของเครื่องมือ profiling ที่มีอยู่เดิมจริงๆ นั่นแหละ
Google เพิ่งประกาศเพิ่ม Kernel Profiling suite เข้าไปใน XProf ซึ่งเป็น profiler แบบ open-source สำหรับงานที่รันบน TPU โดยตรง สิ่งที่เปลี่ยนไปคือ ตอนนี้ developer สามารถเห็นรายละเอียดระดับ cycle (cycle-level) ภายใน custom Pallas kernel ได้แล้ว ไม่ใช่เห็นแค่กล่องทึบๆ อีกต่อไป
ก่อนหน้านี้ เวลาที่คุณเขียน Pallas kernel เองแล้วเอาไปรันบน TPU พอเปิด trace capture ขึ้นมาดู สิ่งที่เห็นคือ kernel ทั้งก้อนถูกแสดงเป็น opaque block ก้อนเดียว คือรู้ว่ามันกินเวลาเท่าไหร่ แต่ไม่รู้ว่าข้างในมันทำอะไร กินเวลาไปกับส่วนไหนบ้าง
ปัญหาคือ Pallas เนี่ย มันเป็นภาษาที่ Google ออกแบบมาให้เขียน kernel สำหรับ TPU และ GPU ได้แบบ low-level มาก พอเขียนเองปุ๊บ การจะรู้ว่ามันช้าตรงไหนก็ต้องอาศัยการคาดเดาเป็นหลัก ซึ่งสำหรับงาน optimization แล้ว นี่มันคือฝันร้ายชัดๆ
การเห็นรายละเอียดระดับ cycle เปลี่ยนเกมตรงที่ คุณไม่ต้องเดาอีกต่อไปแล้วว่า bottleneck อยู่ตรงไหน วัดได้ เห็นได้ แล้วก็แก้ได้ตรงจุด
กลุ่มแรกที่ได้ประโยชน์เต็มๆ คือคนที่เขียน custom Pallas kernel สำหรับงาน TPU อยู่แล้ว — พวกนี้จะได้เครื่องมือที่ช่วยให้ optimize ได้ลึกขึ้นมาก กลุ่มที่สองคือทีมที่ทำ performance engineering บน TPU ซึ่งปกติต้องพึ่งเครื่องมือ profiling ระดับต่ำอยู่แล้ว
ส่วนคนที่ใช้ TPU ผ่าน framework สำเร็จรูปไม่ต้องเขียน kernel เอง อันนี้ก็อาจจะไม่ได้รู้สึกอะไรทันที แต่ถ้า ecosystem ของ Pallas โตขึ้นเรื่อยๆ เพราะมีเครื่องมือ profiling ที่ดีขึ้น ยังไงก็ได้อานิสงส์ทางอ้อมในระยะยาว
และที่สำคัญคือ XProf เป็น open-source อยู่แล้ว การเพิ่ม suite นี้เข้าไปจึงไม่ใช่ฟีเจอร์ที่ล็อกไว้หลัง paywall หรือต้องใช้ผ่านบริการ cloud เท่านั้น ใครอยากลองก็เข้าไปดูได้
พูดตรงๆ นะ เครื่องมือ profiling ที่ดีคือสิ่งที่แยกวงการที่ทำ hardware acceleration จริงจัง ออกจากวงที่แค่ใช้ของสำเร็จรูป เพราะสุดท้ายแล้ว performance ไม่ได้มาจากการซื้อชิปแรงๆ แต่มากจากการเข้าใจว่าชิปทำงานยังไงในระดับลึกสุด
การที่ Google เปิดให้เห็นถึงระดับ cycle ใน Pallas kernel ไม่ใช่แค่การอัปเดตเครื่องมือเล็กๆ แต่คือการยอมรับว่า developer ต้องมีเครื่องมือระดับเดียวกับที่ทีมภายในใช้ ถ้าใครจริงจังกับงาน TPU อยู่แล้ว นี่คือสัญญาณว่าถึงเวลาต้องกลับไปดู kernel ที่ตัวเองเขียนอีกครั้ง
ที่มา: InfoQ AI/ML — อ่านต้นฉบับ
ความคิดเห็น 4
กำลังโหลดความคิดเห็น...