Nvidia Blackwell B200, selefine 4 kat performans farkı attı: Peki gerçekten öyle mi?

Nvidia, Blackwell B200 işlemcisinin ilk MLPerf 4.1 sonuçlarını yayınladı ve bu sonuçlar, yeni Blackwell GPU’nun önceki Hopper mimarili H100 modeline kıyasla dört kat daha yüksek performans sunduğunu gösteriyor. Ancak, bu sonuçlar birkaç önemli noktayı göz önünde bulundurmayı gerektiriyor.

Nvidia’nın yayınladığı verilere göre, Blackwell tabanlı B200 GPU, bir sunucu doğrulama testinde tek bir GPU ile saniyede 10.755 token, çevrimdışı bir referans testinde ise saniyede 11.264 token işlem kapasitesine sahip. Mevcut MLPerf Llama 2 70B kıyaslama sonuçlarına baktığımızda, dört adet Hopper H100 tabanlı bir makinenin benzer sonuçlar elde ettiği görülüyor. Bu da Nvidia’nın, tek bir Blackwell işlemcisinin tek bir Hopper H100 GPU’ya kıyasla yaklaşık 3.7-4 kat daha hızlı olduğunu ortaya koyuyor.

4 katlık hız farkı biraz aldatıcı

Peki bu yüzde 400’e ulaşan makine öğrenimi performans farkı nereden ve nasıl geliyor? İlk olarak, Nvidia’nın Blackwell işlemcisi, beşinci nesil Tensor Core’larıyla FP4 hassasiyetini desteklerken, Hopper tabanlı H100 yalnızca FP8 formatını destekliyor. Haliyle Blackwell’in FP4 performansı, FP8’e kıyasla iki kat daha fazla işleme kapasitesi sunuyor. Bu, dikkate alınması gereken ilk önemli nokta.

İkinci olarak ise Nvidia’nın aslında elma ile armudu kıyaslaması. Firma, tek bir B200 ile dört adet H100’ü kıyaslıyor, bu biraz yanıltıcı. Zira genellikle GPU başına performansı ölçmek için GPU’lar tekil olarak kıyaslanır çünkü, ölçekleme çoğu zaman mükemmel değildir. Bu, CrossFire veya SLI yapıldığında iki ekran kartının performansının tek ekran kartına kıyasla 2X olmaması gibi.

MLPerf 4.1’de tekil halde H100 GPU sonucu bulunmamakta ancak H200 için bulunuyor. Tek bir H200, saniyede 4.488 token işlem kapasitesine ulaşabiliyor, bu da B200’ün 2.5 kat daha hızlı olduğu anlamına geliyor. Bellek kapasitesi ve bant genişliği de önemli. Test edilen B200 GPU, 180 GB HBM3E belleği taşırken, H100 SXM 80 GB HBM (bazı konfigürasyonlarda 96 GB’a kadar) ve H200 96 GB HBM3 ile 144 GB’a kadar HBM3E sunmakta. Dolayısıyla “4 kata kadar” ifadesi, sayı formatı, GPU sayısı ve bellek kapasitesi gibi potansiyel farklılıklardan kaynaklanıyor.