17/03/30 15:12:31.41 Nt2/Zeo5.net
>>813
「PCIe接続」だけならまだわかるんだがNaplesの場合はその
PCIe間のデータのやり取りに明らかにネックがあるんだよな
16レーンずつPCIeコントローラが分かれて、GPU同士でデータ交換するのにダイ間インターコネクトを跨がないといけない。
GPU0からGPU2にデータ転送をするとしよう。
Naplesのダイ間接続がリング型とすると
GPU0→CPU0→CPU1→CPU2→GPU2
みたいな経路になる。
Infinity Fabricは同じダイのCCX間で最大51.2GB/s、別ダイ間で1リンクあたり最大の25.6GB/s
GPU同士の通信だけじゃなくてCPU間でも通信するだろうしここがネックになるなずだ。
もちろんNVLinkはGPU同士を直接リンクするからGPU同士の通信にはホスト帯域を圧迫しない。