Možné překrytí výpočtu a transferu

• můžeme posílat tily matice po dopočítání - nemusíme čekat, až všichni

Streamy

• stream = encoder fronta operací, co se mají vykonat

• v rámci 1 streamu vždy v pořadí!!

• mezi streamy je to out-of-order

• asynchronní transfery a pinned memory!

• často více jader cpu se stará každý o 1 stream

• kernel<<<gridDim, blockDim, sharedMemSize, stream>>>()

Překrytí paměťových přenosů

• je fajn za smyčku dát cuda synchronize
• u low level karet se do front vloží, jak voláme v cudě - není překrytí 2 streamů
  • chceme naskládat transfery a kernely 1 po 1 při střídání streamů (vs stream0 a stream1)

Explicitní synchronizace

• Events
  • použije pro měření rychlosti/vykonání kernelu!!!
  • kernel finish - kernel start

Implicitní synchronizace

• rozjetí streamů = umožňuje překrytí přenosů a výpočtů
• implicitní synchronizace toto zabije
• např malloc na hostu toto zabije!
• nedělat kombinace se streamy a bez streamů!! - může rozbít pořadí

Nvidia Graph

• nejde měnit počet bloků / počet vláken

Optimalizace MRI

Loop fission

• štěpení cyklů
• const v parametru - předání jinak přes instrukci (LDU)
• kx[n], ky[n], … se ve warpu vždy natahuje, ale hodnoty jsou konstantní
  • může rozbít do více menších kernelů
• paměť konstant 8kB alokované cache!