- problém = generuje se extrémně velké množství dat
- 3 úrovně hierarchie - ssd, disky (raid 6), pásky
- často = natáhni data ze vzdáleného úložiště na lokální scratch buffer
- rychlost zápisu 500 MB/s
- stripe = +- 1MB
- zápis velkých dat = souvislé bloky dat, rozdělené na 1MB
- pouze 1 rank může zapisovat, stará se pouze o I/O
- všechny I/O operace jdou přes něj
- 1 síťovka tohoto ranku je úzkým hrdlem!
- do jistého okamžiku nejrychlejší způsob!
- simulace, kdy každých n kroků je checkpoint! = nejlepší možnost
- zahlcení FS tvorbou velkého množství souborů, prealokace dat do souboru = další zahlcení
- musí se dát pozor, aby se nezapisovalo na stejné části paměti
- kolektivní operace!
- pro jednotlivé operace = vytáhnu které chci do vlastního komunikátoru
MPI_MODE_SEQUANTIAL = hodí se pro pásky