- slide 3 - na zkoušku !!
- ADIOS = meta knihovna, je ještě nad ostatními knihovnami, určuje uložení dat a je transparentní
- I/O middleware = přívětivější nastavovaní set_view a podobně
- I/O forwarding
- disky často mimo výpočetní uzly - výpočetní uzly poměrně dost topí, ale disky nemají rádi teplo
- Parallel File System
- NAS není vhodné pro HPC, očekává více uživatelů, ale kdy si každý hrabe do svého
- snaha soubor rozprostřít mezi co nejvíce disků pro zlepšení propustnosti
- několik diskový polích (např nad raid 6)
- řídí zamykání - vá, kdo kam přistupuje - podle toho řídí přístup
- jiná práce s metadaty než u klasického fs
- na zkoušku
- metadata server = řeší metadata, jestli mohu otevřít, kde otevřít, …
- object storage servery = servery starající se o naše data (soubory)
- → fyzicky oddělena metadata a data!
lfs setstripe -S stripe_size -c stripe_count -i stripe_offset file
- pro složku nastaví dané vlastnosti pro složku
- pro soubory ve složce nic nezmění, změna je pouze pro nové soubory
- vždy se zapisuje celý chunk → je potřeba zapisovat konečný celý počet chunků!!
- nad chunky se aplikuje komprese, filtry, CRC, …
- pokud budeme nad datasetem psát malá data
- např pro 100MB matici se už vyplatí
- Dataspace = tvar dat, které chci zapsat
- Memspace → Filespace
- MPI_Datatype → MPI_File_view
- property = když nevíme, použít
H5P_Default
- cache property není reentrantní = není thread-safe!
- V MPI nejsou cache koherentní! (např. otevřeno 2x jednou pro zápis jednou pro čtení)
- z datasetu n-dim desku
- stride v každé dimenzi jinak - rozdíl oproti MPI vector
- sudá = stabilní
- lichá = feature verze
- má 2 verze zároveň