Supernova
Przejdź do nawigacji
Przejdź do wyszukiwania
The printable version is no longer supported and may have rendering errors. Please update your browser bookmarks and please use the default browser print function instead.
< Podręcznik użytkownika KDM < Maszyny obliczeniowe < Supernova
| ! | Przerwa serwisowa klastra: 13 sierpnia - 21 sierpnia 2015 |
| Supernova |
|---|
 |
| Kontakt |
| kdm@wcss.pl |
Supernova - klaster zainstalowany w WCSS, włączony w infrastruktury obliczeniowe EGI i PL-Grid. Architektura wszystkich komputerów to x86_64 (Intel Core micro Architecture, EM64T).
Elementy klastra:
- węzeł dostępowy (supernova.wcss.pl, sn.wcss.pl),
- węzeł do archiwizacji (archiwum.wcss.pl)
- 2 węzły serwisowe
- 4 węzły usługowe (darkmass/SE i dwarf/CE, endor/QCG, lalande/UNICORE),
- 423 węzły obliczeniowe,
- sieć obliczeniowa - Infiniband DDR (II i III), Infiniband QDR (pomiędzy węzłami IV i Lustre)
- sieć zarządzania - gigabit ethernet.
Zasoby obliczeniowe klastra:
- 5168 rdzeni obliczeniowych,
- >10,4 TB pamięci operacyjnej (2GB/rdzeń, 4GB/rdzeń)
- ~525 TB przestrzeni dyskowej (40 TB NFS + 485 TB Lustre),
- komunikacja pomiędzy węzłami klastra: przepływność 20 lub 40 Gbps (w zależności od klasy węzła), opóźnienia < 5 us.
Zestawienie
| klaster : | supernova.wcss.wroc.pl | ||||
| przestrzeń home : | NFS 10TB | ||||
| przestrzeń scratch : | Lustre | ||||
| system operacyjny : | ScientificLinux | ||||
| moc obliczeniowa : | 67,54 TFLOPS | ||||
| węzły : | obliczeniowe generacji II (2) | obliczeniowe generacji III (14) | obliczeniowe generacji IV (404) | GPU (3) | |
| CPU : | Intel Xeon E5345 2.33 GHz (Core-based "Clovertown", 65 nm) |
Intel Xeon L5420 2.5 GHz (Core-based "Harpertown", 45 nm) |
Intel Xeon X5650 2.67 GHz (Nehalem-based Westmere-EP, 32 nm) |
AMD Opteron 6274(6200 series, 32nm) | |
| liczba CPU : | 8(2x quad-core) | 8(2x quad-core) | 12(2x six-core) | 64(4x sixteen-core) | |
| cache L1/L2/L3 : | 128KB/8MB/- | 256KB/12MB/- | 64KB/1536KB/12MB | 48KB/1000KB/16MB | |
| pamięć : | 16GB | 16GB | 24GB | 256GB | |
| uwagi : | dyski lokalne + lustre | dyski lokalne + lustre | lustre | dyski lokalne + lustre + 2x Tesla M2075(448 rdzeni, 6GB pamięci) |
Oprogramowanie
- Aplikacje
Abaqus, ABINIT, Accelrys, Amber, ANSYS, ANSYS CFX, ANSYS Fluent, APBS, AutoDock, AutoDock Vina, Cfour, CPMD, CRYSTAL09, Dalton, FDS-SMV, GAMESS, Gaussian, Gromacs, Hmmer, LAMMPS, Materials Studio, Mathematica, Matlab, Meep, MOLCAS, Molden, Molpro, MOPAC, NAMD, NWChem, OpenFOAM, Orca, R, Siesta, TURBOMOLE, Xaim, aplikacje własne użytkowników.
- Kompilatory
- Biblioteki i narzędzia
- MVAPICH2,
- MPIEXEC,
- OpenMPI
- MKL (/opt/intel/mkl/WERSJA/lib/em64t/),
- GotoBLAS2 (/usr/local/GotoBLAS2/),
- ATLAS (/usr/local/atlas/)
- HDF
- Python + SciPy + NumPy
- CUDA
- ...
- System kolejkowania
RSA key fingerprint
d5:85:f7:5a:92:9b:72:7d:d3:74:67:ab:e4:46:28:e9
Zalecenia
- na dysku /home wprowadzone zostały kwoty dyskowe: limit miękki 20GB, limit twardy 40GB, limit czasowy 7 dni; sprawdzenie stanu:
quota
opis systemu kwot:
man quota
- zainstalowane zostały nowe kompilatory Intela oraz nowa biblioteka MKL; oprogramowanie korzystające ze starych bibliotek może nie uruchamiać się lub pracować nieoptymalnie - wymagana jest rekompilacja;
- oprogramowanie zrównoleglone w standardzie MPI musi zostać przekompilowane, aby mogło korzystać z sieci Infiniband; domyślna implementacja MPI to MVAPICH2;
- zadania MPI uruchamiane poprzez sieć Ethernet a nie Infiniband będą zabijane bez ostrzeżenia - sieć Ethernet jest dedykowana dla NFS;
- zadania MPI należy uruchamiać poprzez narzędzie MPIEXEC a nie mpirun;
- oprogramowanie zrównoleglone w innym standardzie niż MPI musi zostać przekonfigurowane - prosimy o kontakt użytkowników takich aplikacji;
- zalecenia dotyczące współdzielonego dysku scratch - Lustre.
Zobacz też
| Maszyny obliczeniowe | Bem ⋅ Klaster kampusowy |
|---|