< Podręcznik użytkownika KDM < Maszyny obliczeniowe < Supernova
| Supernova
|
|
|
| Kontakt
|
| nova @ kdm.wcss.wroc.pl
|
Supernova - klaster zainstalowany w WCSS, włączony w infrastruktury obliczeniowe EGI i PL-Grid. Architektura wszystkich komputerów to x86_64 (Intel Core micro Architecture, EM64T).
Elementy klastra:
- węzeł dostępowy (supernova.wcss.pl),
- węzeł do archiwizacji (archiwum.wcss.pl)
- węzeł serwisowy
- dwa węzły usługowe (darkmass/SE i dwarf/CE),
- 580 węzłów obliczeniowych (wn153 - wn732),
- sieć obliczeniowa - Infiniband DDR fat-tree full-cbb,
- sieć zarządzania - gigabit ethernet.
Zasoby obliczeniowe klastra:
- 6400 rdzeni obliczeniowych,
- >12,5 TB pamięci operacyjnej (2GB/rdzeń)
- ~247 TB przestrzeni dyskowej (40 TB NFS + 207 TB Lustre),
- komunikacja pomiędzy węzłami klastra: przepływność 20Gbps, opóźnienia < 5 us.
Zestawienie
| klaster : |
supernova.wcss.wroc.pl |
|
|
|
| przestrzeń home : |
NFS 10TB |
|
|
|
| przestrzeń scratch : |
Lustre |
|
|
|
| system operacyjny : |
ScientificLinux |
|
|
|
| moc obliczeniowa : |
67,54 TFLOPS |
|
|
|
| węzły : |
dostępowy |
obliczeniowe generacji II (136) |
obliczeniowe generacji III (40) |
obliczeniowe generacji IV (404)
|
| CPU : |
Intel Xeon 5160 3GHz |
Intel Xeon E5345 2.33 GHz |
Intel Xeon L5420 2.5 GHz |
Intel Xeon X5650 2.67 GHz
|
| liczba CPU :
|
2x dual-core
|
2x quad-core
|
2x quad-core
|
2x six-core
|
| cache L2 :
|
4MB
|
8MB
|
12MB
|
12MB
|
| pamięć :
|
16GB
|
16GB
|
16GB
|
24GB
|
Oprogramowanie
- Aplikacje
Abaqus, ABINIT, Accelryss, Amber, ANSYS, ANSYS CFX, ANSYS Fluent, APBS, AutoDock, AutoDock Vina, Cfour, CPMD, CRYSTAL09, Dalton, FDS-SMV, GAMESS, Gaussian, Gromacs, Hmmer, LAMMPS, Materials Studio, Mathematica, Matlab, Meep, MOLCAS, Molden, Molpro, MOPAC, NAMD, NWChem, OpenFOAM, Orca, R, Siesta, TURBOMOLE, Xaim, aplikacje własne użytkowników.
- Kompilatory
GNU GCC, Intel, PGI
- Biblioteki i narzędzia
- MVAPICH2,
- MPIEXEC
- MKL (/opt/intel/mkl/WERSJA/lib/em64t/),
- GotoBLAS2 (/usr/local/GotoBLAS2/),
- ATLAS (/usr/local/atlas/)
- HDF
- Python + SciPy + NumPy
- ...
- System kolejkowania
PBSPro
RSA key fingerprint
d5:85:f7:5a:92:9b:72:7d:d3:74:67:ab:e4:46:28:e9
Zalecenia
- na dysku /home wprowadzone zostały kwoty dyskowe: limit miękki 20GB, limit twardy 35GB, limit czasowy 7 dni; sprawdzenie stanu:
quota
opis systemu kwot:
man quota
- zainstalowane zostały nowe kompilatory Intela oraz nowa biblioteka MKL; oprogramowanie korzystające ze starych bibliotek może nie uruchamiać się lub pracować nieoptymalnie - wymagana jest rekompilacja;
- oprogramowanie zrównoleglone w standardzie MPI musi zostać przekompilowane, aby mogło korzystać z sieci Infiniband; domyślna implementacja MPI to MVAPICH2;
- zadania MPI uruchamiane poprzez sieć Ethernet a nie Infiniband będą zabijane bez ostrzeżenia - sieć Ethernet jest dedykowana dla NFS;
- zadania MPI należy uruchamiać poprzez narzędzie MPIEXEC a nie mpirun;
- oprogramowanie zrównoleglone w innym standardzie niż MPI musi zostać przekonfigurowane - prosimy o kontakt użytkowników takich aplikacji;
- zalecenia dotyczące współdzielonego dysku scratch - Lustre.
Zobacz też