Supernova: Różnice pomiędzy wersjami
Przejdź do nawigacji
Przejdź do wyszukiwania
m (→Oprogramowanie) |
m |
||
(Nie pokazano 4 wersji utworzonych przez 2 użytkowników) | |||
Linia 1: | Linia 1: | ||
<small>< [[Podręcznik użytkownika KDM]] < [[Maszyny obliczeniowe]] < Supernova</small> | <small>< [[Podręcznik użytkownika KDM]] < [[Maszyny obliczeniowe]] < Supernova</small> | ||
<!--{{note|Klaster jest chwilowo niedostępny - trwa przerwa serwisowa, podłączane są nowe zasoby. Przepraszamy za niedogodności.}} --> | <!--{{note|Klaster jest chwilowo niedostępny - trwa przerwa serwisowa, podłączane są nowe zasoby. Przepraszamy za niedogodności.}} --> | ||
+ | {{note|Przerwa serwisowa klastra: 13 sierpnia - 21 sierpnia 2015}} | ||
{{serwer | {{serwer | ||
|nazwa=Supernova | |nazwa=Supernova | ||
|zdjęcie=Nova 2011 01.jpg | |zdjęcie=Nova 2011 01.jpg | ||
− | |admini= | + | |admini=kdm@wcss.pl |
}} | }} | ||
'''Supernova''' - klaster zainstalowany w [[WCSS]], włączony w infrastruktury obliczeniowe EGI i PL-Grid. Architektura wszystkich komputerów to x86_64 (Intel Core micro Architecture, EM64T). | '''Supernova''' - klaster zainstalowany w [[WCSS]], włączony w infrastruktury obliczeniowe EGI i PL-Grid. Architektura wszystkich komputerów to x86_64 (Intel Core micro Architecture, EM64T). | ||
Linia 11: | Linia 12: | ||
* węzeł dostępowy (supernova.wcss.pl, sn.wcss.pl), | * węzeł dostępowy (supernova.wcss.pl, sn.wcss.pl), | ||
* węzeł do archiwizacji (archiwum.wcss.pl) | * węzeł do archiwizacji (archiwum.wcss.pl) | ||
− | * | + | * 2 węzły serwisowe |
− | * | + | * 4 węzły usługowe (darkmass/SE i dwarf/CE, endor/QCG, lalande/UNICORE), |
− | * | + | * 423 węzły obliczeniowe, |
− | * sieć obliczeniowa - [[Infiniband]] DDR | + | * sieć obliczeniowa - [[Infiniband]] DDR (II i III), [[Infiniband]] QDR (pomiędzy węzłami IV i Lustre) |
* sieć zarządzania - gigabit ethernet. | * sieć zarządzania - gigabit ethernet. | ||
Zasoby obliczeniowe klastra: | Zasoby obliczeniowe klastra: | ||
− | * | + | * 5168 rdzeni obliczeniowych, |
− | * > | + | * >10,4 TB pamięci operacyjnej (2GB/rdzeń, 4GB/rdzeń) |
* ~525 TB przestrzeni dyskowej (40 TB NFS + 485 TB [[Lustre]]), | * ~525 TB przestrzeni dyskowej (40 TB NFS + 485 TB [[Lustre]]), | ||
− | * komunikacja pomiędzy węzłami klastra: przepływność | + | * komunikacja pomiędzy węzłami klastra: przepływność 20 lub 40 Gbps (w zależności od klasy węzła), opóźnienia < 5 us. |
Linia 35: | Linia 36: | ||
|align="right"|moc obliczeniowa :||'''67,54 TFLOPS''' || || || || | |align="right"|moc obliczeniowa :||'''67,54 TFLOPS''' || || || || | ||
|-style="vertical-align: top;" | |-style="vertical-align: top;" | ||
− | |align="right"|węzły :|| '''obliczeniowe generacji II ( | + | |align="right"|węzły :|| '''obliczeniowe generacji II (2)'''||'''obliczeniowe generacji III (14)''' ||'''obliczeniowe generacji IV (404)''' || '''GPU (3)''' |
|-style="vertical-align: top;" | |-style="vertical-align: top;" | ||
|align="right"|CPU :||Intel Xeon E5345 2.33 GHz <br/>(Core-based "Clovertown", 65 nm)|| Intel Xeon L5420 2.5 GHz <br/>(Core-based "Harpertown", 45 nm)||Intel Xeon X5650 2.67 GHz <br/>(Nehalem-based Westmere-EP, 32 nm)||AMD Opteron 6274(6200 series, 32nm) | |align="right"|CPU :||Intel Xeon E5345 2.33 GHz <br/>(Core-based "Clovertown", 65 nm)|| Intel Xeon L5420 2.5 GHz <br/>(Core-based "Harpertown", 45 nm)||Intel Xeon X5650 2.67 GHz <br/>(Nehalem-based Westmere-EP, 32 nm)||AMD Opteron 6274(6200 series, 32nm) | ||
Linia 73: | Linia 74: | ||
;Biblioteki i narzędzia | ;Biblioteki i narzędzia | ||
* [[MVAPICH2]], | * [[MVAPICH2]], | ||
− | * [[MPIEXEC]] | + | * [[MPIEXEC]], |
+ | * OpenMPI | ||
* [[MKL]] (/opt/intel/mkl/WERSJA/lib/em64t/), | * [[MKL]] (/opt/intel/mkl/WERSJA/lib/em64t/), | ||
* GotoBLAS2 (/usr/local/GotoBLAS2/), | * GotoBLAS2 (/usr/local/GotoBLAS2/), | ||
Linia 112: | Linia 114: | ||
*[[Przekierowanie wyświetlania]] | *[[Przekierowanie wyświetlania]] | ||
*[[Galeria zdjęć (Nova)]] | *[[Galeria zdjęć (Nova)]] | ||
− | |||
{{maszyny obliczeniowe}} | {{maszyny obliczeniowe}} |
Aktualna wersja na dzień 10:58, 27 lip 2015
< Podręcznik użytkownika KDM < Maszyny obliczeniowe < Supernova
! | Przerwa serwisowa klastra: 13 sierpnia - 21 sierpnia 2015 |
Supernova |
---|
Kontakt |
kdm@wcss.pl |
Supernova - klaster zainstalowany w WCSS, włączony w infrastruktury obliczeniowe EGI i PL-Grid. Architektura wszystkich komputerów to x86_64 (Intel Core micro Architecture, EM64T).
Elementy klastra:
- węzeł dostępowy (supernova.wcss.pl, sn.wcss.pl),
- węzeł do archiwizacji (archiwum.wcss.pl)
- 2 węzły serwisowe
- 4 węzły usługowe (darkmass/SE i dwarf/CE, endor/QCG, lalande/UNICORE),
- 423 węzły obliczeniowe,
- sieć obliczeniowa - Infiniband DDR (II i III), Infiniband QDR (pomiędzy węzłami IV i Lustre)
- sieć zarządzania - gigabit ethernet.
Zasoby obliczeniowe klastra:
- 5168 rdzeni obliczeniowych,
- >10,4 TB pamięci operacyjnej (2GB/rdzeń, 4GB/rdzeń)
- ~525 TB przestrzeni dyskowej (40 TB NFS + 485 TB Lustre),
- komunikacja pomiędzy węzłami klastra: przepływność 20 lub 40 Gbps (w zależności od klasy węzła), opóźnienia < 5 us.
Zestawienie
klaster : | supernova.wcss.wroc.pl | ||||
przestrzeń home : | NFS 10TB | ||||
przestrzeń scratch : | Lustre | ||||
system operacyjny : | ScientificLinux | ||||
moc obliczeniowa : | 67,54 TFLOPS | ||||
węzły : | obliczeniowe generacji II (2) | obliczeniowe generacji III (14) | obliczeniowe generacji IV (404) | GPU (3) | |
CPU : | Intel Xeon E5345 2.33 GHz (Core-based "Clovertown", 65 nm) |
Intel Xeon L5420 2.5 GHz (Core-based "Harpertown", 45 nm) |
Intel Xeon X5650 2.67 GHz (Nehalem-based Westmere-EP, 32 nm) |
AMD Opteron 6274(6200 series, 32nm) | |
liczba CPU : | 8(2x quad-core) | 8(2x quad-core) | 12(2x six-core) | 64(4x sixteen-core) | |
cache L1/L2/L3 : | 128KB/8MB/- | 256KB/12MB/- | 64KB/1536KB/12MB | 48KB/1000KB/16MB | |
pamięć : | 16GB | 16GB | 24GB | 256GB | |
uwagi : | dyski lokalne + lustre | dyski lokalne + lustre | lustre | dyski lokalne + lustre + 2x Tesla M2075(448 rdzeni, 6GB pamięci) |
Oprogramowanie
- Aplikacje
Abaqus, ABINIT, Accelrys, Amber, ANSYS, ANSYS CFX, ANSYS Fluent, APBS, AutoDock, AutoDock Vina, Cfour, CPMD, CRYSTAL09, Dalton, FDS-SMV, GAMESS, Gaussian, Gromacs, Hmmer, LAMMPS, Materials Studio, Mathematica, Matlab, Meep, MOLCAS, Molden, Molpro, MOPAC, NAMD, NWChem, OpenFOAM, Orca, R, Siesta, TURBOMOLE, Xaim, aplikacje własne użytkowników.
- Kompilatory
- Biblioteki i narzędzia
- MVAPICH2,
- MPIEXEC,
- OpenMPI
- MKL (/opt/intel/mkl/WERSJA/lib/em64t/),
- GotoBLAS2 (/usr/local/GotoBLAS2/),
- ATLAS (/usr/local/atlas/)
- HDF
- Python + SciPy + NumPy
- CUDA
- ...
- System kolejkowania
RSA key fingerprint
d5:85:f7:5a:92:9b:72:7d:d3:74:67:ab:e4:46:28:e9
Zalecenia
- na dysku /home wprowadzone zostały kwoty dyskowe: limit miękki 20GB, limit twardy 40GB, limit czasowy 7 dni; sprawdzenie stanu:
quota
opis systemu kwot:
man quota
- zainstalowane zostały nowe kompilatory Intela oraz nowa biblioteka MKL; oprogramowanie korzystające ze starych bibliotek może nie uruchamiać się lub pracować nieoptymalnie - wymagana jest rekompilacja;
- oprogramowanie zrównoleglone w standardzie MPI musi zostać przekompilowane, aby mogło korzystać z sieci Infiniband; domyślna implementacja MPI to MVAPICH2;
- zadania MPI uruchamiane poprzez sieć Ethernet a nie Infiniband będą zabijane bez ostrzeżenia - sieć Ethernet jest dedykowana dla NFS;
- zadania MPI należy uruchamiać poprzez narzędzie MPIEXEC a nie mpirun;
- oprogramowanie zrównoleglone w innym standardzie niż MPI musi zostać przekonfigurowane - prosimy o kontakt użytkowników takich aplikacji;
- zalecenia dotyczące współdzielonego dysku scratch - Lustre.
Zobacz też
Maszyny obliczeniowe | Bem ⋅ Klaster kampusowy |
---|