Supernova: Różnice pomiędzy wersjami

Wersja z 08:03, 23 gru 2013

< Podręcznik użytkownika KDM < Maszyny obliczeniowe < Supernova

Supernova

Kontakt
nova @ kdm.wcss.wroc.pl

Supernova - klaster zainstalowany w WCSS, włączony w infrastruktury obliczeniowe EGI i PL-Grid. Architektura wszystkich komputerów to x86_64 (Intel Core micro Architecture, EM64T).

Elementy klastra:

węzeł dostępowy (supernova.wcss.pl, sn.wcss.pl),
węzeł do archiwizacji (archiwum.wcss.pl)
2 węzły serwisowe
4 węzły usługowe (darkmass/SE i dwarf/CE, endor/QCG, lalande/UNICORE),
423 węzły obliczeniowe,
sieć obliczeniowa - Infiniband DDR (II i III), Infiniband QDR (pomiędzy węzłami IV i Lustre)
sieć zarządzania - gigabit ethernet.

Zasoby obliczeniowe klastra:

5168 rdzeni obliczeniowych,
>10,4 TB pamięci operacyjnej (2GB/rdzeń, 4GB/rdzeń)
~525 TB przestrzeni dyskowej (40 TB NFS + 485 TB Lustre),
komunikacja pomiędzy węzłami klastra: przepływność 20 lub 40 Gbps (w zależności od klasy węzła), opóźnienia < 5 us.

Zestawienie

klaster :	supernova.wcss.wroc.pl
przestrzeń home :	NFS 10TB
przestrzeń scratch :	Lustre
system operacyjny :	ScientificLinux
moc obliczeniowa :	67,54 TFLOPS
węzły :	obliczeniowe generacji II (2)	obliczeniowe generacji III (14)	obliczeniowe generacji IV (404)	GPU (3)
CPU :	Intel Xeon E5345 2.33 GHz (Core-based "Clovertown", 65 nm)	Intel Xeon L5420 2.5 GHz (Core-based "Harpertown", 45 nm)	Intel Xeon X5650 2.67 GHz (Nehalem-based Westmere-EP, 32 nm)	AMD Opteron 6274(6200 series, 32nm)
liczba CPU :	8(2x quad-core)	8(2x quad-core)	12(2x six-core)	64(4x sixteen-core)
cache L1/L2/L3 :	128KB/8MB/-	256KB/12MB/-	64KB/1536KB/12MB	48KB/1000KB/16MB
pamięć :	16GB	16GB	24GB	256GB
uwagi :	dyski lokalne + lustre	dyski lokalne + lustre	lustre	dyski lokalne + lustre + 2x Tesla M2075(448 rdzeni, 6GB pamięci)

Oprogramowanie

Aplikacje

Abaqus, ABINIT, Accelrys, Amber, ANSYS, ANSYS CFX, ANSYS Fluent, APBS, AutoDock, AutoDock Vina, Cfour, CPMD, CRYSTAL09, Dalton, FDS-SMV, GAMESS, Gaussian, Gromacs, Hmmer, LAMMPS, Materials Studio, Mathematica, Matlab, Meep, MOLCAS, Molden, Molpro, MOPAC, NAMD, NWChem, OpenFOAM, Orca, R, Siesta, TURBOMOLE, Xaim, aplikacje własne użytkowników.

Kompilatory

GNU GCC, Intel, PGI, nvcc

Biblioteki i narzędzia

MVAPICH2,
MPIEXEC,
OpenMPI
MKL (/opt/intel/mkl/WERSJA/lib/em64t/),
GotoBLAS2 (/usr/local/GotoBLAS2/),
ATLAS (/usr/local/atlas/)
HDF
Python + SciPy + NumPy
CUDA
...

System kolejkowania

PBSPro

RSA key fingerprint

d5:85:f7:5a:92:9b:72:7d:d3:74:67:ab:e4:46:28:e9

Zalecenia

na dysku /home wprowadzone zostały kwoty dyskowe: limit miękki 20GB, limit twardy 40GB, limit czasowy 7 dni; sprawdzenie stanu:

quota

opis systemu kwot:

man quota

zainstalowane zostały nowe kompilatory Intela oraz nowa biblioteka MKL; oprogramowanie korzystające ze starych bibliotek może nie uruchamiać się lub pracować nieoptymalnie - wymagana jest rekompilacja;

oprogramowanie zrównoleglone w standardzie MPI musi zostać przekompilowane, aby mogło korzystać z sieci Infiniband; domyślna implementacja MPI to MVAPICH2;

zadania MPI uruchamiane poprzez sieć Ethernet a nie Infiniband będą zabijane bez ostrzeżenia - sieć Ethernet jest dedykowana dla NFS;

zadania MPI należy uruchamiać poprzez narzędzie MPIEXEC a nie mpirun;

oprogramowanie zrównoleglone w innym standardzie niż MPI musi zostać przekonfigurowane - prosimy o kontakt użytkowników takich aplikacji;

zalecenia dotyczące współdzielonego dysku scratch - Lustre.

Zobacz też

Maszyny obliczeniowe	Bem ⋅ Klaster kampusowy

@@ Linia 11: / Linia 11: @@
 * węzeł dostępowy (supernova.wcss.pl, sn.wcss.pl),
 * węzeł do archiwizacji (archiwum.wcss.pl)
-* węzeł serwisowy
+* 2 węzły serwisowe
-* dwa węzły usługowe (darkmass/SE i dwarf/CE),
+* 4 węzły usługowe (darkmass/SE i dwarf/CE, endor/QCG, lalande/UNICORE),
-* 573 węzłów obliczeniowych (wn163 - wn732, tesla1-3),
+* 423 węzły obliczeniowe,
-* sieć obliczeniowa - [[Infiniband]] DDR fat-tree full-cbb(pomiędzy węzłami generacji I, II i III), [[Infiniband]] QDR(pomiędzy węzłami IV i Lustre)
+* sieć obliczeniowa - [[Infiniband]] DDR (II i III), [[Infiniband]] QDR (pomiędzy węzłami IV i Lustre)
 * sieć zarządzania - gigabit ethernet.
 Zasoby obliczeniowe klastra:
-* 6368 rdzeni obliczeniowych,
+* 5168 rdzeni obliczeniowych,
-* >13,5 TB pamięci operacyjnej (2GB/rdzeń, 4GB/rdzeń)
+* >10,4 TB pamięci operacyjnej (2GB/rdzeń, 4GB/rdzeń)
 * ~525 TB przestrzeni dyskowej (40 TB NFS + 485 TB [[Lustre]]),
-* komunikacja pomiędzy węzłami klastra: przepływność 20Gbps, opóźnienia < 5 us.
+* komunikacja pomiędzy węzłami klastra: przepływność 20 lub 40 Gbps (w zależności od klasy węzła), opóźnienia < 5 us.
@@ Linia 35: / Linia 35: @@
 |align="right"|moc&nbsp;obliczeniowa :||'''67,54 TFLOPS''' || || || ||
 |-style="vertical-align: top;"
-|align="right"|węzły :|| '''obliczeniowe generacji II (126)'''||'''obliczeniowe generacji III (40)''' ||'''obliczeniowe generacji IV (404)''' || '''GPU (3)'''
+|align="right"|węzły :|| '''obliczeniowe generacji II (2)'''||'''obliczeniowe generacji III (14)''' ||'''obliczeniowe generacji IV (404)''' || '''GPU (3)'''
 |-style="vertical-align: top;"
 |align="right"|CPU :||Intel Xeon E5345 2.33 GHz <br/>(Core-based "Clovertown", 65 nm)|| Intel Xeon L5420 2.5 GHz <br/>(Core-based "Harpertown", 45 nm)||Intel Xeon X5650 2.67 GHz <br/>(Nehalem-based Westmere-EP, 32 nm)||AMD Opteron 6274(6200 series, 32nm)