Supernova: Różnice pomiędzy wersjami

Wersja z 12:46, 28 cze 2011

< Podręcznik użytkownika KDM < Maszyny obliczeniowe

!	Klaster Nova jest w trakcie rozbudowy. Lista dostępnych aplikacji jest sukcesywnie uzupełniania.

Nova

Kontakt
nova @ kdm.wcss.wroc.pl

Nova - klaster zainstalowany w WCSS, włączony w infrastruktury obliczeniowe EGI i PL-Grid. Architektura wszystkich komputerów to x86_64 (Intel Core micro Architecture, EM64T).

Elementy klastra:

węzeł dostępowy (nova),
dwa węzły usługowe (darkmass/SE i dwarf/CE),
580 węzłów obliczeniowych (wn153 - wn732),
sieć obliczeniowa - Infiniband DDR fat-tree full-cbb,
sieć zarządzania - gigabit ethernet.

Zasoby obliczeniowe klastra:

6256 rdzeni obliczeniowych,
>12,5 TB pamięci operacyjnej (2GB/rdzeń)
~100 TB przestrzeni dyskowej (NFS + Lustre),
komunikacja pomiędzy węzłami klastra: przepływność 20Gbps, opóźnienia < 5 us.

Zestawienie

klaster :	nova.wcss.wroc.pl
przestrzeń home :	NFS 10TB
przestrzeń scratch :	Lustre
system operacyjny :	ScientificLinux
moc obliczeniowa :	67,54 TFLOPS
węzły :	dostępowy	obliczeniowe generacji II (136)	obliczeniowe generacji III (40)	obliczeniowe generacji IV (404)
CPU :	Intel Xeon 5160 3GHz	Intel Xeon E5345 2.33 GHz	Intel Xeon L5420 2.5 GHz	Intel Xeon X5650 2.67 GHz
liczba CPU :	2x dual-core	2x quad-core	2x quad-core	2x six-core
cache L2 :	4MB	8MB	12MB	12MB
pamięć :	16GB	16GB	16GB	24GB

Oprogramowanie

Aplikacje

ABINIT, ANSYS Fluent, Amber, APBS, Autodock, CAMFR, Cfour, CPMD, CRYSTAL09, Dalton, FDS-SMV, GAMESS, Gaussian, Gromacs, Hmmer, LAMMPS, Materials Studio, Matlab, Meep, MOLCAS, Molden, Molpro, MOPAC, NAMD, NWChem, OpenFOAM, R, TURBOMOLE, aplikacje własne użytkowników.

Kompilatory

GNU GCC, Intel, PGI

Biblioteki i narzędzia

MVAPICH2,
MPIEXEC
MKL (/opt/intel/mkl/WERSJA/lib/em64t/),
GotoBLAS2 (/usr/local/GotoBLAS2/),
ATLAS (/usr/local/atlas/)
HDF
Python + SciPy + NumPy
...

System kolejkowania

PBS

RSA key fingerprint

d5:85:f7:5a:92:9b:72:7d:d3:74:67:ab:e4:46:28:e9

Zalecenia

na dysku /home wprowadzone zostały kwoty dyskowe: limit miękki 20GB, limit twardy 25GB, limit czasowy 7 dni; sprawdzenie stanu:

quota

opis systemu kwot:

man quota

zainstalowane zostały nowe kompilatory Intela oraz nowa biblioteka MKL; oprogramowanie korzystające ze starych bibliotek może nie uruchamiać się lub pracować nieoptymalnie - wymagana jest rekompilacja;

oprogramowanie zrównoleglone w standardze MPI musi zostać przekompilowane, aby mogło korzystać z sieci Infiniband; domyślna implementacja MPI to MVAPICH1;

zadania MPI uruchamiane poprzez sieć Ethernet a nie Infiniband bądą zabijane bez ostrzeżenia - sieć Ethernet jest dedykowana dla NFS;

zadania MPI należy uruchamiac poprzez narzędzie MPIEXEC a nie mpirun;

oprogramowanie zrównoleglone w innym standardze niż MPI musi zostać przekonfigurowane - prosimy o kontakt użytkownikow takich aplikacji;

zalecenia dotyczące współdzielonego dysku scratch - Lustre

Zobacz też

Maszyny obliczeniowe	Bem ⋅ Klaster kampusowy

@@ Linia 11: / Linia 11: @@
 * węzeł dostępowy (nova),
 * dwa węzły usługowe (darkmass/SE i dwarf/CE),
-* 732 węzły obliczeniowe (wn001 - wn732),
+* 580 węzłów obliczeniowych (wn153 - wn732),
 * sieć obliczeniowa - [[Infiniband]] DDR fat-tree full-cbb,
 * sieć zarządzania - gigabit ethernet.
 Zasoby obliczeniowe klastra:
-* 6864 rdzeni obliczeniowych,
+* 6256 rdzeni obliczeniowych,
-* >13 TB pamięci operacyjnej (2GB/rdzeń)
+* >12,5 TB pamięci operacyjnej (2GB/rdzeń)
 * ~100 TB przestrzeni dyskowej (NFS + [[Lustre]]),
 * komunikacja pomiędzy węzłami klastra: przepływność 20Gbps, opóźnienia < 5 us.