Supernova: Różnice pomiędzy wersjami

Z KdmWiki
Przejdź do nawigacji Przejdź do wyszukiwania
Linia 9: Linia 9:
  
 
Elementy klastra:  
 
Elementy klastra:  
−
* węzeł dostępowy (supernova.wcss.pl),
+
* węzeł dostępowy (supernova.wcss.pl, sn.wcss.pl),
 
* węzeł do archiwizacji (archiwum.wcss.pl)
 
* węzeł do archiwizacji (archiwum.wcss.pl)
 
* węzeł serwisowy
 
* węzeł serwisowy
 
* dwa węzły usługowe (darkmass/SE i dwarf/CE),
 
* dwa węzły usługowe (darkmass/SE i dwarf/CE),
 
* 580 węzłów obliczeniowych (wn153 - wn732),
 
* 580 węzłów obliczeniowych (wn153 - wn732),
−
* sieć obliczeniowa - [[Infiniband]] DDR fat-tree full-cbb,
+
* sieć obliczeniowa - [[Infiniband]] DDR fat-tree full-cbb(pomiędzy węzłami generacji I, II i III), [[Infiniband]] QDR(pomiędzy węzłami IV i Lustre)
 
* sieć zarządzania - gigabit ethernet.
 
* sieć zarządzania - gigabit ethernet.
 
Zasoby obliczeniowe klastra:
 
Zasoby obliczeniowe klastra:
 
* 6400 rdzeni obliczeniowych,
 
* 6400 rdzeni obliczeniowych,
 
* >12,5 TB pamięci operacyjnej (2GB/rdzeń)
 
* >12,5 TB pamięci operacyjnej (2GB/rdzeń)
−
* ~247 TB przestrzeni dyskowej (40 TB NFS + 207 TB [[Lustre]]),
+
* ~525 TB przestrzeni dyskowej (40 TB NFS + 485 TB [[Lustre]]),
 
* komunikacja pomiędzy węzłami klastra: przepływność 20Gbps, opóźnienia < 5 us.
 
* komunikacja pomiędzy węzłami klastra: przepływność 20Gbps, opóźnienia < 5 us.
  
Linia 25: Linia 25:
 
===Zestawienie===
 
===Zestawienie===
 
{|style="vertical-align: top;"
 
{|style="vertical-align: top;"
−
|align="right"|klaster : ||'''supernova.wcss.wroc.pl''' || || ||
+
|align="right"|klaster : ||'''supernova.wcss.wroc.pl''' || || || ||
 
|-style="vertical-align: top;"
 
|-style="vertical-align: top;"
−
|align="right"|przestrzeń&nbsp;home :||NFS 10TB || || ||
+
|align="right"|przestrzeń&nbsp;home :||NFS 10TB || || || ||
 
|-style="vertical-align: top;"
 
|-style="vertical-align: top;"
−
|align="right"|przestrzeń&nbsp;scratch :||[[Lustre]] || || ||
+
|align="right"|przestrzeń&nbsp;scratch :||[[Lustre]] || || || ||
 
|-style="vertical-align: top;"
 
|-style="vertical-align: top;"
−
|align="right"|system&nbsp;operacyjny :||ScientificLinux || || ||
+
|align="right"|system&nbsp;operacyjny :||ScientificLinux || || || ||
 
|-style="vertical-align: top;"
 
|-style="vertical-align: top;"
−
|align="right"|moc&nbsp;obliczeniowa :||'''67,54 TFLOPS''' || || ||
+
|align="right"|moc&nbsp;obliczeniowa :||'''67,54 TFLOPS''' || || || ||
 
|-style="vertical-align: top;"
 
|-style="vertical-align: top;"
−
|align="right"|węzły :||'''dostępowy'''|| '''obliczeniowe generacji II (136)'''||'''obliczeniowe generacji III (40)''' ||'''obliczeniowe generacji IV (404)'''
+
|align="right"|węzły :|| '''obliczeniowe generacji II (136)'''||'''obliczeniowe generacji III (40)''' ||'''obliczeniowe generacji IV (404)''' || '''GPU(3)'''
 
|-style="vertical-align: top;"
 
|-style="vertical-align: top;"
−
|align="right"|CPU : ||Intel Xeon 5160 3GHz ||Intel Xeon E5345 2.33 GHz <br/>(Core-based "Clovertown", 65 nm)|| Intel Xeon L5420 2.5 GHz <br/>(Core-based "Harpertown", 45 nm)||Intel Xeon X5650 2.67 GHz <br/>(Nehalem-based Westmere-EP, 32 nm)
+
|align="right"|CPU :||Intel Xeon E5345 2.33 GHz <br/>(Core-based "Clovertown", 65 nm)|| Intel Xeon L5420 2.5 GHz <br/>(Core-based "Harpertown", 45 nm)||Intel Xeon X5650 2.67 GHz <br/>(Nehalem-based Westmere-EP, 32 nm)||AMD Opteron 6274(6200 series, 32nm)
 
|-style="vertical-align: top;"
 
|-style="vertical-align: top;"
 
|align="right"|liczba&nbsp;CPU :
 
|align="right"|liczba&nbsp;CPU :
−
|2x dual-core
+
|8(2x quad-core)
−
|2x quad-core
+
|8(2x quad-core)
−
|2x quad-core
+
|12(2x six-core)
−
|2x six-core
+
|64(4x sixteen-core)
 
|-style="vertical-align: top;"
 
|-style="vertical-align: top;"
−
|align="right"|cache&nbsp;L2 :
+
|align="right"|cache&nbsp;L1/L2/L3 :
−
|4MB
+
|128KB/8MB/-
−
|8MB
+
|256KB/12MB/-
−
|12MB
+
|64KB/1536KB/12MB
−
|12MB
+
|48KB/1000KB/16MB
 
|-style="vertical-align: top;"
 
|-style="vertical-align: top;"
 
|align="right"|pamięć :
 
|align="right"|pamięć :
−
|16GB
 
 
|16GB
 
|16GB
 
|16GB
 
|16GB
 
|24GB
 
|24GB
−
|-
+
|256GB
 +
|-style="vertical-align: top;"
 +
|align="right"|uwagi :
 +
|dyski lokalne + lustre
 +
|dyski lokalne + lustre
 +
|lustre
 +
|dyski lokalne + lustre + 2x Tesla M2075(448 rdzeni, 6GB pamięci)
 
|}
 
|}
  

Wersja z 13:02, 17 gru 2012

< Podręcznik użytkownika KDM < Maszyny obliczeniowe < Supernova

Supernova
noframe
Kontakt
nova @ kdm.wcss.wroc.pl

Supernova - klaster zainstalowany w WCSS, włączony w infrastruktury obliczeniowe EGI i PL-Grid. Architektura wszystkich komputerów to x86_64 (Intel Core micro Architecture, EM64T).

Elementy klastra:

  • węzeł dostępowy (supernova.wcss.pl, sn.wcss.pl),
  • węzeł do archiwizacji (archiwum.wcss.pl)
  • węzeł serwisowy
  • dwa węzły usługowe (darkmass/SE i dwarf/CE),
  • 580 węzłów obliczeniowych (wn153 - wn732),
  • sieć obliczeniowa - Infiniband DDR fat-tree full-cbb(pomiędzy węzłami generacji I, II i III), Infiniband QDR(pomiędzy węzłami IV i Lustre)
  • sieć zarządzania - gigabit ethernet.

Zasoby obliczeniowe klastra:

  • 6400 rdzeni obliczeniowych,
  • >12,5 TB pamięci operacyjnej (2GB/rdzeń)
  • ~525 TB przestrzeni dyskowej (40 TB NFS + 485 TB Lustre),
  • komunikacja pomiędzy węzłami klastra: przepływność 20Gbps, opóźnienia < 5 us.


Zestawienie

klaster : supernova.wcss.wroc.pl
przestrzeń home : NFS 10TB
przestrzeń scratch : Lustre
system operacyjny : ScientificLinux
moc obliczeniowa : 67,54 TFLOPS
węzły : obliczeniowe generacji II (136) obliczeniowe generacji III (40) obliczeniowe generacji IV (404) GPU(3)
CPU : Intel Xeon E5345 2.33 GHz
(Core-based "Clovertown", 65 nm)		 Intel Xeon L5420 2.5 GHz
(Core-based "Harpertown", 45 nm)		 Intel Xeon X5650 2.67 GHz
(Nehalem-based Westmere-EP, 32 nm)		 AMD Opteron 6274(6200 series, 32nm)
liczba CPU : 8(2x quad-core) 8(2x quad-core) 12(2x six-core) 64(4x sixteen-core)
cache L1/L2/L3 : 128KB/8MB/- 256KB/12MB/- 64KB/1536KB/12MB 48KB/1000KB/16MB
pamięć : 16GB 16GB 24GB 256GB
uwagi : dyski lokalne + lustre dyski lokalne + lustre lustre dyski lokalne + lustre + 2x Tesla M2075(448 rdzeni, 6GB pamięci)

Oprogramowanie

Aplikacje

Abaqus, ABINIT, Accelryss, Amber, ANSYS, ANSYS CFX, ANSYS Fluent, APBS, AutoDock, AutoDock Vina, Cfour, CPMD, CRYSTAL09, Dalton, FDS-SMV, GAMESS, Gaussian, Gromacs, Hmmer, LAMMPS, Materials Studio, Mathematica, Matlab, Meep, MOLCAS, Molden, Molpro, MOPAC, NAMD, NWChem, OpenFOAM, Orca, R, Siesta, TURBOMOLE, Xaim, aplikacje własne użytkowników.

Kompilatory

GNU GCC, Intel, PGI

Biblioteki i narzędzia
  • MVAPICH2,
  • MPIEXEC
  • MKL (/opt/intel/mkl/WERSJA/lib/em64t/),
  • GotoBLAS2 (/usr/local/GotoBLAS2/),
  • ATLAS (/usr/local/atlas/)
  • HDF
  • Python + SciPy + NumPy
  • ...
System kolejkowania

PBSPro

RSA key fingerprint

d5:85:f7:5a:92:9b:72:7d:d3:74:67:ab:e4:46:28:e9

Zalecenia

  • na dysku /home wprowadzone zostały kwoty dyskowe: limit miękki 20GB, limit twardy 35GB, limit czasowy 7 dni; sprawdzenie stanu:
quota

opis systemu kwot: 

man quota
  • zainstalowane zostały nowe kompilatory Intela oraz nowa biblioteka MKL; oprogramowanie korzystające ze starych bibliotek może nie uruchamiać się lub pracować nieoptymalnie - wymagana jest rekompilacja;
  • oprogramowanie zrównoleglone w standardzie MPI musi zostać przekompilowane, aby mogło korzystać z sieci Infiniband; domyślna implementacja MPI to MVAPICH2;
  • zadania MPI uruchamiane poprzez sieć Ethernet a nie Infiniband będą zabijane bez ostrzeżenia - sieć Ethernet jest dedykowana dla NFS;
  • zadania MPI należy uruchamiać poprzez narzędzie MPIEXEC a nie mpirun;
  • oprogramowanie zrównoleglone w innym standardzie niż MPI musi zostać przekonfigurowane - prosimy o kontakt użytkowników takich aplikacji;
  • zalecenia dotyczące współdzielonego dysku scratch - Lustre.

Zobacz też

Maszyny obliczeniowe Bem ⋅ Klaster kampusowy


Źródło: „https://kdm.wcss.pl/w/index.php?title=Supernova&oldid=3708”