Jak korzystać z kolejek PBS: Różnice pomiędzy wersjami

Z KdmWiki
Przejdź do nawigacji Przejdź do wyszukiwania
 
(Nie pokazano 52 wersji utworzonych przez 6 użytkowników)
Linia 1: Linia 1:
 
<small>< [[Podręcznik użytkownika KDM]] < [[System kolejkowy]] < Jak korzystać z kolejek PBS</small>
 
<small>< [[Podręcznik użytkownika KDM]] < [[System kolejkowy]] < Jak korzystać z kolejek PBS</small>
 
== Kolejki ==
 
== Kolejki ==
Uruchamianie obliczeń na klastrze [[Supernova]] odbywa się w ramach kolejek, które różnią się między sobą priorytetem, limitami czy prawami dostępu (a czasem również dostępnymi zasobami):
+
Na klastrze [[Bem]] zadaniami obliczeniowymi zarządza system kolejkowania [[PBSPro]].
* '''short6h''' - kolejka o wysokim priorytecie na krótkie zadania
+
 
** limit czasu procesora: 6 h
+
Uruchamianie obliczeń odbywa się w ramach kolejek, które różnią się między sobą priorytetem, limitami czy prawami dostępu (a czasem również dostępnymi zasobami).
* '''short48h''' - kolejka o wysokim priorytecie na krótkie zadania
+
 
** limit czasu procesora: 48 h
+
Uruchamianie typowych obliczeń na klastrze Bem nie wymaga podawania kolejki, gdyż wyboru odpowiedniej kolejki dokonuje system kolejkowy na podstawie podanych przez użytkownika wymagań odnośnie czasu wykonania. <br>
* '''short7d''' - kolejka o średnim priorytecie na średnie zadania
+
Ogólna zasada jest następująca: wszystkie zadania należy zlecać do kolejki '''main''', która w zależności od czasu trwania zadania przekieruje je do kolejki o odpowiednio długim czasie wykonywania. <br>
** limit czasu procesora: 168 h
+
Dla przykładu zadanie o czasie 123h trafi do kolejki shoth168h. Każda z kolejek ma inny priorytet.
* '''normal''' - kolejna na typowe zadania
+
W ogólności im krótsza kolejka tym wyższy priorytet. Kolejka normal o maksymalnej długości zadania do 504h ma najniższy priorytet i ograniczone zasoby.
** limit czasu działania zadania (Walltime): 504 h
+
Pozostałe kolejki korzystają ze wszystkich zasobów.
* '''bigmem''' - kolejka na zadania wymagające powyżej 23 050 MB pamięci na węzeł (ale nie więcej niż 192 901 MB)
+
 
** limit czasu działania zadania (Walltime): 504 h
+
Podstawowe kolejki na klastrze Bem przeznaczone dla wszystkich użytkowników KDM:
{{uwaga2| Dostęp do powyższej kolejki jest przydzielany przez administratorów na prośbę użytkownika. Więcej informacji można znaleźć w artykule [[Tesla]]}}
+
* '''main''' - zadania należy zlecać do tej kolejki '''podając limit czasu''' (przy użyciu konstrukcji opisanej w dalszej części artykułu: '''-l walltime=X''')
* '''infinity''' - kolejka na bardzo długie zadania o niskim priorytecie
+
* short, short48h, short168h, normal, infinity - użytkownik nie ma możliwości bezpośredniego wstawiania zadań do tych kolejek, dokona tego system kolejkowy automatycznie, w oparciu o podany limit czasu.
 +
Kolejki dostępne na klastrze Bem dla użytkowników infrastruktury PL-Grid:
 +
* plgrid, plgrid-long, plgrid-testing
 +
 
 +
W systemie kolejkowym zakładane są także czasowo dedykowane kolejki na specyficzne potrzeby projektowe lub grup badawczych.
 +
 
 +
== Sprawdzanie stanu kolejek ==
 +
Do sprawdzenia stanu kolejki służy polecenie '''qstat'''. Można korzystać z następujących jego parametrów:
 +
* '''-r''' - pokazuje uruchomione zadania
 +
* '''-i''' - pokazuje zadania oczekujące
 +
* '''-u''' - pokazuje zadania wybranego użytkownika
 +
* '''-f''' - pokazuje szczegółowe informacje o zadaniach (lub zadaniu, jeżeli podamy jego identyfikator po parametrze)
 +
 
 +
Konfigurację kolejek można przeglądać za pomocą komendy:
 +
> '''qstat -q'''
 +
 
 +
Dokładniejsze informacje na temat kolejki wyświetla komenda:
 +
> '''qstat -Qf nazwa_kolejki'''
  
 
== Zasoby ==
 
== Zasoby ==
Po wyborze odpowiedniej kolejki należy zadeklarować ilość wymaganych zasobów. Wyboru można dokonać spośród:
+
Po wyborze odpowiedniej kolejki należy zadeklarować ilość wymaganych zasobów.
* rdzeni obliczeniowych - parametr '''ncpus'''
 
** domyslnie: 1
 
** maksymalnie:
 
*** 8 na węzłach II i III generacji
 
*** 12 na węzłach IV generacji
 
*** 16 jeżeli korzystamy z kart graficznych na węzłach '''Tesla'''
 
*** 48 w kolejce ''bigmem'' na węzłach '''Tesla'''
 
* pamięci - parametr '''mem'''
 
** domyślnie: 1700 MB
 
** maksymalnie:
 
*** 15250 MB na węzłach II i III generacji
 
*** 23050 MB na węzłach IV generacji
 
*** 65536 MB jeżeli korzystamy z kart graficznych na węzłach '''Tesla'''
 
*** 192901 MB w kolejce ''bigmem'' na węzłach '''Tesla'''
 
* kart graficznych - parametr '''ngpus'''
 
** domyślnie: 0 (zadanie trafi na węzeł z GPU dopiero jeżeli użytkownik tego zażąda)
 
** maksymalnie: 2
 
{{uwaga2| Zadanie wymagające GPU trafi na specyficzny węzeł roboczy. Więcej informacji o tym można znaleźć w artykule [[Tesla]]}}
 
  
Osobnym słowem kluczowym, które używa się jak żądanie zasobu jest
+
Przydział zasobów może odbywać się w jednej, spójnej części (dla zadań szeregowych lub zrównoleglonych w obrębie jednego węzła) lub kilku części (dla zadań zrównoleglonych przy użyciu bibliotek MPI). Deklarację buduje się używając wyrażenia
* liczba procesów mpi - parametr '''mpiprocs'''
+
'''select''' dla parametru '''-l''' polecenia '''qsub''' (opisanego w dalszej części). Jej format jest następujący:
** domyślnie: 1
 
** maksymalnie:
 
*** 8 na węzłach II i III generacji
 
*** 12 na węzłach IV generacji
 
*** 16 jeżeli korzystamy z kart graficznych na węzłach '''Tesla'''
 
*** 48 w kolejce ''bigmem'' na węzłach '''Tesla'''
 
Należy skorzystać z tego parametru, kiedy w jednej części alokacji chcemy uruchomić więcej niż jeden proces MPI.
 
  
Przydział może odbywać się w jednej, spójnej części (dla zadań szeregowych lub zrównoleglonych w obrębie jednego komputera) lub kilku (dla zadań zrównoleglonych przy użyciu bibliotek MPI). Deklarację buduje się używając wyrażenia
 
'''select''' dla parametru '''-l''' polecenia '''qsub''' (opisanego w dalszej części). Jej format jest następujący:
 
 
<pre>
 
<pre>
 
select=X:zasób1=wartość1:zasób2=wartość2+Y:zasób3=wartość3:zasób4=wartość4
 
select=X:zasób1=wartość1:zasób2=wartość2+Y:zasób3=wartość3:zasób4=wartość4
 
</pre>
 
</pre>
 
gdzie:
 
gdzie:
* '''X''' - liczba części pierwszego zbioru zasobów
+
* '''X''' - liczba części alokacji (tzw. '''chunków''') pierwszego zbioru zasobów
 
* '''zasób1=wartość1:zasób2=wartość2''' - opis pierwszego zbioru zasobów
 
* '''zasób1=wartość1:zasób2=wartość2''' - opis pierwszego zbioru zasobów
 
* '''Y''' - liczba części drugiego zbioru zasobów
 
* '''Y''' - liczba części drugiego zbioru zasobów
 
* '''zasób3=wartość3:zasób4=wartość4''' - opis drugiego zbioru zasobów
 
* '''zasób3=wartość3:zasób4=wartość4''' - opis drugiego zbioru zasobów
Liczba zbiorów zasobów może być różna (równa 1 lub większa).
 
  
=== Przykłady ===
+
Liczba zbiorów zasobów może być różna (równa 1 lub większa). Alokowane części (chunki) mogą (ale nie muszą) znaleźć się na różnych węzłach.
; Zadanie uruchamia 4 procesy w obrębie jednego węzła i wymaga 4096 MB RAM (po 1024 MB na proces):
+
 
 +
Dostępne parametry:
 +
* '''ncpus''' - liczba rdzeni obliczeniowych
 +
** domyślnie: 1
 +
** maksymalnie:
 +
*** 24 na 720 węzłach
 +
*** 28 na 192 węzłach
 +
* '''mem''' - rozmiar pamięci
 +
** Wielkość pamięci zadeklarowana dla zadania w kolejce powinna być większa (np. o 10%) od wartości zadeklarowanej dla aplikacji w pliku wejściowym. Należy zadbać, aby w pliku wejściowym podana była poprawna wielkość pamięci, wystarczająca do skutecznego wykonania obliczeń dla danego rozmiaru problemu obliczeniowego. Jeśli aplikacja, uruchomiona podczas wykonywania się zadania kolejkowego, spróbuje użyć więcej pamięci niż zostało zadeklarowane dla zadania, to aplikacja zostanie zabita i zadanie zakończy się niepowodzeniem.
 +
** Przykład dla aplikacji [[Gaussian]]:
 +
*** Deklaracja w pliku wejściowym dla obliczeń na 8 procesorach i z wykorzystanie 4GB pamięci:
 +
%nproc=8
 +
%mem=4000MB
 +
*** odpowiednia deklaracja dla zadania kolejkowego:
 +
-l select=1:ncpus=8:mem=4400MB
 +
** domyślnie: 2000 MB per każdy chunk
 +
** maksymalnie:
 +
*** 60 000 MB na 688 węzłach
 +
*** 125 000 MB na 214 węzłach
 +
*** 500 000 MB na 10 węzłach
 +
 
 +
 
 +
Osobnym słowem kluczowym, którego używa się podczas żądania zasobów, jest liczba procesów MPI w danej części alokacji (w chunku). Należy skorzystać z tego parametru, kiedy w jednej części alokacji (chunk) chcemy uruchomić jeden lub więcej procesów MPI:
 +
* '''mpiprocs''' - liczba procesów MPI
 +
** domyślnie: 1
 +
** maksymalnie: 24 lub 28
 +
** wielkość mpiprocs nigdy nie może być większa niż ncpus w żadnym chunku!
 +
** jeśli aplikacja jest zrównoleglona jedynie przy użyciu MPI i nie korzysta z OpenMP, to wartość mpiprocs powinna być zawsze równa ncpus!
 +
 
 +
 
 +
Jeśli aplikacja jest zrównoleglona przy użyciu OpenMP, to należy podać liczbę wątków w ramach części alokacji (chunk):
 +
* '''ompthreads''' - liczba wątków (threads)
 +
** domyślnie: równa wartości '''ncpus'''
 +
** maksymalnie: 24 lub 28
 +
** wielkość ompthreads nigdy nie może być większa niż ncpus w żadnym chunku!
 +
 
 +
W przypadku aplikacji hybrydowych, korzystających jednocześnie z MPI i OpenMP, wielkość '''ncpus''' w każdym chunku '''musi''' być równa '''mpiprocs * ompthreads''', vide przykłady poniżej.
 +
 
 +
 
 +
; Przykładowe definicje wymagań
 +
 
 +
Zadanie uruchamia jeden zestaw, w którym jeden proces będzie mógł uruchomić 4 wątki OpenMP lub po prostu cztery procesy i wymaga 4096 MB RAM na cały zestaw. Całość uruchomi się w ramach jednego węzła:
 +
 
 
<pre>
 
<pre>
 
select=1:ncpus=4:mem=4096MB
 
select=1:ncpus=4:mem=4096MB
 
</pre>
 
</pre>
; Zadanie uruchamia 8 procesów MPI, z których każdy wymaga 512 MB RAM
+
 
 +
Zadanie uruchamia 8 zestawów po jeden proces, a każdy proces wymaga 512 MB RAM. Poszczególne zestawy mogą znaleźć się na dowolnej kombinacji węzłów - jednym lub więcej:
 +
 
 
<pre>
 
<pre>
 
select=8:ncpus=1:mem=512MB
 
select=8:ncpus=1:mem=512MB
 
</pre>
 
</pre>
; Zadanie uruchamia 32 procesów MPI, po 4 na każdym węźle (i domyślne 1700 MB na każde 4 procesy):
+
 
 +
Zadanie uruchamia 8 zestawów po 4 procesy MPI, po 4 w każdej części alokacji (i domyślne 2000 MB na każde 4 procesy):
 +
 
 
<pre>
 
<pre>
 
select=8:ncpus=4:mpiprocs=4
 
select=8:ncpus=4:mpiprocs=4
 
</pre>
 
</pre>
; Zadanie wymaga 16GB RAM (i jednego rdzenia)
+
 
 +
Zadanie wymaga 16GB RAM (i domyślnie jednego rdzenia):
 +
 
 
<pre>
 
<pre>
 
select=1:mem=16GB
 
select=1:mem=16GB
 
</pre>
 
</pre>
; Zadanie wymaga 1 karty GPU i 4 GB pamięci
+
 
 +
Zadanie wymaga 4 zestawów po 2 procesy MPI, z których każdy uruchomi po 12 wątków OpenMP i 16GB pamięci per każdy zestaw. Należy zwrócić uwagę, że w każdym chunku jest fizycznie wymagane 2mpi*12threads=24 rdzenie, dlatego ncpus musi przyjąć właśnie taką wartość:
 +
 
 +
<pre>
 +
select=4:ncpus=24:mpiprocs=2:ompthreads=12:mem=16GB
 +
</pre>
 +
Alokacja w powyższym przypadku będzia wygłądać następująco:
 +
 
 
<pre>
 
<pre>
select=1:ngpus=1:mem=4GB
+
chunk pierwszy:
 +
\_
 +
  proces MPI pierwszy
 +
  \_ pierwszy wątek OpenMP
 +
  \_ drugi wątek OpenMP
 +
  \_ ...
 +
  \_ 12-ty wątek OpenMP
 +
  proces MPI drugi
 +
  \_ pierwszy wątek OpenMP
 +
  \_ drugi wątek OpenMP
 +
  \_ ...
 +
  \_ 12-ty wątek OpenMP
 +
 
 +
chunk drugi:
 +
\_
 +
  proces MPI pierwszy
 +
  \_ pierwszy wątek OpenMP
 +
  \_ drugi wątek OpenMP
 +
  \_ ...
 +
  \_ 12-ty wątek OpenMP
 +
  proces MPI drugi
 +
  \_ pierwszy wątek OpenMP
 +
  \_ drugi wątek OpenMP
 +
  \_ ...
 +
  \_ 12-ty wątek OpenMP
 
</pre>
 
</pre>
 +
 +
Uruchamianie aplikacji wykorzystującej zarówno MPI jak i OpenMP, implementacja Intel MPI:
 +
 +
mpirun -genv OMP_NUM_THREADS=$OMP_NUM_THREADS -genv I_MPI_PIN_DOMAIN=omp /ścieżka/aplikacja.x
  
 
== Wstawianie zadań ==
 
== Wstawianie zadań ==
Do wstawiania zadań do kolejki służy polecenie '''qsub'''. Opis zadania powinien być zawarty w skrypcie powłoki. Natępnie taki skrypt przekazywany jest do kolejki jako parametr polecenia qsub (lub na standardowe wejście tej komendy). Najważniejsze parametry polecenia można znaleźć poniżej:
+
Do wstawiania zadań do kolejki służy polecenie '''qsub'''. {{uwaga2|Polecenie należy wykonywać na węźle dostępowym!}} Opis zadania powinien być zawarty w skrypcie powłoki. Następnie taki skrypt przekazywany jest do kolejki jako parametr polecenia qsub (lub na standardowe wejście tej komendy). Najważniejsze parametry polecenia można znaleźć poniżej:
 
* '''-q''' - wybór kolejki
 
* '''-q''' - wybór kolejki
 
* '''-l''' specyfikacja wymagań - wartości parametru mogą być następujące
 
* '''-l''' specyfikacja wymagań - wartości parametru mogą być następujące
Linia 91: Linia 163:
 
** '''b''' - o rozpoczęciu zadania
 
** '''b''' - o rozpoczęciu zadania
 
** '''e''' - o zakończeniu zadania
 
** '''e''' - o zakończeniu zadania
 +
** '''n''' - wyłączenie powiadomień
 
* '''-I''' - zadanie interaktywne (w tym przypadku nie należy przekazywać skryptu)
 
* '''-I''' - zadanie interaktywne (w tym przypadku nie należy przekazywać skryptu)
 
* '''-X''' - przekierowanie wyświetlania (ma sens w przypadku zadań interaktywnych, wymaga logowania z przekierowaniem wyświetlania  
 
* '''-X''' - przekierowanie wyświetlania (ma sens w przypadku zadań interaktywnych, wymaga logowania z przekierowaniem wyświetlania  
Linia 99: Linia 172:
 
</pre>
 
</pre>
  
=== Przykłady ===
+
== Usuwanie zadań ==
; Uruchomienie obliczeń na postawie skryptu
+
Jeżeli z jakiegoś powodu istnieje potrzeba usunięcia zadania - należy skorzystać z polecenia '''qdel''', które przyjmuje jako parametr identyfikator zadania. Można kasować zadania zarówno oczekujące w kolejce jak i uruchomione.
 +
 
 +
== Rezerwacje ==
 +
Może się zdarzyć, że dostęp do zasobów potrzebny jest w określonym czasie np. za 3 tygodnie w poniedziałek między godziną 8 a 16. W takich przypadkach należy skorzystać z rezerwacji - '''powoduje to powstanie nowej kolejki''', do której wstawione zadania nie będą konkurować o dostęp z innymi zadaniami. Należy jednak pamięć, że nie zawsze będzie to możliwe (będzie tylko wtedy kiedy system kolejkowy w żądanym czasie będzie w stanie zapewnić zasoby). Tworzenie rezerwacji odbywa się poleceniem '''pbs_rsub''', którego najważniejsze parametry to:
 +
* '''-R''' - czas rozpoczęcia rezerwacji w formacie YYYYMMDDHHmm (201302010456 oznacza w takim przypadku 4:56 01.02.2013)
 +
* '''-E''' - czas zakończenia rezerwacji w formacie YYYYMMDDHHmm
 +
* '''-l''' - specyfikacja zasobów rezerwacji (w formacie takim, jak w przypadku zadań)
 +
* '''-r''' - reguła rekurencji (jeżeli rezerwacja ma się powtarzać cyklicznie, więcej na ten temat w manualu polecenia pbs_rsub)
 +
* '''-U''' - lista użytkowników, którzy mogą korzystać z rezerwacji
 +
 
 +
Do wyświetlenia informacji o rezerwacjach służy polecenie '''pbs_rstat'''. Bez parametrów listuje ono założone rezerwacje, a szczegóły o wybranej można zobaczyć dodając parametr '''-f''' i identyfikator. Aby usunąć rezerwację należy użyć polecenia '''pbs_rdel'''.
 +
 
 +
== Przykłady ==
 +
 
 +
=== Uruchomienie obliczeń na postawie skryptu ===
 +
 
 
* zawartość skryptu uruchom.sh
 
* zawartość skryptu uruchom.sh
<pre>
+
 
 +
<source lang=bash>
 
#!/bin/bash
 
#!/bin/bash
#PBS -q short6h
+
#PBS -q main
 +
#PBS -l walltime=6:00:00
 
#PBS -l select=1:ncpus=2:mem=2048MB
 
#PBS -l select=1:ncpus=2:mem=2048MB
 
#PBS -l software=test_qsub
 
#PBS -l software=test_qsub
Linia 112: Linia 202:
 
cd $PBS_O_WORKDIR
 
cd $PBS_O_WORKDIR
  
# uruchom program
+
# uruchom program  
./test1 > wynik.txt
+
# z PRZEKIEROWANIEM ZAPISYWANIA WYNIKOW -- BARDZO WAZNE
</pre>
+
./test1 >& wynik.txt
 +
</source>
 +
 
 +
* '''Bardzo ważne''': każde polecenie wykonywane w skrypcie zadania '''MUSI''' przekierowywać wyniki drukowane na standardowe wyjścia stdout i stderr do plików w katalogu domowym. Zadania wstawione bez przekierowania będą zabijane bez ostrzeżenia:
 +
./test1 >& wynik.txt
 +
 
 
* wstawienie skryptu
 
* wstawienie skryptu
 +
 
<pre>
 
<pre>
 
qsub uruchom.sh
 
qsub uruchom.sh
 
</pre>
 
</pre>
; Uruchomienie zadania interaktywnego (np. w celu kompilacji oprogramowania)
+
 
 +
=== Uruchomienie zadania interaktywnego ===
 +
 
 
<pre>
 
<pre>
qsub -I -l select=1:ncpus=4:mem=4096MB -l software=GCC_4.7.2
+
qsub -I -l walltime=6:00:00 -l select=1:ncpus=1:mem=2048MB -l software=CFX_14.5
 
</pre>
 
</pre>
  
; Przekazanie skryptu przez standardowe wejście '''qsub'''
+
=== Przekazanie skryptu przez standardowe wejście '''qsub''' ===
 +
 
 
* zawartość pliku skrypt.sh
 
* zawartość pliku skrypt.sh
<pre>
+
 
#!/bin/bash
+
<source lang=bash>
 
cat << EOF | qsub
 
cat << EOF | qsub
 
#!/bin/bash
 
#!/bin/bash
#PBS -q short48h
+
#PBS -q main
 +
#PBS -l walltime=2:00:00
 
#PBS -l select=1:mem=512MB
 
#PBS -l select=1:mem=512MB
 
#PBS -l software=qsub_stdin
 
#PBS -l software=qsub_stdin
Linia 143: Linia 243:
  
 
# uruchom program
 
# uruchom program
./test1 > wynik.txt
+
# z PRZEKIEROWANIEM ZAPISYWANIA WYNIKOW -- BARDZO WAZNE
 +
./test1 >& wynik.txt
 
EOF
 
EOF
<pre>
+
</source>
 +
 
 
* wstawienie zadania:
 
* wstawienie zadania:
 +
 
<pre>
 
<pre>
 
chmod +x skrypt.sh
 
chmod +x skrypt.sh
Linia 153: Linia 256:
  
 
Więcej o poleceniu '''qsub''' można znaleźć w manualu - poprzez uruchomienie polecenia:
 
Więcej o poleceniu '''qsub''' można znaleźć w manualu - poprzez uruchomienie polecenia:
 +
 
<pre>
 
<pre>
 
man qsub
 
man qsub
 
</pre>
 
</pre>
  
== Sprawdzanie stanu systemu kolejkowego ==
+
=== Zlecenie rezerwacji ===
Do sprawdzenia stanu kolejki służy polecenie '''qstat'''. Można korzystać z następujących jego parametrów:
+
 
* '''-r''' - pokazuje uruchomione zadania
+
Próba utworzenia rezerwacji w bieżącym dniu (dlatego pominięto rok, miesiąc i dzień w wymaganiach) od 12:00 do 14:00, powtarzającej się w poniedziałki, środy i piątki aż do 31.12.2018, na zasobach składających się z dwóch części po 1 rdzeniu i 2000 MB RAM, z której mogą korzystać użytkownicy user1 oraz user2
* '''-i''' - pokazuje zadania oczekujące
+
 
* '''-u''' - pokazuje zadania wybranego użytkownika
+
<pre>
* '''-f''' - pokazuje szczegółowe informacje o zadaniach (lub zadaniu, jeżeli podamy jego identyfikator po parametrze)
+
pbs_rsub -R 1200 -E 1400 -r "FREQ=WEEKLY;BYDAY=MO,WE,FR;UNTIL=20181231" -l select=2:ncpus=1:mem=2000MB -U user1,user2
 +
</pre>
  
== Usuwanie zadań ==
+
Jeżeli utworzenie rezerwacji będzie możliwe - system kolejkowy wyśle wiadomość (na adres zarejestrowany w bazie) z potwierdzeniem.
Jeżeli z jakiegoś powodu istnieje potrzeba usunięcia zadania - należy skorzystać z polecenia '''qdel''', które przyjmuje jako parametr identyfikator zadania. Można kasować zadania zarówno oczekujące w kolejce jak i uruchomione.
 
  
'''Zobacz też:''' [[PBSPro]], [[konfiguracja kolejek PBS]]
+
'''Zobacz też:''' [[PBSPro]]
  
 
{{systemy kolejkowe}}
 
{{systemy kolejkowe}}

Aktualna wersja na dzień 07:42, 13 wrz 2018

< Podręcznik użytkownika KDM < System kolejkowy < Jak korzystać z kolejek PBS

Kolejki

Na klastrze Bem zadaniami obliczeniowymi zarządza system kolejkowania PBSPro.

Uruchamianie obliczeń odbywa się w ramach kolejek, które różnią się między sobą priorytetem, limitami czy prawami dostępu (a czasem również dostępnymi zasobami).

Uruchamianie typowych obliczeń na klastrze Bem nie wymaga podawania kolejki, gdyż wyboru odpowiedniej kolejki dokonuje system kolejkowy na podstawie podanych przez użytkownika wymagań odnośnie czasu wykonania.
Ogólna zasada jest następująca: wszystkie zadania należy zlecać do kolejki main, która w zależności od czasu trwania zadania przekieruje je do kolejki o odpowiednio długim czasie wykonywania.
Dla przykładu zadanie o czasie 123h trafi do kolejki shoth168h. Każda z kolejek ma inny priorytet. W ogólności im krótsza kolejka tym wyższy priorytet. Kolejka normal o maksymalnej długości zadania do 504h ma najniższy priorytet i ograniczone zasoby. Pozostałe kolejki korzystają ze wszystkich zasobów.

Podstawowe kolejki na klastrze Bem przeznaczone dla wszystkich użytkowników KDM:

  • main - zadania należy zlecać do tej kolejki podając limit czasu (przy użyciu konstrukcji opisanej w dalszej części artykułu: -l walltime=X)
  • short, short48h, short168h, normal, infinity - użytkownik nie ma możliwości bezpośredniego wstawiania zadań do tych kolejek, dokona tego system kolejkowy automatycznie, w oparciu o podany limit czasu.

Kolejki dostępne na klastrze Bem dla użytkowników infrastruktury PL-Grid:

  • plgrid, plgrid-long, plgrid-testing

W systemie kolejkowym zakładane są także czasowo dedykowane kolejki na specyficzne potrzeby projektowe lub grup badawczych.

Sprawdzanie stanu kolejek

Do sprawdzenia stanu kolejki służy polecenie qstat. Można korzystać z następujących jego parametrów:

  • -r - pokazuje uruchomione zadania
  • -i - pokazuje zadania oczekujące
  • -u - pokazuje zadania wybranego użytkownika
  • -f - pokazuje szczegółowe informacje o zadaniach (lub zadaniu, jeżeli podamy jego identyfikator po parametrze)

Konfigurację kolejek można przeglądać za pomocą komendy:

> qstat -q

Dokładniejsze informacje na temat kolejki wyświetla komenda:

> qstat -Qf nazwa_kolejki

Zasoby

Po wyborze odpowiedniej kolejki należy zadeklarować ilość wymaganych zasobów.

Przydział zasobów może odbywać się w jednej, spójnej części (dla zadań szeregowych lub zrównoleglonych w obrębie jednego węzła) lub kilku części (dla zadań zrównoleglonych przy użyciu bibliotek MPI). Deklarację buduje się używając wyrażenia select dla parametru -l polecenia qsub (opisanego w dalszej części). Jej format jest następujący:

select=X:zasób1=wartość1:zasób2=wartość2+Y:zasób3=wartość3:zasób4=wartość4

gdzie:

  • X - liczba części alokacji (tzw. chunków) pierwszego zbioru zasobów
  • zasób1=wartość1:zasób2=wartość2 - opis pierwszego zbioru zasobów
  • Y - liczba części drugiego zbioru zasobów
  • zasób3=wartość3:zasób4=wartość4 - opis drugiego zbioru zasobów

Liczba zbiorów zasobów może być różna (równa 1 lub większa). Alokowane części (chunki) mogą (ale nie muszą) znaleźć się na różnych węzłach.

Dostępne parametry:

  • ncpus - liczba rdzeni obliczeniowych
    • domyślnie: 1
    • maksymalnie:
      • 24 na 720 węzłach
      • 28 na 192 węzłach
  • mem - rozmiar pamięci
    • Wielkość pamięci zadeklarowana dla zadania w kolejce powinna być większa (np. o 10%) od wartości zadeklarowanej dla aplikacji w pliku wejściowym. Należy zadbać, aby w pliku wejściowym podana była poprawna wielkość pamięci, wystarczająca do skutecznego wykonania obliczeń dla danego rozmiaru problemu obliczeniowego. Jeśli aplikacja, uruchomiona podczas wykonywania się zadania kolejkowego, spróbuje użyć więcej pamięci niż zostało zadeklarowane dla zadania, to aplikacja zostanie zabita i zadanie zakończy się niepowodzeniem.
    • Przykład dla aplikacji Gaussian:
      • Deklaracja w pliku wejściowym dla obliczeń na 8 procesorach i z wykorzystanie 4GB pamięci:
%nproc=8
%mem=4000MB
      • odpowiednia deklaracja dla zadania kolejkowego:
-l select=1:ncpus=8:mem=4400MB
    • domyślnie: 2000 MB per każdy chunk
    • maksymalnie:
      • 60 000 MB na 688 węzłach
      • 125 000 MB na 214 węzłach
      • 500 000 MB na 10 węzłach


Osobnym słowem kluczowym, którego używa się podczas żądania zasobów, jest liczba procesów MPI w danej części alokacji (w chunku). Należy skorzystać z tego parametru, kiedy w jednej części alokacji (chunk) chcemy uruchomić jeden lub więcej procesów MPI:

  • mpiprocs - liczba procesów MPI
    • domyślnie: 1
    • maksymalnie: 24 lub 28
    • wielkość mpiprocs nigdy nie może być większa niż ncpus w żadnym chunku!
    • jeśli aplikacja jest zrównoleglona jedynie przy użyciu MPI i nie korzysta z OpenMP, to wartość mpiprocs powinna być zawsze równa ncpus!


Jeśli aplikacja jest zrównoleglona przy użyciu OpenMP, to należy podać liczbę wątków w ramach części alokacji (chunk):

  • ompthreads - liczba wątków (threads)
    • domyślnie: równa wartości ncpus
    • maksymalnie: 24 lub 28
    • wielkość ompthreads nigdy nie może być większa niż ncpus w żadnym chunku!

W przypadku aplikacji hybrydowych, korzystających jednocześnie z MPI i OpenMP, wielkość ncpus w każdym chunku musi być równa mpiprocs * ompthreads, vide przykłady poniżej.


Przykładowe definicje wymagań

Zadanie uruchamia jeden zestaw, w którym jeden proces będzie mógł uruchomić 4 wątki OpenMP lub po prostu cztery procesy i wymaga 4096 MB RAM na cały zestaw. Całość uruchomi się w ramach jednego węzła:

select=1:ncpus=4:mem=4096MB

Zadanie uruchamia 8 zestawów po jeden proces, a każdy proces wymaga 512 MB RAM. Poszczególne zestawy mogą znaleźć się na dowolnej kombinacji węzłów - jednym lub więcej:

select=8:ncpus=1:mem=512MB

Zadanie uruchamia 8 zestawów po 4 procesy MPI, po 4 w każdej części alokacji (i domyślne 2000 MB na każde 4 procesy):

select=8:ncpus=4:mpiprocs=4

Zadanie wymaga 16GB RAM (i domyślnie jednego rdzenia):

select=1:mem=16GB

Zadanie wymaga 4 zestawów po 2 procesy MPI, z których każdy uruchomi po 12 wątków OpenMP i 16GB pamięci per każdy zestaw. Należy zwrócić uwagę, że w każdym chunku jest fizycznie wymagane 2mpi*12threads=24 rdzenie, dlatego ncpus musi przyjąć właśnie taką wartość:

select=4:ncpus=24:mpiprocs=2:ompthreads=12:mem=16GB

Alokacja w powyższym przypadku będzia wygłądać następująco:

chunk pierwszy:
\_
  proces MPI pierwszy
  \_ pierwszy wątek OpenMP
  \_ drugi wątek OpenMP
  \_ ...
  \_ 12-ty wątek OpenMP
  proces MPI drugi
  \_ pierwszy wątek OpenMP
  \_ drugi wątek OpenMP
  \_ ...
  \_ 12-ty wątek OpenMP

chunk drugi:
\_
  proces MPI pierwszy
  \_ pierwszy wątek OpenMP
  \_ drugi wątek OpenMP
  \_ ...
  \_ 12-ty wątek OpenMP
  proces MPI drugi
  \_ pierwszy wątek OpenMP
  \_ drugi wątek OpenMP
  \_ ...
  \_ 12-ty wątek OpenMP

Uruchamianie aplikacji wykorzystującej zarówno MPI jak i OpenMP, implementacja Intel MPI:

mpirun -genv OMP_NUM_THREADS=$OMP_NUM_THREADS -genv I_MPI_PIN_DOMAIN=omp /ścieżka/aplikacja.x

Wstawianie zadań

Do wstawiania zadań do kolejki służy polecenie qsub.

Opis zadania powinien być zawarty w skrypcie powłoki. Następnie taki skrypt przekazywany jest do kolejki jako parametr polecenia qsub (lub na standardowe wejście tej komendy). Najważniejsze parametry polecenia można znaleźć poniżej:

  • -q - wybór kolejki
  • -l specyfikacja wymagań - wartości parametru mogą być następujące
    • select= - opis wymagań
    • software= - informacja o używanym oprogramowaniu
  • -N - nazwa zadania (jej długość nie może przekraczać 12 znaków)
  • -m - włączenie wysyłania powiadomień o zdarzeniach
    • b - o rozpoczęciu zadania
    • e - o zakończeniu zadania
    • n - wyłączenie powiadomień
  • -I - zadanie interaktywne (w tym przypadku nie należy przekazywać skryptu)
  • -X - przekierowanie wyświetlania (ma sens w przypadku zadań interaktywnych, wymaga logowania z przekierowaniem wyświetlania

Cenną cechą programu qsub jest możliwość przekazywania parametrów w skrypcie podanym jako argument, poprzez linie zaczynające się od:

#PBS

Usuwanie zadań

Jeżeli z jakiegoś powodu istnieje potrzeba usunięcia zadania - należy skorzystać z polecenia qdel, które przyjmuje jako parametr identyfikator zadania. Można kasować zadania zarówno oczekujące w kolejce jak i uruchomione.

Rezerwacje

Może się zdarzyć, że dostęp do zasobów potrzebny jest w określonym czasie np. za 3 tygodnie w poniedziałek między godziną 8 a 16. W takich przypadkach należy skorzystać z rezerwacji - powoduje to powstanie nowej kolejki, do której wstawione zadania nie będą konkurować o dostęp z innymi zadaniami. Należy jednak pamięć, że nie zawsze będzie to możliwe (będzie tylko wtedy kiedy system kolejkowy w żądanym czasie będzie w stanie zapewnić zasoby). Tworzenie rezerwacji odbywa się poleceniem pbs_rsub, którego najważniejsze parametry to:

  • -R - czas rozpoczęcia rezerwacji w formacie YYYYMMDDHHmm (201302010456 oznacza w takim przypadku 4:56 01.02.2013)
  • -E - czas zakończenia rezerwacji w formacie YYYYMMDDHHmm
  • -l - specyfikacja zasobów rezerwacji (w formacie takim, jak w przypadku zadań)
  • -r - reguła rekurencji (jeżeli rezerwacja ma się powtarzać cyklicznie, więcej na ten temat w manualu polecenia pbs_rsub)
  • -U - lista użytkowników, którzy mogą korzystać z rezerwacji

Do wyświetlenia informacji o rezerwacjach służy polecenie pbs_rstat. Bez parametrów listuje ono założone rezerwacje, a szczegóły o wybranej można zobaczyć dodając parametr -f i identyfikator. Aby usunąć rezerwację należy użyć polecenia pbs_rdel.

Przykłady

Uruchomienie obliczeń na postawie skryptu

  • zawartość skryptu uruchom.sh
#!/bin/bash
#PBS -q main
#PBS -l walltime=6:00:00
#PBS -l select=1:ncpus=2:mem=2048MB
#PBS -l software=test_qsub
#PBS -m be

# wejscie do katalogu, z ktorego zostalo wstawione zadania
cd $PBS_O_WORKDIR

# uruchom program 
# z PRZEKIEROWANIEM ZAPISYWANIA WYNIKOW -- BARDZO WAZNE
./test1 >& wynik.txt
  • Bardzo ważne: każde polecenie wykonywane w skrypcie zadania MUSI przekierowywać wyniki drukowane na standardowe wyjścia stdout i stderr do plików w katalogu domowym. Zadania wstawione bez przekierowania będą zabijane bez ostrzeżenia:
./test1 >& wynik.txt
  • wstawienie skryptu
qsub uruchom.sh

Uruchomienie zadania interaktywnego

qsub -I -l walltime=6:00:00 -l select=1:ncpus=1:mem=2048MB -l software=CFX_14.5

Przekazanie skryptu przez standardowe wejście qsub

  • zawartość pliku skrypt.sh
cat << EOF | qsub
#!/bin/bash
#PBS -q main
#PBS -l walltime=2:00:00
#PBS -l select=1:mem=512MB
#PBS -l software=qsub_stdin
#PBS -m be

# wejscie do katalogu, z ktorego zostalo wstawione zadania
# \ przez $ jest wymagany, aby powloka nie podmienila
# $PBS_O_WORKDIR na wartosc podczas wstawiania - tylko
# podczas dzialania zadania na wezle

cd \$PBS_O_WORKDIR

# uruchom program
# z PRZEKIEROWANIEM ZAPISYWANIA WYNIKOW -- BARDZO WAZNE
./test1 >& wynik.txt
EOF
  • wstawienie zadania:
chmod +x skrypt.sh
./skrypt.sh

Więcej o poleceniu qsub można znaleźć w manualu - poprzez uruchomienie polecenia:

man qsub

Zlecenie rezerwacji

Próba utworzenia rezerwacji w bieżącym dniu (dlatego pominięto rok, miesiąc i dzień w wymaganiach) od 12:00 do 14:00, powtarzającej się w poniedziałki, środy i piątki aż do 31.12.2018, na zasobach składających się z dwóch części po 1 rdzeniu i 2000 MB RAM, z której mogą korzystać użytkownicy user1 oraz user2

pbs_rsub -R 1200 -E 1400 -r "FREQ=WEEKLY;BYDAY=MO,WE,FR;UNTIL=20181231" -l select=2:ncpus=1:mem=2000MB -U user1,user2

Jeżeli utworzenie rezerwacji będzie możliwe - system kolejkowy wyśle wiadomość (na adres zarejestrowany w bazie) z potwierdzeniem.

Zobacz też: PBSPro