Dostępna przestrzeń dyskowa: Różnice pomiędzy wersjami

Z KdmWiki
Przejdź do nawigacji Przejdź do wyszukiwania
 
(Nie pokazano 11 wersji utworzonych przez 4 użytkowników)
Linia 4: Linia 4:
  
 
* '''/home/$USER'''
 
* '''/home/$USER'''
−
:Katalogi domowe użytkownika znajdują się w systemach plików /home, które są współdzielone na [[Leo]], [[Nova]] i [[Tezro]]. Należy przechowywać tam tylko pliki potrzebne do aktualnych obliczeń. Przechowywanie plików o dużych rozmiarach jest niewskazane. Z katalogów /home są tworzone kopie zapasowe (''backupy'') lub migawki (''snapshoty''). Kopie zapasowe z Tezro i Leo mogą być odzyskane przez administratorów na wniosek użytkownika. Do migawek na Supernova użytkownicy mają dostęp w swoim katalogu domowym w podkatalogu <code>[[.snapshot]]</code>.  
+
:Katalogi domowe użytkownika znajdują się w systemach plików /home. Należy przechowywać tam tylko pliki potrzebne do aktualnych obliczeń. Przechowywanie plików o dużych rozmiarach jest niewskazane. W katalogach /home/$USER są tworzone krótkoterminowe kopie zapasowe danych użytkowników, z wykorzystaniem mechanizmu migawek (''snapshoty''). Do migawek użytkownicy mają dostęp w swoim katalogu domowym w podkatalogu <code>[[.snapshot]]</code>.  
  
−
* '''/scratch/$USER''' lub '''/lustre/scratch/$USER'''
+
* '''/lustre/scratch/''' <br> Katalogi przeznaczone na pliki tymczasowe generowane przez programy obliczeniowe znajdują się w systemie plików <code>/lustre/scratch</code> na [[Bem]]. <br> System plików [[Lustre]] jest dostępny ze wszystkich węzłów obliczeniowych klastra [[Bem]] oraz na węźle do archiwizacji archiwum.wcss.pl. <br> Kopie zapasowe katalogów w przestrzeni tymczasowej nie są wykonywane. <br> Użytkownik ma prawo dostępu jedynie do katalogów swoich zadań <code>/lustre/scratch/tmp/pbs.JobID</code> i swojego katalogu osobistego <code>/lustre/scratch/$USER</code>
−
:Katalogi przeznaczone na pliki tymczasowe generowane przez programy obliczeniowe znajdują się w systemach plików <code>/scratch</code> ([[Leo]], [[Tezro]]) lub <code>/lustre/scratch</code> na [[Nova | Supernova]], które są oddzielne na wszystkich serwerach. System plików [[Lustre]] jest dostępny ze wszystkich węzłów obliczeniowych klastra [[ Nova | Supernova]] oraz na serwerze [[archiwum.wcss.pl]]. Użytkownik ma prawa zapisu tylko do swoich katalogów w przestrzeni tymczasowej. Użytkownik powinien kontrolować zajętość tych katalogów, aby zbędne pliki nie zajmowały niepotrzebnie miejsca. Rozmiary przestrzeni <code>scratch</code> na każdym z komputerów podane są w opisie każdej [[maszyny obliczeniowe|maszyny obliczeniowej]]. Kopie zapasowe katalogów w przestrzeni tymczasowej nie są wykonywane.  
+
** '''/lustre/scratch/tmp/pbs.JobID''' <br>  Katalogi tworzone są w momencie startu zadania i usuwane wraz z zakończeniem zadania. <br> Zmienna środowiskowa: $TMPDIR <br> Użytkownik ma prawa zapisu tylko do swoich katalogów w przestrzeni tymczasowej.
 +
** '''/lustre/scratch/$USER''' <br> Katalogi osobiste na <code>/lustre/scratch</code> zakładane są po złożeniu przez użytkownika uzasadnionego wniosku, który wymaga rozpatrzenia przez administratora. Prośby o taki katalog można składać pod adresem '''kdm @ wcss.pl'''. <br> Zawartość tych katalogów nie jest usuwana w momencie zakończenia zadania obliczeniowego. <br> Użytkownik powinien kontrolować zajętość tych katalogów, aby zbędne pliki nie zajmowały niepotrzebnie miejsca.  
  
 
* '''/archiwum/$USER'''
 
* '''/archiwum/$USER'''
−
:Katalog /archiwum jest dostępny na wszystkich [[maszyny obliczeniowe|maszynach obliczeniowych]] WCSS.  Na serwerach [[Tezro]] i [[Leo]] katalog dostępny jest po zalogowaniu. Korzystanie z archiwum na klastrze [[Supernova]] odbywa się za pośrednictwem dedykowanego węzła - serwera '''[[archiwum.wcss.pl]]'''. W archiwum można umieszczać ważne dane, które nie są wykorzystywane do bieżących obliczeń. Użytkownicy mają do dyspozycji prywatne archiwa, z prawami zapisu tylko do swoich katalogów. Pliki widziane w tym katalogu mogą zostać automatycznie przeniesione do systemu [[Archiwizacja|archiwizacji]]. Odczytywanie pliku przeniesionego do archiwum może potrwać od kilkunastu do kilkudziesięciu sekund, gdyż w tym czasie plik jest automatycznie przywracany. Poza tym korzystanie z archiwum nie różni się od korzystania ze zwykłego katalogu na dysku.  
+
:Katalog /archiwum na klastrze [[Bem]] jest dostępny tylko po zalogowaniu na dedykowany węzeł '''archiwum.wcss.pl'''. Z tego węzła użytkownik ma dostęp do katalogu domowego i swojego katalogu na roboczym systemie plików. W archiwum można umieszczać ważne dane, które nie są wykorzystywane do bieżących obliczeń. Użytkownicy mają do dyspozycji prywatne archiwa, z prawami zapisu tylko do swoich katalogów. Pliki widziane w tym katalogu mogą zostać automatycznie przeniesione do systemu [[Archiwizacja|archiwizacji]]. Odczytywanie pliku przeniesionego do archiwum może potrwać od kilkunastu do kilkudziesięciu sekund, gdyż w tym czasie plik jest automatycznie przywracany. Poza tym korzystanie z archiwum nie różni się od korzystania ze zwykłego katalogu na dysku.  
 
:Archiwizowane pliki są przechowywane w dwóch kopiach i są tworzone ich kopie zapasowe. Archiwum ma dużą pojemność.
 
:Archiwizowane pliki są przechowywane w dwóch kopiach i są tworzone ich kopie zapasowe. Archiwum ma dużą pojemność.
 +
:Zasady i techniki operacji na plikach opisane są na stronie [[Archiwizacja danych]].
  
 
{{uwaga2|Zapis "$USER" oznacza wartość zmiennej środowiskowej USER, w której system przechowuje nazwę (login) użytkownika.}}
 
{{uwaga2|Zapis "$USER" oznacza wartość zmiennej środowiskowej USER, w której system przechowuje nazwę (login) użytkownika.}}
  
 
'''Zobacz też:'''  
 
'''Zobacz też:'''  
 +
* [[Lustre Best Practices | Lustre - zbiór najlepszych praktyk]]
 
* [[archiwizacja danych]]
 
* [[archiwizacja danych]]
 
* [[.snapshot]]
 
* [[.snapshot]]
  
 
[[Kategoria:Podręcznik użytkownika]]
 
[[Kategoria:Podręcznik użytkownika]]

Aktualna wersja na dzień 13:28, 26 sie 2016

< Podręcznik użytkownika KDM < Dostęp do KDM < Dostępna przestrzeń dyskowa

Użytkownicy KDM mają na każdym serwerze do dyspozycji kilka katalogów, w których mogą przechowywać swoje pliki:

  • /home/$USER
Katalogi domowe użytkownika znajdują się w systemach plików /home. Należy przechowywać tam tylko pliki potrzebne do aktualnych obliczeń. Przechowywanie plików o dużych rozmiarach jest niewskazane. W katalogach /home/$USER są tworzone krótkoterminowe kopie zapasowe danych użytkowników, z wykorzystaniem mechanizmu migawek (snapshoty). Do migawek użytkownicy mają dostęp w swoim katalogu domowym w podkatalogu .snapshot.
  • /lustre/scratch/
    Katalogi przeznaczone na pliki tymczasowe generowane przez programy obliczeniowe znajdują się w systemie plików /lustre/scratch na Bem.
    System plików Lustre jest dostępny ze wszystkich węzłów obliczeniowych klastra Bem oraz na węźle do archiwizacji archiwum.wcss.pl.
    Kopie zapasowe katalogów w przestrzeni tymczasowej nie są wykonywane.
    Użytkownik ma prawo dostępu jedynie do katalogów swoich zadań /lustre/scratch/tmp/pbs.JobID i swojego katalogu osobistego /lustre/scratch/$USER
    • /lustre/scratch/tmp/pbs.JobID
      Katalogi tworzone są w momencie startu zadania i usuwane wraz z zakończeniem zadania.
      Zmienna środowiskowa: $TMPDIR
      Użytkownik ma prawa zapisu tylko do swoich katalogów w przestrzeni tymczasowej.
    • /lustre/scratch/$USER
      Katalogi osobiste na /lustre/scratch zakładane są po złożeniu przez użytkownika uzasadnionego wniosku, który wymaga rozpatrzenia przez administratora. Prośby o taki katalog można składać pod adresem kdm @ wcss.pl.
      Zawartość tych katalogów nie jest usuwana w momencie zakończenia zadania obliczeniowego.
      Użytkownik powinien kontrolować zajętość tych katalogów, aby zbędne pliki nie zajmowały niepotrzebnie miejsca.
  • /archiwum/$USER
Katalog /archiwum na klastrze Bem jest dostępny tylko po zalogowaniu na dedykowany węzeł archiwum.wcss.pl. Z tego węzła użytkownik ma dostęp do katalogu domowego i swojego katalogu na roboczym systemie plików. W archiwum można umieszczać ważne dane, które nie są wykorzystywane do bieżących obliczeń. Użytkownicy mają do dyspozycji prywatne archiwa, z prawami zapisu tylko do swoich katalogów. Pliki widziane w tym katalogu mogą zostać automatycznie przeniesione do systemu archiwizacji. Odczytywanie pliku przeniesionego do archiwum może potrwać od kilkunastu do kilkudziesięciu sekund, gdyż w tym czasie plik jest automatycznie przywracany. Poza tym korzystanie z archiwum nie różni się od korzystania ze zwykłego katalogu na dysku.
Archiwizowane pliki są przechowywane w dwóch kopiach i są tworzone ich kopie zapasowe. Archiwum ma dużą pojemność.
Zasady i techniki operacji na plikach opisane są na stronie Archiwizacja danych.
! Zapis "$USER" oznacza wartość zmiennej środowiskowej USER, w której system przechowuje nazwę (login) użytkownika.

Zobacz też:

Źródło: „https://kdm.wcss.pl/w/index.php?title=Dostępna_przestrzeń_dyskowa&oldid=5632”