Archiwizacja danych: Różnice pomiędzy wersjami
Linia 1: | Linia 1: | ||
<small>< [[Podręcznik użytkownika KDM]] < [[Dostęp do KDM]] < Archiwizacja danych</small> | <small>< [[Podręcznik użytkownika KDM]] < [[Dostęp do KDM]] < Archiwizacja danych</small> | ||
{{toc-right}} | {{toc-right}} | ||
− | Jeżeli użytkownik potrzebuje miejsca na przechowywanie dużej ilości danych, powinien w tym celu skorzystać z archiwum. | + | Jeżeli użytkownik [[KDM]] potrzebuje miejsca na przechowywanie dużej ilości danych, powinien w tym celu skorzystać z archiwum. Dostęp do archiwum mają wszyscy użytkownicy klastra [[Supernova]]. |
− | System archiwizacji automatycznie tworzy kopie zapasowe składowanych | + | System archiwizacji automatycznie tworzy kopie zapasowe plików składowanych w archiwum, z maksymalną częstotliwością trzy razy na dobę. Częstotliwość jest regulowana przez administratorów. |
− | + | Dane z archiwum są automatycznie przenoszone na robota taśmowego, bez zmiany sposobu dostępu dla użytkownika. Jedyną różnicą po przeniesieniu pliku na robota taśmowego może być wydłużenie czasu dostępu do niego. Dlatego odczytywanie pliku z archiwum może potrwać nawet kilkadziesiąt minut (w zależności od jego wielkości), w tym czasie plik, jeśli został wcześniej zarchiwizowany, jest automatycznie przywracany i udostępniany w odpowiednim katalogu archiwum użytkownika. | |
{{uwaga2|Regulamin korzystania: | {{uwaga2|Regulamin korzystania: | ||
Linia 16: | Linia 16: | ||
Korzystanie z archiwum na klastrze [[Supernova]] odbywa się za pośrednictwem dedykowanego węzła '''archiwum.wcss.pl'''. Z tego węzła użytkownik ma dostęp do katalogu domowego i swojego katalogu na roboczym systemie plików. Aby przenieść swoje dane z katalogu domowego lub tymczasowego do/z archiwum należy zalogować się na ten węzeł i wykonać potrzebne operacje na danych. | Korzystanie z archiwum na klastrze [[Supernova]] odbywa się za pośrednictwem dedykowanego węzła '''archiwum.wcss.pl'''. Z tego węzła użytkownik ma dostęp do katalogu domowego i swojego katalogu na roboczym systemie plików. Aby przenieść swoje dane z katalogu domowego lub tymczasowego do/z archiwum należy zalogować się na ten węzeł i wykonać potrzebne operacje na danych. | ||
− | * Można zalogować się bezpośrednio na węzeł archiwum: | + | * Można zalogować się bezpośrednio na węzeł archiwum (ten sam login i hasło jak na klaster Supernova): |
> ssh archiwum.wcss.pl | > ssh archiwum.wcss.pl | ||
Linia 22: | Linia 22: | ||
> ssh supernova.wcss.pl | > ssh supernova.wcss.pl | ||
supernova> ssh archiwum | supernova> ssh archiwum | ||
+ | |||
+ | Po zalogowaniu archiwum dostępne jest jako katalog o nazwie '''/archiwum/$USER'''. Katalog ten jest prywatnym archiwum użytkownika, niedostępnym dla innych użytkowników. | ||
=== Operacje na plikach === | === Operacje na plikach === |
Wersja z 11:48, 26 paź 2012
< Podręcznik użytkownika KDM < Dostęp do KDM < Archiwizacja danych
Jeżeli użytkownik KDM potrzebuje miejsca na przechowywanie dużej ilości danych, powinien w tym celu skorzystać z archiwum. Dostęp do archiwum mają wszyscy użytkownicy klastra Supernova.
System archiwizacji automatycznie tworzy kopie zapasowe plików składowanych w archiwum, z maksymalną częstotliwością trzy razy na dobę. Częstotliwość jest regulowana przez administratorów.
Dane z archiwum są automatycznie przenoszone na robota taśmowego, bez zmiany sposobu dostępu dla użytkownika. Jedyną różnicą po przeniesieniu pliku na robota taśmowego może być wydłużenie czasu dostępu do niego. Dlatego odczytywanie pliku z archiwum może potrwać nawet kilkadziesiąt minut (w zależności od jego wielkości), w tym czasie plik, jeśli został wcześniej zarchiwizowany, jest automatycznie przywracany i udostępniany w odpowiednim katalogu archiwum użytkownika.
! | Regulamin korzystania:
|
Dostęp do archiwum
Korzystanie z archiwum na klastrze Supernova odbywa się za pośrednictwem dedykowanego węzła archiwum.wcss.pl. Z tego węzła użytkownik ma dostęp do katalogu domowego i swojego katalogu na roboczym systemie plików. Aby przenieść swoje dane z katalogu domowego lub tymczasowego do/z archiwum należy zalogować się na ten węzeł i wykonać potrzebne operacje na danych.
- Można zalogować się bezpośrednio na węzeł archiwum (ten sam login i hasło jak na klaster Supernova):
> ssh archiwum.wcss.pl
- lub najpierw na węzeł dostępowy klastra Supernova, a następnie na węzeł archiwum:
> ssh supernova.wcss.pl supernova> ssh archiwum
Po zalogowaniu archiwum dostępne jest jako katalog o nazwie /archiwum/$USER. Katalog ten jest prywatnym archiwum użytkownika, niedostępnym dla innych użytkowników.
Operacje na plikach
Korzystanie z archiwum nie różni się od korzystania ze zwykłego katalogu na dysku.
Archiwizacja danych
Aby przenieść dane do archiwum wystarczy je skopiować, np. dla użytkownika user1
:
> cd /home/user1 > cp plik.txt /archiwum/user1/ > ls /archiwum/user1/ plik.txt
Po skopiowaniu pliku należy usunąć go z dotychczasowej lokalizacji (/home lub /lustre/scratch), aby zwolnić miejsce zajmowane przez niego na dysku, np:
> cd /home/user1 > rm plik.txt
Przywracanie danych
Aby ponownie skorzystać z pliku wystarczy skopiować go do swojego katalogu w przestrzeni /home lub /lustre/scratch, np:
> cp /archiwum/user1/plik.txt /home/user1/ > ls /home/user1/plik.txt
Jeżeli nie ma potrzeby przechowywania pliku w archiwum, można go stamtąd usunąć, np:
> ls /archiwum/user1/ plik.txt > rm /archiwum/user1/plik.txt
Pakowanie i kompresja
Jeśli użytkownik posiada wiele małych plików, które chce przenieść do archiwum, należy je spakować razem i skompresować (kompresja bezstratna). Można to zrobić z wykorzystaniem poleceń tar
lub zip
.
Pakowanie i kompresja - TAR
Pakowanie i kompresowanie większej liczby małych plików w paczki TAR:
> tar czvf nazwa_paczki.tar.gz <lista plikow do spakowania>
Rozpakowywanie narzędziem TAR:
> tar xzvf nazwa_paczki.tar.gz [<opcjonalna lista plikow do rozpakowania>]
Sprawdzanie zawartości archiwum TAR:
> tar tzvf nazwa_paczki.tar.gz
Pakowanie i kompresja - ZIP
Pakowanie i kompresowanie większej liczby małych plików w paczki ZIP:
> zip -r9 nazwa_paczki.zip <lista plikow do spakowania>
Rozpakowywanie narzędziem ZIP:
> unzip nazwa_paczki.zip [<opcjonalna lista plikow do rozpakowania>]
Sprawdzanie zawartości archiwum ZIP:
> zipinfo nazwa_paczki.zip
Zobacz też: Dostępna przestrzeń dyskowa