Storage / Speicherplatz im bwHPC-Verbund
Überblick
| Ressource | Server | Pfad | Sicht-barkeit Visi- bility | Umge- bungs-Variable | Einsatzzweck, Anmerkungen | Lifetime | Speicher- platz (GB) |
|---|---|---|---|---|---|---|---|
bwUniCluster
| uc1.scc.kit.edu | /home /tu /tu_tu /tu_#1 | global | $HOME | Haltung/Speicherung von Daten, die aktuell zur Ausführung von Berechnungen auf dem HPC-System benötigt werden. Beispiele: "source codes, config files, executables". Wird automatisch bei erstmaligem Login angelegt.
| perma- nent | gem. Quota für alle Tübinger User |
bwUniCluster
| uc1.scc.kit.edu | /work /tu /tu_tu /tu_#1 | global | $WORK | Wird automatisch bei erstmaligem Login angelegt.
| min:
| quasi unbegrenzt |
bwUniCluster Verwendung ausdrücklich empfohlen! | uc1.scc.kit.edu | /work /workspace /scratch /tu_#1_#2 | global | [kann selbst definiert werden, siehe Erläuterungen zu Workspaces!] | Löschung des Workspaces als Ganzes, wenn lifetime (+ggf. liftetime extensions) überschritten. | min: max: | quasi unbegrenzt |
bwUniCluster
| uc1.scc.kit.edu | local node, local disk | $TMP | "Available within a batch job." "Data which is only needed on a single node and which does not exceed disk space" | batch job walltime | 2 TB @ thin nodes Keine Quotas. | |
bwFile
| bwfilestorage. lsdf.kit.edu | /tu | global | "Langfristige" Speicherung von Daten | SL:100 | ||
bwFile
| bwfilestorage. lsdf.kit.edu | /temp /tu /tu_tu /tu_#1 | global | "Mittelfristige" Speicherung von Daten, z.B. in der Zeit zwischen mehreren Berechnungen
| 7 Tage | SL:40000 HL:50000 | |
| bwSync & Share | bwsyncand share.kit.edu | Daten zwischen verschiedenen Nutzern, Desktop-Computern und mobilen Endgeräten zu synchronisieren Läuft ebenfalls auf der LSDF am KIT | 10 | ||||
Pfad: #1=ZDV-Login-ID #2=beim Anlegen des Workspace frei wählbarer Name
Sichtbarkeit: global=sichtbar/ansprechbar auf allen HPC-Systemen local=sichtbar nur auf aktuellem Knoten
Speicherplatz: SL=Soft Limit (Benutzer wird benachrichtigt) HL=Hard Limit (Benutzer kann nichts mehr speichern)
Informationen zu den Stichworten "File Systems", "$HOME", "$WORK", "Workspaces" etc. finden Sie im Abschnitt 3 "FileSystems" unter "BwUniCluster Hardware and Architecture" im bwHPC/bwUniCluster-Wiki. Weitere Informationen finden Sie im "bwHPC Best Practice Guide Data Management". Dort sind auch nochmal die Hostnamen der Server aufgeführt.
Auswahl des "richtigen" Speicherortes
Bei der Auswahl des "richtigen" Speicherortes für Ihre Daten sollten Sie mehrere Faktoren in Betracht ziehen:
- Performance/Durchsatz/Übertragungsgeschwindigkeit (wichtig insbesondere bei großen Datenmengen)
- Minimale/Standard/Maximale Aufbewahrungsdauer
- Speicherplatzlimits/Quotas
Neben den Informationen aus der Tabelle oben möchten wir Sie hierzu auf den Abschnitt 3 "FileSystems" aus den Informationen unter "BwUniCluster Hardware and Architecture" aus dem bwHPC/bwUniCluster-Wiki und auf den "bwHPC Best Practice Guide Data Management" hinweisen. Im letztgenannten finden Sie auch interessante Hinweise zu den Transferraten und den empfohlenen Tools für den Datentransfer!
Transfer von Daten
Grundsätzlich stehen Ihnen verschiedene Wege und Werkzeuge zum Datentransfer zur Verfügung. Bei größeren Datenmengen gibt es dabei signifikante Performanceunterschiede. Weitere Informationen finden Sie im "bwHPC Best Practice Guide Data Management"!
Für den Datentransfer zwischen bwUniCluster und bwFileStorage wird die Verwendung des Tools "rdata" empfohlen.
Beispiele zur Verwendung von rdata:
- Sie sind auf dem bwUniCluster eingeloggt und möchten einen Ordner "TestOrdner" vom Home-Verzeichnis auf dem bwFileStorage ins Home-Verzeichnis auf dem bwUniCluster kopieren.
Dann geben Sie ein: cp -R $BWFS/TestOrdner $HOME
Home-Verzeichnis / Home-Laufwerk
Jeder Benutzer verfügt über ein Home-Verzeichnis. Bitte beachten Sie die Eigenschaften und Unterschiede zu anderen Speichermöglichkeiten: siehe "Überblick".
Pfad des Home-Verzeichnisses herausfinden/anzeigen
Der einfachste Weg ist, die Umgebungsvariable "$HOME" auszulesen, die den Pfad zum Home-Verzeichnis enthält.
Geben Sie in der Konsole ein:
echo $HOME
Mit dem Home-Verzeichnis per WinSCP verbinden
Angenommen, der Pfad zu Ihrem Home-Verzeichnis ist "/home/tu/tu_tu/tu_wwwxx01" (siehe letzter Punkt: "Pfad des Home-Verzeichnisses herausfinden"). Wenn Sie sich per WinSCP mit dem Pfad des Ihres Home-Verzeichnisses verbinden möchten, dann wählen Sie in WinSCP ...
- den Menüpunkt "Entfernt > Gehe Zu > Öffne Verzeichnis/Lesezeichen" oder
- drücken Sie "Ctrl" + "O"
und geben in der Zeile "entferntes Verzeichnis" ein:
/home/tu/tu_tu/tu_wwwxx01
Hinweise: Beachten Sie die Notation: Unter Windows werden die Ordner- bzw. Verzeichnisnamen mit " \ " getrennt, unter Linux mit " / "!
Work-Verzeichnis
Jeder Benutzer verfügt über ein "Work"-Verzeichnis. Bitte beachten Sie die Eigenschaften und Unterschiede zu anderen Speichermöglichkeiten: siehe "Überblick".
Pfad des Work-Verzeichnisses herausfinden/anzeigen
Der einfachste Weg ist, die Umgebungsvariable "$WORK" auszulesen, die den Pfad zum Home-Verzeichnis enthält.
Geben Sie in der Konsole ein:
echo $WORK
Mit dem Work-Verzeichnis per WinSCP verbinden
Angenommen, der Pfad zu Ihrem Work-Verzeichnis ist "/work/tu/tu_tu/tu_wwwxx01" (siehe letzter Punkt: "Pfad des Work-Verzeichnisses herausfinden"). Wenn Sie sich per WinSCP mit dem Pfad des Ihres Work-Verzeichnisses verbinden möchten, dann wählen Sie in WinSCP ...
- den Menüpunkt "Entfernt > Gehe Zu > Öffne Verzeichnis/Lesezeichen" oder
- drücken Sie "Ctrl" + "O"
und geben in der Zeile "entferntes Verzeichnis" ein:
/work/tu/tu_tu/tu_wwwxx01
Hinweise: Beachten Sie die Notation: Unter Windows werden die Ordner- bzw. Verzeichnisnamen mit " \ " getrennt, unter Linux mit " / "!
Workspaces - Arbeitsverzeichnisse
Für die Datenhaltung einzelner Rechenaufgaben / Teilprojekte etc. wird die Anlage von sog. "Workspace"-Verzeichnissen empfohlen. Bitte beachten Sie die Eigenschaften und Unterschiede zu anderen Speichermöglichkeiten: siehe "Überblick".
Workspace anlegen
Angenommen, Sie möchten ein Workspace-Verzeichnis anlegen mit dem Namen Workspace_Projekt1, das eine Lebensdauer von 45 Tagen haben soll.
Dann geben Sie in der Konsole ein:
ws_allocate Workspace_Projekt1 45
Hinweise: Sowohl Workspace-Name als auch Lebensdauer (lifetime) sind Pflichtangaben! Die maximale Lifetime liegt bei 60 Tagen, kann aber bis zu 3 mal verlängert werden (siehe "Verlängerung").
Pfad des Workspace-Verzeichnisses herausfinden/anzeigen
Wenn Sie den Pfad des soeben angelegten Workspace-Verzeichnises Workspace_Projekt1 herausfinden möchten,
dann geben Sie in der Konsole ein:
ws_find Workspace_Projekt1
Mit dem Workspace-Verzeichnis per WinSCP verbinden
Angenommen, der Pfad zu Ihrem Workspace-Verzeichnis ist "/work/workspace/scratch/tu_wwwxx01-Testlauf-0" (siehe letzter Punkt: "Pfad des Workspace-Verzeichnisses herausfinden"). Wenn Sie sich per WinSCP mit dem Pfad des Workspace-Verzeichnises Workspace_Projekt1 verbinden möchten, dann wählen Sie in WinSCP ...
- den Menüpunkt "Entfernt > Gehe Zu > Öffne Verzeichnis/Lesezeichen" oder
- drücken Sie "Ctrl" + "O"
und geben in der Zeile "entferntes Verzeichnis" ein:
/work/workspace/scratch/tu_wwwxx01-Testlauf-0
Hinweise: Beachten Sie die Notation: Unter Windows werden die Ordner- bzw. Verzeichnisnamen mit " \ " getrennt, unter Linux mit " / "!
Umgebungsvariable für Workspace anlegen
Angenommen, Sie möchten für das soeben angelegte Workspace-Verzeichnis Workspace_Projekt1 eine Umgebungsvariable / Kurzbezeichnung "WS1" anlegen, vergleichbar mit "$HOME" oder "$WORK".
Dann geben Sie in der Konsole ein:
export WS1=$(ws_find Workspace_Projekt1)
Hinweise: Jetzt können Sie bspw. über "cd $WS1" zu Ihrem Workspace-Verzeichnis wechseln!
Vorhandene Workspaces auflisten
Angenommen, Sie möchten wissen, welche Workspace-Verzeichnisse derzeit angelegt sind.
Dann geben Sie in der Konsole ein:
ws_list
Lebensdauer (Lifetime) eines Workspace-Verzeichnisses verlängern
Angenommen, Sie möchten die Lifetime Ihres Workspace-Verzeichnisses Workspace_Projekt1 um 40 Tage verlängern.
Dann geben Sie in der Konsole ein:
ws_extend Workspace_Projekt1 40
Hinweise: Sie können die Lebensdauer bis zu 3 mal verlängern!
Workspace-Verzeichnis löschen
Angenommen, Sie möchten das Workspace-Verzeichnis Workspace_Projekt1 löschen.
Dann geben Sie in der Konsole ein:
ws_release Workspace_Projekt1
Umgebungsvariablen
Umgebungsvariablen, die Sie beim Transfer von Daten zur Vereinfachung der Pfadangaben verwenden können:
Defaultmäßig vorgegebene Umgebungsvariablen für Speicherpfade
| Variable | Pfad |
|---|---|
| $BWFILESTORAGE | /bwfilestorage/tu/tu_tu/tu_#1 |
| $BWFS | /bwfilestorage/tu/tu_tu/tu_#1 |
Pfad: #1=ZDV-Login-ID #2=beim Anlegen des Workspace frei wählbarer Name
Weitere Umgebungsvariablen für Pfade anlegen
Angenommen, Sie haben ein Workspace-Verzeichnis angelegt mit dem Namen Workspace_Projekt1 und Sie würden dieses Workspace-Verzeichnis gerne unter der "Kurzbezeichnung" / der Umgebungsvariable "WS1" ansprechen können.
Dann geben Sie in der Eingabeaufforderung ein:
export WS1=$(ws_find Workspace_Projekt1)
Verknüpfungen
Verknüpfungen (z.B. auf ein Workspace-Verzeichnis) anlegen
Angenommen, Sie haben ein Workspace-Verzeichnis mit dem Namen Workspace_Projekt1 angelegt und Sie möchten eine Verknüpfung mit dem Namen "Link_zu_WS1" unter ihrem Home-Verzeichnis anlegen.
Dann geben Sie in der Eingabeaufforderung ein:
ln -s $(ws_find Workspace_Projekt1) $HOME/Link_zu_WS1
Und bei Bedarf der Link in der umgekehrten Richtung (Link innerhalb von WS1 zurück auf Home). Dann geben Sie in der Eingabeaufforderung ein:
ln -s $HOME $(ws_find Workspace_Projekt1)/Link_zu_Home
Verknüpfungen verwenden
Um einer Verknüpfung (z.B. "Link_zu_WS1") zu folgen und in das Zielverzeichnis zu wechseln geben Sie in der Eingabeaufforderung ein:
cd -P Link_zu_WS1
Um zurück zu Ihrem Home-Verzeichnis zu wechseln geben Sie in der Eingabeaufforderung ein:
cd ~ oder cd $HOME