Difference between revisions of "Backup"

From Cncz
Jump to navigation Jump to search
Line 1: Line 1:
[ned]
+
[nl]
Als er per ongeluk één of meerdere bestanden verloren gaan uit een ''home-directory'' (H:-schijf) of een ''/vol-directory'', dan is de kans groot dat ze terug gehaald kunnen worden. Op veel C&CZ-servers worden elke ochtend een "snapshot" gemaakt. Als men dezelfde dag C&CZ systeembeheer benadert, kan hiermee eenvoudig de situatie van 's ochtends vroeg hersteld worden. In andere gevallen is men aangewezen op backup-tapes. Voorwaarde voor het aanwezig zijn op een backup is wel dat het bestand minstens 1 dag oud is, want anders bestaat er nog geen enkele backup van.
+
Als er per ongeluk één of meerdere bestanden verloren gaan uit een ''home-directory'' (H:-schijf) of een ''/vol-directory'', dan is de kans groot dat ze terug gehaald kunnen worden. Op veel C&CZ-servers worden elke ochtend een "snapshot" gemaakt, op sommige servers zelfs meerdere keren per dag. Als men dezelfde dag C&CZ systeembeheer benadert, kan meestal eenvoudig de situatie van 's ochtends vroeg hersteld worden. In andere gevallen is men aangewezen op backup-tapes. Voorwaarde voor het aanwezig zijn op een backup is wel dat het bestand minstens 1 dag oud is, want anders bestaat er nog geen enkele backup van.
[/ned]
+
[/nl]
[eng]
+
[en]
 
If accidentally one or more files are lost from a ''home-directory'' (H:-disk) or a ''/vol-directory'', probably the can be restored.
 
If accidentally one or more files are lost from a ''home-directory'' (H:-disk) or a ''/vol-directory'', probably the can be restored.
On most C&CZ-servers every morning a "snapshot" is taken. If one contacts C&CZ system administration the same day, they can easily
+
On most C&CZ-servers every morning a "snapshot" is taken, on some servers even a few times each day. If one contacts C&CZ system administration the same day, most of the time we can easily
restore the situation of that morning with this snapshot. In other cases they have to find and read backup-tapes to restore the files.
+
restore the situation of that morning with this snapshot. In other cases we have to revert to the backup-tapes to restore the files.
To be present on backup-tapes a file must of course be older than a few hours.
+
To be present on backup-tapes a file must of course be older than one day.
[/eng]
+
[/en]
  
[ned]
+
[nl]
 
Voor thuis-PCs of andere niet door C&CZ beheerde PCs op de campus kan wellicht de  
 
Voor thuis-PCs of andere niet door C&CZ beheerde PCs op de campus kan wellicht de  
 
[http://www.ru.nl/uci/diensten_voor/medewerkers/back-up_en_archief/ UCI TSM taperobot]
 
[http://www.ru.nl/uci/diensten_voor/medewerkers/back-up_en_archief/ UCI TSM taperobot]
 
een goede oplossing zijn, per medewerker
 
een goede oplossing zijn, per medewerker
kan er tot 20GB gratis opgeslagen worden op de robot.  
+
kan er tot 20GB gratis opgeslagen worden op de robot.
[/ned]
+
[/nl]
[eng]
+
[en]
 
For home-PCs or other PCs that are not managed by C&CZ, the
 
For home-PCs or other PCs that are not managed by C&CZ, the
 
[http://www.ru.nl/uci/diensten_voor/medewerkers/back-up_en_archief/ UCI TSM taperobot]
 
[http://www.ru.nl/uci/diensten_voor/medewerkers/back-up_en_archief/ UCI TSM taperobot]
 
might be a good solution. Each
 
might be a good solution. Each
 
employee can store up to 20GB on that robot without having to pay usage charges.
 
employee can store up to 20GB on that robot without having to pay usage charges.
[/eng]
+
[/en]
  
 
[ned]Er zijn diverse onafhankelijke backup schema's in gebruik[/ned]
 
[ned]Er zijn diverse onafhankelijke backup schema's in gebruik[/ned]
 
[eng]Different independent backup schemes are used[/eng]:
 
[eng]Different independent backup schemes are used[/eng]:
  
* [Ochtend snapshot naar][Morning snapshot to] disk.
+
* [Ochtend snapshot naar][Morning snapshots to] disk.
* [Dagelijkse backup naar][Daily backup to] tape.
+
* [Dagelijkse backup naar][Daily backups to] tape.
* [Wekelijkse backup naar][Weekly backup to] tape.
+
* [Wekelijkse backup naar][Weekly backups to] tape.
* [Maandelijkse backup naar][Monthly backup to] tape.
+
* [Jaarlijkse backup naar][Yearly backups to] tape.
* [Jaarlijkse backup naar][Yearly backup to] tape.
 
  
=  [Ochtend snapshot naar][Morning snapshot to] disk=
+
=  [Ochtend snapshot naar][Morning snapshots to] disk=
  
[ned]
+
[nl]
Op veel servers wordt van alle disken 's ochtends om 7:00 uur van maandag t/m vrijdag een "snapshot" gemaakt.  Hiermee kan C&CZ systeembeheer de exacte situatie van de huidige ochtend zien, waarmee dus eenvoudig bv bestanden ge-"undelete" kunnen worden. Als een gebruiker dat zelf wil kunnen, kan C&CZ op elke H:-schijf waarop dat mogelijk is een verwijzing/snelkoppeling ".snapshot" maken, waarmee de gebruiker dan zelf vanaf een Windows-PC (of een andere Samba client) naar het snapshot kan kijken.
+
Op veel servers wordt van alle disken 's ochtends om 7:00 uur van maandag t/m vrijdag een "snapshot" gemaakt, op sommige Linux servers ook om 13:00 uur 's middags.  Hiermee kan C&CZ systeembeheer de exacte situatie van de huidige ochtend (middag) zien, waarmee dus eenvoudig bv bestanden ge-"undelete" kunnen worden. Als een gebruiker dat zelf wil kunnen, kan C&CZ op elke H:-schijf waarop dat mogelijk is een verwijzing/snelkoppeling ".snapshot" maken, waarmee de gebruiker dan zelf vanaf een Windows-PC (of een andere Samba client) naar het snapshot kan kijken.
  
 
Op een Solaris/Unix/Linux machine kan men als gewone gebruiker die H:-schijf aankoppelen via:
 
Op een Solaris/Unix/Linux machine kan men als gewone gebruiker die H:-schijf aankoppelen via:
Line 44: Line 43:
 
  <tt>mount -t cifs //$server/$user /$mountpoint -o user=$user</tt>
 
  <tt>mount -t cifs //$server/$user /$mountpoint -o user=$user</tt>
  
De server voor de home-directories van medewerkers is pluri en voor studenten is het
+
De reguliere servers voor de home-directories van medewerkers en studenten zijn pluri, bundle, pile en goudsmit.
pile.
 
  
 
Het snapshot filesysteem kan jammer genoeg niet goed via NFS geexporteerd worden en een NFS-server volgt geen 'symbolische links', daarom moet het op bovenstaande manier. De naam van de verwijzing/snelkoppeling <tt>.snapshot</tt> is zo gekozen dat het onder Windows een "verborgen" bestand is, om gebruikers niet in verwarring te brengen.
 
Het snapshot filesysteem kan jammer genoeg niet goed via NFS geexporteerd worden en een NFS-server volgt geen 'symbolische links', daarom moet het op bovenstaande manier. De naam van de verwijzing/snelkoppeling <tt>.snapshot</tt> is zo gekozen dat het onder Windows een "verborgen" bestand is, om gebruikers niet in verwarring te brengen.
 
Op dit moment is jammer genoeg de home-server "servius" (Medische en Biofysica) niet eenvoudig voor deze snapshots in te richten.  
 
Op dit moment is jammer genoeg de home-server "servius" (Medische en Biofysica) niet eenvoudig voor deze snapshots in te richten.  
 
Sinds de invoering van deze snapshots is de oude "Incremental backup naar disk", die erg veel capaciteit kostte en relatief weinig opleverde, uitgefaseerd.
 
Sinds de invoering van deze snapshots is de oude "Incremental backup naar disk", die erg veel capaciteit kostte en relatief weinig opleverde, uitgefaseerd.
[/ned]
+
[/nl]
[eng]
+
[en]
Many servers take a "snapshot" of their disks at 07:00 hours Monday through Friday. With this snapshot C&CZ system administration can see the exact situation of that morning, which makes an "undelete" easy. If a user wants to be able to do this himself, C&CZ can create on each H:-disk where possible a shortcut/symbolic-link ".snapshot", which makes it possible for the user to look at the snapshot himself from a Windows-PC (or any Samba client).
+
Many servers take a "snapshot" of their disks at 07:00 hours Monday through Friday, and on some Linux servers at 13:00 hours as well. With this snapshot C&CZ system administration can see the exact situation of that morning, which makes an "undelete" easy. If a user wants to be able to do this himself, C&CZ can create on each H:-disk where possible a shortcut/symbolic-link ".snapshot", which makes it possible for the user to look at the snapshot himself from a Windows-PC (or any Samba client).
  
 
From a Solaris/Unix/Linx machine one can attach that H:-disk through:
 
From a Solaris/Unix/Linx machine one can attach that H:-disk through:
Line 62: Line 60:
 
  <tt>mount -t cifs //$server/$user /$mountpoint -o user=$user</tt>
 
  <tt>mount -t cifs //$server/$user /$mountpoint -o user=$user</tt>
  
The server for the home-directories of employees is pluri and for students it is pile.
+
The regular servers for the home-directories of students and staff are pluri, bundle, pile, and goudsmit.
  
 
We cannot easily share the snapshot filesystem through NFS and an NFS-server does not follow 'symbolic links', that's why we have to do it as described above. The name of the shortcut/symbolic-link is chosen such that Windows shows it as a "hidden" file, in order not to confuse users.
 
We cannot easily share the snapshot filesystem through NFS and an NFS-server does not follow 'symbolic links', that's why we have to do it as described above. The name of the shortcut/symbolic-link is chosen such that Windows shows it as a "hidden" file, in order not to confuse users.
 
At this moment it is a pity that we cannot easily have snapshots on the home-server "servius" (Medical and Biophysics).
 
At this moment it is a pity that we cannot easily have snapshots on the home-server "servius" (Medical and Biophysics).
 
Because we have snapshots, the old "Incremental backup to disk", that was hard to maintain and thought to be of less use than snapshots, was phased out.
 
Because we have snapshots, the old "Incremental backup to disk", that was hard to maintain and thought to be of less use than snapshots, was phased out.
[/eng]
+
[/en]
  
 
= [Dagelijkse backup naar][Daily backup to] tape =
 
= [Dagelijkse backup naar][Daily backup to] tape =
  
[ned]
+
[nl]
Van alle partities (m.u.v. tijdelijke diskruimte zoals /tmp, /var/tmp, /scratch e.d.) wordt 's nachts een backup op een paar LTO2-tapes gemaakt.
+
Van alle partities (m.u.v. tijdelijke diskruimte zoals /tmp, /var/tmp, /scratch e.d.) wordt 's nachts een backup op een aantal LTO4-tapes gemaakt.
Vanwege de tijd die het kost om een backup te maken, zal dit vaak een zogenaamde ''incrementele dump'' zijn, d.w.z. dat alleen alle veranderingen t.o.v. de laatste volledige backups worden weggeschreven. De backups worden elke nacht vanaf 2.00 uur volgend op een werkdag gestart. Deze backup tapes worden ca. vier weken bewaard.
+
Vanwege de tijd die het kost om een backup te maken, zal dit vaak een zogenaamde ''incrementele dump'' zijn, d.w.z. dat alleen alle veranderingen t.o.v. de laatste volledige backups worden weggeschreven. De backups worden elke avond vanaf 21.00 uur gestart. Deze backup tapes worden ca. vijf tot zes weken bewaard.
  
Als het bestand niet in de incremental backup op disk staat, dan dient een [[Restore procedure|restore aanvraag]] te worden ingevuld. De operator zal dan proberen het bestand van tape terug te zetten.  
+
Als het bestand niet in de incremental backup op disk staat, dan dient een [[Restore procedure|restore aanvraag]] te worden ingevuld. Systeembeheer zal dan proberen het bestand van tape terug te zetten.
[/ned]
+
[/nl]
[eng]
+
[en]
All server disk-partitions except temporary space like /tmp, /var/tmp, /scratch, are backed-up nightly on a few LTO2-tapes.
+
All server disk-partitions except temporary space like /tmp, /var/tmp, /scratch, are backed-up nightly on a number of LTO4-tapes.
 
Because of the time it takes to do a backup, most of the times this is a so-called ''incremental dump'', which means that only
 
Because of the time it takes to do a backup, most of the times this is a so-called ''incremental dump'', which means that only
changes w.r.t. the latest full backups are written. These backups are started each night following a working day at 02:00 hours.
+
changes w.r.t. the latest full backups are written. These backups are started each evening at 21:00 hours. The backup-tapes are
The backup-tapes are preserved ca. four weeks.
+
preserved for about five to six weeks.
  
 
A [[Restore procedure|restore request]] can be made when the missing files are not in the incremental backups on disk
 
A [[Restore procedure|restore request]] can be made when the missing files are not in the incremental backups on disk
[/eng]
+
[/en]
  
= [Wekelijkse, maandelijkse en jaarlijkse backup naar][Weekly, monthly and yearly backup to] tape =
+
= [Wekelijkse en jaarlijkse backup naar][Weekly and yearly backup to] tape =
  
[ned]
+
[nl]
Ieder weekeinde wordt een deel van de disk partities volledig naar een paar LTO2-tapes geschreven. Elke partitie komt eens in de 4 weken aan de beurt. Deze wekelijkse backup tapes worden een half jaar bewaard. De maandelijkse backups worden anderhalf jaar bewaard en de jaarlijkse een jaar of vijf.
+
Ieder weekeinde wordt een deel van de disk partities volledig naar een set LTO4-tapes geschreven. Elke partitie komt eens in de 4 weken aan de beurt. Deze wekelijkse backup tapes worden een heel jaar bewaard. De jaarlijkse backups worden in december gemaakt en worden tenminste vijf jaar bewaard.
  
Als het terug te zetten bestand al meer dan vier weken niet meer op het systeem aanwezig was, dan moeten de wekelijkse, maandelijkse of jaarlijkse tapes geraadpleegd worden. Omdat deze tapes i.v.m. calamiteiten ook extern worden bewaard, is het mogelijk dat een restore pas na een dag afgehandeld kan worden.
+
Als het terug te zetten bestand al meer dan vijf weken niet meer op het systeem aanwezig was, dan moeten de wekelijkse of jaarlijkse tapes geraadpleegd worden. Omdat deze tapes i.v.m. calamiteiten ook extern worden bewaard, is het mogelijk dat een restore pas na een dag afgehandeld kan worden.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
Every weekend part of the server disk partitions are completely written to a couple of LTO2-tapes. Every partition is written to tape roughly
+
Every weekend a subset of all server disk partitions are completely written to a couple of LTO4-tapes. Every partition is written to tape roughly
once in four weeks. These weekly backup-tapes are preserved half a year. The monthly backup-tapes are preserved one and a half year, the yearly tapes about five years.
+
once every four weeks. These weekly backup-tapes are preserved for one year. The yearly backups are performed in December and are preserved for at least  five years.
 
[/en]
 
[/en]

Revision as of 15:35, 20 April 2010

If accidentally one or more files are lost from a home-directory (H:-disk) or a /vol-directory, probably the can be restored. On most C&CZ-servers every morning a "snapshot" is taken, on some servers even a few times each day. If one contacts C&CZ system administration the same day, most of the time we can easily restore the situation of that morning with this snapshot. In other cases we have to revert to the backup-tapes to restore the files. To be present on backup-tapes a file must of course be older than one day.

For home-PCs or other PCs that are not managed by C&CZ, the UCI TSM taperobot might be a good solution. Each employee can store up to 20GB on that robot without having to pay usage charges.

Different independent backup schemes are used:

  • Morning snapshots to disk.
  • Daily backups to tape.
  • Weekly backups to tape.
  • Yearly backups to tape.

Morning snapshots to disk

Many servers take a "snapshot" of their disks at 07:00 hours Monday through Friday, and on some Linux servers at 13:00 hours as well. With this snapshot C&CZ system administration can see the exact situation of that morning, which makes an "undelete" easy. If a user wants to be able to do this himself, C&CZ can create on each H:-disk where possible a shortcut/symbolic-link ".snapshot", which makes it possible for the user to look at the snapshot himself from a Windows-PC (or any Samba client).

From a Solaris/Unix/Linx machine one can attach that H:-disk through:

/usr/local/samba/bin/smbclient //$server/$username

or as root through:

mount -t cifs //$server/$user /$mountpoint -o user=$user

The regular servers for the home-directories of students and staff are pluri, bundle, pile, and goudsmit.

We cannot easily share the snapshot filesystem through NFS and an NFS-server does not follow 'symbolic links', that's why we have to do it as described above. The name of the shortcut/symbolic-link is chosen such that Windows shows it as a "hidden" file, in order not to confuse users. At this moment it is a pity that we cannot easily have snapshots on the home-server "servius" (Medical and Biophysics). Because we have snapshots, the old "Incremental backup to disk", that was hard to maintain and thought to be of less use than snapshots, was phased out.

Daily backup to tape

All server disk-partitions except temporary space like /tmp, /var/tmp, /scratch, are backed-up nightly on a number of LTO4-tapes. Because of the time it takes to do a backup, most of the times this is a so-called incremental dump, which means that only changes w.r.t. the latest full backups are written. These backups are started each evening at 21:00 hours. The backup-tapes are preserved for about five to six weeks.

A restore request can be made when the missing files are not in the incremental backups on disk

Weekly and yearly backup to tape

Every weekend a subset of all server disk partitions are completely written to a couple of LTO4-tapes. Every partition is written to tape roughly once every four weeks. These weekly backup-tapes are preserved for one year. The yearly backups are performed in December and are preserved for at least five years.