Difference between revisions of "Backup"

From Cncz
Jump to: navigation, search
 
(38 intermediate revisions by 6 users not shown)
Line 1: Line 1:
[ned]
+
[nl]
Als er per ongeluk één of meerdere bestanden verloren gaan uit een ''home-directory'' (H:-schijf) of een ''/vol-directory'', dan is de kans groot dat ze terug gehaald kunnen worden. Op veel C&CZ-servers worden elke ochtend een "snapshot" gemaakt. Als men dezelfde dag C&CZ systeembeheer benadert, kan hiermee eenvoudig de situatie van 's ochtends vroeg hersteld worden. In andere gevallen is men aangewezen op backup-tapes. Voorwaarde voor het aanwezig zijn op een backup is wel dat het bestand minstens 1 dag oud is, want anders bestaat er nog geen enkele backup van.
+
Als er per ongeluk één of meerdere bestanden verloren gaan uit een ''home-directory'' (U:-schijf) of een netwerkschijf, dan is de kans groot dat ze terug gehaald kunnen worden. Voorwaarde voor het aanwezig zijn in de backup is dat het bestand aanwezig was tijdens een (nachtelijke) backup.
[/ned]
+
[/nl]
[eng]
+
[en]
If accidentally one or more files are lost from a ''home-directory'' (H:-disk) or a ''/vol-directory'', probably the can be restored.
+
If accidentally one or more files are lost from a ''home-directory'' (U:-disk) or a ''/vol-directory'', probably the files can be restored. To be present on backup, a file must of course have existed during a (nightly) backup.
On most C&CZ-servers every morning a "snapshot" is taken. If one contacts C&CZ system administration the same day, they can easily
+
[/en]
restore the situation of that morning with this snapshot. In other cases they have to find and read backup-tapes to restore the files.
 
To be present on backup-tapes a file must of course be older than a few hours.
 
[/eng]
 
 
 
[ned]
 
Voor thuis-PCs of andere niet door C&CZ beheerde PCs op de campus kan wellicht de
 
[http://www.ru.nl/uci/diensten_voor/medewerkers/back-up_en_archief/ UCI TSM taperobot]
 
een goede oplossing zijn, per medewerker
 
kan er tot 20GB gratis opgeslagen worden  op de robot.
 
[/ned]
 
[eng]
 
For home-PCs or other PCs that are not managed by C&CZ, the
 
[http://www.ru.nl/uci/diensten_voor/medewerkers/back-up_en_archief/ UCI TSM taperobot]
 
might be a good solution. Each
 
employee can store up to 20GB on that robot without having to pay usage charges.
 
[/eng]
 
  
 
[ned]Er zijn diverse onafhankelijke backup schema's in gebruik[/ned]
 
[ned]Er zijn diverse onafhankelijke backup schema's in gebruik[/ned]
 
[eng]Different independent backup schemes are used[/eng]:
 
[eng]Different independent backup schemes are used[/eng]:
  
* [Ochtend snapshot naar][Morning snapshot to] disk.
+
* [Dagelijkse backup naar][Daily backups to] tape.
* [Dagelijkse backup naar][Daily backup to] tape.
+
* [Maandelijkse backup naar][Monthly backups to] tape.
* [Wekelijkse backup naar][Weekly backup to] tape.
+
* [Jaarlijkse backup naar][Yearly backups to] tape.
* [Maandelijkse backup naar][Monthly backup to] tape.
 
* [Jaarlijkse backup naar][Yearly backup to] tape.
 
  
= [Ochtend snapshot naar][Morning snapshot to] disk=
+
= [Dagelijkse backup naar][Daily backup to] tape =
  
[ned]
+
[nl]
Op veel servers wordt van alle disken 's ochtends om 7:00 uur van maandag t/m vrijdag een "snapshot" gemaakt. Hiermee kan C&CZ systeembeheer de exacte situatie van de huidige ochtend zien, waarmee dus eenvoudig bv bestanden ge-"undelete" kunnen worden. Als een gebruiker dat zelf wil kunnen, kan C&CZ op elke H:-schijf waarop dat mogelijk is een verwijzing/snelkoppeling ".snapshot" maken, waarmee de gebruiker dan zelf vanaf een Windows-PC (of een andere Samba client) naar het snapshot kan kijken.
+
Van alle partities (m.u.v. tijdelijke diskruimte zoals /tmp, /var/tmp, /scratch e.d.) wordt na elke werkdag een backup op een aantal tapes gemaakt.
 +
Vanwege de tijd die het kost om een backup te maken, zal dit vaak een zogenaamde ''incrementele dump'' zijn, d.w.z. dat alleen alle veranderingen t.o.v. de laatste backups worden weggeschreven. De backups worden elke avond vanaf 18.00 uur gestart. Deze backup tapes worden ca. vier weken bewaard.
 +
[/nl]
 +
[en]
 +
All server disk-partitions except temporary space like /tmp, /var/tmp, /scratch, are backed-up after each working day on a number of tapes.
 +
Because of the time it takes to do a backup, most of the times this is a so-called ''incremental dump'', which means that only
 +
changes w.r.t. the previous backup are written. These backups are started each evening after 18:00 hours. These backup-tapes are preserved for four weeks.
 +
[/en]
  
Op een Solaris/Unix/Linux machine kan men als gewone gebruiker die H:-schijf aankoppelen via:
+
= [Maandelijkse en jaarlijkse backup naar][Monthly and yearly backup to] tape =
  
<tt>/usr/local/samba/bin/smbclient //$server/$username</tt>
+
[nl]
 +
Ieder weekeinde wordt een deel van de disk partities volledig naar een set LTO6-tapes geschreven. Elke partitie komt eens in de 4 weken aan de beurt. Deze maandelijkse backup tapes worden een heel jaar bewaard. De jaarlijkse backups worden rond de kerstvakantie (eind december en begin januari) gemaakt en worden tenminste vijf jaar bewaard.
  
of als <tt>root</tt> via:
+
Als het terug te zetten bestand al meer dan vier weken niet meer op het systeem aanwezig was, dan moeten de maandelijkse of jaarlijkse tapes geraadpleegd worden. Deze tapes worden i.v.m. calamiteiten ook extern bewaard.
 +
[/nl]
 +
[en]
 +
Every weekend a subset of all server disk partitions are completely written to a couple of LTO6-tapes. Every partition is written to tape roughly
 +
once every four weeks. These monthly backup-tapes are preserved for one year. The yearly backups are performed around the Christmas break (end of December and start of January) and are preserved for at least five years.
 +
[/en]
  
<tt>mount -t cifs //$server/$user /$mountpoint -o user=$user</tt>
+
= [Backup server][Backup server] =
  
Het snapshot filesysteem kan jammer genoeg niet goed via NFS geexporteerd worden en een NFS-server volgt geen 'symbolische links', daarom moet het op bovenstaande manier. De naam van de verwijzing/snelkoppeling <tt>.snapshot</tt> is zo gekozen dat het onder Windows een "verborgen" bestand is, om gebruikers niet in verwarring te brengen.
+
[nl]
Op dit moment zijn jammer genoeg de home-servers "grover" (KDV), "fnmrsun10" (NMR), "razor" (Researchtoren) en "servius" (Medische en Biofysica) niet eenvoudig voor deze snapshots in te richten.
+
De backups worden uitgevoerd m.b.v. de [http://www.amanda.org/ Amanda] open source network backupsoftware. De in 2013 vernieuwde server is een [http://www.dell.com/nl/bedrijven/p/poweredge-r720/pd Dell PowerEdge R720xd] met 44 TB schijfruimte, die gebruikt wordt om snelle restores vanaf disk mogelijk te maken. De backups worden weggeschreven op [http://en.wikipedia.org/wiki/Linear_Tape-Open LTO-6]-tapes in een [http://www.dell.com/nl/bedrijven/p/powervault-tl2000/pd Dell TL2000] tapelibrary met 2 LTO6 drives en 24 slots. De nieuwe voorziening leest en schrijft LTO-6, maar kan ook de hiervoor gebruikte [http://en.wikipedia.org/wiki/Linear_Tape-Open#Generations LTO-4] tapes lezen.
Sinds de invoering van deze snapshots is de oude "Incremental backup naar disk", die erg veel capaciteit kostte en relatief weinig opleverde, uitgefaseerd.
+
[/nl]
[/ned]
+
[en]
[eng]
+
The backups are made with the [http://www.amanda.org/ Amanda] open source network backup software. The backup server, that was renewed in 2013, is a [http://www.dell.com/nl/bedrijven/p/poweredge-r720/pd Dell PowerEdge R720xd] with 44 TB disc space, that is used to make fast restores from disk possible. The backups are written to [http://en.wikipedia.org/wiki/Linear_Tape-Open LTO-6] tapes in a [http://www.dell.com/nl/bedrijven/p/powervault-tl2000/pd Dell TL2000] tape library with 2 LTO6 drives and 24 slots. The new service reads and writes LTO-6, but it can also read the [http://en.wikipedia.org/wiki/Linear_Tape-Open#Generations LTO-4] tapes that we used before.
Many servers take a "snapshot" of their disks at 07:00 hours Monday through Friday. With this snapshot C&CZ system administration can see the exact situation of that morning, which makes an "undelete" easy. If a user wants to be able to do this himself, C&CZ can create on each H:-disk where possible a shortcut/symbolic-link ".snapshot", which makes it possible for the user to look at the snapshot himself from a Windows-PC (or any Samba client).
+
[/en]
  
From a Solaris/Unix/Linx machine one can attach that H:-disk through:
+
= [Prijs][Costs] =
  
<tt>/usr/local/samba/bin/smbclient //$server/$username</tt>
+
[nl]
 +
Het complete backupschema (Daily plus Monthly plus Yearly backups) kost intern FNWI 155 &euro;/TB jaar. Per schema is dit:
 +
[/nl]
 +
[en]
 +
The full backup schedule (Daily plus Monthly plus Yearly backups) costs 155 &euro;/TB year for FNWI departments. It breaks down to:
 +
[/en]
  
or as <tt>root</tt> through:
+
- Daily: 70 &euro;/TB [jaar][year]
  
<tt>mount -t cifs //$server/$user /$mountpoint -o user=$user
+
- Monthly: 60 &euro;/TB [jaar][year]
  
We cannot easily share the snapshot filesystem through NFS and an NFS-server does not follow 'symbolic links', that's why we have to do it as described above. The name of the shortcut/symbolic-link is chosen such that Windows shows it as a "hidden" file, in order not to confuse users.
+
- Yearly: 25 &euro;/TB [jaar][year]
At this moment it is a pity we cannot easily have snapshots on the home-servers "grover" (KDV), "fnmrsun10" (NMR), "razor" (Research tower) and "servius" (Medical and Biophysics).
 
Because we have snapshots, the old "Incremental backup to disk", that was hard to maintain and thought to be of less use than snapshots, was phased out.
 
[/eng]
 
  
= [Dagelijkse backup naar][Daily backup to] tape =
 
  
[ned]
+
[nl]
Van alle partities (m.u.v. tijdelijke diskruimte zoals /tmp, /var/tmp, /scratch e.d.) wordt 's nachts een backup op een paar LTO2-tapes gemaakt.
+
De prijs van het backuppen is het grootste deel van de [https://wiki.science.ru.nl/cncz/Diskruimte?setlang=nl#.5BNetwerk_schijven.5D.5BNetwork_shares.5D prijs van C&CZ diskruimte].
Vanwege de tijd die het kost om een backup te maken, zal dit vaak een zogenaamde ''incrementele dump'' zijn, d.w.z. dat alleen alle veranderingen t.o.v. de laatste volledige backups worden weggeschreven. De backups worden elke nacht vanaf 2.00 uur volgend op een werkdag gestart. Deze backup tapes worden ca. vier weken bewaard.
 
 
 
Als het bestand niet in de incremental backup op disk staat, dan dient een [[faq_backup_restore|restore aanvraag]] te worden ingevuld. De operator zal dan proberen het bestand van tape terug te zetten.
 
[/ned]
 
[eng]
 
All server disk-partitions except temporary space like /tmp, /var/tmp, /scratch, are backed-up nightly on a few LTO2-tapes.
 
Because of the time it takes to do a backup, most of the times this is a so-called ''incremental dump'', which means that only
 
changes w.r.t. the latest full backups are written. These backups are started each night following a working day at 02:00 hours.
 
The backup-tapes are preserved ca. four weeks.
 
[/eng]
 
 
 
= [Wekelijkse, maandelijkse en jaarlijkse backup naar][Weekly, monthly and yearly backup to] tape =
 
 
 
[ned]
 
Ieder weekeinde wordt een deel van de disk partities volledig naar een paar LTO2-tapes geschreven. Elke partitie komt eens in de 4 weken aan de beurt. Deze wekelijkse backup tapes worden een half jaar bewaard. De maandelijkse backups worden anderhalf jaar bewaard en de jaarlijkse een jaar of vijf.
 
 
 
Als het terug te zetten bestand al meer dan vier weken niet meer op het systeem aanwezig was, dan moeten de wekelijkse, maandelijkse of jaarlijkse tapes geraadpleegd worden. Omdat deze tapes i.v.m. calamiteiten ook extern worden bewaard, is het mogelijk dat een restore pas na een dag afgehandeld kan worden.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
Every weekend part of the server disk partitions are completely written to a couple of LTO2-tapes. Every partition is written to tape roughly
+
The costs of backup are the major part of the [https://wiki.science.ru.nl/cncz/Diskruimte?setlang=en#.5BNetwerk_schijven.5D.5BNetwork_shares.5D cost of C&CZ disc space].
once in four weeks. These weekly backup-tapes are preserved half a year. The monthly backup-tapes are preserved one and a half year, the yearly tapes about five years.
 
 
[/en]
 
[/en]
 +
 +
 +
[[Bestand:lijn.png]]

Latest revision as of 13:25, 6 August 2018

If accidentally one or more files are lost from a home-directory (U:-disk) or a /vol-directory, probably the files can be restored. To be present on backup, a file must of course have existed during a (nightly) backup.

Different independent backup schemes are used:

  • Daily backups to tape.
  • Monthly backups to tape.
  • Yearly backups to tape.

Daily backup to tape

All server disk-partitions except temporary space like /tmp, /var/tmp, /scratch, are backed-up after each working day on a number of tapes. Because of the time it takes to do a backup, most of the times this is a so-called incremental dump, which means that only changes w.r.t. the previous backup are written. These backups are started each evening after 18:00 hours. These backup-tapes are preserved for four weeks.

Monthly and yearly backup to tape

Every weekend a subset of all server disk partitions are completely written to a couple of LTO6-tapes. Every partition is written to tape roughly once every four weeks. These monthly backup-tapes are preserved for one year. The yearly backups are performed around the Christmas break (end of December and start of January) and are preserved for at least five years.

Backup server

The backups are made with the Amanda open source network backup software. The backup server, that was renewed in 2013, is a Dell PowerEdge R720xd with 44 TB disc space, that is used to make fast restores from disk possible. The backups are written to LTO-6 tapes in a Dell TL2000 tape library with 2 LTO6 drives and 24 slots. The new service reads and writes LTO-6, but it can also read the LTO-4 tapes that we used before.

Costs

The full backup schedule (Daily plus Monthly plus Yearly backups) costs 155 €/TB year for FNWI departments. It breaks down to:

- Daily: 70 €/TB year

- Monthly: 60 €/TB year

- Yearly: 25 €/TB year


The costs of backup are the major part of the cost of C&CZ disc space.


Lijn.png