Difference between revisions of "Backup"

From Cncz
Jump to navigation Jump to search
m
m
 
(16 intermediate revisions by 3 users not shown)
Line 1: Line 1:
 
[nl]
 
[nl]
Als er per ongeluk één of meerdere bestanden verloren gaan uit een ''home-directory'' (H:-schijf) of een ''/vol-directory'', dan is de kans groot dat ze terug gehaald kunnen worden. Op veel C&CZ-servers worden elke ochtend een "snapshot" gemaakt, op sommige servers zelfs meerdere keren per dag. Als men dezelfde dag C&CZ systeembeheer benadert, kan meestal eenvoudig de situatie van 's ochtends vroeg hersteld worden. In andere gevallen is men aangewezen op backup-tapes. Voorwaarde voor het aanwezig zijn op een backup-tape is wel dat het bestand aanwezig was tijdens een (nachtelijke) backup.
+
Als er per ongeluk één of meerdere bestanden verloren gaan uit een ''home-directory'' (U:-schijf) of een netwerkschijf of een andere plaats van een C&CZ-server, dan is de kans groot dat ze teruggehaald kunnen worden. Voorwaarde voor het aanwezig zijn in de backup is dat het bestand aanwezig was tijdens een (nachtelijke) backup.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
If accidentally one or more files are lost from a ''home-directory'' (H:-disk) or a ''/vol-directory'', probably the files can be restored.
+
If accidentally one or more files are lost from a ''home-directory'' (U:-disk) or a ''/vol-directory'' or some other place on a C&CZ server, probably the files can be restored. To be present on backup, a file must of course have existed during a (nightly) backup.
On most C&CZ-servers every morning a "snapshot" is taken, on some servers even a few times each day. If one contacts C&CZ system administration the same day, most of the time we can easily
 
restore the situation of that morning with this snapshot. In other cases we have to revert to the backup-tapes to restore the files.
 
To be present on backup-tapes a file must of course have existed during a (nightly) backup.
 
 
[/en]
 
[/en]
  
Line 12: Line 9:
 
[eng]Different independent backup schemes are used[/eng]:
 
[eng]Different independent backup schemes are used[/eng]:
  
* [Ochtend snapshot naar][Morning snapshots to] disk.
+
* [Dagelijkse backup naar][Daily backups to] Ceph-storage.  
* [Dagelijkse backup naar][Daily backups to] tape.
 
 
* [Maandelijkse backup naar][Monthly backups to] tape.
 
* [Maandelijkse backup naar][Monthly backups to] tape.
 
* [Jaarlijkse backup naar][Yearly backups to] tape.
 
* [Jaarlijkse backup naar][Yearly backups to] tape.
  
= [Ochtend snapshot naar][Morning snapshots to] disk=
+
= [Dagelijkse backup naar][Daily backup to] tape =
  
 
[nl]
 
[nl]
Op veel servers wordt van alle disken 's ochtends om 7:00 uur van maandag t/m vrijdag een "snapshot" gemaakt, op sommige Linux servers ook om 13:00 uur 's middags. Hiermee kan C&CZ systeembeheer de exacte situatie van de huidige ochtend (middag) zien, waarmee dus eenvoudig bv bestanden ge-"undelete" kunnen worden. Als een gebruiker dat zelf wil kunnen, kan C&CZ een netwerk-share aanmaken, waarmee de gebruiker dan zelf vanaf een Windows-PC (of een andere Samba client) naar het snapshot kan kijken.
+
Van alle partities (m.u.v. tijdelijke diskruimte zoals /tmp, /var/tmp, /scratch e.d.) wordt na elke werkdag een backup op Ceph-storage gemaakt.
 +
Vanwege de tijd die het kost om een backup te maken, zal dit vaak een zogenaamde ''incrementele dump'' zijn, d.w.z. dat alleen alle veranderingen t.o.v. de laatste backups worden weggeschreven. De backups worden elke werkdag na werktijd gestart. Deze backups worden ca. vier weken bewaard. Omdat ze online op Ceph-storage staan, zijn ze sneller terug te halen dan wanneer ze op tape zouden staan. De gekozen Ceph-storage is ook beschikbaar bij uitval van een van de datacenters.
 +
[/nl]
 +
[en]
 +
All server disk-partitions except temporary space like /tmp, /var/tmp, /scratch, are backed-up after each working day on Ceph storage.
 +
Because of the time it takes to do a backup, most of the times this is a so-called ''incremental dump'', which means that only
 +
changes w.r.t. the previous backup are written. These backups are started each working day after working hours. These backups are preserved for four weeks. Because these backups are on online Ceph storage, the can be retrieved faster than they would be if they would reside on tapes. The Ceph storage chosen is also available when one datacenter would be unavailable.  
 +
[/en]
  
Op een Unix/Linux machine kan men als gewone gebruiker die netwerk=-share aankoppelen via:
+
= [Maandelijkse en jaarlijkse backup naar][Monthly and yearly backup to] tape =
  
<tt>/usr/local/samba/bin/smbclient //$server/$share-naam</tt>
+
[nl]
 
+
Ieder weekeinde wordt een deel van de disk partities volledig naar een set LTO6-tapes geschreven. Elke partitie komt eens in de 4 weken aan de beurt. Deze maandelijkse backup tapes worden een heel jaar bewaard. De jaarlijkse backups worden rond de kerstvakantie (eind december en begin januari) op LTO-7 gemaakt en worden tenminste vijf jaar bewaard.
of als <tt>root</tt> via:
 
 
 
<tt>mount -t cifs //$server/$share-naam /$mountpoint -o user=$user</tt>
 
 
 
De reguliere servers voor de home-directories van medewerkers en studenten zijn bundle en pile.
 
  
Het snapshot filesysteem kan jammer genoeg niet goed via NFS ge&euml;xporteerd worden en een NFS- of CIFS/SMB-server volgt geen 'symbolische links', daarom moet het op bovenstaande manier.
+
Als het terug te zetten bestand al meer dan vier weken niet meer op het systeem aanwezig was, dan moeten de maandelijkse of jaarlijkse tapes geraadpleegd worden. De recentste maandelijkse tapes tapes worden i.v.m. calamiteiten ook extern bewaard.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
Many servers take a "snapshot" of their disks at 07:00 hours Monday through Friday, and on some Linux servers at 13:00 hours as well. With this snapshot C&CZ system administration can see the exact situation of that morning, which makes an "undelete" easy. If a user wants to be able to do this himself, C&CZ can create a network share, which makes it possible for the user to look at the snapshot himself from a Windows-PC (or any Samba client).
+
Every weekend a subset of all server disk partitions are completely written to a couple of LTO6-tapes. Every partition is written to tape roughly
 
+
once every four weeks. These monthly backup-tapes are preserved for one year. The yearly backups are performed around the Christmas break (end of December and start of January), written on LTO-7 tapes and preserved for at least five years.
From a Unix/Linux machine one can attach that network share through:
 
 
 
<tt>/usr/local/samba/bin/smbclient //$server/$sharename</tt>
 
 
 
or as <tt>root</tt> through:
 
 
 
<tt>mount -t cifs //$server/$sharename /$mountpoint -o user=$user</tt>
 
  
The regular servers for the home-directories of students and staff are bundle and pile.
+
If the file to be restored was not on a C&CZ server the last four weeks, it has to be restored from monthly or yearly backups. The most recent monthly tapes are stored off-site for use after calamities.
 
 
We cannot easily share the snapshot filesystem through NFS and an NFS- or CIFS/SMB-server does not follow 'symbolic links', that's why we have to do it as described above.
 
 
[/en]
 
[/en]
  
= [Dagelijkse backup naar][Daily backup to] tape =
+
= [Backup server][Backup server] =
  
 
[nl]
 
[nl]
Van alle partities (m.u.v. tijdelijke diskruimte zoals /tmp, /var/tmp, /scratch e.d.) wordt na elke werkdag een backup op een aantal [http://en.wikipedia.org/wiki/Linear_Tape-Open LTO6]-tapes gemaakt.
+
De backups worden uitgevoerd m.b.v. de [http://www.amanda.org/ Amanda] open source network backupsoftware. De in 2013 vernieuwde server is een [http://www.dell.com/nl/bedrijven/p/poweredge-r720/pd Dell PowerEdge R720xd] met 44 TB schijfruimte, die gebruikt wordt om snelle restores vanaf disk mogelijk te maken. De backups worden weggeschreven op [http://en.wikipedia.org/wiki/Linear_Tape-Open LTO-6]-tapes in een [http://www.dell.com/nl/bedrijven/p/powervault-tl2000/pd Dell TL2000] tapelibrary met 2 LTO6 drives en 24 slots. De nieuwe voorziening leest en schrijft LTO-6, maar kan ook de hiervoor gebruikte [http://en.wikipedia.org/wiki/Linear_Tape-Open#Generations LTO-4] tapes lezen.
Vanwege de tijd die het kost om een backup te maken, zal dit vaak een zogenaamde ''incrementele dump'' zijn, d.w.z. dat alleen alle veranderingen t.o.v. de laatste backups worden weggeschreven. De backups worden elke avond vanaf 18.00 uur gestart. Deze backup tapes worden ca. vier weken bewaard.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
All server disk-partitions except temporary space like /tmp, /var/tmp, /scratch, are backed-up after each working day on a number of [http://en.wikipedia.org/wiki/Linear_Tape-Open LTO6] tapes.
+
The backups are made with the [http://www.amanda.org/ Amanda] open source network backup software. The backup server, that was renewed in 2013, is a [http://www.dell.com/nl/bedrijven/p/poweredge-r720/pd Dell PowerEdge R720xd] with 44 TB disc space, that is used to make fast restores from disk possible. The backups are written to [http://en.wikipedia.org/wiki/Linear_Tape-Open LTO-6] tapes in a [http://www.dell.com/nl/bedrijven/p/powervault-tl2000/pd Dell TL2000] tape library with 2 LTO6 drives and 24 slots. The new service reads and writes LTO-6, but it can also read the [http://en.wikipedia.org/wiki/Linear_Tape-Open#Generations LTO-4] tapes that we used before.
Because of the time it takes to do a backup, most of the times this is a so-called ''incremental dump'', which means that only
 
changes w.r.t. the previous backup are written. These backups are started each evening after 18:00 hours. These backup-tapes are preserved for four weeks.
 
 
[/en]
 
[/en]
  
= [Maandelijkse en jaarlijkse backup naar][Monthly and yearly backup to] tape =
+
= [Prijs][Costs] =
  
 
[nl]
 
[nl]
Ieder weekeinde wordt een deel van de disk partities volledig naar een set LTO6-tapes geschreven. Elke partitie komt eens in de 4 weken aan de beurt. Deze maandelijkse backup tapes worden een heel jaar bewaard. De jaarlijkse backups worden in december gemaakt en worden tenminste vijf jaar bewaard.
+
Het complete backupschema (Daily plus Monthly plus Yearly backups) kost intern FNWI 155 &euro;/TB jaar. Per schema is dit:
 
 
Als het terug te zetten bestand al meer dan vier weken niet meer op het systeem aanwezig was, dan moeten de maandelijkse of jaarlijkse tapes geraadpleegd worden. Omdat deze tapes i.v.m. calamiteiten ook extern worden bewaard, is het mogelijk dat een restore pas na een dag afgehandeld kan worden.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
Every weekend a subset of all server disk partitions are completely written to a couple of LTO6-tapes. Every partition is written to tape roughly
+
The full backup schedule (Daily plus Monthly plus Yearly backups) costs 155 &euro;/TB year for FNWI departments. It breaks down to:
once every four weeks. These weekly backup-tapes are preserved for one year. The yearly backups are performed in December and are preserved for at least five years.
 
 
[/en]
 
[/en]
  
= [Backup server][Backup server] =
+
- Daily: 70 &euro;/TB [jaar][year]
 +
 
 +
- Monthly: 60 &euro;/TB [jaar][year]
 +
 
 +
- Yearly: 25 &euro;/TB [jaar][year]
 +
 
  
 
[nl]
 
[nl]
De backups worden uitgevoerd m.b.v. de [http://www.amanda.org/ Amanda] open source network backupsoftware. De in 2013 vernieuwde server is een [http://www.dell.com/nl/bedrijven/p/poweredge-r720/pd Dell PowerEdge R720xd] met 44 TB schijfruimte, die gebruikt wordt om snelle restores vanaf disk mogelijk te maken. De backups worden weggeschreven op [http://en.wikipedia.org/wiki/Linear_Tape-Open LTO-6]-tapes in een [http://www.dell.com/nl/bedrijven/p/powervault-tl2000/pd Dell TL2000] tapelibrary met 2 LTO6 drives en 24 slots. De nieuwe voorziening leest en schrijft LTO-6, maar kan ook de hiervoor gebruikte [http://en.wikipedia.org/wiki/Linear_Tape-Open#Generations LTO-4] tapes lezen.
+
De prijs van het backuppen is het grootste deel van de [https://wiki.science.ru.nl/cncz/Diskruimte?setlang=nl#.5BNetwerk_schijven.5D.5BNetwork_shares.5D prijs van C&CZ diskruimte].
 
[/nl]
 
[/nl]
 
[en]
 
[en]
The backups are made with the [http://www.amanda.org/ Amanda] open source network backup software. The backup server, that was renewed in 2013, is a [http://www.dell.com/nl/bedrijven/p/poweredge-r720/pd Dell PowerEdge R720xd] with 44 TB disc space, that is used to make fast restores from disk possible. The backups are written to [http://en.wikipedia.org/wiki/Linear_Tape-Open LTO-6] tapes in a [http://www.dell.com/nl/bedrijven/p/powervault-tl2000/pd Dell TL2000] tape library with 2 LTO6 drives and 24 slots. The new service reads and writes LTO-6, but it can also read the [http://en.wikipedia.org/wiki/Linear_Tape-Open#Generations LTO-4] tapes that we used before.
+
The costs of backup are the major part of the [https://wiki.science.ru.nl/cncz/Diskruimte?setlang=en#.5BNetwerk_schijven.5D.5BNetwork_shares.5D cost of C&CZ disc space].
 
[/en]
 
[/en]
 +
  
 
[[Bestand:lijn.png]]
 
[[Bestand:lijn.png]]

Latest revision as of 14:27, 17 December 2020

If accidentally one or more files are lost from a home-directory (U:-disk) or a /vol-directory or some other place on a C&CZ server, probably the files can be restored. To be present on backup, a file must of course have existed during a (nightly) backup.

Different independent backup schemes are used:

  • Daily backups to Ceph-storage.
  • Monthly backups to tape.
  • Yearly backups to tape.

Daily backup to tape

All server disk-partitions except temporary space like /tmp, /var/tmp, /scratch, are backed-up after each working day on Ceph storage. Because of the time it takes to do a backup, most of the times this is a so-called incremental dump, which means that only changes w.r.t. the previous backup are written. These backups are started each working day after working hours. These backups are preserved for four weeks. Because these backups are on online Ceph storage, the can be retrieved faster than they would be if they would reside on tapes. The Ceph storage chosen is also available when one datacenter would be unavailable.

Monthly and yearly backup to tape

Every weekend a subset of all server disk partitions are completely written to a couple of LTO6-tapes. Every partition is written to tape roughly once every four weeks. These monthly backup-tapes are preserved for one year. The yearly backups are performed around the Christmas break (end of December and start of January), written on LTO-7 tapes and preserved for at least five years.

If the file to be restored was not on a C&CZ server the last four weeks, it has to be restored from monthly or yearly backups. The most recent monthly tapes are stored off-site for use after calamities.

Backup server

The backups are made with the Amanda open source network backup software. The backup server, that was renewed in 2013, is a Dell PowerEdge R720xd with 44 TB disc space, that is used to make fast restores from disk possible. The backups are written to LTO-6 tapes in a Dell TL2000 tape library with 2 LTO6 drives and 24 slots. The new service reads and writes LTO-6, but it can also read the LTO-4 tapes that we used before.

Costs

The full backup schedule (Daily plus Monthly plus Yearly backups) costs 155 €/TB year for FNWI departments. It breaks down to:

- Daily: 70 €/TB year

- Monthly: 60 €/TB year

- Yearly: 25 €/TB year


The costs of backup are the major part of the cost of C&CZ disc space.


Lijn.png