Difference between revisions of "Backup"

From Cncz
Jump to: navigation, search
m
 
Line 1: Line 1:
 
[nl]
 
[nl]
Als er per ongeluk één of meerdere bestanden verloren gaan uit een ''home-directory'' (U:-schijf) of een netwerkschijf, dan is de kans groot dat ze terug gehaald kunnen worden. Voorwaarde voor het aanwezig zijn in de backup is dat het bestand aanwezig was tijdens een (nachtelijke) backup.
+
Als er per ongeluk één of meerdere bestanden verloren gaan uit een ''home-directory'' (U:-schijf) of een netwerkschijf of een andere plaats van een C&CZ-server, dan is de kans groot dat ze teruggehaald kunnen worden. Voorwaarde voor het aanwezig zijn in de backup is dat het bestand aanwezig was tijdens een (nachtelijke) backup.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
If accidentally one or more files are lost from a ''home-directory'' (U:-disk) or a ''/vol-directory'', probably the files can be restored. To be present on backup, a file must of course have existed during a (nightly) backup.
+
If accidentally one or more files are lost from a ''home-directory'' (U:-disk) or a ''/vol-directory'' or some other place on a C&CZ server, probably the files can be restored. To be present on backup, a file must of course have existed during a (nightly) backup.
 
[/en]
 
[/en]
  
Line 9: Line 9:
 
[eng]Different independent backup schemes are used[/eng]:
 
[eng]Different independent backup schemes are used[/eng]:
  
* [Dagelijkse backup naar][Daily backups to] tape.
+
* [Dagelijkse backup naar][Daily backups to] Ceph-storage.  
 
* [Maandelijkse backup naar][Monthly backups to] tape.
 
* [Maandelijkse backup naar][Monthly backups to] tape.
 
* [Jaarlijkse backup naar][Yearly backups to] tape.
 
* [Jaarlijkse backup naar][Yearly backups to] tape.
Line 16: Line 16:
  
 
[nl]
 
[nl]
Van alle partities (m.u.v. tijdelijke diskruimte zoals /tmp, /var/tmp, /scratch e.d.) wordt na elke werkdag een backup op een aantal tapes gemaakt.
+
Van alle partities (m.u.v. tijdelijke diskruimte zoals /tmp, /var/tmp, /scratch e.d.) wordt na elke werkdag een backup op Ceph-storage gemaakt.
Vanwege de tijd die het kost om een backup te maken, zal dit vaak een zogenaamde ''incrementele dump'' zijn, d.w.z. dat alleen alle veranderingen t.o.v. de laatste backups worden weggeschreven. De backups worden elke avond vanaf 18.00 uur gestart. Deze backup tapes worden ca. vier weken bewaard.
+
Vanwege de tijd die het kost om een backup te maken, zal dit vaak een zogenaamde ''incrementele dump'' zijn, d.w.z. dat alleen alle veranderingen t.o.v. de laatste backups worden weggeschreven. De backups worden elke werkdag na werktijd gestart. Deze backups worden ca. vier weken bewaard. Omdat ze online op Ceph-storage staan, zijn ze sneller terug te halen dan wanneer ze op tape zouden staan. De gekozen Ceph-storage is ook beschikbaar bij uitval van een van de datacenters.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
All server disk-partitions except temporary space like /tmp, /var/tmp, /scratch, are backed-up after each working day on a number of tapes.
+
All server disk-partitions except temporary space like /tmp, /var/tmp, /scratch, are backed-up after each working day on Ceph storage.
 
Because of the time it takes to do a backup, most of the times this is a so-called ''incremental dump'', which means that only
 
Because of the time it takes to do a backup, most of the times this is a so-called ''incremental dump'', which means that only
changes w.r.t. the previous backup are written. These backups are started each evening after 18:00 hours. These backup-tapes are preserved for four weeks.
+
changes w.r.t. the previous backup are written. These backups are started each working day after working hours. These backups are preserved for four weeks. Because these backups are on online Ceph storage, the can be retrieved faster than they would be if they would reside on tapes. The Ceph storage chosen is also available when one datacenter would be unavailable.  
 
[/en]
 
[/en]
  
Line 28: Line 28:
  
 
[nl]
 
[nl]
Ieder weekeinde wordt een deel van de disk partities volledig naar een set LTO6-tapes geschreven. Elke partitie komt eens in de 4 weken aan de beurt. Deze maandelijkse backup tapes worden een heel jaar bewaard. De jaarlijkse backups worden rond de kerstvakantie (eind december en begin januari) gemaakt en worden tenminste vijf jaar bewaard.
+
Ieder weekeinde wordt een deel van de disk partities volledig naar een set LTO6-tapes geschreven. Elke partitie komt eens in de 4 weken aan de beurt. Deze maandelijkse backup tapes worden een heel jaar bewaard. De jaarlijkse backups worden rond de kerstvakantie (eind december en begin januari) op LTO-7 gemaakt en worden tenminste vijf jaar bewaard.
  
Als het terug te zetten bestand al meer dan vier weken niet meer op het systeem aanwezig was, dan moeten de maandelijkse of jaarlijkse tapes geraadpleegd worden. Deze tapes worden i.v.m. calamiteiten ook extern bewaard.
+
Als het terug te zetten bestand al meer dan vier weken niet meer op het systeem aanwezig was, dan moeten de maandelijkse of jaarlijkse tapes geraadpleegd worden. De recentste maandelijkse tapes tapes worden i.v.m. calamiteiten ook extern bewaard.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
 
Every weekend a subset of all server disk partitions are completely written to a couple of LTO6-tapes. Every partition is written to tape roughly
 
Every weekend a subset of all server disk partitions are completely written to a couple of LTO6-tapes. Every partition is written to tape roughly
once every four weeks. These monthly backup-tapes are preserved for one year. The yearly backups are performed around the Christmas break (end of December and start of January) and are preserved for at least five years.
+
once every four weeks. These monthly backup-tapes are preserved for one year. The yearly backups are performed around the Christmas break (end of December and start of January), written on LTO-7 tapes and preserved for at least five years.
 +
 
 +
If the file to be restored was not on a C&CZ server the last four weeks, it has to be restored from monthly or yearly backups. The most recent monthly tapes are stored off-site for use after calamities.
 
[/en]
 
[/en]
  

Latest revision as of 13:27, 17 December 2020

If accidentally one or more files are lost from a home-directory (U:-disk) or a /vol-directory or some other place on a C&CZ server, probably the files can be restored. To be present on backup, a file must of course have existed during a (nightly) backup.

Different independent backup schemes are used:

  • Daily backups to Ceph-storage.
  • Monthly backups to tape.
  • Yearly backups to tape.

Daily backup to tape

All server disk-partitions except temporary space like /tmp, /var/tmp, /scratch, are backed-up after each working day on Ceph storage. Because of the time it takes to do a backup, most of the times this is a so-called incremental dump, which means that only changes w.r.t. the previous backup are written. These backups are started each working day after working hours. These backups are preserved for four weeks. Because these backups are on online Ceph storage, the can be retrieved faster than they would be if they would reside on tapes. The Ceph storage chosen is also available when one datacenter would be unavailable.

Monthly and yearly backup to tape

Every weekend a subset of all server disk partitions are completely written to a couple of LTO6-tapes. Every partition is written to tape roughly once every four weeks. These monthly backup-tapes are preserved for one year. The yearly backups are performed around the Christmas break (end of December and start of January), written on LTO-7 tapes and preserved for at least five years.

If the file to be restored was not on a C&CZ server the last four weeks, it has to be restored from monthly or yearly backups. The most recent monthly tapes are stored off-site for use after calamities.

Backup server

The backups are made with the Amanda open source network backup software. The backup server, that was renewed in 2013, is a Dell PowerEdge R720xd with 44 TB disc space, that is used to make fast restores from disk possible. The backups are written to LTO-6 tapes in a Dell TL2000 tape library with 2 LTO6 drives and 24 slots. The new service reads and writes LTO-6, but it can also read the LTO-4 tapes that we used before.

Costs

The full backup schedule (Daily plus Monthly plus Yearly backups) costs 155 €/TB year for FNWI departments. It breaks down to:

- Daily: 70 €/TB year

- Monthly: 60 €/TB year

- Yearly: 25 €/TB year


The costs of backup are the major part of the cost of C&CZ disc space.


Lijn.png