Difference between revisions of "Backup"

From Cncz
Jump to navigation Jump to search
m
 
(31 intermediate revisions by 3 users not shown)
Line 1: Line 1:
 
[nl]
 
[nl]
−
Als er per ongeluk één of meerdere bestanden verloren gaan uit een ''home-directory'' (H:-schijf) of een ''/vol-directory'', dan is de kans groot dat ze terug gehaald kunnen worden. Op veel C&CZ-servers worden elke ochtend een "snapshot" gemaakt, op sommige servers zelfs meerdere keren per dag. Als men dezelfde dag C&CZ systeembeheer benadert, kan meestal eenvoudig de situatie van 's ochtends vroeg hersteld worden. In andere gevallen is men aangewezen op backup-tapes. Voorwaarde voor het aanwezig zijn op een backup is wel dat het bestand minstens 1 dag oud is, want anders bestaat er nog geen enkele backup van.
+
Als er per ongeluk één of meerdere bestanden verloren gaan uit een ''home-directory'' (U:-schijf) of een netwerkschijf of een andere plaats van een C&CZ-server, dan is de kans groot dat ze teruggehaald kunnen worden. Voorwaarde voor het aanwezig zijn in de backup is dat het bestand aanwezig was tijdens een (nachtelijke) backup.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
−
If accidentally one or more files are lost from a ''home-directory'' (H:-disk) or a ''/vol-directory'', probably the can be restored.
+
If accidentally one or more files are lost from a ''home-directory'' (U:-disk) or a ''/vol-directory'' or some other place on a C&CZ server, probably the files can be restored. To be present on backup, a file must of course have existed during a (nightly) backup.
−
On most C&CZ-servers every morning a "snapshot" is taken, on some servers even a few times each day. If one contacts C&CZ system administration the same day, most of the time we can easily
 
−
restore the situation of that morning with this snapshot. In other cases we have to revert to the backup-tapes to restore the files.
 
−
To be present on backup-tapes a file must of course be older than one day.
 
−
[/en]
 
−
 
 
−
[nl]
 
−
Voor thuis-PCs of andere niet door C&CZ beheerde PCs op de campus kan wellicht de
 
−
[http://www.ru.nl/uci/diensten_voor/medewerkers/back-up_en_archief/ UCI TSM taperobot]
 
−
een goede oplossing zijn, per medewerker
 
−
kan er tot 20GB gratis opgeslagen worden op de robot.
 
−
[/nl]
 
−
[en]
 
−
For home-PCs or other PCs that are not managed by C&CZ, the
 
−
[http://www.ru.nl/uci/diensten_voor/medewerkers/back-up_en_archief/ UCI TSM taperobot]
 
−
might be a good solution. Each
 
−
employee can store up to 20GB on that robot without having to pay usage charges.
 
 
[/en]
 
[/en]
  
Line 25: Line 9:
 
[eng]Different independent backup schemes are used[/eng]:
 
[eng]Different independent backup schemes are used[/eng]:
  
−
* [Ochtend snapshot naar][Morning snapshots to] disk.
+
* [Dagelijkse backup naar][Daily backups to] Ceph-storage.  
−
* [Dagelijkse backup naar][Daily backups to] tape.
+
* [Maandelijkse backup naar][Monthly backups to] tape.
−
* [Wekelijkse backup naar][Weekly backups to] tape.
 
 
* [Jaarlijkse backup naar][Yearly backups to] tape.
 
* [Jaarlijkse backup naar][Yearly backups to] tape.
  
−
= [Ochtend snapshot naar][Morning snapshots to] disk=
+
= [Dagelijkse backup naar][Daily backup to] tape =
  
 
[nl]
 
[nl]
−
Op veel servers wordt van alle disken 's ochtends om 7:00 uur van maandag t/m vrijdag een "snapshot" gemaakt, op sommige Linux servers ook om 13:00 uur 's middags. Hiermee kan C&CZ systeembeheer de exacte situatie van de huidige ochtend (middag) zien, waarmee dus eenvoudig bv bestanden ge-"undelete" kunnen worden. Als een gebruiker dat zelf wil kunnen, kan C&CZ op elke H:-schijf waarop dat mogelijk is een verwijzing/snelkoppeling/bind-mount ".snapshot" maken, waarmee de gebruiker dan zelf vanaf een Windows-PC (of een andere Samba client) naar het snapshot kan kijken.
+
Van alle partities (m.u.v. tijdelijke diskruimte zoals /tmp, /var/tmp, /scratch e.d.) wordt na elke werkdag een backup op Ceph-storage gemaakt.
 +
Vanwege de tijd die het kost om een backup te maken, zal dit vaak een zogenaamde ''incrementele dump'' zijn, d.w.z. dat alleen alle veranderingen t.o.v. de laatste backups worden weggeschreven. De backups worden elke werkdag na werktijd gestart. Deze backups worden ca. vier weken bewaard. Omdat ze online op Ceph-storage staan, zijn ze sneller terug te halen dan wanneer ze op tape zouden staan. De gekozen Ceph-storage is ook beschikbaar bij uitval van een van de datacenters.
 +
[/nl]
 +
[en]
 +
All server disk-partitions except temporary space like /tmp, /var/tmp, /scratch, are backed-up after each working day on Ceph storage.
 +
Because of the time it takes to do a backup, most of the times this is a so-called ''incremental dump'', which means that only
 +
changes w.r.t. the previous backup are written. These backups are started each working day after working hours. These backups are preserved for four weeks. Because these backups are on online Ceph storage, the can be retrieved faster than they would be if they would reside on tapes. The Ceph storage chosen is also available when one datacenter would be unavailable.  
 +
[/en]
  
−
Op een Unix/Linux machine kan men als gewone gebruiker die H:-schijf aankoppelen via:
+
= [Maandelijkse en jaarlijkse backup naar][Monthly and yearly backup to] tape =
  
−
<tt>/usr/local/samba/bin/smbclient //$server/$username</tt>
+
[nl]
 +
Ieder weekeinde wordt een deel van de disk partities volledig naar een set LTO6-tapes geschreven. Elke partitie komt eens in de 4 weken aan de beurt. Deze maandelijkse backup tapes worden een heel jaar bewaard. De jaarlijkse backups worden rond de kerstvakantie (eind december en begin januari) op LTO-7 gemaakt en worden tenminste vijf jaar bewaard.
  
−
of als <tt>root</tt> via:
+
Als het terug te zetten bestand al meer dan vier weken niet meer op het systeem aanwezig was, dan moeten de maandelijkse of jaarlijkse tapes geraadpleegd worden. De recentste maandelijkse tapes tapes worden i.v.m. calamiteiten ook extern bewaard.
 +
[/nl]
 +
[en]
 +
Every weekend a subset of all server disk partitions are completely written to a couple of LTO6-tapes. Every partition is written to tape roughly
 +
once every four weeks. These monthly backup-tapes are preserved for one year. The yearly backups are performed around the Christmas break (end of December and start of January), written on LTO-7 tapes and preserved for at least five years.
  
−
<tt>mount -t cifs //$server/$user /$mountpoint -o user=$user</tt>
+
If the file to be restored was not on a C&CZ server the last four weeks, it has to be restored from monthly or yearly backups. The most recent monthly tapes are stored off-site for use after calamities.
 +
[/en]
  
−
De reguliere servers voor de home-directories van medewerkers en studenten zijn pluri, bundle, pile en goudsmit.
+
= [Backup server][Backup server] =
  
−
Het snapshot filesysteem kan jammer genoeg niet goed via NFS geexporteerd worden en een NFS-server volgt geen 'symbolische links', daarom moet het op bovenstaande manier. De naam van de verwijzing/snelkoppeling <tt>.snapshot</tt> is zo gekozen dat het onder Windows een "verborgen" bestand is, om gebruikers niet in verwarring te brengen.
+
[nl]
−
Op dit moment is jammer genoeg de home-server "servius" (Medische en Biofysica) niet eenvoudig voor deze snapshots in te richten.  
+
De backups worden uitgevoerd m.b.v. de [http://www.amanda.org/ Amanda] open source network backupsoftware. De in 2013 vernieuwde server is een [http://www.dell.com/nl/bedrijven/p/poweredge-r720/pd Dell PowerEdge R720xd] met 44 TB schijfruimte, die gebruikt wordt om snelle restores vanaf disk mogelijk te maken. De backups worden weggeschreven op [http://en.wikipedia.org/wiki/Linear_Tape-Open LTO-6]-tapes in een [http://www.dell.com/nl/bedrijven/p/powervault-tl2000/pd Dell TL2000] tapelibrary met 2 LTO6 drives en 24 slots. De nieuwe voorziening leest en schrijft LTO-6, maar kan ook de hiervoor gebruikte [http://en.wikipedia.org/wiki/Linear_Tape-Open#Generations LTO-4] tapes lezen.
−
Sinds de invoering van deze snapshots is de oude "Incremental backup naar disk", die erg veel capaciteit kostte en relatief weinig opleverde, uitgefaseerd.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
−
Many servers take a "snapshot" of their disks at 07:00 hours Monday through Friday, and on some Linux servers at 13:00 hours as well. With this snapshot C&CZ system administration can see the exact situation of that morning, which makes an "undelete" easy. If a user wants to be able to do this himself, C&CZ can create on each H:-disk where possible a shortcut/symbolic-link/bind-mount ".snapshot", which makes it possible for the user to look at the snapshot himself from a Windows-PC (or any Samba client).
+
The backups are made with the [http://www.amanda.org/ Amanda] open source network backup software. The backup server, that was renewed in 2013, is a [http://www.dell.com/nl/bedrijven/p/poweredge-r720/pd Dell PowerEdge R720xd] with 44 TB disc space, that is used to make fast restores from disk possible. The backups are written to [http://en.wikipedia.org/wiki/Linear_Tape-Open LTO-6] tapes in a [http://www.dell.com/nl/bedrijven/p/powervault-tl2000/pd Dell TL2000] tape library with 2 LTO6 drives and 24 slots. The new service reads and writes LTO-6, but it can also read the [http://en.wikipedia.org/wiki/Linear_Tape-Open#Generations LTO-4] tapes that we used before.
 +
[/en]
  
−
From a Unix/Linux machine one can attach that H:-disk through:
+
= [Prijs][Costs] =
  
−
<tt>/usr/local/samba/bin/smbclient //$server/$username</tt>
+
[nl]
−
 
+
Het complete backupschema (Daily plus Monthly plus Yearly backups) kost intern FNWI 155 &euro;/TB jaar. Per schema is dit:
−
or as <tt>root</tt> through:
+
[/nl]
 +
[en]
 +
The full backup schedule (Daily plus Monthly plus Yearly backups) costs 155 &euro;/TB year for FNWI departments. It breaks down to:
 +
[/en]
  
−
<tt>mount -t cifs //$server/$user /$mountpoint -o user=$user</tt>
+
- Daily: 70 &euro;/TB [jaar][year]
  
−
The regular servers for the home-directories of students and staff are pluri, bundle, pile, and goudsmit.
+
- Monthly: 60 &euro;/TB [jaar][year]
  
−
We cannot easily share the snapshot filesystem through NFS and an NFS-server does not follow 'symbolic links', that's why we have to do it as described above. The name of the shortcut/symbolic-link is chosen such that Windows shows it as a "hidden" file, in order not to confuse users.
+
- Yearly: 25 &euro;/TB [jaar][year]
−
At this moment it is a pity that we cannot easily have snapshots on the home-server "servius" (Medical and Biophysics).
 
−
Because we have snapshots, the old "Incremental backup to disk", that was hard to maintain and thought to be of less use than snapshots, was phased out.
 
−
[/en]
 
  
−
= [Dagelijkse backup naar][Daily backup to] tape =
 
  
 
[nl]
 
[nl]
−
Van alle partities (m.u.v. tijdelijke diskruimte zoals /tmp, /var/tmp, /scratch e.d.) wordt 's nachts een backup op een aantal LTO4-tapes gemaakt.
+
De prijs van het backuppen is het grootste deel van de [https://wiki.science.ru.nl/cncz/Diskruimte?setlang=nl#.5BNetwerk_schijven.5D.5BNetwork_shares.5D prijs van C&CZ diskruimte].
−
Vanwege de tijd die het kost om een backup te maken, zal dit vaak een zogenaamde ''incrementele dump'' zijn, d.w.z. dat alleen alle veranderingen t.o.v. de laatste volledige backups worden weggeschreven. De backups worden elke avond vanaf 21.00 uur gestart. Deze backup tapes worden ca. vijf tot zes weken bewaard.
 
−
 
 
−
Als het bestand niet in de incremental backup op disk staat, dan dient een [[Restore procedure|restore aanvraag]] te worden ingevuld. Systeembeheer zal dan proberen het bestand van tape terug te zetten.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
−
All server disk-partitions except temporary space like /tmp, /var/tmp, /scratch, are backed-up nightly on a number of LTO4-tapes.
+
The costs of backup are the major part of the [https://wiki.science.ru.nl/cncz/Diskruimte?setlang=en#.5BNetwerk_schijven.5D.5BNetwork_shares.5D cost of C&CZ disc space].
−
Because of the time it takes to do a backup, most of the times this is a so-called ''incremental dump'', which means that only
 
−
changes w.r.t. the latest full backups are written. These backups are started each evening at 21:00 hours. The backup-tapes are
 
−
preserved for about five to six weeks.
 
−
 
 
−
A [[Restore procedure|restore request]] can be made when the missing files are not in the incremental backups on disk
 
 
[/en]
 
[/en]
  
−
= [Wekelijkse en jaarlijkse backup naar][Weekly and yearly backup to] tape =
 
−
 
−
[nl]
 
−
Ieder weekeinde wordt een deel van de disk partities volledig naar een set LTO4-tapes geschreven. Elke partitie komt eens in de 4 weken aan de beurt. Deze wekelijkse backup tapes worden een heel jaar bewaard. De jaarlijkse backups worden in december gemaakt en worden tenminste vijf jaar bewaard.
 
  
−
Als het terug te zetten bestand al meer dan vijf weken niet meer op het systeem aanwezig was, dan moeten de wekelijkse of jaarlijkse tapes geraadpleegd worden. Omdat deze tapes i.v.m. calamiteiten ook extern worden bewaard, is het mogelijk dat een restore pas na een dag afgehandeld kan worden.
+
[[Bestand:lijn.png]]
−
[/nl]
 
−
[en]
 
−
Every weekend a subset of all server disk partitions are completely written to a couple of LTO4-tapes. Every partition is written to tape roughly
 
−
once every four weeks. These weekly backup-tapes are preserved for one year. The yearly backups are performed in December and are preserved for at least  five years.
 
−
[/en]
 

Latest revision as of 14:27, 17 December 2020

If accidentally one or more files are lost from a home-directory (U:-disk) or a /vol-directory or some other place on a C&CZ server, probably the files can be restored. To be present on backup, a file must of course have existed during a (nightly) backup.

Different independent backup schemes are used:

  • Daily backups to Ceph-storage.
  • Monthly backups to tape.
  • Yearly backups to tape.

Daily backup to tape

All server disk-partitions except temporary space like /tmp, /var/tmp, /scratch, are backed-up after each working day on Ceph storage. Because of the time it takes to do a backup, most of the times this is a so-called incremental dump, which means that only changes w.r.t. the previous backup are written. These backups are started each working day after working hours. These backups are preserved for four weeks. Because these backups are on online Ceph storage, the can be retrieved faster than they would be if they would reside on tapes. The Ceph storage chosen is also available when one datacenter would be unavailable.

Monthly and yearly backup to tape

Every weekend a subset of all server disk partitions are completely written to a couple of LTO6-tapes. Every partition is written to tape roughly once every four weeks. These monthly backup-tapes are preserved for one year. The yearly backups are performed around the Christmas break (end of December and start of January), written on LTO-7 tapes and preserved for at least five years.

If the file to be restored was not on a C&CZ server the last four weeks, it has to be restored from monthly or yearly backups. The most recent monthly tapes are stored off-site for use after calamities.

Backup server

The backups are made with the Amanda open source network backup software. The backup server, that was renewed in 2013, is a Dell PowerEdge R720xd with 44 TB disc space, that is used to make fast restores from disk possible. The backups are written to LTO-6 tapes in a Dell TL2000 tape library with 2 LTO6 drives and 24 slots. The new service reads and writes LTO-6, but it can also read the LTO-4 tapes that we used before.

Costs

The full backup schedule (Daily plus Monthly plus Yearly backups) costs 155 €/TB year for FNWI departments. It breaks down to:

- Daily: 70 €/TB year

- Monthly: 60 €/TB year

- Yearly: 25 €/TB year


The costs of backup are the major part of the cost of C&CZ disc space.


Lijn.png

Retrieved from "https://wiki.cncz.science.ru.nl/index.php?title=Backup&oldid=15071"