Difference between revisions of "Diskruimte"

From Cncz
Jump to: navigation, search
m
m (Ceph Storage)
(69 intermediate revisions by 5 users not shown)
Line 6: Line 6:
 
The diskspace on [[Hardware_servers|C&CZ servers]] can be used from all kind of [[Hardware_servers|C&CZ servers and personal computers]], but also from other PCs or even from home with WinSCP or VPN. Almost all disks that are managed by C&CZ, are being [[Backup|backupped]] regularly, in order to be able to restore data in case of small or large calamities.
 
The diskspace on [[Hardware_servers|C&CZ servers]] can be used from all kind of [[Hardware_servers|C&CZ servers and personal computers]], but also from other PCs or even from home with WinSCP or VPN. Almost all disks that are managed by C&CZ, are being [[Backup|backupped]] regularly, in order to be able to restore data in case of small or large calamities.
 
[/en]
 
[/en]
 +
==Home directories==
 +
[nl]
 +
* Elke gebruiker met een [[Studenten_login|Science login]] heeft (recht op) een eigen stuk diskruimte van enkele Gigabytes op een server. Die diskruimte wordt onder Unix/Linux de "home-directory" en onder Windows de "H- of U-schijf" genoemd. De plaats van de homedirectory (op welke server) kan men zien door in te loggen op de [https://dhz.science.ru.nl Doe-Het-Zelf website].
 +
[/nl]
 +
[en]
 +
Every user with a [[Studenten_login|Science login]] has or is entitled to an amount of disc space of a few Gigabytes on a server. This disc space is called the "home-directory" on Unix/Linux computers and the "H- or U-drive" on Windows-computers. The location of this homedirectory (which server) can be viewed on the [https://diy.science.ru.nl Do-It-Yourself website].
 +
[/en]
 +
=== [Naamgeving][Naming] ===
 +
{| class="wikitable"
 +
|-
 +
| [Loginnaam][Username]
 +
| <tt>guest204</tt>
 +
|-
 +
| SMB (Windows/...) [naam][name]
 +
|<tt>\\home1.science.ru.nl\guest204</tt>
 +
[of][or]<br>
 +
<tt>\\home2.science.ru.nl\guest204</tt><br>
 +
check [op][on] [https://diy.science.ru.nl DIY]
 +
|-
 +
| URL (Apple/Linux/Android/...) [naam][name]
 +
|<tt>smb://home1.science.ru.nl/guest204</tt>
 +
[of][or]<br>
 +
<tt>smb://home2.science.ru.nl/guest204</tt><br>
 +
check [op][on] [https://diy.science.ru.nl DIY]
 +
|-
 +
| NFS (C&CZ beheerd Linux) [naam][name]
 +
| <tt>/home/guest204</tt>
 +
|}
 +
 +
=== [Toegangsrechten][Access rights] ===
 +
 +
[nl]
 +
Lang geleden was de (Unix) homedirectory van een gebruiker, op enkele afgeschermde delen na, leesbaar voor alle andere gebruikers van de server. Tegenwoordig is de homedirectory van een gebruiker alleen toegankelijk voor de gebruiker zelf. De gebruiker kan zelf de toegangsrechten wijzigen. C&CZ controleert op homedirectories die voor iedereen schrijfbaar zijn.
 +
[/nl]
 +
[en]
 +
Long ago the (Unix) home directory of a user, except for a few protected areas, was readable for all users of the server. Today the home directory of a user can be accessed by the user himself. The user can change the access rights. C&CZ checks for home directories that are writable by other users.
 +
[/en]
 +
 +
=== [Toegang via NFS][Access through NFS] ===
 +
 +
[nl]
 +
Een homedirectory (U: schijf) kan op Linux aangekoppeld worden via [[Mount_Homedisk|NFS/Kerberos (English only)]].
 +
[/nl]
 +
[en]
 +
Mounting a home (U:) drive on Linux via [[Mount_Homedisk|NFS/Kerberos]].
 +
[/en]
 +
 +
===[Functionaliteit en prijs van netwerkschijven][Functionality and costs of network shares]===
 +
[nl]
 +
Aparte schijfruimte (diskruimte) voor groepen/afdelingen/projecten: er zijn enkele fileservers met [http://nl.wikipedia.org/wiki/Redundant_Array_of_Independent_Disks RAID opslag] waarop partities gehuurd kunnen worden voor een periode van 3 jaar. De prijs voor nieuwe schijven of verlenging van oude schijven is per juli 2018 intern FNWI:
 +
[/nl]
 +
[en]
 +
Diskspace for groups/institutions/projects: there are a few fileservers with [http://en.wikipedia.org/wiki/RAID_array RAID storage] with partitions that can be rented for a period of 3 years. The price for new discs or a new 3 year extension of an older disc is per July 2018 for FNWI departments: 
 +
[/en]
 +
 +
{| class="wikitable"
 +
| align="left" | ''[grootte][size]''
 +
| align="left" | ''incl. backup''
 +
| align="left" | ''[zonder][without] backup''
 +
|-
 +
| align="left" | ca. 200 GB
 +
| align="left" | &euro; 40 per [jaar][year]
 +
| align="left" | &euro; 10 per [jaar][year]
 +
|-
 +
| align="left" | ca. 400 GB
 +
| align="left" | &euro; 80 per [jaar][year]
 +
| align="left" | &euro; 20 per [jaar][year]
 +
|}
 +
 +
[nl]
 +
Hoewel zelfs de goedkoopste versie aanmerkelijk duurder is dan het aanschaffen van 1 harde schijf voor 1 PC, is het vaak zinvol vanwege de betrouwbaarheid (redundante schijven, backup, onderhoudscontract) en bedrijfszekerheid (stabiele server). Een of meer mappen op zo'n partitie kunnen op Windows PCs beschikbaar worden als een schijf, door het maken van een netwerkverbinding. Op Unix/Linux computers kunnen ze via NFS aangekoppeld worden. De mogelijkheid om te lezen en/of te schrijven in zo'n map kan beperkt worden tot een groep logins. Die groep kan door de afdeling zelf beheerd worden via de [[Dhz|Doe-Het-Zelf website]].<br> C&amp;CZ heeft op die servers een service contract afgesloten en beschikt over reserve-apparatuur, waardoor een storing relatief snel opgelost kan worden. Omdat de schijven in een RAID-set opgenomen zijn, veroorzaakt het uitvallen van 1 enkele schijf of voor de nieuwere grotere sets van 2 schijven, geen storing voor gebruikers. Van de partities worden ook (dagelijks en incrementeel) [[Backup|backups]]  gemaakt, zodat zelfs bij uitval van de hele serverruimte de data nog (ooit) teruggezet kunnen worden.
 +
[/nl]
 +
[en]
 +
Although even the cheapest version is much more expensive than buying 1 disk for 1 PC, it often makes sense, because of the reliability (redundant disks, backup, support contract) and security (stable server).  One or more folders on such a partition can be mapped as a network drive on Windows PCs or NFS-mounted on Unix/Linux hosts. The ability to read and/or write files on these folders can be limited to a group of logins. That group can be managed by the department on the [[Dhz|Do-It-Yourself website]].<br> C&amp;CZ has service contracts for these servers and has spares on site, so a failure can be resolved quite fast. Because the disks are part of a RAID set, the failure of 1 single disk or for newer bigger sets of 2 disks, will not give a disruption of service for users. The partitions are [[Backup|backed up]] (daily and incremental). Even in the case when the whole server room is lost, data can (eventually) be restored.
 +
[/en]
 +
 +
===== Ceph Storage =====
 +
 +
[nl]
 +
Vanaf november 2019 kunnen we bijna oneindige storage aanbieden voor FNWI middels ons Ceph storage cluster. Door hoe Ceph werkt is er een afweging tussen snelheid en redundantie. Met de extra redundantie opties kunnen we zelfs betere beschikbaarheid bieden dan bij RAID-6 systemen.
 +
[/nl]
 +
[en]
 +
Starting November 2019 we can provide almost unlimited storage for the Faculty of Science using our Ceph storage cluster. The way Ceph works there is a tradeoff for performance and redundancy. Also it is possible to improve redundancy above single server RAID-6 level, with the additional redundancy options.
 +
[/en]
 +
 +
{| class="wikitable"
 +
| align="left" | ''Pool''
 +
| align="left" | ''[waarom][why]''
 +
| align="left" | ''[prijs][price] per TB per [jaar][year] [zonder][without] backup''
 +
|-
 +
| align="left" | Erasure coding 8+3
 +
| align="left" | [goedkoop][cheap]
 +
| align="left" | &euro; 45
 +
|-
 +
| align="left" | Erasure coding 5+7
 +
| align="left" | [goedkoop + extra redundantie][cheap + additional redundancy]
 +
| align="left" | &euro; 80
 +
|-
 +
| align="left" | 3 copy
 +
| align="left" | [snellere][faster] r+w
 +
| align="left" | &euro; 100
 +
|-
 +
| align="left" | 4 copy
 +
| align="left" | [snellere r+w + extra redundantie][faster r+w + additional redundancy]
 +
| align="left" | &euro; 135
 +
|}
  
 
[nl]
 
[nl]
* Elke gebruiker met een [[Studenten_login|Science login]] heeft (recht op) een eigen stuk diskruimte van enkele honderden megabyte op een server. Die diskruimte wordt onder Unix/Linux de "home-directory" en onder Windows de "H- of U-schijf" genoemd. De plaats van de homedirectory (op welke server) kan men zien door in te loggen op de [https://dhz.science.ru.nl Doe-Het-Zelf website].
+
De Ceph storage kan in overleg worden aangeboden als windows share, nfs share en als S3 object store. Object store is fundamenteel anders dan een normaal bestandssyteem, dus als S3 gewenst is, kan de de data niet ook als windows share of nfs share gebruikt worden.
* Aparte schijfruimte (diskruimte) voor groepen/afdelingen: er zijn enkele [http://nl.wikipedia.org/wiki/Redundant_Array_of_Independent_Disks RAID-arrays] waarop partities van 90 GB en minstens 180 GB gehuurd kunnen worden voor 90 respectievelijk 180 euro ex BTW per jaar. Een of meer mappen op zo'n partitie kunnen op Windows PCs beschikbaar worden als een schijf, door het maken van een netwerkverbinding. Op Unix/Linux computers kunnen ze via NFS aangekoppeld worden. De mogelijkheid om te lezen en/of te schrijven in zo'n map kan beperkt worden tot een groep logins.<br> C&amp;CZ heeft op die RAID-arrays een 3-jaar garantie afgesloten en beschikt over reserve-apparatuur, waardoor een storing snel opgelost kan worden. Omdat het RAID-arrays zijn, veroorzaakt het uitvallen van 1 enkele schijf geen storing voor de gebruikers. Van de partities worden ook (dagelijks en incrementeel) [[Backup|backups]]  gemaakt, zodat zelfs bij uitval van de hele computerruimte de data nog (ooit) teruggezet kunnen worden. N.B.: de duurdere RAID-arrays waar home-directories van de meeste medewerkers op staan, zijn nog betrouwbaarder en hebben een 4-uurs onderhoudscontract ook buiten werktijd.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
* Every user with a [[Studenten_login|Science login]] has or is entitled to an amount of disc space of a few hundred megabyte on a server. This disc space is called the "home-directory" on Unix/Linux computers and the "H- or U-drive" on Windows-computers. The location of this homedirectory (which server) can be viewed on the [https://diy.science.ru.nl Do-It-Yourself website].
+
The Ceph storage can be used as windows share, nfs share or S3 object store. Object store is a different concept than a normal filesystem, so data stored in a windows or nfs share cannot be accessed using the s3 protocol.
* Diskspace for groups/institutions: there are a few [http://en.wikipedia.org/wiki/RAID_array RAID arrays] with 90 GB or at least 180 GB partitions, that can be rented for 90 and 180 euro excl. VAT per year. One or more folders on such a partition can be mapped as a network drive on Windows PCs or NFS-mounted on Unix/Linux hosts. The ability to read and/or write files on these folders can be limited to a group of logins.<br> C&amp;CZ has bought a 3 year warranty for these RAID arrays and has spares on site, so a failure can be solved quite fast. Because it is a RAID-array, the failure of 1 single disk will not give a disruption of service for users. The partitions are [[Backup|backed up]] (daily and incremental). Even in the case when the whole computer room is lost, data can (eventually) be restored. Note: the more expensive RAID arrays on which C&amp;CZ stores the home directories of most employees are even more reliable and have a 4 hour support contract even outside of business hours.
 
 
[/en]
 
[/en]
 +
 +
=== [Naamgeving][Naming] ===
 +
{| class="wikitable"
 +
|-
 +
| Volume [naam][name]
 +
| <tt>sharename</tt>
 +
|-
 +
| SMB (Windows/..) [naam][name]
 +
| <tt>\\sharename-srv.science.ru.nl\sharename</tt>
 +
|-
 +
| URL (Apple/Linux/Android/...) [naam][name]
 +
| <tt>smb://sharename-srv.science.ru.nl/sharename</tt>
 +
|-
 +
| NFS (C&CZ-beheerd Linux) [naam][name]
 +
| <tt>/vol/sharename</tt>
 +
|}
 +
 +
=== [Toegangsrechten][Access rights] ===
 +
 
[nl]
 
[nl]
* Voor het samenwerken (delen van bestanden etc.) met andere medewerkers en studenten van universiteiten en hogescholen en zelfs externen is [http://www.surfgroepen.nl Surfgroepen] een prima middel dat bij te weinig mensen bekend is. Let op: [https://www.surfgroepen.nl/Lists/Announcements/DispForm.aspx?ID=111&Source=https%3A%2F%2Fwww%2Esurfgroepen%2Enl%2Fdefault%2Easpx Surfgroepen wordt in december 2012 stopgezet!]
+
De meeste gedeelde schijven zijn lees- en schrijfbaar voor een bepaalde groep gebruikers. Welke accounts er lid zijn van deze groep, kan door de eigenaren van de groep bijgehouden worden op de [[Dhz|Doe-Het-Zelf website]].
 
[/nl]
 
[/nl]
 
[en]
 
[en]
* To cooperate (share files etc.) with other employees and students of other universities [http://www.surfgroepen.nl Surfgroepen] can be used for free, even external persons can join. '''Note:''' Surfgroepen will be [https://www.surfgroepen.nl/Lists/Announcements/DispForm.aspx?ID=111&Source=https%3A%2F%2Fwww%2Esurfgroepen%2Enl%2Fdefault%2Easpx discontinued in december 2012]!
+
Most of the shared disks can be read and written by a specific group of users. The owners of this group can administer  on the [[Dhz|Do-It-Yourself website]] which accounts are a member of this group.
 
[/en]
 
[/en]
 +
 +
== [Tijdelijke gedeelde schijfruimte][Temporary shared diskspace] ==
 +
[nl]
 +
Het komt wel eens voor dat je een of meer grote bestanden (meer dan enkele tientallen MB) naar iemand binnen de faculteit wilt sturen, mail is daarvoor ongeschikt.
 +
Om dit makkelijker te maken is er een netwerkschijf beschikbaar waar je tijdelijk grote bestanden kunt plaatsen die dan door iemand anders van deze locatie gekopi&euml;erd kunnen worden. Bedenk dat dit nadrukkelijk bedoeld is voor tijdelijke opslag, er worden geen backups van gemaakt en de disk wordt iedere dag schoongemaakt (bestanden ouder dan 21 dagen worden verwijderd).
 +
 +
Deze share kan ook gebruikt worden om tijdelijk bestanden te bewaren alleen leesbaar voor jezelf. Dit kan door de share onder een andere naam te koppelen.
 +
 +
Merk op dat ook in dat geval oude bestanden verwijderd worden.
 +
 +
Maak alsjeblieft eerst een sub-map aan met b.v. je Science-loginnaam, zet de tijdelijke bestanden vervolgens in die map.
 +
 +
Voor bestanden samen kleiner dan 250GB is ook [https://wiki.science.ru.nl/cncz/index.php?title=Nieuws&setlang=nl#.5BSURFdrive:_nu_250_GB_per_gebruiker.5D.5BSURFdrive:_now_250_GB_per_user.5D Surfdrive] een alternatief. Voor het versturen van bestanden tot 500GB is [https://www.surffilesender.nl/ SURFfilesender] geschikt.
 +
[/nl]
 +
[en]
 +
Every now and then you want to send one or more large files (more than a few tens of MBs) to someone else within the Faculty, mail is unsuited for those large files.
 +
To make this easy, one can use a network share, where one can store large files temporarily in order to have someone else copy the files from this location. Note that this is explicitly meant for temporary storage, we do not make backups of this share, every day we remove files older than 21 days old.
 +
 +
This share can also be used to store temporary files only readable for yourself by using a different name for the share.
 +
Note that also in this case, old files will be removed.
 +
 +
Please create a subdirectory with your name first, and put your files in that directory.
 +
 +
For files totaling less than 250GB, also [https://wiki.science.ru.nl/cncz/index.php?title=Nieuws&setlang=en#.5BSURFdrive:_nu_250_GB_per_gebruiker.5D.5BSURFdrive:_now_250_GB_per_user.5D Surfdrive] is an alternative. For sending files up to 500GB [https://www.surffilesender.nl/ SURFfilesender] can be used.
 +
[/en]
 +
 +
=== [Naamgeving][Naming] ===
 +
{| class="wikitable"
 +
|-
 +
| Volume [naam][name]
 +
| <tt>temp</tt>
 +
|-
 +
| SMB (Windows/..) [naam][name]
 +
| <tt>\\temp-srv.science.ru.nl\share</tt><br>
 +
[of][or]<br>
 +
<tt>\\temp-srv.science.ru.nl\onlyme</tt>
 +
|-
 +
| URL (Apple/Linux/Android/...) [naam][name]
 +
| <tt>smb://temp-srv.science.ru.nl/share</tt><br>
 +
[of][or]<br>
 +
<tt>smb://temp-srv.science.ru.nl/onlyme</tt>
 +
|-
 +
| NFS (C&CZ-beheerd Linux) [naam][name]
 +
| <tt>/vol/temp</tt>
 +
|}
 +
 +
=== [Toegangsrechten][Access rights] ===
 +
 +
[nl]
 +
* Leesbaar voor alle gebruikers: <tt>share</tt>
 +
* Alleen zelf lezen: <tt>onlyme</tt>
 +
[/nl]
 +
[en]
 +
* Readable by all users: <tt>share</tt>
 +
* Only readable for the owner: <tt>onlyme</tt>
 +
[/en]
 +
 +
[[Bestand:lijn.png]]
 +
 
[[Category:Hardware]]
 
[[Category:Hardware]]

Revision as of 11:49, 26 September 2019

The diskspace on C&CZ servers can be used from all kind of C&CZ servers and personal computers, but also from other PCs or even from home with WinSCP or VPN. Almost all disks that are managed by C&CZ, are being backupped regularly, in order to be able to restore data in case of small or large calamities.

Home directories

Every user with a Science login has or is entitled to an amount of disc space of a few Gigabytes on a server. This disc space is called the "home-directory" on Unix/Linux computers and the "H- or U-drive" on Windows-computers. The location of this homedirectory (which server) can be viewed on the Do-It-Yourself website.

Naming

Username guest204
SMB (Windows/...) name \\home1.science.ru.nl\guest204

or
\\home2.science.ru.nl\guest204
check on DIY

URL (Apple/Linux/Android/...) name smb://home1.science.ru.nl/guest204

or
smb://home2.science.ru.nl/guest204
check on DIY

NFS (C&CZ beheerd Linux) name /home/guest204

Access rights

Long ago the (Unix) home directory of a user, except for a few protected areas, was readable for all users of the server. Today the home directory of a user can be accessed by the user himself. The user can change the access rights. C&CZ checks for home directories that are writable by other users.

Access through NFS

Mounting a home (U:) drive on Linux via NFS/Kerberos.

Functionality and costs of network shares

Diskspace for groups/institutions/projects: there are a few fileservers with RAID storage with partitions that can be rented for a period of 3 years. The price for new discs or a new 3 year extension of an older disc is per July 2018 for FNWI departments:

size incl. backup without backup
ca. 200 GB € 40 per year € 10 per year
ca. 400 GB € 80 per year € 20 per year

Although even the cheapest version is much more expensive than buying 1 disk for 1 PC, it often makes sense, because of the reliability (redundant disks, backup, support contract) and security (stable server). One or more folders on such a partition can be mapped as a network drive on Windows PCs or NFS-mounted on Unix/Linux hosts. The ability to read and/or write files on these folders can be limited to a group of logins. That group can be managed by the department on the Do-It-Yourself website.
C&CZ has service contracts for these servers and has spares on site, so a failure can be resolved quite fast. Because the disks are part of a RAID set, the failure of 1 single disk or for newer bigger sets of 2 disks, will not give a disruption of service for users. The partitions are backed up (daily and incremental). Even in the case when the whole server room is lost, data can (eventually) be restored.

Ceph Storage

Starting November 2019 we can provide almost unlimited storage for the Faculty of Science using our Ceph storage cluster. The way Ceph works there is a tradeoff for performance and redundancy. Also it is possible to improve redundancy above single server RAID-6 level, with the additional redundancy options.

Pool why price per TB per year without backup
Erasure coding 8+3 cheap € 45
Erasure coding 5+7 cheap + additional redundancy € 80
3 copy faster r+w € 100
4 copy faster r+w + additional redundancy € 135

The Ceph storage can be used as windows share, nfs share or S3 object store. Object store is a different concept than a normal filesystem, so data stored in a windows or nfs share cannot be accessed using the s3 protocol.

Naming

Volume name sharename
SMB (Windows/..) name \\sharename-srv.science.ru.nl\sharename
URL (Apple/Linux/Android/...) name smb://sharename-srv.science.ru.nl/sharename
NFS (C&CZ-beheerd Linux) name /vol/sharename

Access rights

Most of the shared disks can be read and written by a specific group of users. The owners of this group can administer on the Do-It-Yourself website which accounts are a member of this group.

Temporary shared diskspace

Every now and then you want to send one or more large files (more than a few tens of MBs) to someone else within the Faculty, mail is unsuited for those large files. To make this easy, one can use a network share, where one can store large files temporarily in order to have someone else copy the files from this location. Note that this is explicitly meant for temporary storage, we do not make backups of this share, every day we remove files older than 21 days old.

This share can also be used to store temporary files only readable for yourself by using a different name for the share. Note that also in this case, old files will be removed.

Please create a subdirectory with your name first, and put your files in that directory.

For files totaling less than 250GB, also Surfdrive is an alternative. For sending files up to 500GB SURFfilesender can be used.

Naming

Volume name temp
SMB (Windows/..) name \\temp-srv.science.ru.nl\share

or
\\temp-srv.science.ru.nl\onlyme

URL (Apple/Linux/Android/...) name smb://temp-srv.science.ru.nl/share

or
smb://temp-srv.science.ru.nl/onlyme

NFS (C&CZ-beheerd Linux) name /vol/temp

Access rights

  • Readable by all users: share
  • Only readable for the owner: onlyme

Lijn.png