Difference between revisions of "Recente Storingen"

From Cncz
Jump to: navigation, search
([Homeserver bundle herstart probleem][Homeserver bundle failed reboot])
(vpn weer bereikbaar)
 
(749 intermediate revisions by 11 users not shown)
Line 1: Line 1:
{{#customtitle:[Recente Storingen][Recent Service Interruptions]}}
+
[nl]
 +
{{DISPLAYTITLE:Recente Storingen}}
 +
[/nl]
 +
[en]
 +
{{DISPLAYTITLE:Recent Service Interruptions}}
 +
[/en]
 +
 
 
__NOTOC__
 
__NOTOC__
 
 
<!-- zet een nieuw storings-item bovenaan en onderteken met 4x~ om ervoor te zorgen dat er automatisch een auteur en datum in komt te staan: -->
 
<!-- zet een nieuw storings-item bovenaan en onderteken met 4x~ om ervoor te zorgen dat er automatisch een auteur en datum in komt te staan: -->
 
<!-- === [Titel van de storing][Title of the service interruption] === -->
 
<!-- === [Titel van de storing][Title of the service interruption] === -->
Line 9: Line 14:
 
<!-- [en]and of course it has an english part[/en] -->
 
<!-- [en]and of course it has an english part[/en] -->
 
<!-- ~ ~ ~ ~ -->
 
<!-- ~ ~ ~ ~ -->
== [Actuele storingen en Onderhoud][Current Service Interruptions and Maintenance] ==
+
</onlyinclude>
<onlyinclude>
 
<startFeed />
 
  
 
+
=== [Standaard RU ICT onderhoudsvensters][Standard RU IT maintenance windows] ===
 
+
<itemTags>medewerkers,studenten</itemTags>
</onlyinclude>
+
[nl]
 +
Het ISC maakt ruim vooraf [http://www.ru.nl/systeem-meldingen/?id=26&lang=nl&tg=0&f=0 de ICT onderhoudsvensters voor het huidige studiejaar] bekend.
 +
[/nl]
 +
[en]
 +
The ISC announces [http://www.ru.nl/systeem-meldingen/?id=26&lang=nl&tg=0&f=0 the IT maintenance windows for the current academic year] in time.
 +
[/en]
  
 
==[Meld een probleem][Report a problem]==
 
==[Meld een probleem][Report a problem]==
[nl]Gebruik dit formulier om niet-urgente storingen te melden. Voor urgente storingen, bel 56666 (helpdesk).[/nl]
+
[nl]Gebruik dit formulier om niet-urgente storingen te melden. Voor urgente storingen, bel 20000 (helpdesk).[/nl]
[en]Use this form to report less urgent problems. For urgent problems, call 56666 (helpdesk).[/en]
+
[en]Use this form to report less urgent problems. For urgent problems, call 20000 (helpdesk).[/en]
  
 
<rawHTML>
 
<rawHTML>
<iframe src="https://wiki.science.ru.nl/cncz/report-to-helpdesk/form.php" width='700px' height='370px'>&nbsp;</iframe>
+
<iframe src="https://wiki.cncz.science.ru.nl/report-to-helpdesk/form.php" width='700px' height='370px'>&nbsp;</iframe>
 
</rawHTML>
 
</rawHTML>
  
== [Recent Verholpen Storingen en Onderhoud][Recently Resolved Service Interruptions and Maintainance] ==
+
== [Actuele storingen en gepland onderhoud][Current Service Interruptions and Planned Maintenance] ==
 +
<onlyinclude>
  
 
<startFeed />
 
<startFeed />
  
[Homeserver stack gecrashed door defecte harddisk][Homeserver stack crashed due to failed hard disk] ===
+
=== [Windows 7 computers disabled in B-FAC domain][Windows 7 computers disabled in B-FAC domain] ===
<itemTags>medewerkers,studenten</itemTags>
+
<itemTags>medewerkers,docenten</itemTags>
 +
[nl]
 +
  Begin        : 2021-03-24
 +
  Eind          : na upgrade naar ander OS
 +
  Getroffen    : gebruikers van Windows 7 in het B-FAC domein
  
[nl]
+
I.v.m. het verscherpen van de beveiliging worden de laatste Windows 7 machines per 24-03-20221 in het Active Directory Domain B-FAC gedisabled.
  Begin        : 20130429 04:08
+
Verzoek is al sinds lang om de betreffende machines naar een meer up-to-date OS te upgraden.
  Eind          : 20130501 09:15
+
Zie evt. eerdere aankondigingen over [https://wiki.cncz.science.ru.nl/Nieuws#.5BMicrosoft_Windows_10_upgrade.5D.5BMicrosoft_Windows_10_upgrade.5D Windows 10]
  Getroffen    : Gebruikers van diskruimte/netwerkschijven op de Stack.
+
en [https://wiki.cncz.science.ru.nl/Nieuws_archief#.5BWindows_7_stopt_januari_2020:_Upgrade_nu.21.5D.5BWindows_7_ends_January_2020:_Upgrade_now.21.5D het einde van Windows 7].
  Probleem      : Stack: Crash door defecte disk
 
  Oplossing    : Gebruik gemaakt van hot spare door disk uit te laten vallen en reboot
 
 
[/nl]
 
[/nl]
 
 
[en]
 
[en]
  Begin        : 20130429 04:08
+
  Begin        : 2021-03-24
  End          : 20130501 09:15
+
  End          : after upgrade to other OS
  Affected      : Users of disk volumes/network shares on file server Stack.
+
  Getroffen    : users of Windows 7 in the B-FAC domain
  Problem      : Stack: Crash due to defective disk
 
  Solution      : Deactivated disk using hot spare and reboot
 
[/en]
 
  
[[Gebruiker:wim|Wim Janssen]] 02 may 2013 10:00 (CET)
+
Because of security issues the last remaining Windows 7 machines wil be disabled, effective 24-03-2021, as member of the Active Directory Domain B-FAC.
 +
Please upgrade these computers to a more up-to-date OS.
 +
See also previous announcements on [https://wiki.cncz.science.ru.nl/Nieuws#.5BMicrosoft_Windows_10_upgrade.5D.5BMicrosoft_Windows_10_upgrade.5D Windows 10]
 +
and
 +
[https://wiki.cncz.science.ru.nl/Nieuws_archief#.5BWindows_7_stopt_januari_2020:_Upgrade_nu.21.5D.5BWindows_7_ends_January_2020:_Upgrade_now.21.5D the end of Windows 7].
 +
[/en]
  
=== [Homeserver bundle herstart probleem][Homeserver bundle failed reboot] ===
+
=== [EduroamCAT niet bruikbaar met Science accounts][EduroamCAT not working with Science accounts] ===
 
<itemTags>medewerkers,studenten</itemTags>
 
<itemTags>medewerkers,studenten</itemTags>
 
[nl]
 
[nl]
  Begin        : 20130429 06:30
+
  Begin        : 2019-02-28 00:00
  Einde        : 20130429 11:30
+
  Eind          : ?
  Getroffen    : alle FNWI gebruikers met homedirectories op de bundle
+
  Getroffen    : EduroamCAT-gebruikers met Science accounts
 
 
 
 
De fileserver is niet goed opgekomen na de wekelijkse maandagochtend-herstart. Pas na volledig stroomloos maken van de machine kon het console benaderd worden. Middels de reddingsboot zijn alle snapshots verwijderd maar lukte de herstart niet vanwege een corrupt filesysteem. Nadat alle filesystemen gecontroleerd waren lukte het pas de machine correct op te starten. Deze acties hadden uiteindelijk een uitzonderlijk lange downtijd tot gevolg.
 
  
 +
[https://cat.eduroam.org/ EduroamCAT] is de Eduroam configuratie-assistent (Configuration Assistant Tool) voor [https://www.eduroam.org/configuration-assistant-tool-cat/ veel soorten devices], waarmee gebruikers eenvoudig verbinding kunnen maken met Eduroam. Dit is echter (nog) niet ingericht voor gebruik van Science accounts (loginnaam@science.ru.nl). C&CZ zoekt naar een oplossing. In de tussentijd kan men verbinding maken via handmatige instelling (zie [https://www.ru.nl/draadloos www.ru.nl/draadloos)] of U/S/E-nummer gebruiken.
 
[/nl]
 
[/nl]
 
 
[en]
 
[en]
  Begin        : 20130429 06:30
+
  Begin        : 2019-02-28 00:00
  End          : 20130429 11:30
+
  End          : ?
  Affected      : all FNWI users with a homedirectory on fileserver bundle
+
  Affected      : EduroamCAT users with Science accounts
  
The fileserver failed to reboot during the regular Monday morning shutdown schedule. It was possible to gain access to the system console only after having removed all power from the chassis. Snapshots were removed using the rescue reboot but rebooting the machine resulted in a faulty filesystem. We were able to boot the system after all filesystems had been checked offline. These actions resulted in a unusual long downtime.
+
[https://cat.eduroam.org/ EduroamCAT] is the Eduroam Configuration Assistant Tool for [https://www.eduroam.org/configuration-assistant-tool-cat/ many different devices]. However,  this hasn't (yet) been set up for the use of Science accounts (username@science.ru.nl). C&CZ is looking for a solution. In the meantime Eduroam connections have to be configured manually (please consult [https://www.ru.nl/wireless www.ru.nl/wireless)] or using the U/S/E number.
 +
[/en]
  
[/en]
+
== [Recent Verholpen Storingen en Onderhoud][Recently Resolved Service Interruptions and Maintainance] ==
  
[[Gebruiker:visser|Erik Joost Visser]] 29 apr 2013 12:00 (CET)
+
[nl]Voor het snel ge&iuml;nformeerd worden over storingen kan men zich abonneren op de [/nl]
 +
[en]To be quickly informed about service interruptions one can subscribe to the [/en]
 +
[http://mailman.science.ru.nl/mailman/listinfo/CPK CPK mailinglist].
  
=== [Homeserver bundle herstartte niet][Homeserver bundle failed reboot] ===
+
<startFeed />
<itemTags>medewerkers,studenten</itemTags>
+
=== [VPN server unreachable][VPN onbereikbaar] ===
 +
<itemTags>medewerkers,docenten</itemTags>
 
[nl]
 
[nl]
  Begin        : 20130422 06:30
+
  Begin        : 2021-04-24
  Einde        : 20130422 09:50
+
  Eind          : 2021-04-26 09:35
  Getroffen    : alle FNWI gebruikers met homedirectories op de bundle
+
  Getroffen    : VPNsec gebruikers
  
De fileserver kwam niet goed op na de wekelijkse maandagochtend-herstart. Pas na een reddings-boot
+
Door een kapotte PDU is een switch uitgegaan en is de VPN server onbereikbaar (en nog meer dingen, waar gebruikers geen last van hebben).
en het handmatig verwijderen van alle snapshots startte de machine goed op.
 
 
[/nl]
 
[/nl]
 
 
[en]
 
[en]
  Begin        : 20130422 06:30
+
  Begin        : 2021-04-24
  End          : 20130422 09:50
+
  End          : 2021-04-26 09:35
  Affected      : all FNWI users with a homedirectory on fileserver bundle
+
  Getroffen    : VPNsec users
  
The fileserver failed the regular Monday morning reboot. Only after a rescue boot
+
A broken PDU has offlined a switch, which has caused the VPN server to be unreachable (and several other things, which don't affect users).
and a manual removal of all snapshots rebooting the machine worked.
 
 
[/en]
 
[/en]
  
=== [Disk server stack offline][Disk server stack offline] ===
+
=== Central E-mail/Calendar disruption (exchange) ===
<itemTags>medewerkers</itemTags>
+
<itemTags>medewerkers,docenten,students</itemTags>
[nl]
+
  Begin        : 2021-04-14    09:30
  Begin        : 20130408 08:55
+
  Eind          : 2021-04-14    13:30
  Eind          : 20130408 09:30
+
  Getroffen    : All users of Exchange (e-mail and calendar)
  Getroffen    : Gebruikers van diskruimte/netwerkschijven op de Stack.
 
  Probleem      : Stack: Crash door uitgevallen disk
 
  Oplossing    : Gebruik gemaakt van hot spare door disk uit te laten vallen
 
[/nl]
 
  
[en]
+
Due to an emergency maintenance, the central microsoft exchange server is unavailable for 4 hours. This may also affect systems that are dependent on exchange.
  Begin        : 20130408 08:55
+
E-mail and calendar functionality is expected to be restored when the maintenance is done around 13:30 Today.
  End          : 20130408 09:30
 
  Affected    : Users of disk volumes/network shares on file server Stack.
 
  Problem      : Stack:  Crash due to failing disk
 
  Solution    : Deactivated disk using hot spare
 
[/en]
 
  
=== [Disk server pile offline][Disk server pile offline] ===
+
=== [Ceph probleem][Ceph problem] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
<itemTags>medewerkers</itemTags>
 
[nl]
 
[nl]
  Begin        : 20130408 06:30
+
  Begin        : 2021-03-24 19:00
  Eind          : 20130408 08:15
+
  Eind          : 2021-03-24 21:00
  Getroffen    : Gebruikers van diskruimte op de Pile (homedisks).
+
  Getroffen    : gebruikers van Ceph filesystemen
  Probleem      : Pile: Kernel panic tijdens wekelijkse reboot; stond te wachten in console
 
  Oplossing    : Power-cycle van het systeem
 
[/nl]
 
  
 +
Bij een routine upgrade proces bleek dat er een bug in de laatste versie zit waardoor de ceph manager onbereikbaar werd. Het upgrade proces is afgebroken en met hulp van de ceph-users mailinglijst is alles weer bereikbaar door een work-around.[/nl]
 
[en]
 
[en]
  Begin       : 20130408 06:30
+
  Begin         : 2021-03-24 19:00
  End         : 20130408 08:15
+
  End           : 2021-03-24 21:00
  Affected     : Users of disk volumes on file server Pile (userhomes).
+
  Affected      : users with ceph based filesystems
  Problem     : Pile: Did not shutdown properly during weekly reboot due to a kernel panic which was
 
  Solution    : Executed power-cycle of the system
 
[/en]
 
  
[[Gebruiker:visser|Erik Joost Visser]] 8 apr 2013 9:30 (CET)
+
During a routine upgrade of ceph, a bug in the latest version manifested itself and made the ceph manager unreachable. After aborting the upgrade and with help from the ceph-users mailinglist, everything became available again using a workaround.[/en]
 
 
=== [Mailproblemen na weggeven wachtwoord aan phishers][Mail problems after supplying password to phishers] ===
 
<itemTags>studenten,medewerkers,docenten</itemTags>
 
  
 +
=== [Lilo7 herstart][Lilo7 restart] ===
 +
<itemTags>medewerkers,studenten</itemTags>
 
[nl]
 
[nl]
   Begin        : 20130319 11:45
+
   Begin        : 2021-03-17 21:00
   Eind          : 20130319 12:14
+
   Eind          : 2021-03-17 21:15
   Getroffen    : Gebruikers van Science mail
+
   Getroffen    : gebruikers van lilo
 
 
Vandaag bleek dat weer een Science gebruiker het Science-wachtwoord aan phishers gegeven had. Daarna worden dan steeds de Science mailservers (horde webmail, smtp) door Internet-criminelen misbruikt om spam te versturen.
 
In zo'n geval moeten we tijdelijk mailservers stoppen, terwijl we de spam aan het opruimen zijn. Ook lopen we het risico dat onze mailservers op zwarte lijsten komen, waardoor alle gebruikers problemen kunnen hebben met het versturen van mail naar buiten de RU.
 
  
SVP: niet zomaar klikken op een link in een e-mail !!!
+
Om het netwerk van lilo7 aan te passen, is het helaas noodzakelijk om deze loginserver te herstarten. Wie gedurende deze onderhoudstijd een stabiele verbinding wil hebben met een loginserver, kan beter lilo6 of de binnenkort uitgefaseerde lilo5 gebruiken. Zie evt. [https://wiki.cncz.science.ru.nl/index.php?title=Hardware_servers&setlang=nl#Linux_.5Bloginservers.5D.5Blogin_servers.5D de pagina over de C&CZ loginservers].
 
[/nl]
 
[/nl]
 
[en]
 
[en]
   Begin        : 20130319 11:45
+
   Begin        : 2021-03-17 21:00
   End          : 20130319 12:14
+
   End          : 2021-03-17 21:15
   Affected      : Users of Science mail
+
   Affected      : users of lilo
 
 
Again a Science user supplied his Science password to phishers. We notice that because Internet criminals use these passwords to get into the Science mail servers (horde webmail, smtp) in order to send spam.
 
  
PLEASE: do not naively click on a link in an e-mail!
+
To change the network of lilo7, we need to reboot this loginserver. If you want a stable connection to a loginserver during this downtime, please use lilo6 or the soon to be taken down lilo5. For more info see [https://wiki.cncz.science.ru.nl/index.php?title=Hardware_servers&setlang=en#Linux_.5Bloginservers.5D.5Blogin_servers.5D the page on C&CZ loginservers].
 
[/en]
 
[/en]
  
=== [File server miii geen private netwerk][File server miii no private network] ===
+
=== [Server met diverse services (virtuele servers, waaronder Roundcube en websites) stuk][Host of several virtual servers broken: Roundcube, websites and others] ===
<itemTags>medewerkers</itemTags>
+
<itemTags>medewerkers,studenten</itemTags>
 
[nl]
 
[nl]
  Begin        : 20130315 17:30
+
  Begin        : 2021-03-05 07:45
  Eind          : 20130318 09:00
+
  Eind          : 2021-03-05 09:40
  Getroffen    : Gebruikers van netwerkdisks van de server miii.
+
  Getroffen    : gebruikers van de virtuele servers: Roundcube, websites met een database op deze server, ...
  Probleem      : Bij onderhoud (het verwijderen van een netwerk kaart) is een netwerk kabel niet correct teruggestekkerd.
 
[/nl]
 
 
 
[en]
 
  Begin        : 20130315 17:30
 
  End          : 20130318 09:00
 
  Affected    : Users of network disks of the server miii.
 
  Problem      : While performing maintenance (removing a network card) a network cable was not inserted correctly.
 
[/en]
 
  
[[Gebruiker:wim|Wim Janssen]] 18 mrt 2013 11:11 (CET)
+
Gisteravond gaf de SSD-opstartschijf van deze VM-host al de eerste signalen van problemen, vanochtend stopten daardoor de virtuele servers die op deze VM-host draaien. Door de VM's te verhuizen naar een andere VM-host is het probleem opgelost. Er wordt nagedacht hoe we dit probleem in de toekomst het beste kunnen voorkomen of de impact ervan kunnen beperken.
 
 
=== [Disk server pile offline][Disk server pile offline] ===
 
<itemTags>studenten,medewerkers,docenten</itemTags>
 
[nl]
 
  Begin        : 20130318 06:30
 
  Eind          : 20130318 07:36
 
  Getroffen    : Gebruikers van diskruimte op de Pile.
 
  Probleem      : Pile: Stond te wachten op interactieve input na waarschuwing (^d)
 
 
[/nl]
 
[/nl]
 
 
[en]
 
[en]
  Begin       : 20130318 06:30
+
  Begin         : 2021-03-05 07:45
  End         : 20130318 07:36
+
  End           : 2021-03-05 09:40
  Affected     : Users of disk volumes on file server Pile.
+
  Affected     : users of the virtual servers: Roundcube, websites with databases on this server, ...
  Problem      : Pile: Was waiting for interactive input after reporting a warning (^d)
 
[/en]
 
  
=== [Netwerkproblemen door verspreiding Matlab R2013a][Network problems due to installation of Matlab R2013a] ===
+
Yesterday the SSD bootdisk of this VM host reported the first problems. This morning this had the effect of stopping all VMs running on this host. By moving the VMs to a different VM host, the problem has been solved. We will investigate how to best prevent this problem in the future or lessen its impact.
<itemTags>studenten,medewerkers,docenten</itemTags>
+
[/en]
  
 +
=== [Lilo6 stuk][Lilo6 down] ===
 +
<itemTags>medewerkers,studenten</itemTags>
 
[nl]
 
[nl]
Begin        : 20130313 13:00
+
  Begin        : 2021-02-25 17:30
Eind          : 20130313 13:40
+
  Eind          : 2021-03-04 16:45
Getroffen    : gebruikers van het netwerk
+
  Getroffen    : gebruikers van lilo
  
Gisteren is Matlab R2013a ge&iuml;nstalleerd. Vandaag om 13:00 uur gingen allerlei servers automatisch deze 5.4 GB naar hun eigen schijf kopi&euml;ren over het netwerk. Dat zorgde voor een te grote belasting van delen van het netwerk, waar veel gebruikers last van hadden. De distributie van dit pakket zal nu gefaseerd gedaan worden, grotendeels buiten werktijd.
+
Sinds donderdagmiddag is lilo6 door hardware problemen offline. Omdat dit de default linux login server was (lilo verwees naar lilo6) is dit voor veel gebruikers van lilo opvallend. De impact is beperkt, omdat er nog twee lilo's zijn, namelijk lilo5 en lilo7.
 +
Lilo7 is vervroegd de nieuwe lilo geworden, dus kun je een melding verwachten dat ssh een waarschuwing geeft over DNS SPOOFING, lilo7 heeft<br/> ECDSA <tt>SHA256:si3g2elo5m6TShx3PjX0+vF50pZ8NK/iXz/ESB+ZeP0</tt>
 
[/nl]
 
[/nl]
 
[en]
 
[en]
Begin        : 20130313 13:00
+
  Begin        : 2021-02-25 17:30
End          : 20130313 13:40
+
  End          : 2021-03-04 16:45
Affected      : users of the network
+
  Affected      : users of lilo
  
Yesterday Matlab R2013a has been installed. Today at 13:00 hours many servers started to automatically copy this 5.4 GB to their local disc. Some parts of the network were overloaded by all these copying, which made accessing the network slow for many users. The distribution of this software will now be scheduled to happen over a longer period, primarily outside of working hours.
+
As of Thursday afternoon, the lilo6 is down due to hardware issues. Because lilo6 was the default linux login server (lilo referred to lilo6), this affected many users of lilo. The impact is limited, because we have alternative lilo's, namely lilo5 and lilo7. As of March 1st lilo now refers to lilo7, ssh will warn about DNS SPOOFING, which is due to the difference host keys for lilo7 <br/> <tt>ECDSA SHA256:si3g2elo5m6TShx3PjX0+vF50pZ8NK/iXz/ESB+ZeP0</tt>
 
[/en]
 
[/en]
  
[[Gebruiker:Petervc|Peter van Campen]] 13 mrt 2013 18:31 (CET)
+
=== [Groot RU netwerkonderhoud zaterdag 27 februari 08:00-20:00][Major RU network maintenance Saturday Feb. 27 08:00-20:00] ===
 
+
<itemTags>medewerkers,studenten</itemTags>
=== [Meer IP-nummers voor ru-wlan en Science (draadloos)][More IP-numbers for ru-wlan and Science (wireless)] ===
+
[nl]
<itemTags>studenten,medewerkers,docenten</itemTags>
+
  Begin        : 2021-02-27 08:00
 +
  Eind          : 2021-02-27 20:00
 +
  Getroffen    : gebruikers van het RU-netwerk of -diensten
  
[nl]
+
ISC netwerkbeheer [https://www.ru.nl/systeem-meldingen/ kondigde aan] dat a.s. zaterdag 27 februari gepland groot onderhoud aan het RU-netwerk uitgevoerd zal worden, waardoor alle RU-diensten diverse keren maximaal een uur lang niet bereikbaar zullen zijn. Dit gaat om alle RU-diensten, inclusief die van FNWI/C&CZ: e-mail, VPN, wifi, BASS, OSIRIS, Brightspace, Syllabus+, Corsa, etc.
Op maandag 4 maart 2013 om 18.00 uur wordt het aantal IP-nummers dat in de FNWI-gebouwen beschikbaar is voor ru-wlan en Science, verdubbeld. Omdat ru-wlan naar een nieuwe nummerreeks verhuist, zullen gebruikers van ru-wlan daardoor verlies van connectiviteit hebben gedurende maximaal 15 minuten.
 
Er was al een plan om ru-wlan en Science binnen de FNWI-gebouwen te vervangen door het RU-brede Eduroam en ru-wlan. Maar het gebruik van het draadloze netwerk is zo snel gegroeid, dat we niet konden wachten tot dit plan uitgevoerd zou zijn. Vorige week konden enkele gebruikers soms zelfs geen IP-nummer meer krijgen, terwijl de lease-tijd al naar 30 minuten teruggebracht was. Daarom werd deze tijdelijke maatregel toch noodzakelijk, met invoering op korte termijn.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
Monday, March 4th 2013 at 18:00 hours, the number of IP numbers that is available in the FNWI buildings for ru-wlan and Science will be doubled. Because ru-wlan moves to a new range, users of ru-wlan will lose connectivity for at most 15 minutes.
+
  Begin        : 2021-02-27 08:00
There was already a plan to replace ru-wlan and Science within the FNWI buildings by the RU-wide Eduroam and ru-wlan, but the wireless network usage has grown so fast that we can not wait for this plan to be realized. Last week some wireless users at times could not even get an IP address, although the lease time had been brought down to 30 minutes. Therefore this temporary measure became necessary on such short notice.
+
  End          : 2021-02-27 20:00
 +
  Affected      : users of the RU network or services
 +
 
 +
The ISC [https://www.ru.nl/systeem-meldingen/ announced] that Saturday February 27 08:00-20:00 major RU network maintenance work will be carried out. This will mean that all RU services will be unavailable several times for at most an hour. This concerns all RU services including those of FNWI/C&CZ: e-mail, VPN, wifi, BASS, OSIRIS, Brightspace, Syllabus+, Corsa, etc.
 
[/en]
 
[/en]
  
[[Gebruiker:Mkup|Marcel Kuppens]] 4 mar 2013 12:20 (CET)
+
=== [DNS-problemen vanaf buiten met ru.nl][DNS problems from outside with ru.nl] ===
 
+
<itemTags>medewerkers,studenten,websites</itemTags>
=== [Korte onderbreking in deel van draadloos netwerk][Short interval in wireless network service] ===
 
<itemTags>studenten,medewerkers,docenten</itemTags>
 
 
 
 
[nl]
 
[nl]
Op maandag 18 feb vanaf 18:00 uur vinden er werkzaamheden plaats aan een gedeelte van het wireless netwerk.
+
  Begin        : 2021-02-21 07:10
Daardoor kan het voorkomen dat er voor bepaalde gebruikers even geen wireless verkeer mogelijk is.
+
  Eind          : 2021-02-23 14:30
Het gaat om de volgende locaties:
+
  Getroffen    : iedereen die iets in ru.nl wil benaderen van buiten de campus
 
 
FNWI kelder A1
 
FEL
 
Huygens: alleen bieb, terras achter buiten, kantine, ruimte -1.132
 
KDV1 en KDV2
 
Linnaeusgebouw
 
Logistiek Centrum
 
Mercator I
 
Mercator II, alleen begane grond en 6e verdieping
 
Mercator III, alleen 1e verdieping
 
Transitorium FNWI (ACSW en FELIX)
 
UBC
 
  
De werkzaamheden zullen naar verwachting niet langer dan een half uur duren.
+
De centrale DNS-servers van ru.nl voor externe requests werkten niet goed doordat ze te veel bevraagd werden, waardoor ook o.a. science.ru.nl soms niet gevonden kon worden: DNS-namen onder ru.nl resolven dan niet naar een IP-adres. We hebben enkele TTL's (time-to-lives) vergroot om te proberen de overlast iets minder te maken. Deze kleine TTL's waren bedoeld om in het geval van problemen met deze servers de service snel te kunnen verhuizen, maar dragen nu bij aan de overlast. Wie VPN gebruikt heeft na het starten van de VPN hier geen probleem meer mee, omdat dan de interne DNS-servers gebruikt worden. Door aanpassingen aan de RU DNS-servers zijn hopelijk sinds 2021-02-23 14:30 de DNS-problemen minder of verdwenen.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
On Monday feb 18 at 6:00 pm there will be some maintenance at the wireless network which will effect the following locations at Toernooiveld:
+
  Begin        : 2021-02-21 07:10
 
+
  End          : 2021-02-23 14:30 (?)
FNWI cellar A1
+
  Affected      : everyone trying to access something in ru.nl from off-campus.
FEL
 
Huygens: Library of Science, terrace behind Huygens, cantine, room HG-1.132
 
KDV1 en KDV2
 
Linnaeus building
 
Logistic Centre
 
Mercator I
 
Mercator II, ground floor and 7nd floor
 
Mercator III, 2nd floor
 
Transitorium FNWI (ACSW and FELIX)
 
UBC
 
  
We expect the service will be completely available again within 30 minutes.
+
The central DNS servers for ru.nl for external requests had problems, because they received too many requests, which resulted in science.ru.nl and others not being found. DNS names within ru.nl then will not resolve to an IP address. We enlarged some TTLs (Time-To+lives) to try to lessen the problem. These small TTLs were meant to be able to move a service to a new server in case of problems, but now they just make the problem bigger. After starting VPN you won't notice this problem, because the internal DNS servers that you use then are not affected. Changes to the RU DNS servers hopefully lessened or removed the problems as of 2021-02-23 14:30.
 
[/en]
 
[/en]
  
[[Gebruiker:Mkup|Marcel Kuppens]] 18 feb 2013 10:53 (CET)
+
=== [DNS kapot voor subdomeinen onder ru.nl][DNS broken for subdomains of ru.nl] ===
 
+
<itemTags>medewerkers,studenten,websites</itemTags>
=== [Mailproblemen na weggeven wachtwoord aan phishers][Mail problems after supplying password to phishers] ===
 
<itemTags>studenten,medewerkers,docenten</itemTags>
 
 
 
 
[nl]
 
[nl]
   Begin        : 20130212
+
   Begin        : 2021-02-11 ~11:15
   Eind          : 20130214 (voorlopig)
+
   Eind          : 2021-02-11 ~13:00
   Getroffen    : Gebruikers van Science mail, specifiek horde webmail
+
   Getroffen    : iedereen die op  *.science.ru.nl *.astro.ru.nl, etc. wil komen
 
 
De afgelopen dagen hebben drie Science gebruikers hun Science-wachtwoord aan phishers gegeven. Daarna worden dan steeds de Science mailservers (horde webmail, smtp) door Internet-criminelen misbruikt om spam te versturen. Deze keer werd er zelfs een nagemaakte website van Horde webmail gebruikt. De grote verschillen met de echte Science horde zijn:
 
* de URL is niet binnen science.ru.nl
 
* het is geen veilige https verbinding, het slotje ontbreekt
 
* de ingevoerde loginnaam en wachtwoord komen niet uit bij C&CZ servers, maar bij Internet-criminelen.
 
 
 
In zo'n geval moeten we meestal tijdelijk horde stoppen. Ook lopen we het risico dat onze mailservers op zwarte lijsten komen, waardoor alle gebruikers problemen kunnen hebben met het versturen van mail naar buiten de RU.
 
  
SVP: niet zomaar klikken op een link in een e-mail !!!
+
Door niet goed werkende DNS-servers van ru.nl werkt DNS voor subzones als science.ru.nl niet, waardoor geen enkele DNS-naam nog kan resolven naar een IP-adres bij FNWI. Een workaround is als men handmatig als DNS-servers invoert: 131.174.224.4 en 8.8.8.8. Wie pas na 11:15 uur voor het eerst probeert een Science-dienst te benaderen (bv matlab.science.ru.nl) krijgt een fout als "No such domain" of "Cannot resolve". Herstarten van de RU DNS servers om 12:45 heeft misschien het probleem opgelost. Zonder een echte verklaring was het probleem na enkele uren verdwenen.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
   Begin        : 20130212
+
   Begin        : 2021-02-11 ~11:15
   End          : 20130214 (for now)
+
   End          : 2021-02-11 ~13:00
   Affected      : Users of Science mail, specifically of horde webmail
+
   Affected      : everyone trying to resolve *.science.ru.nl *.astro.ru.nl etc.
 
 
The last few days three Science users have supplied their Science password to phishers. We notice that because Internet criminals use these passwords to get into the Science mail servers (horde webmail, smtp) in order to send spam. This time they even used a fake copy of the horde Science webmail website. The big differences with the real horde Science webmail website are:
 
* the URL is not within science.ru.nl
 
* the connection is not a secure https connection, there is no lock
 
* the username and password do not arrive at C&CZ servers, but in the hands of Internet criminals.  
 
  
PLEASE: do not naively click on a link in an e-mail!
+
DNS-servers for ru.nl did not serve information about subdomains such as science.ru.nl. Thus no DNS-name will resolve to an IP address at FNWI. A workaround is to use as DNS servers: 131.174.224.4 en 8.8.8.8. If you try to connect to a service for the first time after ca 11:15, you'll get an error like: "No such domain" or "Cannot resolve". Restarting RU DNS servers at 12:45 may have fixed the problem. Without a real explanation, the problem went away after a few hours.
 
[/en]
 
[/en]
  
=== [Nieuwe Radius server voor ru-wlan en eduroam (draadloos)][New Radius server for ru-wlan and eduroam (wireless)] ===
+
=== Gitlab upgrade ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
<itemTags>medewerkers, studenten</itemTags>
 
 
 
[nl]
 
[nl]
Op maandagochtend 28 januari 2013 om 8.00 uur zal door het UCI één van de servers waarvan het draadloze netwerk van de RU gebruik maakt, worden vervangen. Deze vervanging zal enige gevolgen hebben voor gebruikers van de draadloze netwerken ru-wlan en eduroam:
+
  Begin        : 2021-02-07  04:00
Er zal een nieuw certificaat verschijnen bij  het verbinden. U kunt dit gewoon accepteren, waarna de verbinding zou moeten werken. Mocht dit onverhoopt niet het geval zijn, dan kun u het beste uw oude eduroam-  resp. ru-wlan instellingen eerst weggooien om de verbinding weer te laten werken.
+
  Einde        : 2021-02-07 12:50
 +
  Getroffen    : gebruikers van GitLab en Mattermost
  
Specifiek voor iPhone/iPad gebruikers:
+
Vanwege een upgrade van [[GitLab]] en Mattermost naar de laatste versie zijn deze tijdelijk niet beschikbaar.
U kunt het beste eerst uw oude eduroam- resp. RU-WLAN profiel weggooien om de verbinding zonder profiel tot stand te brengen. Mocht dat onverhoopt niet lukken, bekijkt u dan de info op [http://www.ru.nl/wireless www.ru.nl/wireless] voor iPhone/iPads.
 
Zonodig kunt u daar ook een nieuw profiel downloaden.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
On Monday, January 28th 2013 at 8:00 am, one of the servers that is being used by the wireless network of the RU, will be replaced. This replacement will affect you as a user of the wireless networks ru-wlan and eduroam:
+
  Begin        : 2021-02-07  04:00
There will appear a new certificate when connecting. You can just accept this, after which  the connection should work. If this appears not to be the case, then it’s best that you remove your old Eduroamrespectively your old RU-WLAN settings first to activate the new connection .
+
  End          : 2021-02-07 12:50
 +
  Affected      : GitLab and Mattermost users
  
Specifically for iPhone / iPad users:
+
Services will not be available for a while because of a GitLab and Mattermost upgrade.
We recommend that you first remove your old Eduroam- respectively your old RU-WLAN profile before activating the new connection without a profile. If that unexpectedly fails, please review the information on [http://www.ru.nl/wireless www.ru.nl/wireless] for  iPhone/iPads.
 
If necessary, you can also download a new profile from that site.
 
 
[/en]
 
[/en]
  
[[Gebruiker:Mkup|Marcel Kuppens]] 17 jan 2013 10:53 (CET)
+
=== [Science VPNsec storing][Science VPNsec disruption] ===
 
 
=== [Homeserver bundle gecrashed][Homeserver bundle crashed] ===
 
<itemTags>studenten,medewerkers,docenten</itemTags>
 
 
[nl]
 
[nl]
  Begin        : 2013-01-16 ~ 13:30
+
  Begin        : 2021-02-03 13:00
  Einde        : 2013-01-16 ~ 14:00
+
  Eind          : 2021-02-03 14:02 (voor Apple macOS/iOS: laatste fix op 10 februari)
  Getroffen    : alle FNWI gebruikers met homedirectories op bundle
+
  Getroffen    : Gebruikers van Science VPN diensten
  
Omdat de fileserver gecrashed was, moest hij herstart worden om weer beschikbaar te zijn.
+
Het certificaat van onze  [[Vpn|VPNsec]]-service werd niet regelmatig gecontroleerd en kon daarom verlopen. We hebben binnen een uur een nieuw certificaat geïnstalleerd. Natuurlijk zullen we ook van dit certificaat vanaf nu de looptijd controleren. Voor Apple/Mac moet een nieuwe mobileconfig gemaakt worden, dat kost even tijd, omdat in de tussentijd de RU naar een andere Certicate Authority verhuisd was. Voor Apple macOS was dat eind  4 februari gelukt, met een nieuwe installatieprocedure. Voor Apple iOS (iPhone/iPad) moet men wel het oude profiel verwijderen en de nieuwe mobileconfig installeren.
 
[/nl]
 
[/nl]
 
 
[en]
 
[en]
  Begin        : 2013-01-16 ~ 13:30
+
  Begin        : 2021-02-03 13:00
  Einde        : 2013-01-16 ~ 14:00
+
  End          : 2021-02-03 14:02 (for Apple macOS/iOS last fix on February 10)
  Affected      : all FNWI users with a homedirectory on fileserver bundle
+
  Affected      : Users of Science VPN
  
Because the file server crashed, it had to be rebooted.
+
The expiration date of the certificate of our [[Vpn|VPNsec]] service was apparently not yet checked regularly. This made it possible for the certificate to expire. We put a new certificate into place within an hour. Of course we will check this certificate regularly from now on. For Apple/Mac we needed to construct a new mobileconfig, this took some time, because in the meantime RU had moved to a different Certificate Authority. For Apple macOS this was ready at the end of Feb. 4, with a new installation procedure. For Apple iOS (iPhone/iPad) the old profile has to be deleted and a new mobileconfig has to be installed.
 
[/en]
 
[/en]
  
=== [LDAP server renewed][LDAP server vernieuwd] ===
+
=== [DHZ tijdelijk niet beschikbaar][DIY temporarily not usable] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
<itemTags>medewerkers, studenten</itemTags>
 +
[nl]
 +
  Begin        : 2021-01-25 07:15
 +
  Einde        : 2021-01-25 07:45
 +
  Getroffen    : Gebruikers die hun science account wilden beheren
  
[nl]
+
In verband met een beheershandeling (min of meer gepland) was de DHZ website tijdelijk onbruikbaar, het tijdstip was vroeg in de ochtend, dus vermoedelijk heeft het weinig of geen overlast veroorzaakt.
  Datum        : 20121214
 
  Getroffen    : Gebruikers met een Fedora desktop PC
 
  
Na het upgraden van een van onze LDAP servers, is gebleken dat oudere systemen met Fedora linux niet meer goed opstarten. Hier is inmiddels een fix voor toegepast. Wie hier toch tegen aanloopt wordt verzocht contact op te nemen met C&CZ.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
   Date         : 20121214
+
   Begin         : 2021-01-25 07:15
   Affected     : Users with a Fedora based desktop PC
+
  End          : 2021-01-25 07:45
 +
   Affected     : Users wanting to manage their science account
 +
 
 +
Due to a management operation (planned around this time), the DIY website was unusable. Since the time was very early, it's expected nobody was inconvenienced by this temporary unavailability.
 
[/en]
 
[/en]
  
Older Fedora desktop PC's may experience startup problems after an upgrade of one of our LDAP servers. A fix is available and has been applied. If you still encounter this problem, please contact C&CZ.
+
=== [Science smtp-service tijdelijk niet beschikbaar][Science smtp service temporarily not usable] ===
 +
<itemTags>medewerkers, studenten</itemTags>
 +
[nl]
 +
  Begin        : 2021-01-22 10:00
 +
  Einde        : 2021-01-22 10:30
 +
  Getroffen    : Science mail gebruikers die mail wilden versturen
  
=== [Mailproblemen na weggeven wachtwoord aan phishers][Mail problems after supplying password to phishers] ===
+
Een configuratiewijziging maakte onbedoeld de smtp-service onbruikbaar. Toen we dat opmerkten is dat direct gecorrigeerd.
<itemTags>studenten,medewerkers,docenten</itemTags>
 
  
[nl]
 
  Begin        : 20121116 04:45
 
  Eind          : 20121117 ca 12:00
 
  Getroffen    : Gebruikers van horde webmail en gebruikers die naar o.a. hotmail.com wilden mailen
 
 
Horde webmail bleek wederom misbruikt te worden voor spam. Een naïeve gebruiker had het Science-wachtwoord aan phishers/spammers gegeven, waardoor dit mogelijk werd. Nadat eerst horde stopgezet is, is vrijdagochtend vroeg de login van deze gebruiker afgezet en horde weer herstart. Zaterdagochtend bleek deze kortdurende spam-outbreak toch reden geweest te zijn voor de beheerders van hotmail.com om onze uitgaande mailserver op hun zwarte lijst te zetten. Daarom hebben we zaterdagochtend deze server een ander IP-adres gegeven.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
   Begin       : 20121116 04:45
+
   Begin         : 2021-01-22 10:00
   End         : 20121117 ca 12:00
+
   End           : 2021-01-22 10:30
   Affected     : Users of horde webmail and users wanting to send mail to e.g. hotmail.com
+
   Affected     : Science mail users wanting to send mail
  
Horde webmail again appeared to be misused for sending spam. This could happen because a naive user gave the Science password to phishers/spammers. After first stopping horde, early Friday morning we disabled the account of the naive user and restarted horde. Saturday morning it appeared that this short spam-outbreak had caused administrators of hotmail.com to add our mail server to their blacklist. Therefore we switched the IP-number of this mail server Saturday morning.  
+
A configuration change unwantedly made the smtp service unusable. When we noticed this, it was repaired immediately.
 
[/en]
 
[/en]
  
=== [Homeserver bundle wordt gereboot][Homeserver bundle will be rebooted] ===
+
=== [Erg lange mail aliasen tijdelijk niet beschikbaar][Very long mail aliases temporarily not usable] ===
 +
<itemTags>medewerkers, studenten</itemTags>
 
[nl]
 
[nl]
   Begin        : 2012-10-24 ~ 12:45
+
   Begin        : 2021-01-21 15:52
   Einde        : 2012-10-24 ~ 13:00
+
   Einde        : 2021-01-22 09:55
   Getroffen    : alle FNWI gebruikers met homedirectories op de bundle
+
   Getroffen    : Science mail aliasen van meer dan 1024 tekens
 +
 
 +
Bij een configuratiewijziging verdwenen onbedoeld alle erg lange mail aliasen. Na de eerste melding is dat de volgende ochtend gecorrigeerd.
  
Omdat de fileserver weigert een reservedisk te accepteren, moet het gereboot worden.
 
 
[/nl]
 
[/nl]
 
 
[en]
 
[en]
   Begin        : 2012-10-24 ~ 12:45
+
   Begin        : 2021-01-21 15:52
   Einde        : 2012-10-24 ~ 13:00
+
   End          : 2021-01-22 09:55
   Affected      : all FNWI users with a homedirectory on fileserver bunlde
+
   Affected      : Science mail aliases of more than 1024 characters
  
Because the file server refuses to accept a spare disk, it needs a reboot.
+
A configuration change had as unwanted effect the disappearance of all very long mail aliases. When this was reported next morning, it was repaired immediately.
 
[/en]
 
[/en]
  
=== [Homeserver bundle niet beschikbaar][Homeserver bundle unavailable] ===
+
=== Switch crash; gitlab+mattermost, licenses and DHZ ===
 +
<itemTags>medewerkers, studenten</itemTags>
 
[nl]
 
[nl]
   Begin        : 2012-10-22 12:15
+
   Begin        : 2021-01-07 ~14:30
   Einde        : 2012-10-22 13:00
+
   Einde        : 2021-01-07 ~15:00
   Getroffen    : alle FNWI gebruikers met homedirectories op de bundle
+
   Getroffen    : gebruikers van GitLab en Mattermost, Licenties, DHZ
 +
 
 +
Door een eenvoudige beheershandeling crashte een switch (as-ak008-04) die daarna met de hand gereset moest worden. De switch zit onder andere tussen het netwerk en de servers voor gitlab+mattermost, de licenties, en de database voor DHZ.
  
Er wordt op dit moment gewerkt aan een oplossing.
 
 
[/nl]
 
[/nl]
 +
[en]
 +
  Begin        : 2021-01-07 ~14:30
 +
  End          : 2021-01-07 ~15:00
 +
  Affected      : GitLab and Mattermost users, Licenses, DHZ (diy)
  
[en]
+
Due to a simple management command the switch (as-ak008-04) crasht and had to be reset manually. The switch sits between the network and servers for gitlab+mattermost, licenses and the database for DHZ(diy).
  Begin        : 2012-10-22 12:15
 
  End          : 2012-10-22 13:00
 
  Affected      : all FNWI users with a homedirectory on fileserver bunlde
 
  
At the moment, we are solving the problem.
 
 
[/en]
 
[/en]
  
=== [Services niet beschikbaar door stroom- en netwerkstoring][Services unavailable due to power and network outage] ===
+
=== Gitlab upgrade ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
<itemTags>medewerkers, studenten</itemTags>
 
 
 
[nl]
 
[nl]
   Begin        : 2012-10-18 3h
+
   Begin        : 2020-11-27 04:00
   Einde        : 2012-10-18 10h
+
   Einde        : 2020-11-27 ~08:00
   Getroffen    : alle FNWI gebruikers tot 9h30 en daarna "bundle" homedirectories, draadloos, "plus" netwerkschijven en diverse websites
+
   Getroffen    : gebruikers van GitLab en Mattermost (ook voor PEP)
  
In de nacht van woensdag op donderdag heeft een stroomstoring gezorgd voor het uitvallen van netwerksystemen in de (kelder) ICT zaal.
+
Vanwege een upgrade van [[GitLab]] en Mattermost naar de laatste versie zijn deze tijdelijk niet beschikbaar.
Door om de UPS (Uninterruptable Power Supply) heen te werken lukte het rond 9h15 om stroom naar netwerkapparatuur te leiden.
 
Omdat de meeste servers niet zonder stroom zijn geweest, bleken deze automatisch service te verlenen na herstel van de netwerkverbindingen.
 
Alleen op de homedirectories server "bundle" was het noodzakelijk de netwerkdriver-software te herstarten.
 
Aangezien bleek dat PC's niet correct wilden opstarten hebben we verschillende websites herstart die tijdens het boot-proces worden geraadpleegd.
 
Ook draadloze apparatuur, lees smartphones, bleken niet correct te kunnen werken vanwege een split-brain situatie binnen de DHCP service.
 
Hierdoor werden IP adressen niet meer uitgedeeld en was draadloze toegang tot het netwerk niet mogelijk tot ongeveer 13h.
 
Hieraan ongerelateerd was een hardwarestoring met het RAID array van de "plus" die later in de dag verholpen is.
 
Toegang tot de volgende netwerkschijven is hersteld na de lunch voor:
 
sofie, ams*, molchem, mb*, encapson, milkun4, snn, neuropi, digicd. carta, ...
 
 
[/nl]
 
[/nl]
 
 
[en]
 
[en]
   Begin        : 20121018 03:00
+
   Begin        : 2020-11-27  04:00
   End          : 20121018 10:00
+
   End          : 2020-11-27 ~08:00
   Affected      : all users until 09:30; afterwards: "bundle" home directories, wireless, "plus" network shares and several websites
+
   Affected      : GitLab and Mattermost users (including PEP)
  
During the night of wednesday on thursday a power outage resulted in a network outage in the basement computing facilities.
+
Services will not be available for a while because of a GitLab and Mattermost upgrade.
The power was restored to the network equipment using a bypass thus circumventing the UPS at about 09:15.
 
Further checks implied that most servers had not become powerless so that most services became automatically available again.
 
Network drivers on "bundle" had to be restarted in order to get access to home directories for a large number of users.
 
Furthermore, several websites had to be restarted which made it possible for PC's to boot properly.
 
During the day, an unrelated issue with the RAID storage of "plus" has been fixed as well granting access to the following network shares:
 
sofie, ams*, molchem, mb*, encapson, milkun4, snn, neuropi, digicd. carta, ...
 
Since wireless devices were unable to acquire IP addresses, i.e. gain access to the network, a split-brain situation was diagnosed within the DHCP service which was resolved around 13:00.
 
 
[/en]
 
[/en]
  
=== [Aangekondigd onderhoud: home-server "pile" down voor reboot][Announced downtime: home server "pile" down for reboot] ===
+
=== [Eduroam-probleem op de campus][Eduroam problem on campus] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
[nl]
 +
  Begin        : 2020-07-10 avond
 +
  Eind          : 2020-07-10 avond
 +
  Getroffen    : Eduroam-gebruikers op de campus
  
[nl]
+
Het ISC deelde mee: Om beveiligingsredenen wordt vrijdagavond 10 juli het certificaat van de wifi-server vervangen. Dit heeft gevolgen voor het verbinden van je mobile device met Eduroam als je op de campus bent:
  Begin        : 20121012 07:00
+
 
  Eind          : 20121012 09:00
+
• Als je de melding krijgt dat je het nieuwe certificaat moet accepteren om gebruik te maken van Eduroam, kies dan voor ‘ja’. Je kunt dan weer gewoon gebruik maken van Eduroam;
  Getroffen    : Gebruikers met homedirectory op "pile" (te zien op http://DHZ.science.ru.nl)
 
  
A.s. vrijdagochtend wordt de nieuwe homeserver "pile" gepland gereboot. Er zijn problemen met de [[Backup|snapshots]], waardoor een reboot langer zou kunnen duren dan normaal. Daarom wordt dit voor a.s. vrijdag vroeg gepland.
+
• Als je deze melding niet krijgt én geen verbinding met Eduroam kunt maken, kies dan voor het draadloze netwerk ‘eduroam-config’. Accepteer de voorwaarden. Volg de instructies om Eduroam opnieuw te installeren.
 
[/nl]
 
[en]
 
  Begin        : 20121012 07:00
 
  End          : 20121012 09:00
 
  Affected    : Users with homedirectory server "pile" (as can be seen on http://DIY.science.ru.nl)
 
  
Next Friday morning, the home server "pile" will be rebooted. There are problems with the [[Backup|snapshots]], which could make a reboot take more time. Therefore we schedule the reboot for early next Friday.
+
Meer informatie vind je ook via [https://www.ru.nl/wifi www.ru.nl/wifi] (hier heb je een internetverbinding voor nodig).
[/en]
 
  
=== [Peage opwaardeerkast bij restaurant Huygens uit productie][Peage top-up unit near Huygens restaurant in maintenance] ===
+
Met vragen kun je terecht bij de ICT Helpdesk (024 – 36 22222).
<itemTags>studenten</itemTags>
 
[nl]
 
Om nieuwe software te testen, was de [http://www.ru.nl/peage Peage] betaalkast bij het restaurant van het Huygensgebouw tijdelijk uit productie.
 
Deze kast werd nog niet veel gebruikt, dus de overlast zou minimaal zijn.
 
Studenten die wilden opwaarderen, konden toen alleen elders op de campus terecht.
 
Zie de [http://www.ru.nl/peage Peage website], de locaties zijn hal Erasmus, hal Spinoza en hal UB).
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
In order to test new software, the [http://www.ru.nl/peage Peage] top-up unit near the Huygens restaurant was switched to maintenance mode.
+
  Begin        : 2020-07-10 evenng
This unit is not used often yet, therefore this wil not have caused problems. Students that wanted to top-up their Peage account, could do that only elsewhere on campus.  See the http://www.ru.nl/peage Peage website], locations are the halls of the Erasmus, Spinoza and Library buildings.
+
  End          : 2020-07-10 evening
[/en]
+
  Affected      : Eduroam users on campus
  
=== [Eduroam inkomend werkt niet voor iPhone/iPad/iPod][Eduroam incoming doesn't work for iPhone/iPad/iPod] ===
+
The ISC announced: For security reasons, the certificate of the wifi server will be replaced in the evening of Friday, July 10. This has consequences for connecting your mobile device to Eduroam when you’re on campus:
<itemTags>studenten</itemTags>
 
[nl]
 
  
  Begin        : voorjaar 2012 (?)
+
• If you get the message that you have to accept the new certificate to use eduroam, choose 'yes'. You can then use eduroam again;
  Eind          : 20121005
 
  Getroffen    : inkomend Eduroam-gebruikers met een iPhone/iPad/iPod
 
  
Het [http://www.ru.nl/uci UCI netwerkbeheer] meldt dat [http://www.ru.nl/gdi/voorzieningen/campusbrede-systemen/eduroam/ inkomend] gebruik van [http://www.eduroam.nl Eduroam] op dit moment niet werkt voor gebruikers van een iPhone/iPad/iPod. Aan een oplossing wordt gewerkt. Eduroam inkomend betekent dat men gebruikt maakt van het draadloze netwerk van een andere instelling in de wereld, met authenticatiegegevens (login/wachtwoord) van RU of Science.
+
• If you don't get this message and can't connect to Eduroam, choose the wireless network 'eduroam-config'. Accept the terms and conditions. Follow the instructions to reinstall Eduroam.
[/nl]
 
[en]
 
  
  Begin        : spring 2012 (?)
+
More information can also be found at [https://www.ru.nl/ict-uk/eduroam www.ru.nl/ict-uk/eduroam] (you will need an internet connection for this).
  End          : 20121005
 
  Affected      : incoming Eduroam users with an iPhone/iPad/iPod
 
  
The [http://www.ru.nl/uci UCI network management] reports that at this moment the [http://www.ru.nl/gdi/voorzieningen/campusbrede-systemen/eduroam/ incoming] version of [http://www.eduroam.nl Eduroam] doesn't work for iPhone/iPad/iPod. A solution is being worked upon. Eduroam incoming means that one uses the wireless network of a remote institute, with authentication (login/password) being checked by RU or Science.  
+
If you have any questions, please contact the ICT Helpdesk (024 - 36 22222).
 
[/en]
 
[/en]
  
=== [Horde webmail server down door spam][Horde webmail server down because of spam] ===
+
=== [RU mail onterecht in Spamfolder][RU mail erroneously in Spam folder] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
 
 
 
 
[nl]
 
[nl]
  Begin        : 20120925 23:05
+
  Begin        : 2020-03-25 17:52
  Eind          : 20120926 10:20
+
  Eind          : 2020-07-07 13:13
  Getroffen    : Gebruikers van horde webmail
+
  Getroffen    : FNWI-medewerkers met Science mail
  
Gisteravond bleek horde webmail misbruikt te worden voor spam. Een naieve gebruiker had het Science-wachtwoord aan spammers gegeven, waardoor dit mogelijk werd. Nadat eerst horde stopgezet is, is vanochtend de login van deze gebruiker afgezet en horde weer herstart.
+
Aan het Science spamfilter is op 25 maart 2020 een regel "2020 Radboud Universiteit" toegevoegd, die de laatste tijd ook in RU-centrale mailings voorkomt. Daardoor zijn RU-brede mailings van o.a. het CvB en Radboud Recharge onterecht in de Spam folder van FNWI-medewerkers afgeleverd. Met het Science spamfilter proberen we zo goed als mogelijk spam en phishing tegen te gaan, dit is deels handwerk, hierbij zijn fouten niet uitgesloten. C&CZ biedt excuses aan voor de overlast die hierdoor veroorzaakt is.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
  Begin       : 20120925 23:05
+
  Begin         : 2020-03-25 17:52
  End         : 20120926 10:20
+
  End           : 2020-07-07 13:13
  Affected     : Users of horde webmail
+
  Affected     : FNWI employees with Science mail
  
Yesterday evening, horde webmail appeared to be misused for sending spam. This could happen because a naive user gave the Science password to spammers. First we stopped horde. This morning we disabled the account of the naive user and restarted horde.
+
March 25, a rule "2020 Radboud Universiteit" was added to the Science spamfilter. Recently, this matched RU-central mailings. Therefore RU-wide mailings from e.g. the RU Board and Radboud Recharge have erroneously been delivered in the Spam folder of Science emplyees. The Science spamfilter tries to fight spam and phishing, this is partly manual work in which errors can't be excluded. C&CZ apologizes for the inconvenience this has caused.
 
[/en]
 
[/en]
  
=== Disk server "Stack" offline ===
+
=== Webserver 'havik' offline ===
 
[nl]
 
[nl]
  Begin        : 20120924 06:30
+
  Begin        : 2020-06-18 15:45
  Eind          : 20120924 09:35
+
  Eind          : 2020-06-18 16:25
  Getroffen    : Gebruikers van diskruimte op de Stack.
+
  Getroffen    : Gebruikers van diverse websites.
[/nl]
+
 
 +
Diverse onderdelen zijn vervangen, we gaan ervan uit dat het tweemaal opgetreden probleem hiermee verholpen is. Voor dual-boot pc's werd tijdens de reparatie een alternatief bootmenu verzorgd.[/nl]
  
 
[en]
 
[en]
  Begin       : 20120924 06:30
+
  Begin         : 2020-06-18 15:45
  End         : 20120924 09:35
+
  End           : 2020-06-18 16:25
  Affected     : Users of disk volumes on file server Stack.
+
  Affected     : Users of various websites.
[/en]
+
 
 +
Several parts have been replaced. We assume the problem, that occurred twice, is now resolved. For dual-boot pcs, the boot menu was served by an alternative method during the repair.[/en]
  
=== Disk server "Plenty" offline ===
+
=== [Science radius storing][Science radius disruption] ===
 
[nl]
 
[nl]
  Begin         : 20120924 06:30
+
  Begin : 2020-06-17 11:11
  Eind         : 20120924 09:00
+
  Eind : 2020-06-17 11:56
  Getroffen     : Gebruikers van diskruimte op de Plenty. Onder andere de S en T disks die in de Terminalkamers worden gebruikt.
+
Getroffen : Gebruikers van Science VPN diensten en Eduroam op basis van Science login
  
De machine bleef in het BIOS hangen bij de wekelijkse reboot op maandagmorgen.
+
Het certificaat van de LDAP-servers is vanochtend vervangen waarbij tevens de certificate chain gewijzigd is.
 +
De radius server gebruikt LDAP als authenticatie-backend en in de radius-configuratie moest ook de certificate chain vervangen worden. Dit was in eerste instantie over het hoofd gezien. Radius is het authenticatie-mechanisme gebruikt door alle VPN-servers en Eduroam.
 
[/nl]
 
[/nl]
 
 
[en]
 
[en]
  Begin       : 20120924 06:30
+
  Begin : 2020-06-17 11:11
  End         : 20120924 09:00
+
  End   : 2020-06-17 11:56
  Affected     : Users of disk volumes on file server Plenty. The S and T disks that are used in the PC rooms.
+
Affected : Users of Science VPN and Eduroam based on science account
  
During the weekly reboot (monday mornings), the server got stuck in the BIOS.
+
The certificate of the LDAP servers has been replaced this morning, this has also changed the certificate chain.
 +
The radius server uses LDAP as authentication backend and in the radius configuration the certificate chain had to be changed too. This was initially overlooked. Radius is the authentication mechanism used by all VPN servers and Eduroam
 
[/en]
 
[/en]
  
=== [Aangekondigd onderhoud: home-server "pile" down voor vervanging][Announced downtime: home server "pile" down for replacement] ===
+
=== Webserver 'havik' offline ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
[nl]
 +
  Begin        : 2020-06-17 03:38
 +
  Eind          : 2020-06-17 08:52
 +
  Getroffen    : Gebruikers van dual boot PC's (het dual-boot keuzemenu komt van een website) en diverse websites.
  
[nl]
+
De server is wederom uitgevallen op dezelfde manier als op 3 juni 2020. De oorzaak ligt niet bij de reboot maar bij een probleem op het moederbord (is het vermoeden). Dit onderdeel zal morgen (18 juni) worden vervangen door een monteur.[/nl]
  Begin        : 20120814 07:00
 
  Eind          : 20120814 09:00 (ca)
 
  Getroffen    : Gebruikers met homedirectory op "pile" (te zien op http://DHZ.science.ru.nl)
 
  
A.s. dinsdagochtend wordt de oude homeserver "pile" vervangen door een nieuwe, krachtigere server. Omdat de data ook nu al gesynchroniseerd wordt naar de nieuwe server, zal er niet veel downtijd zijn.
 
 
[/nl]
 
 
[en]
 
[en]
  Begin       : 20120724 07:00
+
  Begin         : 2020-06-17 03:38
  End         : 20120724 09:00 (ca)
+
  End           : 2020-06-17 08:52
  Affected     : Users with homedirectory server "pile" (as can be seen on http://DIY.science.ru.nl)
+
  Affected     : Users of dual boot PC's (the dual-boot menu is served by a website) and various websites.
  
Next Tuesday morning, the home server "pile" will be replaced by a new, more powerful server. Because the data have been synchronized with the new server, there will not be much downtime.
+
The server went down in the same way as the previous time (3rd of June 2020). The cause is most likely a system board problem. This part will be replaced Tomorrow by a support engineer.[/en]
[/en]
 
 
 
=== [Uitgesteld: Aangekondigd onderhoud: home-server "pile" down voor vervanging][Postponed: Announced downtime: home server "pile" down for replacement] ===
 
<itemTags>studenten,medewerkers,docenten</itemTags>
 
  
 +
=== Webserver 'havik' offline ===
 
[nl]
 
[nl]
Het onderstaande onderhoud is uitgesteld omdat er nog een paar onduidelijkheden waren met de server, die niet op tijd opgelost konden worden. Wordt vervolgd...
+
  Begin        : 2020-06-03 06:30
  Begin        : 20120724 07:00
+
  Eind          : 2020-06-03 10:12
  Eind          : 20120724 09:00 (ca)
+
  Getroffen    : Gebruikers van dual boot PC's (het dual-boot keuzemenu
  Getroffen    : Gebruikers met homedirectory op "pile" (te zien op http://DHZ.science.ru.nl)
+
komt van een website) en diverse websites.
  
A.s. dinsdagochtend wordt de oude homeserver "pile" vervangen door een nieuwe, krachtigere server. Omdat de data ook nu al gesynchroniseerd wordt naar de nieuwe server, zal er niet veel downtijd zijn. De server is als het goed is erg betrouwbaar: hardware [http://nl.wikipedia.org/wiki/Redundant_array_of_independent_disks#RAID-6 RAID-6], dubbele processoren en voedingen en een 5-jaar onderhoudscontract van de leverancier. De performance is o.a. verbeterd door het gebruik van hardware-RAID met een 1 GB [http://serverfault.com/questions/65096/battery-backed-write-cache schrijfcache met batterij backup].
+
De server was na de geplande wekelijkse reboot niet meer te benaderen, zelfs niet op het beheer-interface. Doordat ook C&CZ thuis werkt en niet standaard aanwezig is in het Huygensgebouw en de verstoring niet snel genoeg urgentie kreeg, heeft de storing te lang geduurd, waarvoor excuses. De onderhoudsfirma is ingeschakeld en de server heeft updates gekregen, maar de oorzaak van het probleem is nog onduidelijk. We zullen overigens ook aandacht besteden aan het redundant of eenvoudiger verhuisbaar maken van deze diensten.
 
 
[/nl]
 
[/nl]
 +
 
[en]
 
[en]
The downtime below has been postponed, because we had a few questions on the new server, that could not be answered in time. To be continued...
+
  Begin         : 2020-06-03 06:30
  Begin       : 20120724 07:00
+
  End           : 2020-06-03 10:12
  End         : 20120724 09:00 (ca)
+
  Affected     : Users of dual boot PC's (the dual-boot menu is served
  Affected     : Users with homedirectory server "pile" (as can be seen on http://DIY.science.ru.nl)
+
by a website) and various websites.
  
Next Tuesday morning, the home server "pile" will be replaced by a new, more powerful server. Because the data have been synchronized with the new server, there will not be much downtime. The new server should be very dependable: hardware [http://en.wikipedia.org/wiki/RAID#RAID_6_replacing_RAID_5_in_enterprise_environments RAID-6], double processors and power supplies and a 5-year support contract from the supplier. The performance has improved, e.g. by using hardware RAID with a 1 GB [http://serverfault.com/questions/65096/battery-backed-write-cache write cache with battery backup].
+
The server couldn't be reached after the scheduled weekly reboot, not even on its management interface. Because also C&CZ employees work from home and the interruption didn't get enough urgency fast enough, the interruption lasted too long, apologies for that. The support partner has been contacted and the server has been updated, but the origin of the problem is still unclear. We will also look at making these services more redundant or more easily movable to a different server.
 
[/en]
 
[/en]
  
=== [Deels aangekondigd onderhoud: mailman + horde webmail server down][Partly announced downtime for mailman + horde webmail server] ===
+
=== CN00 Slurm master ubuntu 16.04 down ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
<itemTags>medewerkers,studenten</itemTags>
 
 
 
[nl]
 
[nl]
  Begin        : 20120712 09:09
+
  Begin        : 2020-05-18 9:50
  Eind          : 20120712 14:00 (ca)
+
  Eind          : 2020-05-19 12:15
  Getroffen    : Gebruikers van horde webmail en/of mailman mailinglists
+
  Getroffen    : slurm op ubuntu 16.04 (cn07)
  
Vanochtend bleek horde webmail misbruikt te worden voor spam. Enkele naieve gebruikers hadden hun Science-wachtwoord aan spammers gegeven, waardoor dit mogelijk werd. Nadat eerst uitgezocht is welke gebruikers dit precies waren en hun wachtwoord aangepast was, is besloten om meteen ook een defecte cpu-ventilator te vervangen. Daardoor zal Mailman ook getrofffen worden, van ca 13:00 uur tot ca 14:00 uur.
+
Door een mislukte BIOS update is de hardware van de database server blijven hangen en start niet meer op (brick). De functionaliteit van de server is overgezet op de hardware van cn00, waardoor die nu uit de lucht is.
+
Als de hardware van sperwer weer in orde is, wordt de situatie weer hersteld.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
  Begin       : 20120712 09:09
+
  Begin         : 2020-05-18 09:50
  End         : 20120712 14:00 (ca)
+
  End           : 2020-05-19 12:15
  Affected     : Users of horde webmail and/or mailman mailing lists
+
  Affected     : slurm on ubuntu 16.04 (cn07)
  
This morning, horde webmail appeared to be misused for sending spam. This could happen because naive users gave their Science password to spammers. After we found out who the users were and had them change their password, we decide to also replace a defective cpu fan. Therefore also Mailman mailing lists will be down from 13:00 to 14:00 hours.
+
Due to a failed BIOS upgrade, the hardware of the database server appears to be bricked. We transfered the disks to another machine (cn00) and all database services are now up again, at the cost of not having cn00 running.
 +
When the hardware is working well again, we will swap it all back and restore the original situation.
 
[/en]
 
[/en]
  
 +
=== Sperwer [Database server failure][Database server storing] ===
 +
<itemTags>medewerkers,studenten</itemTags>
 +
[nl]
 +
  Begin        : 2020-05-18 06:30
 +
  Eind          : 2020-05-18-10:00
 +
  Getroffen    : Diverse websites, slurm
  
 +
Door een mislukte BIOS update is de hardware van de database server blijven hangen en start niet meer op (brick). De functionaliteit van de server is overgezet op de hardware van cn00, waardoor die nu uit de lucht is.
 +
Als de hardware van sperwer weer in orde is, wordt de situatie weer hersteld.
  
=== [Uitgaande mailserver op zwarte lijst MS Live Hotmail][SMTP server blacklisted by MS Live Hotmail] ===
+
Update 19 mei 12:15 : hardware gerepareerd, situatie is weer hersteld naar origineel
<itemTags>studenten,medewerkers,docenten</itemTags>
 
 
 
[nl]
 
  Begin        : 20120711 03:08
 
  Eind          : 20120711 14:55
 
  Getroffen    : Science mail gebruikers die mail wilden sturen naar MS-domeinen: hotmail.com, live.com, ...
 
 
 
Vanochtend werd gemeld dat mail vanaf smtp.science.ru.nl naar hotmail-gebruikers niet door hotmail mailservers geaccepteerd werd. We hebben geprobeerd om de hotmail beheerders dit snel te laten wijzigen, maar toen dat niet lukte onze smtp-server maar een nieuw IP-nummer gegeven, dat niet geblokkeerd is.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
  Begin       : 20120711 03:08
+
  Begin         : 2020-05-18 06:30
  End         : 20120711 14:55
+
  End           : 2020-05-18-10:00
  Affected     : Science mail users trying to send mail to MS-domains: hotmail.com, live.com, ...
+
  Affected     : various websites and slurm
  
This morning, users reported that mail from smtp.science.ru.nl to hotmail users was being bounced by hotmail. We have tried to let the hotmail administrators change this fast, but when this took too long, we changed the IP-number of our smtp-server.
+
Due to a failed BIOS upgrade, the hardware of the database server appears to be bricked. We transfered the disks to another machine (cn00) and all database services are now up again, at the cost of not having cn00 running.
[/en]
+
When the hardware is working well again, we will swap it all back and restore the original situation.
  
=== [Gepland onderhoud: fileserver in de problemen][Planned service interruption: file server with problems] ===
+
Update May 19th, 12:15 : hardware fixed, situation back to the original state.
<itemTags>studenten,medewerkers,docenten</itemTags>
 
 
 
  Begin        : 20120622 17:03
 
  End          : 20120624 19:30
 
  Affected    : stack fileservices
 
 
 
[nl]
 
Een van de boot-harde schijven van de fileserver stack raakte vrijdagochtend 22 juni defect. We besloten om dit na werktijd te repareren. Daarom werd om ca 17:00 uur de defecte schijf vervangen door een reserve. De schijf beschikbaar maken, het een boot-disk maken, het filesysteem restoren en het herstarten van de machine (na alle snapshots verwijderd te hebben) duurde erg lang. Toen dit vrijdagavond gedaan was, was de NFS/SMB fileservice niet actief op de gemounte filesystemen. Er was een reboot op zondagavond voor nodig om aan deze problemen een eind te maken.
 
[/nl]
 
[en]
 
A hardware failure of a boot disk of the fileserver stack was reported Friday morning June 22. We decided to repair this after working hours. Thus at approximately 17:00 the defective boot disk was removed from the machine and replaced by a spare one. Enabling the disk, making it bootable, restoring file systems and rebooting the machine (after removing all snapshots) took a lot of time. When this was resolved Friday evening, the NFS/SMB fileservice was not active on the mounted filesystems. It took a reboot Sunday evening to resolve all problems.
 
 
[/en]
 
[/en]
  
=== [Tracelab-server poly defect][Tracelab server poly defective] ===
+
=== [Science VPN storing][Science VPN disruption] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
 
 
 
 
[nl]
 
[nl]
  Begin       : 20120621 14:12
+
  Begin         : 2020-05-06 05:00
  Eind       : 20120621 17:15
+
  Eind         : 2020-05-06 08:00
  Getroffen   : Tracelab voor gebruikers. Voor beheerders ook Prism&Deploy en de WDS-service
+
  Getroffen     : Gebruikers van Science VPN diensten
  
Een hardwarestoring van de server poly werd gerapporteerd om 2012-06-21 14:12. Na een herstart stopte de machine weer snel met werken, dus werd besloten een reservemachine in te zetten, met gebruik van de schijven van de oude server. Nadat de schijven gesynchroniseerd waren, was de machine weer beschikbaar.  
+
Door onbekende reden vanaf 5 uur crashes op het systeem, vanaf 6 uur was de VPN offline, na een reboot rond 8:00 lijkt alles weer in orde.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
  Begin       : 20120621 14:12
+
  Begin         : 2020-05-06 05:00
  End         : 20120621 17:15
+
  End           : 2020-05-06 08:00
  Affected   : Tracelab for users. For administrators also Prism&Deploy and the WDS-service
+
  Affected     : Users of Science VPN
  
A hardware failure of the server poly was reported at 2012-06-21 14:12. After a restart of the machine, it stopped working again.
+
Unexplained crashes starting around 5am on the host system. System offline at around 6am. After a hard reset around 08:00, all seems to be all right again.
No more recoveries were attempted and an identical spare machine was outfitted with the disks from the defective server. Disks had to be synchronized before making the machine available again.  
 
 
[/en]
 
[/en]
  
=== [Servers stroomloos][Servers without electric power] ===
+
=== [Science datacenter netwerkprobleem][Science datacenter network problem] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
 
 
[nl]
 
[nl]
  Begin     : 20120607 13:45
+
  Begin         : 2020-04-30 12:08
  Eind       : 20120607 15:30
+
  Eind         : 2020-04-30 21:44
  Getroffen : e-mail en gebruikers van de fileservers bundle, heap en stack
+
  Getroffen     : Gebruikers van Ceph opslag en enkele nieuwe rekenclusternodes
  
Een stroomstoring in een rek van een serverruimte trof een aantal C&CZ
+
Een defecte transceiver deed 1 verbinding van 100 Gb/s tussen twee C&CZ datacenters klapperen. Pas uren later gebeurde dit zo vaak dat de hele redundante nieuwe verbinding tussen de twee C&CZ serverruimtes niet meer werkte. Nadat dit opgemerkt werd, is vrij snel de workaround gevonden: het shutdown zetten van de interface met de defecte transceiver. Hierna kwam de verbinding weer op. De defecte transceiver is inmiddels vervangen dankzij een snelle actie van de leverancier. We hebben nu ook zelf deze transceivers op voorraad. Aan de leverancier is gevraagd of een configuratiewijziging de verbinding zodanig redundant maakt, dat een enkele defecte transceiver in het vervolg geen overlast meer zou geven.
servers. Na een kleine twee uur was de verstoring geheel
 
verholpen.
 
Getroffen servers zijn onder andere: postvak (Science mailserver), bundle (userhomedisk), heap/stack (netwerkschijven),
 
resser/kookpunt/brievenbus/rustug (mailtransport smtp-servers)
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
  Begin       : 20120607 13:45
+
  Begin         : 2020-04-30 12:08
  End         : 20120607 15:30
+
  End           : 2020-04-30 21:44
  Affected   : e-mail and users of the fileservers bundle, heap and stack
+
  Affected     : Users of Ceph storage and a few new compute clusternodes
  
A power failure in a rack in a server room brought some C&CZ servers down. After less than two hours all problems were dealt with.
+
A broken transceiver caused flapping af a 100 Gb/s connection between two C&CZ datacenters. Hours later the flapping increased, which took down the complete redundant new connection between the two server rooms. When this was noticed, a workarpound was found quickly by shutting down the interface with the broken transceiver. With this the connection was restored. De broken transceiver has been replaced thanks to a swift action from our supplier. Now we have these spare parts ready to use. We asked the supplier whether a configuration change will make the connection more redundant, that just one broken transceiver will not take down the connection.
Affected systems ware mainly: postvak (Science mail server), bundle (user homedisk), heap/stack (network discs),
 
resser/kookpunt/brievenbus/rustug (mail transport smtp servers)
 
 
[/en]
 
[/en]
  
=== [Gepland onderhoud: Website-databases en misschien Linux clients][Planned Service: website-databases and maybe Linux clients] ===
+
=== [Jitsi.science.ru.nl niet bruikbaar][Jitsi.science.ru.nl not working properly] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
[nl]
20 Apr 2012 17:00 - 17:15
+
  Begin        : 2020-04-19 15:00
 +
  Eind          : 2020-04-20 11:40
 +
  Getroffen    : Gebruikers van jitsi.science.ru.nl
  
[nl]
+
Vanwege mislukte performance tuning is de installatie van jitsi.science.ru.nl onbruikbaar geworden bij meer dan een enkele persoon in de conference. Opgelost na reinstall van de server.
Een defecte harde schijf van een server is vervangen, maar de server moet gereboot worden om zeker te stellen dat dit reboot-bestendig is. Hierdoor zullen de MySQL-databases van ruwweg 70 websites even onbereikbaar zijn. Omdat deze server ook de Kerberos-authenticatie van Linux-clients verzorgt, kunnen Linux-clients ook even overlast ondervinden.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
A defective hard disc has been replaced in a server, but the server needs to be rebooted to ensure that this is reboot proof. The MySQL database of roughly 70 websites will therefore be down for a short time. Since this server also provides the Kerberos authentication for Linux clients, Linux clients might encounter service interruptions during a short period.
+
  Begin        : 2020-04-19 15:00
[/en]
+
  End          : 2020-04-20 11:40
 +
  Affected      : Users of jitsi.science.ru.nl
  
=== [Windows server "plenty" met xpsoftware onbereikbaar][Windows server "plenty" with xpsoftware unavailable] ===
+
Due to performance tuning having gone wrong the jitsi.science.ru.nl conference rooms cannot be joined by more than one person at the moment. Solved by reinstalling server.
<itemTags>studenten,medewerkers</itemTags>
 
[nl]
 
Donderdag 7 juli om ca 13:00 werd de server "plenty" onbereikbaar. Omdat deze server o.a. de schijf "xpsoftware" voor de [[Windows_beheerde_werkplek|Windows Beheerde Werkplek PC's]] levert, hadden al die PC's er last van. De precieze oorzaak is nog niet bekend. Na een herstart en controle van alle schijven was de server om 14:26 uur weer beschikbaar.
 
[/nl]
 
[en]
 
Thursday July 7, around 13.00 hours the server "plenty" could not be reached. Because this server serves the "xpsoftware" share for the [[Windows_beheerde_werkplek|Managed Windows PC's]], all these PC's had a problem. After the server was restarted and the disks had been checked, it was available again at 14:26.
 
 
[/en]
 
[/en]
  
 
+
=== [Mailserver certificaatprobleem][Mailserver certificate problem] ===
=== [Downtijd Science servers: zondag 3 juli, 09:00 - 12:00 uur][Downtime Science servers: Sunday July 3, 09:00 - 12:00 hours] ===
+
<itemTags>medewerkers,studenten</itemTags>
<itemTags>studenten,medewerkers</itemTags>
 
 
[nl]
 
[nl]
Om de koeling van een serverruimte te verbeteren, hebben we besloten om op zondagochtend 3 juli drie rekken met Science servers enkele meters te verplaatsen. Hiervoor moeten veel servers tijdelijk stroomloos gemaakt worden. Daardoor zullen diverse services op 3 juli vanaf 9:00 uur enige tijd onbereikbaar zijn. We verwachten dat de downtijd voor servers met veel verschillende gebruikers om 10:00 uur over is. Het cn-rekencluster zal naar verwachting om 12:00 uur weer compleet operationeel zijn.
+
  Begin        : 2020-04-13 14:00
 
+
  Eind          : 2020-04-13 14:35
Het gaat om de servers/services:
+
  Getroffen    : Gebruikers van Science mail
 
 
fileservers: plenty/pile/bundle met shares als:
 
              amsbackup2 bbb-priv botany bsweet comsol exoarchief gi3 hfml-data ifl iris
 
              lambiek mestrelab mi1/2/3 molchem2 molphtec morph multimedia olsen pcb planthgl
 
              sdisk share snn2 spmdata1 tdisk tece temp wallpaper xpcursus xpsoftware
 
potkast: films via Blackboard
 
ts2: Windows Terminal Server
 
lilo1: Linux Login Server, alternatief: lilo/lilo2
 
cn-rekencluster
 
horde webmail
 
License server voor: Comsol
 
  
Met excuses voor de overlast<br>
+
Het nieuwe certificaat van de Science mailserver was nog niet op de juiste plaats neergezet. Daarom veroorzaakte het verlopen van het oude certificaat een probleem voor Science mailgebruikers, dat verholpen werd door het vervangen van het oude door het nieuwe certificaat.
C&CZ
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
In order to improve the cooling of a server room, we plan to move three racks of Science servers a few meters on Sunday morning, July 3. We will have to switch off a lot of servers temporarily. Therefore several services will be unavailable some time starting July 3, 09:00 hours. We expect the downtime will last until 10:00 hours for servers with a lot of different users. The cn compute cluster will probably be fully operational again at 12:00 hours.
+
  Begin        : 2020-04-13 14:00
 
+
  End          : 2020-04-13 14:35
The servers/services affected are:
+
  Affected      : Users Science mail
  
fileservers: plenty/pile/bundle with shares like:
+
The new certificate of the Science mailserver hadn't yet been placed in the right place. The expiration of the old certificate caused a problem for Science mail users, that was resolved by replacing the old certificate.
              amsbackup2 bbb-priv botany bsweet comsol exoarchief gi3 hfml-data ifl iris
 
              lambiek mestrelab mi1/2/3 molchem2 molphtec morph multimedia olsen pcb planthgl
 
              sdisk share snn2 spmdata1 tdisk tece temp wallpaper xpcursus xpsoftware
 
potkast: films via Blackboard
 
ts2: Windows Terminal Server
 
lilo1: Linux Login Server, alternative: lilo/lilo2
 
cn compute cluster
 
horde webmail
 
License server for: Comsol
 
 
 
With apologies for the inconvenience<br>
 
C&CZ
 
 
[/en]
 
[/en]
  
[[Gebruiker:Petervc|Peter van Campen]] 22 jun 2011 09:57 (UTC)
+
=== [Probleem met host van virtuele machines][Problems with a virtual host] ===
 
+
<itemTags>medewerkers,studenten</itemTags>
=== [Netwerkstoring 22 juni 10:55-11:30][Network outage June 22, 10:55-11:30] ===
 
<itemTags>studenten,medewerkers</itemTags>
 
 
[nl]
 
[nl]
Vanochtend is in netwerkknooppunt Huygens Zuid een UPS (batterij stroomvoorziening)
+
  Begin        : 2020-02-18 05:30
uitgevallen, waardoor een aantal netwerkswitches stroomloos raakten. Hierdoor verloren gebruikers in Huygens vleugel 1 en spin-off bedrijven verbinding met het netwerk. Na het bypassen van de UPS was alles om 11:30 uur weer in bedrijf. Naar de exacte oorzaak van de uitval wordt nog gespeurd.
+
  Eind          : 2020-02-18 09:08
[/nl]
+
  Getroffen    : Gebruikers van mx3, smtp3, crestron, gitlab (PEP), goudsmit, msql01 and labservanttestvm
[en]
 
This morning, in the network hub for Huygens South a UPS (battery power supply) went down, which made a set of network switches loose power. Because of this, users in Huygens wing 1 and spin-off companies lost their connection to the network. After bypassing the UPS, everything was up and running again at 11:30. We are still searching for the exact origin of this outage.
 
[/en]
 
  
=== [SSH keys anders voor nieuwe loginservers][New SSH keys for new login servers] ===
+
De virtuele host 'oscar' kon niet opstarten. Wederom waren kapotte LVM snapshots het probleem.
<itemTags>studenten,medewerkers</itemTags>
 
[nl]
 
De LInux LOgin server <b>lilo</b> is vervangen. De naam wijst nu naar de nieuwe machine <b>lilo2</b>, omdat die sneller is dan de andere login server <b>lilo1</b>. Het is daarom begrijpelijk dat men eenmalig de veranderde SSH-sleutel van <b>lilo</b> moet accepteren.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
The LInux LOgin server <b>lilo</b> has been replaced. The name now points to the new machine <b>lilo2</b>, because that one is faster than the other login server <b>lilo1</b>. Therefore it is quite normal to accept once the new SSH-key.
+
  Begin        : 2020-02-18 05:30
[/en]
+
  End          : 2020-02-18 09:08
 
+
  Affected      : Users of mx3, smtp3, crestron, gitlab (PEP), goudsmit, msql01 and labservanttestvm.
=== [Aangekondigd onderhoud: Beperkte computerservices][Planned Service: Limited computer services] ===
 
<itemTags>studenten,medewerkers,docenten</itemTags>
 
12 Feb 2011 7:00 - 11:00
 
  
[nl]
+
The virtual machine host 'oscar' could not boot. Again, a broken LVM snapshot caused the problem.
In onze centrale computerzaal wordt een nood-koelsysteem geinstalleerd. De koeling van de zaal zal daarvoor uitgeschakeld moeten worden waardoor een flink deel van de computer-systemen in deze ruimte uit moet.  Dit omvat o.a. de cluster-nodes cn00 t/m cn53 en een groot deel van de web- en file-servers (netwerkdisks).  Gebruikers moeten rekening houden met zeer beperkte server-voorzieningen. We proberen alle home directory's en de mail-service in de lucht te houden. Neem eventueel [[contact]] op met C&CZ voor details over de impact.
 
[/nl]
 
[en]
 
A backup cooling system will be installed in our main computer room. Therefore the air conditioning system must be switched off, which means that most of the computer facilities in this room must be shut down. This includes the cluster nodes cn00 through cn53 and many of the web- and file- (network share) servers.  It is advised to expect a very limited service level.  We will try to keep all home directories and the mail system available. For detailed information about the impact please [[contact]] C&CZ.
 
 
[/en]
 
[/en]
  
=== [Printer lp5][Printer lp5] ===
+
<endFeed />
<itemTags>studenten,medewerkers,docenten</itemTags>
 
24 Jan 2011 - 11 Mar 2011
 
 
 
[nl]Printer lp5 is verhuisd naar ruimte HG00.089. Momenteel is de printer niet beschikbaar omdat de voeding niet functioneert.[/nl]
 
[en]Printer lp5 has been moved to HG00.089. You can't use this printer at the moment, there's a problem with the power supply unit.[/en]
 
 
 
=== [Storing vaste telefonie][Fixed phone problem] ===
 
<itemTags>studenten,medewerkers,docenten</itemTags>
 
7 Mrt 2011
 
 
 
[nl]Bepaalde (soms wisselende) vaste telefoons op de RU zijn niet bereikbaar momenteel. Aan een oplossing wordt gewerkt. Het probleem hangt samen met de overstap naar IP-telefonie. Mobiel telefoonverkeer en Skype zijn wel mogelijk[/nl]
 
[en]You can't reach certain fixed phones at the university right now, mobile phones and Skype do work ok though.
 
[/en]
 
 
 
=== [Mailserver op blacklists][Mailserver blacklisted] ===
 
<itemTags>studenten,medewerkers,docenten</itemTags>
 
4 Feb 2011 9:00 - 12:00
 
  
 
[nl]
 
[nl]
Na een geslaagde phishing attack, is een van onze mailservers de hele nacht druk bezig geweest spam te versturen. Hierdoor zijn we op verschillende blacklists terecht gekomen. Momenteel geeft dat vooral problemen met afleveren van mail op @hotmail en @live adressen.
+
Gearchiveerde storingen zijn te vinden in het [[Storingen archief|storingsarchief]].
 
[/nl]
 
[/nl]
 
[en]
 
[en]
One of our mail servers has been sending loads of spam after a successful phishing attack. Since then, our server has been blacklisted on several domains. Currently this affects the delivery of email to @hotmail and @live addresses.
+
Archived service interruptions can be found in the [[Storingen archief|service interruptions archive]].
 
[/en]
 
[/en]
 
 
 
<endFeed />
 
 
  
 
[[Categorie:Storingen|Recente storingen]]
 
[[Categorie:Storingen|Recente storingen]]

Latest revision as of 09:42, 26 April 2021



Standard RU IT maintenance windows

The ISC announces the IT maintenance windows for the current academic year in time.

Report a problem

Use this form to report less urgent problems. For urgent problems, call 20000 (helpdesk).

Current Service Interruptions and Planned Maintenance

Windows 7 computers disabled in B-FAC domain

 Begin         : 2021-03-24
 End           : after upgrade to other OS
 Getroffen     : users of Windows 7 in the B-FAC domain

Because of security issues the last remaining Windows 7 machines wil be disabled, effective 24-03-2021, as member of the Active Directory Domain B-FAC. Please upgrade these computers to a more up-to-date OS. See also previous announcements on Windows 10 and the end of Windows 7.

EduroamCAT not working with Science accounts

 Begin         : 2019-02-28 00:00
 End           : ?
 Affected      : EduroamCAT users with Science accounts

EduroamCAT is the Eduroam Configuration Assistant Tool for many different devices. However, this hasn't (yet) been set up for the use of Science accounts (). C&CZ is looking for a solution. In the meantime Eduroam connections have to be configured manually (please consult www.ru.nl/wireless) or using the U/S/E number.

Recently Resolved Service Interruptions and Maintainance

To be quickly informed about service interruptions one can subscribe to the CPK mailinglist.

VPN onbereikbaar

 Begin         : 2021-04-24
 End           : 2021-04-26 09:35
 Getroffen     : VPNsec users

A broken PDU has offlined a switch, which has caused the VPN server to be unreachable (and several other things, which don't affect users).

Central E-mail/Calendar disruption (exchange)

 Begin         : 2021-04-14    09:30
 Eind          : 2021-04-14    13:30
 Getroffen     : All users of Exchange (e-mail and calendar)

Due to an emergency maintenance, the central microsoft exchange server is unavailable for 4 hours. This may also affect systems that are dependent on exchange. E-mail and calendar functionality is expected to be restored when the maintenance is done around 13:30 Today.

Ceph problem

 Begin         : 2021-03-24 19:00
 End           : 2021-03-24 21:00
 Affected      : users with ceph based filesystems

During a routine upgrade of ceph, a bug in the latest version manifested itself and made the ceph manager unreachable. After aborting the upgrade and with help from the ceph-users mailinglist, everything became available again using a workaround.

Lilo7 restart

 Begin         : 2021-03-17 21:00
 End           : 2021-03-17 21:15
 Affected      : users of lilo

To change the network of lilo7, we need to reboot this loginserver. If you want a stable connection to a loginserver during this downtime, please use lilo6 or the soon to be taken down lilo5. For more info see the page on C&CZ loginservers.

Host of several virtual servers broken: Roundcube, websites and others

 Begin         : 2021-03-05 07:45
 End           : 2021-03-05 09:40
 Affected      : users of the virtual servers: Roundcube, websites with databases on this server, ...

Yesterday the SSD bootdisk of this VM host reported the first problems. This morning this had the effect of stopping all VMs running on this host. By moving the VMs to a different VM host, the problem has been solved. We will investigate how to best prevent this problem in the future or lessen its impact.

Lilo6 down

 Begin         : 2021-02-25 17:30
 End           : 2021-03-04 16:45
 Affected      : users of lilo

As of Thursday afternoon, the lilo6 is down due to hardware issues. Because lilo6 was the default linux login server (lilo referred to lilo6), this affected many users of lilo. The impact is limited, because we have alternative lilo's, namely lilo5 and lilo7. As of March 1st lilo now refers to lilo7, ssh will warn about DNS SPOOFING, which is due to the difference host keys for lilo7
ECDSA SHA256:si3g2elo5m6TShx3PjX0+vF50pZ8NK/iXz/ESB+ZeP0

Major RU network maintenance Saturday Feb. 27 08:00-20:00

 Begin         : 2021-02-27 08:00
 End           : 2021-02-27 20:00
 Affected      : users of the RU network or services

The ISC announced that Saturday February 27 08:00-20:00 major RU network maintenance work will be carried out. This will mean that all RU services will be unavailable several times for at most an hour. This concerns all RU services including those of FNWI/C&CZ: e-mail, VPN, wifi, BASS, OSIRIS, Brightspace, Syllabus+, Corsa, etc.

DNS problems from outside with ru.nl

 Begin         : 2021-02-21 07:10
 End           : 2021-02-23 14:30 (?)
 Affected      : everyone trying to access something in ru.nl from off-campus.

The central DNS servers for ru.nl for external requests had problems, because they received too many requests, which resulted in science.ru.nl and others not being found. DNS names within ru.nl then will not resolve to an IP address. We enlarged some TTLs (Time-To+lives) to try to lessen the problem. These small TTLs were meant to be able to move a service to a new server in case of problems, but now they just make the problem bigger. After starting VPN you won't notice this problem, because the internal DNS servers that you use then are not affected. Changes to the RU DNS servers hopefully lessened or removed the problems as of 2021-02-23 14:30.

DNS broken for subdomains of ru.nl

 Begin         : 2021-02-11 ~11:15
 End           : 2021-02-11 ~13:00
 Affected      : everyone trying to resolve *.science.ru.nl *.astro.ru.nl etc.

DNS-servers for ru.nl did not serve information about subdomains such as science.ru.nl. Thus no DNS-name will resolve to an IP address at FNWI. A workaround is to use as DNS servers: 131.174.224.4 en 8.8.8.8. If you try to connect to a service for the first time after ca 11:15, you'll get an error like: "No such domain" or "Cannot resolve". Restarting RU DNS servers at 12:45 may have fixed the problem. Without a real explanation, the problem went away after a few hours.

Gitlab upgrade

  Begin         : 2021-02-07  04:00
  End           : 2021-02-07  12:50
  Affected      : GitLab and Mattermost users

Services will not be available for a while because of a GitLab and Mattermost upgrade.

Science VPNsec disruption

 Begin         : 2021-02-03 13:00
 End           : 2021-02-03 14:02 (for Apple macOS/iOS last fix on February 10)
 Affected      : Users of Science VPN

The expiration date of the certificate of our VPNsec service was apparently not yet checked regularly. This made it possible for the certificate to expire. We put a new certificate into place within an hour. Of course we will check this certificate regularly from now on. For Apple/Mac we needed to construct a new mobileconfig, this took some time, because in the meantime RU had moved to a different Certificate Authority. For Apple macOS this was ready at the end of Feb. 4, with a new installation procedure. For Apple iOS (iPhone/iPad) the old profile has to be deleted and a new mobileconfig has to be installed.

DIY temporarily not usable

  Begin         : 2021-01-25 07:15
  End           : 2021-01-25 07:45
  Affected      : Users wanting to manage their science account

Due to a management operation (planned around this time), the DIY website was unusable. Since the time was very early, it's expected nobody was inconvenienced by this temporary unavailability.

Science smtp service temporarily not usable

  Begin         : 2021-01-22 10:00
  End           : 2021-01-22 10:30
  Affected      : Science mail users wanting to send mail

A configuration change unwantedly made the smtp service unusable. When we noticed this, it was repaired immediately.

Very long mail aliases temporarily not usable

  Begin         : 2021-01-21 15:52
  End           : 2021-01-22 09:55
  Affected      : Science mail aliases of more than 1024 characters

A configuration change had as unwanted effect the disappearance of all very long mail aliases. When this was reported next morning, it was repaired immediately.

Switch crash; gitlab+mattermost, licenses and DHZ

  Begin         : 2021-01-07 ~14:30
  End           : 2021-01-07 ~15:00
  Affected      : GitLab and Mattermost users, Licenses, DHZ (diy)

Due to a simple management command the switch (as-ak008-04) crasht and had to be reset manually. The switch sits between the network and servers for gitlab+mattermost, licenses and the database for DHZ(diy).

Gitlab upgrade

  Begin         : 2020-11-27  04:00
  End           : 2020-11-27 ~08:00
  Affected      : GitLab and Mattermost users (including PEP)

Services will not be available for a while because of a GitLab and Mattermost upgrade.

Eduroam problem on campus

 Begin         : 2020-07-10 evenng
 End           : 2020-07-10 evening
 Affected      : Eduroam users on campus

The ISC announced: For security reasons, the certificate of the wifi server will be replaced in the evening of Friday, July 10. This has consequences for connecting your mobile device to Eduroam when you’re on campus:

• If you get the message that you have to accept the new certificate to use eduroam, choose 'yes'. You can then use eduroam again;

• If you don't get this message and can't connect to Eduroam, choose the wireless network 'eduroam-config'. Accept the terms and conditions. Follow the instructions to reinstall Eduroam.

More information can also be found at www.ru.nl/ict-uk/eduroam (you will need an internet connection for this).

If you have any questions, please contact the ICT Helpdesk (024 - 36 22222).

RU mail erroneously in Spam folder

 Begin         : 2020-03-25 17:52
 End           : 2020-07-07 13:13
 Affected      : FNWI employees with Science mail

March 25, a rule "2020 Radboud Universiteit" was added to the Science spamfilter. Recently, this matched RU-central mailings. Therefore RU-wide mailings from e.g. the RU Board and Radboud Recharge have erroneously been delivered in the Spam folder of Science emplyees. The Science spamfilter tries to fight spam and phishing, this is partly manual work in which errors can't be excluded. C&CZ apologizes for the inconvenience this has caused.

Webserver 'havik' offline

 Begin         : 2020-06-18 15:45
 End           : 2020-06-18 16:25
 Affected      : Users of various websites.

Several parts have been replaced. We assume the problem, that occurred twice, is now resolved. For dual-boot pcs, the boot menu was served by an alternative method during the repair.

Science radius disruption

 Begin : 2020-06-17 11:11
 End   : 2020-06-17 11:56

Affected : Users of Science VPN and Eduroam based on science account

The certificate of the LDAP servers has been replaced this morning, this has also changed the certificate chain. The radius server uses LDAP as authentication backend and in the radius configuration the certificate chain had to be changed too. This was initially overlooked. Radius is the authentication mechanism used by all VPN servers and Eduroam

Webserver 'havik' offline

 Begin         : 2020-06-17 03:38
 End           : 2020-06-17 08:52
 Affected      : Users of dual boot PC's (the dual-boot menu is served by a website) and various websites.

The server went down in the same way as the previous time (3rd of June 2020). The cause is most likely a system board problem. This part will be replaced Tomorrow by a support engineer.

Webserver 'havik' offline

 Begin         : 2020-06-03 06:30
 End           : 2020-06-03 10:12
 Affected      : Users of dual boot PC's (the dual-boot menu is served

by a website) and various websites.

The server couldn't be reached after the scheduled weekly reboot, not even on its management interface. Because also C&CZ employees work from home and the interruption didn't get enough urgency fast enough, the interruption lasted too long, apologies for that. The support partner has been contacted and the server has been updated, but the origin of the problem is still unclear. We will also look at making these services more redundant or more easily movable to a different server.

CN00 Slurm master ubuntu 16.04 down

 Begin         : 2020-05-18 09:50
 End           : 2020-05-19 12:15
 Affected      : slurm on ubuntu 16.04 (cn07)

Due to a failed BIOS upgrade, the hardware of the database server appears to be bricked. We transfered the disks to another machine (cn00) and all database services are now up again, at the cost of not having cn00 running. When the hardware is working well again, we will swap it all back and restore the original situation.

Sperwer Database server storing

 Begin         : 2020-05-18 06:30
 End           : 2020-05-18-10:00
 Affected      : various websites and slurm

Due to a failed BIOS upgrade, the hardware of the database server appears to be bricked. We transfered the disks to another machine (cn00) and all database services are now up again, at the cost of not having cn00 running. When the hardware is working well again, we will swap it all back and restore the original situation.

Update May 19th, 12:15 : hardware fixed, situation back to the original state.

Science VPN disruption

 Begin         : 2020-05-06 05:00
 End           : 2020-05-06 08:00
 Affected      : Users of Science VPN

Unexplained crashes starting around 5am on the host system. System offline at around 6am. After a hard reset around 08:00, all seems to be all right again.

Science datacenter network problem

 Begin         : 2020-04-30 12:08
 End           : 2020-04-30 21:44
 Affected      : Users of Ceph storage and a few new compute clusternodes

A broken transceiver caused flapping af a 100 Gb/s connection between two C&CZ datacenters. Hours later the flapping increased, which took down the complete redundant new connection between the two server rooms. When this was noticed, a workarpound was found quickly by shutting down the interface with the broken transceiver. With this the connection was restored. De broken transceiver has been replaced thanks to a swift action from our supplier. Now we have these spare parts ready to use. We asked the supplier whether a configuration change will make the connection more redundant, that just one broken transceiver will not take down the connection.

Jitsi.science.ru.nl not working properly

 Begin         : 2020-04-19 15:00
 End           : 2020-04-20 11:40
 Affected      : Users of jitsi.science.ru.nl

Due to performance tuning having gone wrong the jitsi.science.ru.nl conference rooms cannot be joined by more than one person at the moment. Solved by reinstalling server.

Mailserver certificate problem

 Begin         : 2020-04-13 14:00
 End           : 2020-04-13 14:35
 Affected      : Users Science mail

The new certificate of the Science mailserver hadn't yet been placed in the right place. The expiration of the old certificate caused a problem for Science mail users, that was resolved by replacing the old certificate.

Problems with a virtual host

 Begin         : 2020-02-18 05:30
 End           : 2020-02-18 09:08
 Affected      : Users of mx3, smtp3, crestron, gitlab (PEP), goudsmit, msql01 and labservanttestvm.

The virtual machine host 'oscar' could not boot. Again, a broken LVM snapshot caused the problem.

Archived service interruptions can be found in the service interruptions archive.