Difference between revisions of "Recente Storingen"

From Cncz
Jump to: navigation, search
([LDAP server renewed][LDAP server vernieuwd])
m ([Netwerkswitch van serverruimte stroomloos][Server room network switch powerless])
 
(793 intermediate revisions by 11 users not shown)
Line 1: Line 1:
{{#customtitle:[Recente Storingen][Recent Service Interruptions]}}
+
[nl]
 +
{{DISPLAYTITLE:Recente Storingen}}
 +
[/nl]
 +
[en]
 +
{{DISPLAYTITLE:Recent Service Interruptions}}
 +
[/en]
 +
 
 
__NOTOC__
 
__NOTOC__
 
 
<!-- zet een nieuw storings-item bovenaan en onderteken met 4x~ om ervoor te zorgen dat er automatisch een auteur en datum in komt te staan: -->
 
<!-- zet een nieuw storings-item bovenaan en onderteken met 4x~ om ervoor te zorgen dat er automatisch een auteur en datum in komt te staan: -->
 
<!-- === [Titel van de storing][Title of the service interruption] === -->
 
<!-- === [Titel van de storing][Title of the service interruption] === -->
Line 9: Line 14:
 
<!-- [en]and of course it has an english part[/en] -->
 
<!-- [en]and of course it has an english part[/en] -->
 
<!-- ~ ~ ~ ~ -->
 
<!-- ~ ~ ~ ~ -->
== [Actuele storingen en Onderhoud][Current Service Interruptions and Maintenance] ==
+
</onlyinclude>
<onlyinclude>
 
<startFeed />
 
  
 
+
=== [Standaard RU ICT onderhoudsvensters][Standard RU IT maintenance windows] ===
</onlyinclude>
+
<itemTags>medewerkers,studenten</itemTags>
 +
[nl]
 +
Het ISC maakt ruim vooraf [http://www.ru.nl/systeem-meldingen/?id=26&lang=nl&tg=0&f=0 de ICT onderhoudsvensters voor het huidige studiejaar] bekend.
 +
[/nl]
 +
[en]
 +
The ISC announces [http://www.ru.nl/systeem-meldingen/?id=26&lang=nl&tg=0&f=0 the IT maintenance windows for the current academic year] in time.
 +
[/en]
  
 
==[Meld een probleem][Report a problem]==
 
==[Meld een probleem][Report a problem]==
[nl]Gebruik dit formulier om niet-urgente storingen te melden. Voor urgente storingen, bel 56666 (helpdesk).[/nl]
+
[nl]Gebruik dit formulier om niet-urgente storingen te melden. Voor urgente storingen, bel 20000 (helpdesk).[/nl]
[en]Use this form to report less urgent problems. For urgent problems, call 56666 (helpdesk).[/en]
+
[en]Use this form to report less urgent problems. For urgent problems, call 20000 (helpdesk).[/en]
  
 
<rawHTML>
 
<rawHTML>
<iframe src="https://wiki.science.ru.nl/cncz/report-to-helpdesk/form.php" width='700px' height='370px'>&nbsp;</iframe>
+
<iframe src="https://wiki.cncz.science.ru.nl/report-to-helpdesk/form.php" width='700px' height='370px'>&nbsp;</iframe>
 
</rawHTML>
 
</rawHTML>
  
== [Recent Verholpen Storingen en Onderhoud][Recently Resolved Service Interruptions and Maintainance] ==
+
== [Actuele storingen en gepland onderhoud][Current Service Interruptions and Planned Maintenance] ==
 +
<onlyinclude>
  
 
<startFeed />
 
<startFeed />
  
=== [LDAP server renewed][LDAP server vernieuwd] ===
+
=== [Windows 7 computers disabled in B-FAC domain][Windows 7 computers disabled in B-FAC domain] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
<itemTags>medewerkers,docenten</itemTags>
 +
[nl]
 +
  Begin        : 2021-03-24
 +
  Eind          : na upgrade naar ander OS
 +
  Getroffen    : gebruikers van Windows 7 in het B-FAC domein
 +
 
 +
I.v.m. het verscherpen van de beveiliging worden de laatste Windows 7 machines per 24-03-20221 in het Active Directory Domain B-FAC gedisabled.
 +
Verzoek is al sinds lang om de betreffende machines naar een meer up-to-date OS te upgraden.
 +
Zie evt. eerdere aankondigingen over [https://wiki.cncz.science.ru.nl/Nieuws#.5BMicrosoft_Windows_10_upgrade.5D.5BMicrosoft_Windows_10_upgrade.5D Windows 10]
 +
en [https://wiki.cncz.science.ru.nl/Nieuws_archief#.5BWindows_7_stopt_januari_2020:_Upgrade_nu.21.5D.5BWindows_7_ends_January_2020:_Upgrade_now.21.5D het einde van Windows 7].
 +
[/nl]
 +
[en]
 +
  Begin        : 2021-03-24
 +
  End          : after upgrade to other OS
 +
  Affected      : users of Windows 7 in the B-FAC domain
 +
 
 +
Because of security issues the last remaining Windows 7 machines wil be disabled, effective 24-03-2021, as member of the Active Directory Domain B-FAC.
 +
Please upgrade these computers to a more up-to-date OS.
 +
See also previous announcements on [https://wiki.cncz.science.ru.nl/Nieuws#.5BMicrosoft_Windows_10_upgrade.5D.5BMicrosoft_Windows_10_upgrade.5D Windows 10]
 +
and
 +
[https://wiki.cncz.science.ru.nl/Nieuws_archief#.5BWindows_7_stopt_januari_2020:_Upgrade_nu.21.5D.5BWindows_7_ends_January_2020:_Upgrade_now.21.5D the end of Windows 7].
 +
[/en]
  
 +
=== [EduroamCAT niet bruikbaar met Science accounts][EduroamCAT not working with Science accounts] ===
 +
<itemTags>medewerkers,studenten</itemTags>
 
[nl]
 
[nl]
  Datum         : 20121214
+
  Begin         : 2019-02-28 00:00
  Getroffen    : Gebruikers met een Fedora desktop PC
+
  Eind          : ?
 +
  Getroffen    : EduroamCAT-gebruikers met Science accounts
  
Na het upgraden van een van onze LDAP servers, is gebleken dat oudere systemen met Fedora linux niet meer goed opstarten. Hier is inmiddels een fix voor toegepast. Wie hier toch tegen aanloopt wordt verzocht contact op te nemen met C&CZ.
+
[https://cat.eduroam.org/ EduroamCAT] is de Eduroam configuratie-assistent (Configuration Assistant Tool) voor [https://www.eduroam.org/configuration-assistant-tool-cat/ veel soorten devices], waarmee gebruikers eenvoudig verbinding kunnen maken met Eduroam. Dit is echter (nog) niet ingericht voor gebruik van Science accounts (loginnaam@science.ru.nl). C&CZ zoekt naar een oplossing. In de tussentijd kan men verbinding maken via handmatige instelling (zie [https://www.ru.nl/draadloos www.ru.nl/draadloos)] of U/S/E-nummer gebruiken.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
  Date         : 20121214
+
  Begin         : 2019-02-28 00:00
  Affected     : Users with a Fedora based desktop PC
+
  End          : ?
 +
  Affected     : EduroamCAT users with Science accounts
 +
 
 +
[https://cat.eduroam.org/ EduroamCAT] is the Eduroam Configuration Assistant Tool for [https://www.eduroam.org/configuration-assistant-tool-cat/ many different devices]. However,  this hasn't (yet) been set up for the use of Science accounts (username@science.ru.nl). C&CZ is looking for a solution. In the meantime Eduroam connections have to be configured manually (please consult [https://www.ru.nl/wireless www.ru.nl/wireless)] or using the U/S/E number.
 
[/en]
 
[/en]
  
Older Fedora desktop PC's may experience startup problems after an upgrade of one of our LDAP servers. A fix is available and has been applied. If you still encounter this problem, please contact C&CZ.
+
== [Recent Verholpen Storingen en Onderhoud][Recently Resolved Service Interruptions and Maintainance] ==
  
=== [Mailproblemen na weggeven wachtwoord aan phishers][Mail problems after supplying password to phishers] ===
+
[nl]Voor het snel ge&iuml;nformeerd worden over storingen kan men zich abonneren op de [/nl]
<itemTags>studenten,medewerkers,docenten</itemTags>
+
[en]To be quickly informed about service interruptions one can subscribe to the [/en]
 +
[http://mailman.science.ru.nl/mailman/listinfo/CPK CPK mailinglist].
  
 +
<startFeed />
 +
===[Netwerkswitch van serverruimte stroomloos][Server room network switch powerless] ===
 +
<itemTags>medewerkers,studenten,docenten</itemTags>
 
[nl]
 
[nl]
  Begin        : 20121116 04:45
+
  Begin        : 2021-10-12 11:50
  Eind          : 20121117 ca 12:00
+
  Eind          : 2021-10-12 12:05
  Getroffen    : Gebruikers van horde webmail en gebruikers die naar o.a. hotmail.com wilden mailen
+
  Getroffen    : Gebruikers van een van de vele servers achter deze switch
  
Horde webmail bleek wederom misbruikt te worden voor spam. Een naïeve gebruiker had het Science-wachtwoord aan phishers/spammers gegeven, waardoor dit mogelijk werd. Nadat eerst horde stopgezet is, is vrijdagochtend vroeg de login van deze gebruiker afgezet en horde weer herstart. Zaterdagochtend bleek deze kortdurende spam-outbreak toch reden geweest te zijn voor de beheerders van hotmail.com om onze uitgaande mailserver op hun zwarte lijst te zetten. Daarom hebben we zaterdagochtend deze server een ander IP-adres gegeven.  
+
Twee van de modules van een belangrijke switch in de belangrijkste C&CZ serverruimte werden stroomloos tijdens het voorbereiden van gepland onderhoud. Hierdoor raakte ca. 75% van de servers in deze ruimte hun netwerkverbinding kwijt. Door het omzetten naar nieuwe PDU's kon de storing tot ca. 15 minuten beperkt worden.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
  Begin       : 20121116 04:45
+
  Begin         : 2021-10-12 11:50
  End         : 20121117 ca 12:00
+
  End           : 2021-10-12 12:05
  Affected     : Users of horde webmail and users wanting to send mail to e.g. hotmail.com
+
  Affected     : Users of one of the many servers behind this switch
  
Horde webmail again appeared to be misused for sending spam. This could happen because a naive user gave the Science password to phishers/spammers. After first stopping horde, early Friday morning we disabled the account of the naive user and restarted horde. Saturday morning it appeared that this short spam-outbreak had caused administrators of hotmail.com to add our mail server to their blacklist. Therefore we switched the IP-number of this mail server Saturday morning.  
+
Two modules of an important switch in the main C&CZ server room lost power during the preparation of planned maintenance. This disconnected ca. 75% of the servers in the room from the network. Moving the modules to new PDU's kimited the downtime to ca. 15 minutes.
 
[/en]
 
[/en]
  
=== [Homeserver bundle wordt gereboot][Homeserver bundle will be rebooted] ===
+
=== [Licentieserver probleem][License server problem] ===
 +
<itemTags>medewerkers,docenten</itemTags>
 
[nl]
 
[nl]
  Begin        : 2012-10-24 ~ 12:45
+
  Begin        : 2021-10-11 04:40
  Einde        : 2012-10-24 ~ 13:00
+
  Eind          : 2021-10-11 08:26
  Getroffen    : alle FNWI gebruikers met homedirectories op de bundle
+
  Getroffen    : Gebruikers van een van de licenties van deze server
  
Omdat de fileserver weigert een reservedisk te accepteren, moet het gereboot worden.
+
Een fout in de beheersoftware zorgde ervoor dat bij de herstart van de licentieserver geen enkel licentieproces goed opstartte. Pas na reparatie waren de licenties weer beschikbaar.
 
[/nl]
 
[/nl]
 
 
[en]
 
[en]
  Begin        : 2012-10-24 ~ 12:45
+
  Begin        : 2021-10-11 04:40
  Einde        : 2012-10-24 ~ 13:00
+
  End          : 2021-10-11 08:26
  Affected      : all FNWI users with a homedirectory on fileserver bunlde
+
  Affected      : Users of one of the licenses of this server
  
Because the file server refuses to accept a spare disk, it needs a reboot.
+
An error in the management software prevented all license processes from starting correctly at the reboot of the license server. After fixing this error, all licenses were available again.
 
[/en]
 
[/en]
  
=== [Homeserver bundle niet beschikbaar][Homeserver bundle unavailable] ===
+
=== [Fileserver 'flock' overbelast][Fileserver 'flock' overloaded] ===
 +
<itemTags>medewerkers,docenten</itemTags>
 
[nl]
 
[nl]
  Begin        : 2012-10-22 12:15
+
  Begin        : 2021-09-17 14:30
  Einde        : 2012-10-22 13:00
+
  Eind          : 2021-09-17 15:30
  Getroffen    : alle FNWI gebruikers met homedirectories op de bundle
+
  Getroffen    : Gebruikers van een van de ca. 100 netwerkschijven van deze server
  
Er wordt op dit moment gewerkt aan een oplossing.
+
Vooraf geteste cursussoftware veroorzaakte bij het gebruik door 100 studenten een te grote belasting op de fileserver. Alle gebruikers van deze fileserver hadden hier last van.
 
[/nl]
 
[/nl]
 
 
[en]
 
[en]
  Begin        : 2012-10-22 12:15
+
  Begin        : 2021-09-17 14:30
  End          : 2012-10-22 13:00
+
  End          : 2021-09-17 15:30
  Affected      : all FNWI users with a homedirectory on fileserver bunlde
+
  Affected      : Users of one of the
  
At the moment, we are solving the problem.
+
Course software that had been tested caused an overload of the fileserver when it was used by 100 students. The performance of the fileserver was impaired for all users of network shares of this server.  
 
[/en]
 
[/en]
  
=== [Services niet beschikbaar door stroom- en netwerkstoring][Services unavailable due to power and network outage] ===
+
=== [VPN server unreachable][VPN onbereikbaar] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
<itemTags>medewerkers,docenten</itemTags>
 
 
 
[nl]
 
[nl]
  Begin        : 2012-10-18  3h
+
  Begin        : 2021-04-24
  Einde        : 2012-10-18 10h
+
  Eind          : 2021-04-26 09:35
  Getroffen    : alle FNWI gebruikers tot 9h30 en daarna "bundle" homedirectories, draadloos, "plus" netwerkschijven en diverse websites
+
  Getroffen    : VPNsec gebruikers
  
In de nacht van woensdag op donderdag heeft een stroomstoring gezorgd voor het uitvallen van netwerksystemen in de (kelder) ICT zaal.
+
Door een kapotte PDU is een switch uitgegaan en is de VPN server onbereikbaar (en nog meer dingen, waar gebruikers geen last van hebben).
Door om de UPS (Uninterruptable Power Supply) heen te werken lukte het rond 9h15 om stroom naar netwerkapparatuur te leiden.
 
Omdat de meeste servers niet zonder stroom zijn geweest, bleken deze automatisch service te verlenen na herstel van de netwerkverbindingen.
 
Alleen op de homedirectories server "bundle" was het noodzakelijk de netwerkdriver-software te herstarten.
 
Aangezien bleek dat PC's niet correct wilden opstarten hebben we verschillende websites herstart die tijdens het boot-proces worden geraadpleegd.
 
Ook draadloze apparatuur, lees smartphones, bleken niet correct te kunnen werken vanwege een split-brain situatie binnen de DHCP service.
 
Hierdoor werden IP adressen niet meer uitgedeeld en was draadloze toegang tot het netwerk niet mogelijk tot ongeveer 13h.
 
Hieraan ongerelateerd was een hardwarestoring met het RAID array van de "plus" die later in de dag verholpen is.
 
Toegang tot de volgende netwerkschijven is hersteld na de lunch voor:
 
sofie, ams*, molchem, mb*, encapson, milkun4, snn, neuropi, digicd. carta, ...
 
 
[/nl]
 
[/nl]
 
 
[en]
 
[en]
  Begin        : 20121018 03:00
+
  Begin        : 2021-04-24
  End          : 20121018 10:00
+
  End          : 2021-04-26 09:35
  Affected      : all users until 09:30; afterwards: "bundle" home directories, wireless, "plus" network shares and several websites
+
  Affected      : VPNsec users
  
During the night of wednesday on thursday a power outage resulted in a network outage in the basement computing facilities.
+
A broken PDU has offlined a switch, which has caused the VPN server to be unreachable (and several other things, which don't affect users).
The power was restored to the network equipment using a bypass thus circumventing the UPS at about 09:15.
 
Further checks implied that most servers had not become powerless so that most services became automatically available again.
 
Network drivers on "bundle" had to be restarted in order to get access to home directories for a large number of users.
 
Furthermore, several websites had to be restarted which made it possible for PC's to boot properly.
 
During the day, an unrelated issue with the RAID storage of "plus" has been fixed as well granting access to the following network shares:
 
sofie, ams*, molchem, mb*, encapson, milkun4, snn, neuropi, digicd. carta, ...
 
Since wireless devices were unable to acquire IP addresses, i.e. gain access to the network, a split-brain situation was diagnosed within the DHCP service which was resolved around 13:00.
 
 
[/en]
 
[/en]
  
=== [Aangekondigd onderhoud: home-server "pile" down voor reboot][Announced downtime: home server "pile" down for reboot] ===
+
=== Central E-mail/Calendar disruption (exchange) ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
<itemTags>medewerkers,docenten,students</itemTags>
 +
  Begin        : 2021-04-14    09:30
 +
  Eind          : 2021-04-14    13:30
 +
  Getroffen    : All users of Exchange (e-mail and calendar)
 +
 
 +
Due to an emergency maintenance, the central microsoft exchange server is unavailable for 4 hours. This may also affect systems that are dependent on exchange.
 +
E-mail and calendar functionality is expected to be restored when the maintenance is done around 13:30 Today.
 +
 
 +
=== [Ceph probleem][Ceph problem] ===
 +
<itemTags>medewerkers</itemTags>
 +
[nl]
 +
  Begin        : 2021-03-24 19:00
 +
  Eind          : 2021-03-24 21:00
 +
  Getroffen    : gebruikers van Ceph filesystemen
 +
 
 +
Bij een routine upgrade proces bleek dat er een bug in de laatste versie zit waardoor de ceph manager onbereikbaar werd. Het upgrade proces is afgebroken en met hulp van de ceph-users mailinglijst is alles weer bereikbaar door een work-around.[/nl]
 +
[en]
 +
  Begin        : 2021-03-24 19:00
 +
  End          : 2021-03-24 21:00
 +
  Affected      : users with ceph based filesystems
 +
 
 +
During a routine upgrade of ceph, a bug in the latest version manifested itself and made the ceph manager unreachable. After aborting the upgrade and with help from the ceph-users mailinglist, everything became available again using a workaround.[/en]
  
 +
=== [Lilo7 herstart][Lilo7 restart] ===
 +
<itemTags>medewerkers,studenten</itemTags>
 
[nl]
 
[nl]
  Begin        : 20121012 07:00
+
  Begin        : 2021-03-17 21:00
  Eind          : 20121012 09:00
+
  Eind          : 2021-03-17 21:15
  Getroffen    : Gebruikers met homedirectory op "pile" (te zien op http://DHZ.science.ru.nl)
+
  Getroffen    : gebruikers van lilo
  
A.s. vrijdagochtend wordt de nieuwe homeserver "pile" gepland gereboot. Er zijn problemen met de [[Backup|snapshots]], waardoor een reboot langer zou kunnen duren dan normaal. Daarom wordt dit voor a.s. vrijdag vroeg gepland.  
+
Om het netwerk van lilo7 aan te passen, is het helaas noodzakelijk om deze loginserver te herstarten. Wie gedurende deze onderhoudstijd een stabiele verbinding wil hebben met een loginserver, kan beter lilo6 of de binnenkort uitgefaseerde lilo5 gebruiken. Zie evt. [https://wiki.cncz.science.ru.nl/index.php?title=Hardware_servers&setlang=nl#Linux_.5Bloginservers.5D.5Blogin_servers.5D de pagina over de C&CZ loginservers].
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
  Begin       : 20121012 07:00
+
  Begin         : 2021-03-17 21:00
  End         : 20121012 09:00
+
  End           : 2021-03-17 21:15
  Affected     : Users with homedirectory server "pile" (as can be seen on http://DIY.science.ru.nl)
+
  Affected     : users of lilo
  
Next Friday morning, the home server "pile" will be rebooted. There are problems with the [[Backup|snapshots]], which could make a reboot take more time. Therefore we schedule the reboot for early next Friday.
+
To change the network of lilo7, we need to reboot this loginserver. If you want a stable connection to a loginserver during this downtime, please use lilo6 or the soon to be taken down lilo5. For more info see [https://wiki.cncz.science.ru.nl/index.php?title=Hardware_servers&setlang=en#Linux_.5Bloginservers.5D.5Blogin_servers.5D the page on C&CZ loginservers].
 
[/en]
 
[/en]
  
=== [Peage opwaardeerkast bij restaurant Huygens uit productie][Peage top-up unit near Huygens restaurant in maintenance] ===
+
=== [Server met diverse services (virtuele servers, waaronder Roundcube en websites) stuk][Host of several virtual servers broken: Roundcube, websites and others] ===
<itemTags>studenten</itemTags>
+
<itemTags>medewerkers,studenten</itemTags>
 
[nl]
 
[nl]
Om nieuwe software te testen, was de [http://www.ru.nl/peage Peage] betaalkast bij het restaurant van het Huygensgebouw tijdelijk uit productie.
+
  Begin        : 2021-03-05 07:45
Deze kast werd nog niet veel gebruikt, dus de overlast zou minimaal zijn.
+
  Eind          : 2021-03-05 09:40
Studenten die wilden opwaarderen, konden toen alleen elders op de campus terecht.
+
  Getroffen    : gebruikers van de virtuele servers: Roundcube, websites met een database op deze server, ...
Zie de [http://www.ru.nl/peage Peage website], de locaties zijn hal Erasmus, hal Spinoza en hal UB).
+
 
 +
Gisteravond gaf de SSD-opstartschijf van deze VM-host al de eerste signalen van problemen, vanochtend stopten daardoor de virtuele servers die op deze VM-host draaien. Door de VM's te verhuizen naar een andere VM-host is het probleem opgelost. Er wordt nagedacht hoe we dit probleem in de toekomst het beste kunnen voorkomen of de impact ervan kunnen beperken.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
In order to test new software, the [http://www.ru.nl/peage Peage] top-up unit near the Huygens restaurant was switched to maintenance mode.
+
  Begin        : 2021-03-05 07:45
This unit is not used often yet, therefore this wil not have caused problems. Students that wanted to top-up their Peage account, could do that only elsewhere on campus. See the http://www.ru.nl/peage Peage website], locations are the halls of the Erasmus, Spinoza and Library buildings.
+
  End          : 2021-03-05 09:40
 +
  Affected      : users of the virtual servers: Roundcube, websites with databases on this server, ...
 +
 
 +
Yesterday the SSD bootdisk of this VM host reported the first problems. This morning this had the effect of stopping all VMs running on this host. By moving the VMs to a different VM host, the problem has been solved. We will investigate how to best prevent this problem in the future or lessen its impact.
 
[/en]
 
[/en]
  
=== [Eduroam inkomend werkt niet voor iPhone/iPad/iPod][Eduroam incoming doesn't work for iPhone/iPad/iPod] ===
+
=== [Lilo6 stuk][Lilo6 down] ===
<itemTags>studenten</itemTags>
+
<itemTags>medewerkers,studenten</itemTags>
 
[nl]
 
[nl]
 +
  Begin        : 2021-02-25 17:30
 +
  Eind          : 2021-03-04 16:45
 +
  Getroffen    : gebruikers van lilo
  
  Begin        : voorjaar 2012 (?)
+
Sinds donderdagmiddag is lilo6 door hardware problemen offline. Omdat dit de default linux login server was (lilo verwees naar lilo6) is dit voor veel gebruikers van lilo opvallend. De impact is beperkt, omdat er nog twee lilo's zijn, namelijk lilo5 en lilo7.
  Eind          : 20121005
+
Lilo7 is vervroegd de nieuwe lilo geworden, dus kun je een melding verwachten dat ssh een waarschuwing geeft over DNS SPOOFING, lilo7 heeft<br/> ECDSA <tt>SHA256:si3g2elo5m6TShx3PjX0+vF50pZ8NK/iXz/ESB+ZeP0</tt>
  Getroffen    : inkomend Eduroam-gebruikers met een iPhone/iPad/iPod
 
 
 
Het [http://www.ru.nl/uci UCI netwerkbeheer] meldt dat [http://www.ru.nl/gdi/voorzieningen/campusbrede-systemen/eduroam/ inkomend] gebruik van [http://www.eduroam.nl Eduroam] op dit moment niet werkt voor gebruikers van een iPhone/iPad/iPod. Aan een oplossing wordt gewerkt. Eduroam inkomend betekent dat men gebruikt maakt van het draadloze netwerk van een andere instelling in de wereld, met authenticatiegegevens (login/wachtwoord) van RU of Science.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
 +
  Begin        : 2021-02-25 17:30
 +
  End          : 2021-03-04 16:45
 +
  Affected      : users of lilo
  
  Begin        : spring 2012 (?)
+
As of Thursday afternoon, the lilo6 is down due to hardware issues. Because lilo6 was the default linux login server (lilo referred to lilo6), this affected many users of lilo. The impact is limited, because we have alternative lilo's, namely lilo5 and lilo7. As of March 1st lilo now refers to lilo7, ssh will warn about DNS SPOOFING, which is due to the difference host keys for lilo7 <br/> <tt>ECDSA SHA256:si3g2elo5m6TShx3PjX0+vF50pZ8NK/iXz/ESB+ZeP0</tt>
  End          : 20121005
 
  Affected      : incoming Eduroam users with an iPhone/iPad/iPod
 
 
 
The [http://www.ru.nl/uci UCI network management] reports that at this moment the [http://www.ru.nl/gdi/voorzieningen/campusbrede-systemen/eduroam/ incoming] version of [http://www.eduroam.nl Eduroam] doesn't work for iPhone/iPad/iPod. A solution is being worked upon. Eduroam incoming means that one uses the wireless network of a remote institute, with authentication (login/password) being checked by RU or Science.
 
 
[/en]
 
[/en]
  
=== [Horde webmail server down door spam][Horde webmail server down because of spam] ===
+
=== [Groot RU netwerkonderhoud zaterdag 27 februari 08:00-20:00][Major RU network maintenance Saturday Feb. 27 08:00-20:00] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
<itemTags>medewerkers,studenten</itemTags>
 
 
 
[nl]
 
[nl]
  Begin        : 20120925 23:05
+
  Begin        : 2021-02-27 08:00
  Eind          : 20120926 10:20
+
  Eind          : 2021-02-27 20:00
  Getroffen    : Gebruikers van horde webmail
+
  Getroffen    : gebruikers van het RU-netwerk of -diensten
  
Gisteravond bleek horde webmail misbruikt te worden voor spam. Een naieve gebruiker had het Science-wachtwoord aan spammers gegeven, waardoor dit mogelijk werd. Nadat eerst horde stopgezet is, is vanochtend de login van deze gebruiker afgezet en horde weer herstart.
+
ISC netwerkbeheer [https://www.ru.nl/systeem-meldingen/ kondigde aan] dat a.s. zaterdag 27 februari gepland groot onderhoud aan het RU-netwerk uitgevoerd zal worden, waardoor alle RU-diensten diverse keren maximaal een uur lang niet bereikbaar zullen zijn. Dit gaat om alle RU-diensten, inclusief die van FNWI/C&CZ: e-mail, VPN, wifi, BASS, OSIRIS, Brightspace, Syllabus+, Corsa, etc.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
  Begin       : 20120925 23:05
+
  Begin         : 2021-02-27 08:00
  End         : 20120926 10:20
+
  End           : 2021-02-27 20:00
  Affected     : Users of horde webmail
+
  Affected     : users of the RU network or services
  
Yesterday evening, horde webmail appeared to be misused for sending spam. This could happen because a naive user gave the Science password to spammers. First we stopped horde. This morning we disabled the account of the naive user and restarted horde.
+
The ISC [https://www.ru.nl/systeem-meldingen/ announced] that Saturday February 27 08:00-20:00 major RU network maintenance work will be carried out. This will mean that all RU services will be unavailable several times for at most an hour. This concerns all RU services including those of FNWI/C&CZ: e-mail, VPN, wifi, BASS, OSIRIS, Brightspace, Syllabus+, Corsa, etc.
 
[/en]
 
[/en]
  
=== Disk server "Stack" offline ===
+
=== [DNS-problemen vanaf buiten met ru.nl][DNS problems from outside with ru.nl] ===
 +
<itemTags>medewerkers,studenten,websites</itemTags>
 
[nl]
 
[nl]
  Begin        : 20120924 06:30
+
  Begin        : 2021-02-21 07:10
  Eind          : 20120924 09:35
+
  Eind          : 2021-02-23 14:30
  Getroffen    : Gebruikers van diskruimte op de Stack.
+
  Getroffen    : iedereen die iets in ru.nl wil benaderen van buiten de campus
 +
 
 +
De centrale DNS-servers van ru.nl voor externe requests werkten niet goed doordat ze te veel bevraagd werden, waardoor ook o.a. science.ru.nl soms niet gevonden kon worden: DNS-namen onder ru.nl resolven dan niet naar een IP-adres. We hebben enkele TTL's (time-to-lives) vergroot om te proberen de overlast iets minder te maken. Deze kleine TTL's waren bedoeld om in het geval van problemen met deze servers de service snel te kunnen verhuizen, maar dragen nu bij aan de overlast. Wie VPN gebruikt heeft na het starten van de VPN hier geen probleem meer mee, omdat dan de interne DNS-servers gebruikt worden. Door aanpassingen aan de RU DNS-servers zijn hopelijk sinds 2021-02-23 14:30 de DNS-problemen minder of verdwenen.
 
[/nl]
 
[/nl]
 +
[en]
 +
  Begin        : 2021-02-21 07:10
 +
  End          : 2021-02-23 14:30 (?)
 +
  Affected      : everyone trying to access something in ru.nl from off-campus.
  
[en]
+
The central DNS servers for ru.nl for external requests had problems, because they received too many requests, which resulted in science.ru.nl and others not being found. DNS names within ru.nl then will not resolve to an IP address. We enlarged some TTLs (Time-To+lives) to try to lessen the problem. These small TTLs were meant to be able to move a service to a new server in case of problems, but now they just make the problem bigger. After starting VPN you won't notice this problem, because the internal DNS servers that you use then are not affected. Changes to the RU DNS servers hopefully lessened or removed the problems as of 2021-02-23 14:30.
  Begin        : 20120924 06:30
 
  End          : 20120924 09:35
 
  Affected    : Users of disk volumes on file server Stack.
 
 
[/en]
 
[/en]
  
=== Disk server "Plenty" offline ===
+
=== [DNS kapot voor subdomeinen onder ru.nl][DNS broken for subdomains of ru.nl] ===
 +
<itemTags>medewerkers,studenten,websites</itemTags>
 
[nl]
 
[nl]
  Begin        : 20120924 06:30
+
  Begin        : 2021-02-11 ~11:15
  Eind          : 20120924 09:00
+
  Eind          : 2021-02-11 ~13:00
  Getroffen    : Gebruikers van diskruimte op de Plenty. Onder andere de S en T disks die in de Terminalkamers worden gebruikt.
+
  Getroffen    : iedereen die op *.science.ru.nl *.astro.ru.nl, etc. wil komen
  
De machine bleef in het BIOS hangen bij de wekelijkse reboot op maandagmorgen.
+
Door niet goed werkende DNS-servers van ru.nl werkt DNS voor subzones als science.ru.nl niet, waardoor geen enkele DNS-naam nog kan resolven naar een IP-adres bij FNWI. Een workaround is als men handmatig als DNS-servers invoert: 131.174.224.4 en 8.8.8.8. Wie pas na 11:15 uur voor het eerst probeert een Science-dienst te benaderen (bv matlab.science.ru.nl) krijgt een fout als "No such domain" of "Cannot resolve". Herstarten van de RU DNS servers om 12:45 heeft misschien het probleem opgelost. Zonder een echte verklaring was het probleem na enkele uren verdwenen.
 
[/nl]
 
[/nl]
 
 
[en]
 
[en]
  Begin       : 20120924 06:30
+
  Begin         : 2021-02-11 ~11:15
  End         : 20120924 09:00
+
  End           : 2021-02-11 ~13:00
  Affected     : Users of disk volumes on file server Plenty. The S and T disks that are used in the PC rooms.
+
  Affected     : everyone trying to resolve *.science.ru.nl *.astro.ru.nl etc.
  
During the weekly reboot (monday mornings), the server got stuck in the BIOS.
+
DNS-servers for ru.nl did not serve information about subdomains such as science.ru.nl. Thus no DNS-name will resolve to an IP address at FNWI. A workaround is to use as DNS servers:  131.174.224.4 en 8.8.8.8. If you try to connect to a service for the first time after ca 11:15, you'll get an error like: "No such domain" or "Cannot resolve". Restarting RU DNS servers at 12:45 may have fixed the problem. Without a real explanation, the problem went away after a few hours.
 
[/en]
 
[/en]
  
=== [Aangekondigd onderhoud: home-server "pile" down voor vervanging][Announced downtime: home server "pile" down for replacement] ===
+
=== Gitlab upgrade ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
<itemTags>medewerkers, studenten</itemTags>
 
 
 
[nl]
 
[nl]
   Begin        : 20120814 07:00
+
   Begin        : 2021-02-07 04:00
   Eind          : 20120814 09:00 (ca)
+
   Einde        : 2021-02-07  12:50
   Getroffen    : Gebruikers met homedirectory op "pile" (te zien op http://DHZ.science.ru.nl)
+
   Getroffen    : gebruikers van GitLab en Mattermost
  
A.s. dinsdagochtend wordt de oude homeserver "pile" vervangen door een nieuwe, krachtigere server. Omdat de data ook nu al gesynchroniseerd wordt naar de nieuwe server, zal er niet veel downtijd zijn.  
+
Vanwege een upgrade van [[GitLab]] en Mattermost naar de laatste versie zijn deze tijdelijk niet beschikbaar.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
   Begin       : 20120724 07:00
+
   Begin         : 2021-02-07 04:00
   End         : 20120724 09:00 (ca)
+
   End           : 2021-02-07  12:50
   Affected     : Users with homedirectory server "pile" (as can be seen on http://DIY.science.ru.nl)
+
   Affected     : GitLab and Mattermost users
  
Next Tuesday morning, the home server "pile" will be replaced by a new, more powerful server. Because the data have been synchronized with the new server, there will not be much downtime.
+
Services will not be available for a while because of a GitLab and Mattermost upgrade.
 
[/en]
 
[/en]
  
=== [Uitgesteld: Aangekondigd onderhoud: home-server "pile" down voor vervanging][Postponed: Announced downtime: home server "pile" down for replacement] ===
+
=== [Science VPNsec storing][Science VPNsec disruption] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
 
 
 
 
[nl]
 
[nl]
Het onderstaande onderhoud is uitgesteld omdat er nog een paar onduidelijkheden waren met de server, die niet op tijd opgelost konden worden. Wordt vervolgd...
+
  Begin        : 2021-02-03 13:00
  Begin        : 20120724 07:00
+
  Eind          : 2021-02-03 14:02 (voor Apple macOS/iOS: laatste fix op 10 februari)
  Eind          : 20120724 09:00 (ca)
+
  Getroffen    : Gebruikers van Science VPN diensten
  Getroffen    : Gebruikers met homedirectory op "pile" (te zien op http://DHZ.science.ru.nl)
 
  
A.s. dinsdagochtend wordt de oude homeserver "pile" vervangen door een nieuwe, krachtigere server. Omdat de data ook nu al gesynchroniseerd wordt naar de nieuwe server, zal er niet veel downtijd zijn. De server is als het goed is erg betrouwbaar: hardware [http://nl.wikipedia.org/wiki/Redundant_array_of_independent_disks#RAID-6 RAID-6], dubbele processoren en voedingen en een 5-jaar onderhoudscontract van de leverancier. De performance is o.a. verbeterd door het gebruik van hardware-RAID met een 1 GB [http://serverfault.com/questions/65096/battery-backed-write-cache schrijfcache met batterij backup].
+
Het certificaat van onze  [[Vpn|VPNsec]]-service werd niet regelmatig gecontroleerd en kon daarom verlopen. We hebben binnen een uur een nieuw certificaat geïnstalleerd. Natuurlijk zullen we ook van dit certificaat vanaf nu de looptijd controleren. Voor Apple/Mac moet een nieuwe mobileconfig gemaakt worden, dat kost even tijd, omdat in de tussentijd de RU naar een andere Certicate Authority verhuisd was. Voor Apple macOS was dat eind  4 februari gelukt, met een nieuwe installatieprocedure. Voor Apple iOS (iPhone/iPad) moet men wel het oude profiel verwijderen en de nieuwe mobileconfig installeren.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
The downtime below has been postponed, because we had a few questions on the new server, that could not be answered in time. To be continued...
+
  Begin         : 2021-02-03 13:00
  Begin       : 20120724 07:00
+
  End           : 2021-02-03 14:02 (for Apple macOS/iOS last fix on February 10)
  End         : 20120724 09:00 (ca)
+
  Affected     : Users of Science VPN
  Affected     : Users with homedirectory server "pile" (as can be seen on http://DIY.science.ru.nl)
 
  
Next Tuesday morning, the home server "pile" will be replaced by a new, more powerful server. Because the data have been synchronized with the new server, there will not be much downtime. The new server should be very dependable: hardware [http://en.wikipedia.org/wiki/RAID#RAID_6_replacing_RAID_5_in_enterprise_environments RAID-6], double processors and power supplies and a 5-year support contract from the supplier. The performance has improved, e.g. by using hardware RAID with a 1 GB [http://serverfault.com/questions/65096/battery-backed-write-cache write cache with battery backup].
+
The expiration date of the certificate of our [[Vpn|VPNsec]] service was apparently not yet checked regularly. This made it possible for the certificate to expire. We put a new certificate into place within an hour. Of course we will check this certificate regularly from now on. For Apple/Mac we needed to construct a new mobileconfig, this took some time, because in the meantime RU had moved to a different Certificate Authority. For Apple macOS this was ready at the end of Feb. 4, with a new installation procedure. For Apple iOS (iPhone/iPad) the old profile has to be deleted and a new mobileconfig has to be installed.
 
[/en]
 
[/en]
  
=== [Deels aangekondigd onderhoud: mailman + horde webmail server down][Partly announced downtime for mailman + horde webmail server] ===
+
=== [DHZ tijdelijk niet beschikbaar][DIY temporarily not usable] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
<itemTags>medewerkers, studenten</itemTags>
 +
[nl]
 +
  Begin        : 2021-01-25 07:15
 +
  Einde        : 2021-01-25 07:45
 +
  Getroffen    : Gebruikers die hun science account wilden beheren
  
[nl]
+
In verband met een beheershandeling (min of meer gepland) was de DHZ website tijdelijk onbruikbaar, het tijdstip was vroeg in de ochtend, dus vermoedelijk heeft het weinig of geen overlast veroorzaakt.
  Begin        : 20120712 09:09
 
  Eind          : 20120712 14:00 (ca)
 
  Getroffen    : Gebruikers van horde webmail en/of mailman mailinglists
 
  
Vanochtend bleek horde webmail misbruikt te worden voor spam. Enkele naieve gebruikers hadden hun Science-wachtwoord aan spammers gegeven, waardoor dit mogelijk werd. Nadat eerst uitgezocht is welke gebruikers dit precies waren en hun wachtwoord aangepast was, is besloten om meteen ook een defecte cpu-ventilator te vervangen. Daardoor zal Mailman ook getrofffen worden, van ca 13:00 uur tot ca 14:00 uur.
 
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
   Begin       : 20120712 09:09
+
   Begin         : 2021-01-25 07:15
   End         : 20120712 14:00 (ca)
+
   End           : 2021-01-25 07:45
   Affected     : Users of horde webmail and/or mailman mailing lists
+
   Affected     : Users wanting to manage their science account
  
This morning, horde webmail appeared to be misused for sending spam. This could happen because naive users gave their Science password to spammers. After we found out who the users were and had them change their password, we decide to also replace a defective cpu fan. Therefore also Mailman mailing lists will be down from 13:00 to 14:00 hours.
+
Due to a management operation (planned around this time), the DIY website was unusable. Since the time was very early, it's expected nobody was inconvenienced by this temporary unavailability.
 
[/en]
 
[/en]
  
 +
=== [Science smtp-service tijdelijk niet beschikbaar][Science smtp service temporarily not usable] ===
 +
<itemTags>medewerkers, studenten</itemTags>
 +
[nl]
 +
  Begin        : 2021-01-22 10:00
 +
  Einde        : 2021-01-22 10:30
 +
  Getroffen    : Science mail gebruikers die mail wilden versturen
 +
 +
Een configuratiewijziging maakte onbedoeld de smtp-service onbruikbaar. Toen we dat opmerkten is dat direct gecorrigeerd.
  
 +
[/nl]
 +
[en]
 +
  Begin        : 2021-01-22 10:00
 +
  End          : 2021-01-22 10:30
 +
  Affected      : Science mail users wanting to send mail
  
=== [Uitgaande mailserver op zwarte lijst MS Live Hotmail][SMTP server blacklisted by MS Live Hotmail] ===
+
A configuration change unwantedly made the smtp service unusable. When we noticed this, it was repaired immediately.
<itemTags>studenten,medewerkers,docenten</itemTags>
+
[/en]
  
 +
=== [Erg lange mail aliasen tijdelijk niet beschikbaar][Very long mail aliases temporarily not usable] ===
 +
<itemTags>medewerkers, studenten</itemTags>
 
[nl]
 
[nl]
   Begin        : 20120711 03:08
+
   Begin        : 2021-01-21 15:52
   Eind          : 20120711 14:55
+
   Einde        : 2021-01-22 09:55
   Getroffen    : Science mail gebruikers die mail wilden sturen naar MS-domeinen: hotmail.com, live.com, ...
+
   Getroffen    : Science mail aliasen van meer dan 1024 tekens
 +
 
 +
Bij een configuratiewijziging verdwenen onbedoeld alle erg lange mail aliasen. Na de eerste melding is dat de volgende ochtend gecorrigeerd.  
  
Vanochtend werd gemeld dat mail vanaf smtp.science.ru.nl naar hotmail-gebruikers niet door hotmail mailservers geaccepteerd werd. We hebben geprobeerd om de hotmail beheerders dit snel te laten wijzigen, maar toen dat niet lukte onze smtp-server maar een nieuw IP-nummer gegeven, dat niet geblokkeerd is.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
   Begin       : 20120711 03:08
+
   Begin         : 2021-01-21 15:52
   End         : 20120711 14:55
+
   End           : 2021-01-22 09:55
   Affected     : Science mail users trying to send mail to MS-domains: hotmail.com, live.com, ...
+
   Affected     : Science mail aliases of more than 1024 characters
  
This morning, users reported that mail from smtp.science.ru.nl to hotmail users was being bounced by hotmail. We have tried to let the hotmail administrators change this fast, but when this took too long, we changed the IP-number of our smtp-server.
+
A configuration change had as unwanted effect the disappearance of all very long mail aliases. When this was reported next morning, it was repaired immediately.
 
[/en]
 
[/en]
  
=== [Gepland onderhoud: fileserver in de problemen][Planned service interruption: file server with problems] ===
+
=== Switch crash; gitlab+mattermost, licenses and DHZ ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
<itemTags>medewerkers, studenten</itemTags>
 +
[nl]
 +
  Begin        : 2021-01-07 ~14:30
 +
  Einde        : 2021-01-07 ~15:00
 +
  Getroffen    : gebruikers van GitLab en Mattermost, Licenties, DHZ
  
  Begin        : 20120622 17:03
+
Door een eenvoudige beheershandeling crashte een switch (as-ak008-04) die daarna met de hand gereset moest worden. De switch zit onder andere tussen het netwerk en de servers voor gitlab+mattermost, de licenties, en de database voor DHZ.
  End          : 20120624 19:30
 
  Affected    : stack fileservices
 
  
[nl]
 
Een van de boot-harde schijven van de fileserver stack raakte vrijdagochtend 22 juni defect. We besloten om dit na werktijd te repareren. Daarom werd om ca 17:00 uur de defecte schijf vervangen door een reserve. De schijf beschikbaar maken, het een boot-disk maken, het filesysteem restoren en het herstarten van de machine (na alle snapshots verwijderd te hebben) duurde erg lang. Toen dit vrijdagavond gedaan was, was de NFS/SMB fileservice niet actief op de gemounte filesystemen. Er was een reboot op zondagavond voor nodig om aan deze problemen een eind te maken.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
A hardware failure of a boot disk of the fileserver stack was reported Friday morning June 22. We decided to repair this after working hours. Thus at approximately 17:00 the defective boot disk was removed from the machine and replaced by a spare one. Enabling the disk, making it bootable, restoring file systems and rebooting the machine (after removing all snapshots) took a lot of time. When this was resolved Friday evening, the NFS/SMB fileservice was not active on the mounted filesystems. It took a reboot Sunday evening to resolve all problems.
+
  Begin        : 2021-01-07 ~14:30
 +
  End          : 2021-01-07 ~15:00
 +
  Affected      : GitLab and Mattermost users, Licenses, DHZ (diy)
 +
 
 +
Due to a simple management command the switch (as-ak008-04) crasht and had to be reset manually. The switch sits between the network and servers for gitlab+mattermost, licenses and the database for DHZ(diy).
 +
 
 
[/en]
 
[/en]
  
=== [Tracelab-server poly defect][Tracelab server poly defective] ===
+
=== Gitlab upgrade ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
<itemTags>medewerkers, studenten</itemTags>
 
 
 
[nl]
 
[nl]
   Begin       : 20120621 14:12
+
   Begin         : 2020-11-27  04:00
   Eind        : 20120621 17:15
+
   Einde        : 2020-11-27 ~08:00
   Getroffen   : Tracelab voor gebruikers. Voor beheerders ook Prism&Deploy en de WDS-service
+
   Getroffen     : gebruikers van GitLab en Mattermost (ook voor PEP)
  
Een hardwarestoring van de server poly werd gerapporteerd om 2012-06-21 14:12. Na een herstart stopte de machine weer snel met werken, dus werd besloten een reservemachine in te zetten, met gebruik van de schijven van de oude server. Nadat de schijven gesynchroniseerd waren, was de machine weer beschikbaar.  
+
Vanwege een upgrade van [[GitLab]] en Mattermost naar de laatste versie zijn deze tijdelijk niet beschikbaar.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
   Begin       : 20120621 14:12
+
   Begin         : 2020-11-27  04:00
   End         : 20120621 17:15
+
   End           : 2020-11-27 ~08:00
   Affected   : Tracelab for users. For administrators also Prism&Deploy and the WDS-service
+
   Affected     : GitLab and Mattermost users (including PEP)
  
A hardware failure of the server poly was reported at 2012-06-21 14:12. After a restart of the machine, it stopped working again.
+
Services will not be available for a while because of a GitLab and Mattermost upgrade.
No more recoveries were attempted and an identical spare machine was outfitted with the disks from the defective server. Disks had to be synchronized before making the machine available again.  
 
 
[/en]
 
[/en]
  
=== [Servers stroomloos][Servers without electric power] ===
+
=== [Eduroam-probleem op de campus][Eduroam problem on campus] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
 
 
[nl]
 
[nl]
  Begin     : 20120607 13:45
+
  Begin         : 2020-07-10 avond
  Eind       : 20120607 15:30
+
  Eind         : 2020-07-10 avond
  Getroffen : e-mail en gebruikers van de fileservers bundle, heap en stack
+
  Getroffen     : Eduroam-gebruikers op de campus
 +
 
 +
Het ISC deelde mee: Om beveiligingsredenen wordt vrijdagavond 10 juli het certificaat van de wifi-server vervangen. Dit heeft gevolgen voor het verbinden van je mobile device met Eduroam als je op de campus bent:
 +
 
 +
• Als je de melding krijgt dat je het nieuwe certificaat moet accepteren om gebruik te maken van Eduroam, kies dan voor ‘ja’. Je kunt dan weer gewoon gebruik maken van Eduroam;
 +
 
 +
• Als je deze melding niet krijgt én geen verbinding met Eduroam kunt maken, kies dan voor het draadloze netwerk ‘eduroam-config’. Accepteer de voorwaarden. Volg de instructies om Eduroam opnieuw te installeren.
 +
 
 +
Meer informatie vind je ook via [https://www.ru.nl/wifi www.ru.nl/wifi] (hier heb je een internetverbinding voor nodig).
  
Een stroomstoring in een rek van een serverruimte trof een aantal C&CZ
+
Met vragen kun je terecht bij de ICT Helpdesk (024 – 36 22222).
servers. Na een kleine twee uur was de verstoring geheel
 
verholpen.
 
Getroffen servers zijn onder andere: postvak (Science mailserver), bundle (userhomedisk), heap/stack (netwerkschijven),
 
resser/kookpunt/brievenbus/rustug (mailtransport smtp-servers)  
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
  Begin       : 20120607 13:45
+
  Begin         : 2020-07-10 evenng
  End         : 20120607 15:30
+
  End           : 2020-07-10 evening
  Affected   : e-mail and users of the fileservers bundle, heap and stack
+
  Affected     : Eduroam users on campus
 +
 
 +
The ISC announced: For security reasons, the certificate of the wifi server will be replaced in the evening of Friday, July 10. This has consequences for connecting your mobile device to Eduroam when you’re on campus:
  
A power failure in a rack in a server room brought some C&CZ servers down. After less than two hours all problems were dealt with.
+
• If you get the message that you have to accept the new certificate to use eduroam, choose 'yes'. You can then use eduroam again;
Affected systems ware mainly: postvak (Science mail server), bundle (user homedisk), heap/stack (network discs),
+
 
resser/kookpunt/brievenbus/rustug (mail transport smtp servers)  
+
• If you don't get this message and can't connect to Eduroam, choose the wireless network 'eduroam-config'. Accept the terms and conditions. Follow the instructions to reinstall Eduroam.
 +
 
 +
More information can also be found at [https://www.ru.nl/ict-uk/eduroam www.ru.nl/ict-uk/eduroam] (you will need an internet connection for this).
 +
 
 +
If you have any questions, please contact the ICT Helpdesk (024 - 36 22222).
 
[/en]
 
[/en]
  
=== [Gepland onderhoud: Website-databases en misschien Linux clients][Planned Service: website-databases and maybe Linux clients] ===
+
=== [RU mail onterecht in Spamfolder][RU mail erroneously in Spam folder] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
[nl]
20 Apr 2012 17:00 - 17:15
+
  Begin        : 2020-03-25 17:52
 +
  Eind          : 2020-07-07 13:13
 +
  Getroffen    : FNWI-medewerkers met Science mail
  
[nl]
+
Aan het Science spamfilter is op 25 maart 2020 een regel "2020 Radboud Universiteit" toegevoegd, die de laatste tijd ook in RU-centrale mailings voorkomt. Daardoor zijn RU-brede mailings van o.a. het CvB en Radboud Recharge onterecht in de Spam folder van FNWI-medewerkers afgeleverd. Met het Science spamfilter proberen we zo goed als mogelijk spam en phishing tegen te gaan, dit is deels handwerk, hierbij zijn fouten niet uitgesloten. C&CZ biedt excuses aan voor de overlast die hierdoor veroorzaakt is.
Een defecte harde schijf van een server is vervangen, maar de server moet gereboot worden om zeker te stellen dat dit reboot-bestendig is. Hierdoor zullen de MySQL-databases van ruwweg 70 websites even onbereikbaar zijn. Omdat deze server ook de Kerberos-authenticatie van Linux-clients verzorgt, kunnen Linux-clients ook even overlast ondervinden.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
A defective hard disc has been replaced in a server, but the server needs to be rebooted to ensure that this is reboot proof. The MySQL database of roughly 70 websites will therefore be down for a short time. Since this server also provides the Kerberos authentication for Linux clients, Linux clients might encounter service interruptions during a short period.
+
  Begin        : 2020-03-25 17:52
 +
  End          : 2020-07-07 13:13
 +
  Affected      : FNWI employees with Science mail
 +
 
 +
March 25, a rule "2020 Radboud Universiteit" was added to the Science spamfilter. Recently, this matched RU-central mailings. Therefore RU-wide mailings from e.g. the RU Board and Radboud Recharge have erroneously been delivered in the Spam folder of Science emplyees. The Science spamfilter tries to fight spam and phishing, this is partly manual work in which errors can't be excluded. C&CZ apologizes for the inconvenience this has caused.
 
[/en]
 
[/en]
  
=== [Windows server "plenty" met xpsoftware onbereikbaar][Windows server "plenty" with xpsoftware unavailable] ===
+
=== Webserver 'havik' offline ===
<itemTags>studenten,medewerkers</itemTags>
 
 
[nl]
 
[nl]
Donderdag 7 juli om ca 13:00 werd de server "plenty" onbereikbaar. Omdat deze server o.a. de schijf "xpsoftware" voor de [[Windows_beheerde_werkplek|Windows Beheerde Werkplek PC's]] levert, hadden al die PC's er last van. De precieze oorzaak is nog niet bekend. Na een herstart en controle van alle schijven was de server om 14:26 uur weer beschikbaar.
+
  Begin        : 2020-06-18 15:45
 +
  Eind          : 2020-06-18 16:25
 +
  Getroffen    : Gebruikers van diverse websites.
 +
 
 +
Diverse onderdelen zijn vervangen, we gaan ervan uit dat het tweemaal opgetreden probleem hiermee verholpen is. Voor dual-boot pc's werd tijdens de reparatie een alternatief bootmenu verzorgd.[/nl]
 +
 
 +
[en]
 +
  Begin        : 2020-06-18 15:45
 +
  End          : 2020-06-18 16:25
 +
  Affected      : Users of various websites.
 +
 
 +
Several parts have been replaced. We assume the problem, that occurred twice, is now resolved. For dual-boot pcs, the boot menu was served by an alternative method during the repair.[/en]
 +
 
 +
=== [Science radius storing][Science radius disruption] ===
 +
[nl]
 +
  Begin : 2020-06-17 11:11
 +
  Eind  : 2020-06-17 11:56
 +
Getroffen : Gebruikers van Science VPN diensten en Eduroam op basis van Science login
 +
 
 +
Het certificaat van de LDAP-servers is vanochtend vervangen waarbij tevens de certificate chain gewijzigd is.
 +
De radius server gebruikt LDAP als authenticatie-backend en in de radius-configuratie moest ook de certificate chain vervangen worden. Dit was in eerste instantie over het hoofd gezien. Radius is het authenticatie-mechanisme gebruikt door alle VPN-servers en Eduroam.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
Thursday July 7, around 13.00 hours the server "plenty" could not be reached. Because this server serves the "xpsoftware" share for the [[Windows_beheerde_werkplek|Managed Windows PC's]], all these PC's had a problem. After the server was restarted and the disks had been checked, it was available again at 14:26.
+
  Begin : 2020-06-17 11:11
 +
  End  : 2020-06-17 11:56
 +
Affected : Users of Science VPN and Eduroam based on science account
 +
 
 +
The certificate of the LDAP servers has been replaced this morning, this has also changed the certificate chain.
 +
The radius server uses LDAP as authentication backend and in the radius configuration the certificate chain had to be changed too. This was initially overlooked. Radius is the authentication mechanism used by all VPN servers and Eduroam
 
[/en]
 
[/en]
  
 +
=== Webserver 'havik' offline ===
 +
[nl]
 +
  Begin        : 2020-06-17 03:38
 +
  Eind          : 2020-06-17 08:52
 +
  Getroffen    : Gebruikers van dual boot PC's (het dual-boot keuzemenu komt van een website) en diverse websites.
 +
 +
De server is wederom uitgevallen op dezelfde manier als op 3 juni 2020. De oorzaak ligt niet bij de reboot maar bij een probleem op het moederbord (is het vermoeden). Dit onderdeel zal morgen (18 juni) worden vervangen door een monteur.[/nl]
  
=== [Downtijd Science servers: zondag 3 juli, 09:00 - 12:00 uur][Downtime Science servers: Sunday July 3, 09:00 - 12:00 hours] ===
+
[en]
<itemTags>studenten,medewerkers</itemTags>
+
  Begin        : 2020-06-17 03:38
[nl]
+
  End          : 2020-06-17 08:52
Om de koeling van een serverruimte te verbeteren, hebben we besloten om op zondagochtend 3 juli drie rekken met Science servers enkele meters te verplaatsen. Hiervoor moeten veel servers tijdelijk stroomloos gemaakt worden. Daardoor zullen diverse services op 3 juli vanaf 9:00 uur enige tijd onbereikbaar zijn. We verwachten dat de downtijd voor servers met veel verschillende gebruikers om 10:00 uur over is. Het cn-rekencluster zal naar verwachting om 12:00 uur weer compleet operationeel zijn.
+
  Affected      : Users of dual boot PC's (the dual-boot menu is served by a website) and various websites.
  
Het gaat om de servers/services:
+
The server went down in the same way as the previous time (3rd of June 2020). The cause is most likely a system board problem. This part will be replaced Tomorrow by a support engineer.[/en]
  
fileservers: plenty/pile/bundle met shares als:
+
=== Webserver 'havik' offline ===
              amsbackup2 bbb-priv botany bsweet comsol exoarchief gi3 hfml-data ifl iris
+
[nl]
              lambiek mestrelab mi1/2/3 molchem2 molphtec morph multimedia olsen pcb planthgl
+
  Begin        : 2020-06-03 06:30
              sdisk share snn2 spmdata1 tdisk tece temp wallpaper xpcursus xpsoftware
+
  Eind          : 2020-06-03 10:12
potkast: films via Blackboard
+
  Getroffen    : Gebruikers van dual boot PC's (het dual-boot keuzemenu
ts2: Windows Terminal Server
+
komt van een website) en diverse websites.
lilo1: Linux Login Server, alternatief: lilo/lilo2
 
cn-rekencluster
 
horde webmail
 
License server voor: Comsol
 
  
Met excuses voor de overlast<br>
+
De server was na de geplande wekelijkse reboot niet meer te benaderen, zelfs niet op het beheer-interface. Doordat ook C&CZ thuis werkt en niet standaard aanwezig is in het Huygensgebouw en de verstoring niet snel genoeg urgentie kreeg, heeft de storing te lang geduurd, waarvoor excuses. De onderhoudsfirma is ingeschakeld en de server heeft updates gekregen, maar de oorzaak van het probleem is nog onduidelijk. We zullen overigens ook aandacht besteden aan het redundant of eenvoudiger verhuisbaar maken van deze diensten.
C&CZ
 
 
[/nl]
 
[/nl]
 +
 
[en]
 
[en]
In order to improve the cooling of a server room, we plan to move three racks of Science servers a few meters on Sunday morning, July 3. We will have to switch off a lot of servers temporarily. Therefore several services will be unavailable some time starting July 3, 09:00 hours. We expect the downtime will last until 10:00 hours for servers with a lot of different users. The cn compute cluster will probably be fully operational again at 12:00 hours.
+
  Begin        : 2020-06-03 06:30
 +
  End          : 2020-06-03 10:12
 +
  Affected      : Users of dual boot PC's (the dual-boot menu is served
 +
by a website) and various websites.
 +
 
 +
The server couldn't be reached after the scheduled weekly reboot, not even on its management interface. Because also C&CZ employees work from home and the interruption didn't get enough urgency fast enough, the interruption lasted too long, apologies for that. The support partner has been contacted and the server has been updated, but the origin of the problem is still unclear. We will also look at making these services more redundant or more easily movable to a different server.
 +
[/en]
  
The servers/services affected are:
+
=== CN00 Slurm master ubuntu 16.04 down ===
 +
<itemTags>medewerkers,studenten</itemTags>
 +
[nl]
 +
  Begin        : 2020-05-18 9:50
 +
  Eind          : 2020-05-19 12:15
 +
  Getroffen    : slurm op ubuntu 16.04 (cn07)
  
fileservers: plenty/pile/bundle with shares like:
+
Door een mislukte BIOS update is de hardware van de database server blijven hangen en start niet meer op (brick). De functionaliteit van de server is overgezet op de hardware van cn00, waardoor die nu uit de lucht is.
              amsbackup2 bbb-priv botany bsweet comsol exoarchief gi3 hfml-data ifl iris
+
Als de hardware van sperwer weer in orde is, wordt de situatie weer hersteld.
              lambiek mestrelab mi1/2/3 molchem2 molphtec morph multimedia olsen pcb planthgl
+
[/nl]
              sdisk share snn2 spmdata1 tdisk tece temp wallpaper xpcursus xpsoftware
+
[en]
potkast: films via Blackboard
+
  Begin        : 2020-05-18 09:50
ts2: Windows Terminal Server
+
  End          : 2020-05-19 12:15
lilo1: Linux Login Server, alternative: lilo/lilo2
+
  Affected      : slurm on ubuntu 16.04 (cn07)
cn compute cluster
 
horde webmail
 
License server for: Comsol
 
  
With apologies for the inconvenience<br>
+
Due to a failed BIOS upgrade, the hardware of the database server appears to be bricked. We transfered the disks to another machine (cn00) and all database services are now up again, at the cost of not having cn00 running.
C&CZ
+
When the hardware is working well again, we will swap it all back and restore the original situation.
 
[/en]
 
[/en]
  
[[Gebruiker:Petervc|Peter van Campen]] 22 jun 2011 09:57 (UTC)
+
=== Sperwer [Database server failure][Database server storing] ===
 +
<itemTags>medewerkers,studenten</itemTags>
 +
[nl]
 +
  Begin        : 2020-05-18 06:30
 +
  Eind          : 2020-05-18-10:00
 +
  Getroffen    : Diverse websites, slurm
 +
 
 +
Door een mislukte BIOS update is de hardware van de database server blijven hangen en start niet meer op (brick). De functionaliteit van de server is overgezet op de hardware van cn00, waardoor die nu uit de lucht is.
 +
Als de hardware van sperwer weer in orde is, wordt de situatie weer hersteld.
  
=== [Netwerkstoring 22 juni 10:55-11:30][Network outage June 22, 10:55-11:30] ===
+
Update 19 mei 12:15 : hardware gerepareerd, situatie is weer hersteld naar origineel
<itemTags>studenten,medewerkers</itemTags>
 
[nl]
 
Vanochtend is in netwerkknooppunt Huygens Zuid een UPS (batterij stroomvoorziening)
 
uitgevallen, waardoor een aantal netwerkswitches stroomloos raakten. Hierdoor verloren gebruikers in Huygens vleugel 1 en spin-off bedrijven verbinding met het netwerk. Na het bypassen van de UPS was alles om 11:30 uur weer in bedrijf. Naar de exacte oorzaak van de uitval wordt nog gespeurd.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
This morning, in the network hub for Huygens South a UPS (battery power supply) went down, which made a set of network switches loose power. Because of this, users in Huygens wing 1 and spin-off companies lost their connection to the network. After bypassing the UPS, everything was up and running again at 11:30. We are still searching for the exact origin of this outage.
+
  Begin        : 2020-05-18 06:30
 +
  End          : 2020-05-18-10:00
 +
  Affected      : various websites and slurm
 +
 
 +
Due to a failed BIOS upgrade, the hardware of the database server appears to be bricked. We transfered the disks to another machine (cn00) and all database services are now up again, at the cost of not having cn00 running.
 +
When the hardware is working well again, we will swap it all back and restore the original situation.
 +
 
 +
Update May 19th, 12:15 : hardware fixed, situation back to the original state.
 
[/en]
 
[/en]
  
=== [SSH keys anders voor nieuwe loginservers][New SSH keys for new login servers] ===
+
=== [Science VPN storing][Science VPN disruption] ===
<itemTags>studenten,medewerkers</itemTags>
 
 
[nl]
 
[nl]
De LInux LOgin server <b>lilo</b> is vervangen. De naam wijst nu naar de nieuwe machine <b>lilo2</b>, omdat die sneller is dan de andere login server <b>lilo1</b>. Het is daarom begrijpelijk dat men eenmalig de veranderde SSH-sleutel van <b>lilo</b> moet accepteren.
+
  Begin        : 2020-05-06 05:00
 +
  Eind          : 2020-05-06 08:00
 +
  Getroffen    : Gebruikers van Science VPN diensten
 +
 
 +
Door onbekende reden vanaf 5 uur crashes op het systeem, vanaf 6 uur was de VPN offline, na een reboot rond 8:00 lijkt alles weer in orde.
 
[/nl]
 
[/nl]
 
[en]
 
[en]
The LInux LOgin server <b>lilo</b> has been replaced. The name now points to the new machine <b>lilo2</b>, because that one is faster than the other login server <b>lilo1</b>. Therefore it is quite normal to accept once the new SSH-key.
+
  Begin        : 2020-05-06 05:00
 +
  End          : 2020-05-06 08:00
 +
  Affected      : Users of Science VPN
 +
 
 +
Unexplained crashes starting around 5am on the host system. System offline at around 6am. After a hard reset around 08:00, all seems to be all right again.
 
[/en]
 
[/en]
  
=== [Aangekondigd onderhoud: Beperkte computerservices][Planned Service: Limited computer services] ===
+
=== [Science datacenter netwerkprobleem][Science datacenter network problem] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
[nl]
12 Feb 2011 7:00 - 11:00
+
  Begin        : 2020-04-30 12:08
 +
  Eind          : 2020-04-30 21:44
 +
  Getroffen    : Gebruikers van Ceph opslag en enkele nieuwe rekenclusternodes
  
[nl]
+
Een defecte transceiver deed 1 verbinding van 100 Gb/s tussen twee C&CZ datacenters klapperen. Pas uren later gebeurde dit zo vaak dat de hele redundante nieuwe verbinding tussen de twee C&CZ serverruimtes niet meer werkte. Nadat dit opgemerkt werd, is vrij snel de workaround gevonden: het shutdown zetten van de interface met de defecte transceiver. Hierna kwam de verbinding weer op. De defecte transceiver is inmiddels vervangen dankzij een snelle actie van de leverancier. We hebben nu ook zelf deze transceivers op voorraad. Aan de leverancier is gevraagd of een configuratiewijziging de verbinding zodanig redundant maakt, dat een enkele defecte transceiver in het vervolg geen overlast meer zou geven.
In onze centrale computerzaal wordt een nood-koelsysteem geinstalleerd. De koeling van de zaal zal daarvoor uitgeschakeld moeten worden waardoor een flink deel van de computer-systemen in deze ruimte uit moet.  Dit omvat o.a. de cluster-nodes cn00 t/m cn53 en een groot deel van de web- en file-servers (netwerkdisks).  Gebruikers moeten rekening houden met zeer beperkte server-voorzieningen. We proberen alle home directory's en de mail-service in de lucht te houden. Neem eventueel [[contact]] op met C&CZ voor details over de impact.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
A backup cooling system will be installed in our main computer room. Therefore the air conditioning system must be switched off, which means that most of the computer facilities in this room must be shut down. This includes the cluster nodes cn00 through cn53 and many of the web- and file- (network share) servers. It is advised to expect a very limited service level. We will try to keep all home directories and the mail system available. For detailed information about the impact please [[contact]] C&CZ.
+
  Begin        : 2020-04-30 12:08
 +
  End          : 2020-04-30 21:44
 +
  Affected      : Users of Ceph storage and a few new compute clusternodes
 +
 
 +
A broken transceiver caused flapping af a 100 Gb/s connection between two C&CZ datacenters. Hours later the flapping increased, which took down the complete redundant new connection between the two server rooms. When this was noticed, a workarpound was found quickly by shutting down the interface with the broken transceiver. With this the connection was restored. De broken transceiver has been replaced thanks to a swift action from our supplier. Now we have these spare parts ready to use. We asked the supplier whether a configuration change will make the connection more redundant, that just one broken transceiver will not take down the connection.
 
[/en]
 
[/en]
  
=== [Printer lp5][Printer lp5] ===
+
=== [Jitsi.science.ru.nl niet bruikbaar][Jitsi.science.ru.nl not working properly] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
[nl]
24 Jan 2011 - 11 Mar 2011
+
  Begin        : 2020-04-19 15:00
 +
  Eind          : 2020-04-20 11:40
 +
  Getroffen    : Gebruikers van jitsi.science.ru.nl
  
[nl]Printer lp5 is verhuisd naar ruimte HG00.089. Momenteel is de printer niet beschikbaar omdat de voeding niet functioneert.[/nl]
+
Vanwege mislukte performance tuning is de installatie van jitsi.science.ru.nl onbruikbaar geworden bij meer dan een enkele persoon in de conference. Opgelost na reinstall van de server.
[en]Printer lp5 has been moved to HG00.089. You can't use this printer at the moment, there's a problem with the power supply unit.[/en]
+
[/nl]
 
+
[en]
=== [Storing vaste telefonie][Fixed phone problem] ===
+
  Begin        : 2020-04-19 15:00
<itemTags>studenten,medewerkers,docenten</itemTags>
+
  End          : 2020-04-20 11:40
7 Mrt 2011
+
  Affected      : Users of jitsi.science.ru.nl
  
[nl]Bepaalde (soms wisselende) vaste telefoons op de RU zijn niet bereikbaar momenteel. Aan een oplossing wordt gewerkt. Het probleem hangt samen met de overstap naar IP-telefonie. Mobiel telefoonverkeer en Skype zijn wel mogelijk[/nl]
+
Due to performance tuning having gone wrong the jitsi.science.ru.nl conference rooms cannot be joined by more than one person at the moment. Solved by reinstalling server.
[en]You can't reach certain fixed phones at the university right now, mobile phones and Skype do work ok though.
 
 
[/en]
 
[/en]
  
=== [Mailserver op blacklists][Mailserver blacklisted] ===
+
=== [Mailserver certificaatprobleem][Mailserver certificate problem] ===
<itemTags>studenten,medewerkers,docenten</itemTags>
+
<itemTags>medewerkers,studenten</itemTags>
4 Feb 2011 9:00 - 12:00
+
[nl]
 +
  Begin        : 2020-04-13 14:00
 +
  Eind          : 2020-04-13 14:35
 +
  Getroffen    : Gebruikers van Science mail
  
[nl]
+
Het nieuwe certificaat van de Science mailserver was nog niet op de juiste plaats neergezet. Daarom veroorzaakte het verlopen van het oude certificaat een probleem voor Science mailgebruikers, dat verholpen werd door het vervangen van het oude door het nieuwe certificaat.
Na een geslaagde phishing attack, is een van onze mailservers de hele nacht druk bezig geweest spam te versturen. Hierdoor zijn we op verschillende blacklists terecht gekomen. Momenteel geeft dat vooral problemen met afleveren van mail op @hotmail en @live adressen.
 
 
[/nl]
 
[/nl]
 
[en]
 
[en]
One of our mail servers has been sending loads of spam after a successful phishing attack. Since then, our server has been blacklisted on several domains. Currently this affects the delivery of email to @hotmail and @live addresses.
+
  Begin        : 2020-04-13 14:00
 +
  End          : 2020-04-13 14:35
 +
  Affected      : Users Science mail
 +
 
 +
The new certificate of the Science mailserver hadn't yet been placed in the right place. The expiration of the old certificate caused a problem for Science mail users, that was resolved by replacing the old certificate.
 
[/en]
 
[/en]
  
 +
=== [Probleem met host van virtuele machines][Problems with a virtual host] ===
 +
<itemTags>medewerkers,studenten</itemTags>
 +
[nl]
 +
  Begin        : 2020-02-18 05:30
 +
  Eind          : 2020-02-18 09:08
 +
  Getroffen    : Gebruikers van mx3, smtp3, crestron, gitlab (PEP), goudsmit, msql01 and labservanttestvm
 +
 +
De virtuele host 'oscar' kon niet opstarten. Wederom waren kapotte LVM snapshots het probleem.
 +
[/nl]
 +
[en]
 +
  Begin        : 2020-02-18 05:30
 +
  End          : 2020-02-18 09:08
 +
  Affected      : Users of mx3, smtp3, crestron, gitlab (PEP), goudsmit, msql01 and labservanttestvm.
  
 +
The virtual machine host 'oscar' could not boot. Again, a broken LVM snapshot caused the problem.
 +
[/en]
  
 
<endFeed />
 
<endFeed />
  
 +
[nl]
 +
Gearchiveerde storingen zijn te vinden in het [[Storingen archief|storingsarchief]].
 +
[/nl]
 +
[en]
 +
Archived service interruptions can be found in the [[Storingen archief|service interruptions archive]].
 +
[/en]
  
 
[[Categorie:Storingen|Recente storingen]]
 
[[Categorie:Storingen|Recente storingen]]

Latest revision as of 12:53, 12 October 2021



Standard RU IT maintenance windows

The ISC announces the IT maintenance windows for the current academic year in time.

Report a problem

Use this form to report less urgent problems. For urgent problems, call 20000 (helpdesk).

Current Service Interruptions and Planned Maintenance

Windows 7 computers disabled in B-FAC domain

 Begin         : 2021-03-24
 End           : after upgrade to other OS
 Affected      : users of Windows 7 in the B-FAC domain

Because of security issues the last remaining Windows 7 machines wil be disabled, effective 24-03-2021, as member of the Active Directory Domain B-FAC. Please upgrade these computers to a more up-to-date OS. See also previous announcements on Windows 10 and the end of Windows 7.

EduroamCAT not working with Science accounts

 Begin         : 2019-02-28 00:00
 End           : ?
 Affected      : EduroamCAT users with Science accounts

EduroamCAT is the Eduroam Configuration Assistant Tool for many different devices. However, this hasn't (yet) been set up for the use of Science accounts (). C&CZ is looking for a solution. In the meantime Eduroam connections have to be configured manually (please consult www.ru.nl/wireless) or using the U/S/E number.

Recently Resolved Service Interruptions and Maintainance

To be quickly informed about service interruptions one can subscribe to the CPK mailinglist.

Server room network switch powerless

 Begin         : 2021-10-12 11:50
 End           : 2021-10-12 12:05
 Affected      : Users of one of the many servers behind this switch

Two modules of an important switch in the main C&CZ server room lost power during the preparation of planned maintenance. This disconnected ca. 75% of the servers in the room from the network. Moving the modules to new PDU's kimited the downtime to ca. 15 minutes.

License server problem

 Begin         : 2021-10-11 04:40
 End           : 2021-10-11 08:26
 Affected      : Users of one of the licenses of this server

An error in the management software prevented all license processes from starting correctly at the reboot of the license server. After fixing this error, all licenses were available again.

Fileserver 'flock' overloaded

 Begin         : 2021-09-17 14:30
 End           : 2021-09-17 15:30
 Affected      : Users of one of the 

Course software that had been tested caused an overload of the fileserver when it was used by 100 students. The performance of the fileserver was impaired for all users of network shares of this server.

VPN onbereikbaar

 Begin         : 2021-04-24
 End           : 2021-04-26 09:35
 Affected      : VPNsec users

A broken PDU has offlined a switch, which has caused the VPN server to be unreachable (and several other things, which don't affect users).

Central E-mail/Calendar disruption (exchange)

 Begin         : 2021-04-14    09:30
 Eind          : 2021-04-14    13:30
 Getroffen     : All users of Exchange (e-mail and calendar)

Due to an emergency maintenance, the central microsoft exchange server is unavailable for 4 hours. This may also affect systems that are dependent on exchange. E-mail and calendar functionality is expected to be restored when the maintenance is done around 13:30 Today.

Ceph problem

 Begin         : 2021-03-24 19:00
 End           : 2021-03-24 21:00
 Affected      : users with ceph based filesystems

During a routine upgrade of ceph, a bug in the latest version manifested itself and made the ceph manager unreachable. After aborting the upgrade and with help from the ceph-users mailinglist, everything became available again using a workaround.

Lilo7 restart

 Begin         : 2021-03-17 21:00
 End           : 2021-03-17 21:15
 Affected      : users of lilo

To change the network of lilo7, we need to reboot this loginserver. If you want a stable connection to a loginserver during this downtime, please use lilo6 or the soon to be taken down lilo5. For more info see the page on C&CZ loginservers.

Host of several virtual servers broken: Roundcube, websites and others

 Begin         : 2021-03-05 07:45
 End           : 2021-03-05 09:40
 Affected      : users of the virtual servers: Roundcube, websites with databases on this server, ...

Yesterday the SSD bootdisk of this VM host reported the first problems. This morning this had the effect of stopping all VMs running on this host. By moving the VMs to a different VM host, the problem has been solved. We will investigate how to best prevent this problem in the future or lessen its impact.

Lilo6 down

 Begin         : 2021-02-25 17:30
 End           : 2021-03-04 16:45
 Affected      : users of lilo

As of Thursday afternoon, the lilo6 is down due to hardware issues. Because lilo6 was the default linux login server (lilo referred to lilo6), this affected many users of lilo. The impact is limited, because we have alternative lilo's, namely lilo5 and lilo7. As of March 1st lilo now refers to lilo7, ssh will warn about DNS SPOOFING, which is due to the difference host keys for lilo7
ECDSA SHA256:si3g2elo5m6TShx3PjX0+vF50pZ8NK/iXz/ESB+ZeP0

Major RU network maintenance Saturday Feb. 27 08:00-20:00

 Begin         : 2021-02-27 08:00
 End           : 2021-02-27 20:00
 Affected      : users of the RU network or services

The ISC announced that Saturday February 27 08:00-20:00 major RU network maintenance work will be carried out. This will mean that all RU services will be unavailable several times for at most an hour. This concerns all RU services including those of FNWI/C&CZ: e-mail, VPN, wifi, BASS, OSIRIS, Brightspace, Syllabus+, Corsa, etc.

DNS problems from outside with ru.nl

 Begin         : 2021-02-21 07:10
 End           : 2021-02-23 14:30 (?)
 Affected      : everyone trying to access something in ru.nl from off-campus.

The central DNS servers for ru.nl for external requests had problems, because they received too many requests, which resulted in science.ru.nl and others not being found. DNS names within ru.nl then will not resolve to an IP address. We enlarged some TTLs (Time-To+lives) to try to lessen the problem. These small TTLs were meant to be able to move a service to a new server in case of problems, but now they just make the problem bigger. After starting VPN you won't notice this problem, because the internal DNS servers that you use then are not affected. Changes to the RU DNS servers hopefully lessened or removed the problems as of 2021-02-23 14:30.

DNS broken for subdomains of ru.nl

 Begin         : 2021-02-11 ~11:15
 End           : 2021-02-11 ~13:00
 Affected      : everyone trying to resolve *.science.ru.nl *.astro.ru.nl etc.

DNS-servers for ru.nl did not serve information about subdomains such as science.ru.nl. Thus no DNS-name will resolve to an IP address at FNWI. A workaround is to use as DNS servers: 131.174.224.4 en 8.8.8.8. If you try to connect to a service for the first time after ca 11:15, you'll get an error like: "No such domain" or "Cannot resolve". Restarting RU DNS servers at 12:45 may have fixed the problem. Without a real explanation, the problem went away after a few hours.

Gitlab upgrade

  Begin         : 2021-02-07  04:00
  End           : 2021-02-07  12:50
  Affected      : GitLab and Mattermost users

Services will not be available for a while because of a GitLab and Mattermost upgrade.

Science VPNsec disruption

 Begin         : 2021-02-03 13:00
 End           : 2021-02-03 14:02 (for Apple macOS/iOS last fix on February 10)
 Affected      : Users of Science VPN

The expiration date of the certificate of our VPNsec service was apparently not yet checked regularly. This made it possible for the certificate to expire. We put a new certificate into place within an hour. Of course we will check this certificate regularly from now on. For Apple/Mac we needed to construct a new mobileconfig, this took some time, because in the meantime RU had moved to a different Certificate Authority. For Apple macOS this was ready at the end of Feb. 4, with a new installation procedure. For Apple iOS (iPhone/iPad) the old profile has to be deleted and a new mobileconfig has to be installed.

DIY temporarily not usable

  Begin         : 2021-01-25 07:15
  End           : 2021-01-25 07:45
  Affected      : Users wanting to manage their science account

Due to a management operation (planned around this time), the DIY website was unusable. Since the time was very early, it's expected nobody was inconvenienced by this temporary unavailability.

Science smtp service temporarily not usable

  Begin         : 2021-01-22 10:00
  End           : 2021-01-22 10:30
  Affected      : Science mail users wanting to send mail

A configuration change unwantedly made the smtp service unusable. When we noticed this, it was repaired immediately.

Very long mail aliases temporarily not usable

  Begin         : 2021-01-21 15:52
  End           : 2021-01-22 09:55
  Affected      : Science mail aliases of more than 1024 characters

A configuration change had as unwanted effect the disappearance of all very long mail aliases. When this was reported next morning, it was repaired immediately.

Switch crash; gitlab+mattermost, licenses and DHZ

  Begin         : 2021-01-07 ~14:30
  End           : 2021-01-07 ~15:00
  Affected      : GitLab and Mattermost users, Licenses, DHZ (diy)

Due to a simple management command the switch (as-ak008-04) crasht and had to be reset manually. The switch sits between the network and servers for gitlab+mattermost, licenses and the database for DHZ(diy).

Gitlab upgrade

  Begin         : 2020-11-27  04:00
  End           : 2020-11-27 ~08:00
  Affected      : GitLab and Mattermost users (including PEP)

Services will not be available for a while because of a GitLab and Mattermost upgrade.

Eduroam problem on campus

 Begin         : 2020-07-10 evenng
 End           : 2020-07-10 evening
 Affected      : Eduroam users on campus

The ISC announced: For security reasons, the certificate of the wifi server will be replaced in the evening of Friday, July 10. This has consequences for connecting your mobile device to Eduroam when you’re on campus:

• If you get the message that you have to accept the new certificate to use eduroam, choose 'yes'. You can then use eduroam again;

• If you don't get this message and can't connect to Eduroam, choose the wireless network 'eduroam-config'. Accept the terms and conditions. Follow the instructions to reinstall Eduroam.

More information can also be found at www.ru.nl/ict-uk/eduroam (you will need an internet connection for this).

If you have any questions, please contact the ICT Helpdesk (024 - 36 22222).

RU mail erroneously in Spam folder

 Begin         : 2020-03-25 17:52
 End           : 2020-07-07 13:13
 Affected      : FNWI employees with Science mail

March 25, a rule "2020 Radboud Universiteit" was added to the Science spamfilter. Recently, this matched RU-central mailings. Therefore RU-wide mailings from e.g. the RU Board and Radboud Recharge have erroneously been delivered in the Spam folder of Science emplyees. The Science spamfilter tries to fight spam and phishing, this is partly manual work in which errors can't be excluded. C&CZ apologizes for the inconvenience this has caused.

Webserver 'havik' offline

 Begin         : 2020-06-18 15:45
 End           : 2020-06-18 16:25
 Affected      : Users of various websites.

Several parts have been replaced. We assume the problem, that occurred twice, is now resolved. For dual-boot pcs, the boot menu was served by an alternative method during the repair.

Science radius disruption

 Begin : 2020-06-17 11:11
 End   : 2020-06-17 11:56

Affected : Users of Science VPN and Eduroam based on science account

The certificate of the LDAP servers has been replaced this morning, this has also changed the certificate chain. The radius server uses LDAP as authentication backend and in the radius configuration the certificate chain had to be changed too. This was initially overlooked. Radius is the authentication mechanism used by all VPN servers and Eduroam

Webserver 'havik' offline

 Begin         : 2020-06-17 03:38
 End           : 2020-06-17 08:52
 Affected      : Users of dual boot PC's (the dual-boot menu is served by a website) and various websites.

The server went down in the same way as the previous time (3rd of June 2020). The cause is most likely a system board problem. This part will be replaced Tomorrow by a support engineer.

Webserver 'havik' offline

 Begin         : 2020-06-03 06:30
 End           : 2020-06-03 10:12
 Affected      : Users of dual boot PC's (the dual-boot menu is served

by a website) and various websites.

The server couldn't be reached after the scheduled weekly reboot, not even on its management interface. Because also C&CZ employees work from home and the interruption didn't get enough urgency fast enough, the interruption lasted too long, apologies for that. The support partner has been contacted and the server has been updated, but the origin of the problem is still unclear. We will also look at making these services more redundant or more easily movable to a different server.

CN00 Slurm master ubuntu 16.04 down

 Begin         : 2020-05-18 09:50
 End           : 2020-05-19 12:15
 Affected      : slurm on ubuntu 16.04 (cn07)

Due to a failed BIOS upgrade, the hardware of the database server appears to be bricked. We transfered the disks to another machine (cn00) and all database services are now up again, at the cost of not having cn00 running. When the hardware is working well again, we will swap it all back and restore the original situation.

Sperwer Database server storing

 Begin         : 2020-05-18 06:30
 End           : 2020-05-18-10:00
 Affected      : various websites and slurm

Due to a failed BIOS upgrade, the hardware of the database server appears to be bricked. We transfered the disks to another machine (cn00) and all database services are now up again, at the cost of not having cn00 running. When the hardware is working well again, we will swap it all back and restore the original situation.

Update May 19th, 12:15 : hardware fixed, situation back to the original state.

Science VPN disruption

 Begin         : 2020-05-06 05:00
 End           : 2020-05-06 08:00
 Affected      : Users of Science VPN

Unexplained crashes starting around 5am on the host system. System offline at around 6am. After a hard reset around 08:00, all seems to be all right again.

Science datacenter network problem

 Begin         : 2020-04-30 12:08
 End           : 2020-04-30 21:44
 Affected      : Users of Ceph storage and a few new compute clusternodes

A broken transceiver caused flapping af a 100 Gb/s connection between two C&CZ datacenters. Hours later the flapping increased, which took down the complete redundant new connection between the two server rooms. When this was noticed, a workarpound was found quickly by shutting down the interface with the broken transceiver. With this the connection was restored. De broken transceiver has been replaced thanks to a swift action from our supplier. Now we have these spare parts ready to use. We asked the supplier whether a configuration change will make the connection more redundant, that just one broken transceiver will not take down the connection.

Jitsi.science.ru.nl not working properly

 Begin         : 2020-04-19 15:00
 End           : 2020-04-20 11:40
 Affected      : Users of jitsi.science.ru.nl

Due to performance tuning having gone wrong the jitsi.science.ru.nl conference rooms cannot be joined by more than one person at the moment. Solved by reinstalling server.

Mailserver certificate problem

 Begin         : 2020-04-13 14:00
 End           : 2020-04-13 14:35
 Affected      : Users Science mail

The new certificate of the Science mailserver hadn't yet been placed in the right place. The expiration of the old certificate caused a problem for Science mail users, that was resolved by replacing the old certificate.

Problems with a virtual host

 Begin         : 2020-02-18 05:30
 End           : 2020-02-18 09:08
 Affected      : Users of mx3, smtp3, crestron, gitlab (PEP), goudsmit, msql01 and labservanttestvm.

The virtual machine host 'oscar' could not boot. Again, a broken LVM snapshot caused the problem.

Archived service interruptions can be found in the service interruptions archive.