WCG Auszeiten

[Dennis-TW]

Heute ist wirklich nicht Boincs Tag.

WCG hat momentan Störungen beim Down- und Upload und auch die Webseite und Forum laufen sehr träge.

Störung

Grüße,

Wir haben einen Ausfall, der dazu geführt hat, dass wir keine neuen Arbeiten mehr herausgeben oder abgeschlossene Arbeiten von den Freiwilligen zurückerhalten.

Wir entschuldigen uns für das Problem und arbeiten daran, den normalen Dienst so schnell wie möglich wiederherzustellen.

https://www.worldcommunitygrid.org/f...d_thread,43772

In dem Fall scheint es aber an WCG zu liegen und nicht am Zertifikatsfehler im Boinc Client

[Meiner Einer]

Wir haben das Kernproblem gelöst. Wir müssen jedoch einige Schritte ausführen, um das Dateisystem wieder in den normalen Betriebszustand zu versetzen. Die Ausführung dieser Befehle dauert einige Stunden. Während dieser Zeit können Sie keine neue Arbeit erhalten oder fertige Arbeiten zurückgeben.

Wir entschuldigen uns für die Unannehmlichkeiten und danken Ihnen für Ihre Unterstützung.

We have resolved the core issue. However, we need to run some steps to restore the filesystem to normal working order. These commands will take a few hours to complete. During this time you will not be able to obtain new work or return completed work.

We apologize for the inconvenience and thank you for your support.

https://www.worldcommunitygrid.org/f...d_thread,43772

[Dennis-TW]

Wir werden am Freitag, den 15. Oktober, ab 13:00 Uhr UTC ein wichtiges Betriebssystem-Update auf unseren Servern durchführen. Wir gehen davon aus, dass die Arbeiten etwa zwei Stunden dauern werden.

Während dieser Zeit können Freiwillige keine neuen Arbeiten hoch- oder herunterladen, und die Webseite wird nicht zugänglich sein.

Freiwillige müssen keine besonderen Maßnahmen ergreifen, da ihre Geräte nach Abschluss der Wartungsarbeiten automatisch wieder eine Verbindung herstellen.

Wir danken euch für eure Geduld und eure Teilnahme.

We will be applying an important operating system update to our servers on Friday, October 15, beginning at 13:00 UTC. We anticipate that the work will take approximately two hours.

During some of this time, volunteers will not be able to upload or download new work, and the website will not be accessible.

Volunteers will not need to take any particular action, as your devices will automatically retry their connections after the maintenance work is completed.

We appreciate your patience and participation.

https://www.worldcommunitygrid.org/a...?articleId=741

[Meiner Einer]

Geplante Wartung am Dienstag, 2. November

Wir ersetzen zwei ausgefallene Festplattenlaufwerke und führen einige Datenbankwartungsaktivitäten durch.

Veröffentlicht am: 28. Oktober 2021

Wir werden zwei ausgefallene Festplatten ersetzen und ab Dienstag, den 2. November um 12:30 UTC, einige Datenbankwartungsaktivitäten durchführen. Wir gehen davon aus, dass die Arbeiten etwa sechs Stunden dauern werden.

Während dieser Wartungsarbeiten führen wir zwei Aktivitäten durch:

Erstens sind in den letzten Wochen im Speicherdateisystem, das die auf World Community Grid verarbeiteten Daten speichert, zwei Festplatten ausgefallen, und diese Festplatten werden ersetzt.
Zweitens nähern sich die IDs für die Ergebnistabelle dem Maximalwert für ganze Zahlen mit Vorzeichen. Daher müssen wir diese IDs nach unten verschieben, damit die derzeit in der Datenbank vorhandene Mindest-ID wieder einen niedrigen Wert aufweist. Dadurch können wir die Bearbeitung einige Jahre wie gewohnt fortsetzen, bevor wir diesen Vorgang erneut durchführen müssen. Wir werden auch die IDs für die Arbeitseinheitentabelle verschieben.

Während des Wartungsfensters können Freiwillige keine Arbeit hochladen oder herunterladen und die Website ist nicht verfügbar.

Planned Maintenance on Tuesday, November 2

We are replacing two failed disk drives and performing some database maintenance activities.

Published on: 28 Oct 2021

We will be replacing two failed disk drives and perform some database maintenance activities beginning on Tuesday, November 2, at 12:30 UTC. We anticipate that the work will take approximately six hours.

During this maintenance, we will be performing two activities:

First, the storage filesystem that stores the data processed on World Community Grid has had two disks fail in the past weeks, and these disks will be replaced.
Second, the IDs for the result table are approaching the maximum value for signed integers. As a result, we will need to shift those IDs down so that the minimum ID currently in the database is back to a low value. This will allow us to continue processing as usual for a few years before having to perform this procedure again. We will also shift the IDs for the work unit table as well.

During the maintenance window, volunteers will not be able upload or download work and the website will be unavailable.

https://www.worldcommunitygrid.org/a...?articleId=744

[Meiner Einer]

Geplante Wartung am Mittwoch, 1. Dezember

Wir aktualisieren das Betriebssystem auf unseren Servern am Mittwoch, dem 1. Dezember, ab 15:30 UTC.

Veröffentlicht am: 29. November 2021

Wir werden am Mittwoch, dem 1. Dezember, ab 15:30 Uhr UTC ein wichtiges Betriebssystem-Update auf unseren Servern installieren. Wir gehen davon aus, dass die Arbeiten etwa zwei Stunden dauern werden.

Während dieser Zeit können Freiwillige keine neuen Arbeiten hochladen oder herunterladen und die Website ist nicht zugänglich.

Freiwillige müssen keine besonderen Maßnahmen ergreifen, da Ihre Geräte nach Abschluss der Wartungsarbeiten automatisch erneut versuchen, eine Verbindung herzustellen.

Wir danken Ihnen für Ihre Geduld und Ihre Teilnahme.

Planned Maintenance on Wednesday, December 1

We are updating the operating system on our servers on Wednesday, December 1st, beginning at 15:30 UTC.

Published on: 29 Nov 2021

We will be applying an important operating system update to our servers on Wednesday, December 1st, beginning at 15:30 UTC. We anticipate that the work will take approximately two hours.

During some of this time, volunteers will not be able to upload or download new work, and the website will not be accessible.

Volunteers will not need to take any particular action, as your devices will automatically retry their connections after the maintenance work is completed.

We appreciate your patience and participation.

https://www.worldcommunitygrid.org/a...?articleId=749

[Meiner Einer]

Geplante Wartung am Donnerstag, 13. Januar

Wir aktualisieren das Betriebssystem auf unseren Servern am Donnerstag, den 13. Januar, beginnend um 15:30 UTC.

Veröffentlicht am: 12. Januar 2022

Wir werden am Donnerstag, den 13. Januar, ab 15:30 Uhr UTC ein wichtiges Betriebssystem-Update auf unseren Servern installieren. Wir gehen davon aus, dass die Arbeiten ungefähr zwei Stunden dauern werden.

Während dieser Zeit können Freiwillige keine neuen Arbeiten hochladen oder herunterladen und die Website ist nicht zugänglich.

Freiwillige müssen keine besonderen Maßnahmen ergreifen, da Ihre Geräte nach Abschluss der Wartungsarbeiten automatisch erneut versuchen, eine Verbindung herzustellen.

Wir danken Ihnen für Ihre Geduld und Ihre Teilnahme.

Planned Maintenance on Thursday, January 13

We are updating the operating system on our servers on Thursday, January 13th, beginning at 15:30 UTC.

Published on: 12 Jan 2022

We will be applying an important operating system update to our servers on Thursday, January 13th, beginning at 15:30 UTC. We anticipate that the work will take approximately two hours.

During some of this time, volunteers will not be able to upload or download new work, and the website will not be accessible.

Volunteers will not need to take any particular action, as your devices will automatically retry their connections after the maintenance work is completed.

We appreciate your patience and participation.

https://www.worldcommunitygrid.org/a...?articleId=754

[pschoefer]

Wie Igor Jurisica beim Workshop erwähnte, hat ein defekter Speichercontroller das Projekt für den Moment lahmgelegt.

[pschoefer]

Nach dem Ausfall zu Monatsbeginn sind inzwischen die Webseite und das Projektforum zumindest die meiste Zeit wieder erreichbar. Bis auch die BOINC-Dienste wieder laufen, dauert es noch ein wenig.

Neues zur Wiederherstellung der Hardware
Die Webseite wurde neu gestartet und wir arbeiten daran, die wissenschaftliche Datenbank wiederherzustellen, damit BOINC bald wieder gestartet werden kann.
---
Kurze Geschichte

Am 1. März erlitten wir einen Festplattenausfall, der die Kommunikation zwischen unseren wissenschaftlichen und BOINC-Dateisystemen verhinderte und auch die Webseite und das Forum mitriss. Zunächst sah es nach einem Ausfall eines RAID-Controllers aus. Aus einer eigentlich routinemäßigen Fehlerbehebung wurde jedoch ein längeres Unterfangen, nachdem wir feststellten, dass das Problem deutlich ernster war. Es stellte sich heraus, dass der PCI-Bus ausgefallen ist, weshalb wir alle unsere Festplatten in ein anderes Speichersystem umziehen und die RAID-Konfiguration wiederherstellen mussten. Glücklicherweise konnte Sharcnet ein identisches, älteres Speichersystem finden, das wir zur Wiederherstellung verwenden konnten.

Das Rechenzentrum konnte all unsere Festplatten in ein Reservesystem einbauen und den Wiederherstellungsprozess einleiten. Zwar konnte die Integrität der Daten bestätigt werden, aber wir konnten das System nicht booten; wir mussten dafür sorgen, dass die Systemfestplatten im neuen Server funktionieren.

Neustart der Webseite

Am 13. März konnten wir endlich die Datenbanken hinter Webseite und Forum neu starten. Die anfängliche Leistung sowie die Verfügbarkeit und Funktionalität insgesamt bleiben begrenzt wegen der anhaltenden Wiederherstellungsmaßnahmen und Sicherungen. Zwar können die Statistiken nicht aktualisiert werden, bis wir BOINC wieder vollständig starten und bereits bearbeitete WUs herunterladen können - es geht aber keine Arbeit verloren und es werden alle Punkte vergeben, da wir die Zeit zum Zurückmelden der Ergebnisse verlängern werden.

Wir sind enorm dankbar für uns entgegengebrachte positive Einstellung während dieser Vorgänge.

Wir haben Neuigkeiten zu ARP, SCC und MCM vorbereitet und warten damit nur bis zur vollständigen Wiederherstellung nach unserem Speicherausfall.

Falls ihr Kommentare oder Fragen habt, hinterlasst diese bitte in diesem Thread (engl.). Danke für eure Unterstützung, eure Geduld und euer Verständnis.

Das WCG-Team
14.03.2023

Originaltext:

Hardware Recovery Update
The website has been restarted and we are working on rebuilding the science database so BOINC can restart soon.
---
Brief history

On March 1st, we suffered a disk failure that prevented communication between our science and BOINC filesystems, and brought down the website and forum as well. Initially, it looked like a RAID controller failure. What should have been a routine fix turned into a lengthier endeavor when we realized the issue was much more severe. It turns out the PCI bus failed, meaning we needed to move all of our disks to an alternate storage system, and rebuild the RAID configuration. Fortunately, Sharcnet was able to locate an identical, older storage system that we could use during the recovery.

The data center was able to put all of our disks into a spare system and the rebuilding process began. While the data integrity was confirmed, we could not boot the system; we needed to fix the system disks to work in the new server.

Website restart

On March 13, finally, we managed to restart the website/forum databases. Initial performance and overall availability/functionality remains limited due to continued storage recovery efforts and backup. While the stats cannot be updated until we fully restart BOINC and download already processed WUs - no work will be lost, and all credit will be given, as we will extend the time for returning results.

We are immensely grateful for the positivity that we received during the process.

We have ARP, SCC, MCM updates in the pipeline - just waiting for the full recovery from our storage failure.

If you have any comments or questions, please leave them in this thread for us to answer. Thank you for your support, patience and understanding.

WCG team
14 Mar 2023

[roundup]

Hier die Übersetzungen für ein Update aus dem WCG-Forum von gestern, 24. März:

Ein kurzes Update: Das Dateisystem /science wurde von der Recovery Storage Unit auf den neuen Speicher verlegt. Seit letzter Nacht, nach 3 Stunden, zeigt der neue Speicher /science filesystem 1.4TB an. Unter der Annahme einer solchen durchschnittlichen Datentransferrate wird es etwa 74 Stunden dauern. Wir hoffen, dass wir in der Lage sein werden, BOINC von dem neuen Speicher neu zu starten und den Ausfall endlich hinter uns zu lassen. Wir werden Sie auf dem Laufenden halten.

Mit freundlichen Grüßen
igor

[...]

In der Tat - der erste Teil wäre nicht, neue WUs zu starten, sondern die bestehende Arbeit herunterzuladen. Hoffentlich kommt es bei der Synchronisierung zwischen den Datenbanken nicht zu unvorhergesehenen Abhängigkeiten.

Was die Hilfe angeht - die Logistik ist schwierig, da wir von einem anderen Rechenzentrum aus arbeiten - und natürlich können wir nicht einer breiten Gruppe Zugang gewähren. Aber sobald das System wieder läuft, gibt es Dinge, die wir auf unserer Seite planen, und andere mit der breiteren Gemeinschaft. Kurz gesagt, wir müssen das Backend vereinfachen. Im Moment haben wir oft mehrere Fehlerpunkte, anstatt robust zu sein. Aber wenn wir erst einmal so weit sind, wollen wir Hackathons veranstalten. Das kann bei der Optimierung des Codes, den wir auf dem Netz laufen lassen, wesentlich helfen und neue Projekte hervorbringen. Bis jetzt ist nVidia daran interessiert, dies weiter zu diskutieren, denn unser Plan ist es, mehr GPU-Projekte einzubringen. Aber natürlich muss das Backend vorher aufgerüstet werden, denn die Spitzenleistung während des GPU-Stresstests im Jahr 2021 lag bei 16 PFLOPS.

Vielen Dank an alle für Ihre Unterstützung

Igor

Quellen der Originalpostings:
https://www.worldcommunitygrid.org/f...ad?post=683387
https://www.worldcommunitygrid.org/f...ad?post=683391