WCG Auszeiten

[Dennis-TW]

Heute ist wirklich nicht Boincs Tag.

WCG hat momentan Störungen beim Down- und Upload und auch die Webseite und Forum laufen sehr träge.

Störung

Grüße,

Wir haben einen Ausfall, der dazu geführt hat, dass wir keine neuen Arbeiten mehr herausgeben oder abgeschlossene Arbeiten von den Freiwilligen zurückerhalten.

Wir entschuldigen uns für das Problem und arbeiten daran, den normalen Dienst so schnell wie möglich wiederherzustellen.

https://www.worldcommunitygrid.org/f...d_thread,43772

In dem Fall scheint es aber an WCG zu liegen und nicht am Zertifikatsfehler im Boinc Client

[Meiner Einer]

Wir haben das Kernproblem gelöst. Wir müssen jedoch einige Schritte ausführen, um das Dateisystem wieder in den normalen Betriebszustand zu versetzen. Die Ausführung dieser Befehle dauert einige Stunden. Während dieser Zeit können Sie keine neue Arbeit erhalten oder fertige Arbeiten zurückgeben.

Wir entschuldigen uns für die Unannehmlichkeiten und danken Ihnen für Ihre Unterstützung.

We have resolved the core issue. However, we need to run some steps to restore the filesystem to normal working order. These commands will take a few hours to complete. During this time you will not be able to obtain new work or return completed work.

We apologize for the inconvenience and thank you for your support.

https://www.worldcommunitygrid.org/f...d_thread,43772

[Dennis-TW]

Wir werden am Freitag, den 15. Oktober, ab 13:00 Uhr UTC ein wichtiges Betriebssystem-Update auf unseren Servern durchführen. Wir gehen davon aus, dass die Arbeiten etwa zwei Stunden dauern werden.

Während dieser Zeit können Freiwillige keine neuen Arbeiten hoch- oder herunterladen, und die Webseite wird nicht zugänglich sein.

Freiwillige müssen keine besonderen Maßnahmen ergreifen, da ihre Geräte nach Abschluss der Wartungsarbeiten automatisch wieder eine Verbindung herstellen.

Wir danken euch für eure Geduld und eure Teilnahme.

We will be applying an important operating system update to our servers on Friday, October 15, beginning at 13:00 UTC. We anticipate that the work will take approximately two hours.

During some of this time, volunteers will not be able to upload or download new work, and the website will not be accessible.

Volunteers will not need to take any particular action, as your devices will automatically retry their connections after the maintenance work is completed.

We appreciate your patience and participation.

https://www.worldcommunitygrid.org/a...?articleId=741

[Meiner Einer]

Geplante Wartung am Dienstag, 2. November

Wir ersetzen zwei ausgefallene Festplattenlaufwerke und führen einige Datenbankwartungsaktivitäten durch.

Veröffentlicht am: 28. Oktober 2021

Wir werden zwei ausgefallene Festplatten ersetzen und ab Dienstag, den 2. November um 12:30 UTC, einige Datenbankwartungsaktivitäten durchführen. Wir gehen davon aus, dass die Arbeiten etwa sechs Stunden dauern werden.

Während dieser Wartungsarbeiten führen wir zwei Aktivitäten durch:

Erstens sind in den letzten Wochen im Speicherdateisystem, das die auf World Community Grid verarbeiteten Daten speichert, zwei Festplatten ausgefallen, und diese Festplatten werden ersetzt.
Zweitens nähern sich die IDs für die Ergebnistabelle dem Maximalwert für ganze Zahlen mit Vorzeichen. Daher müssen wir diese IDs nach unten verschieben, damit die derzeit in der Datenbank vorhandene Mindest-ID wieder einen niedrigen Wert aufweist. Dadurch können wir die Bearbeitung einige Jahre wie gewohnt fortsetzen, bevor wir diesen Vorgang erneut durchführen müssen. Wir werden auch die IDs für die Arbeitseinheitentabelle verschieben.

Während des Wartungsfensters können Freiwillige keine Arbeit hochladen oder herunterladen und die Website ist nicht verfügbar.

Planned Maintenance on Tuesday, November 2

We are replacing two failed disk drives and performing some database maintenance activities.

Published on: 28 Oct 2021

We will be replacing two failed disk drives and perform some database maintenance activities beginning on Tuesday, November 2, at 12:30 UTC. We anticipate that the work will take approximately six hours.

During this maintenance, we will be performing two activities:

First, the storage filesystem that stores the data processed on World Community Grid has had two disks fail in the past weeks, and these disks will be replaced.
Second, the IDs for the result table are approaching the maximum value for signed integers. As a result, we will need to shift those IDs down so that the minimum ID currently in the database is back to a low value. This will allow us to continue processing as usual for a few years before having to perform this procedure again. We will also shift the IDs for the work unit table as well.

During the maintenance window, volunteers will not be able upload or download work and the website will be unavailable.

https://www.worldcommunitygrid.org/a...?articleId=744

[Meiner Einer]

Geplante Wartung am Mittwoch, 1. Dezember

Wir aktualisieren das Betriebssystem auf unseren Servern am Mittwoch, dem 1. Dezember, ab 15:30 UTC.

Veröffentlicht am: 29. November 2021

Wir werden am Mittwoch, dem 1. Dezember, ab 15:30 Uhr UTC ein wichtiges Betriebssystem-Update auf unseren Servern installieren. Wir gehen davon aus, dass die Arbeiten etwa zwei Stunden dauern werden.

Während dieser Zeit können Freiwillige keine neuen Arbeiten hochladen oder herunterladen und die Website ist nicht zugänglich.

Freiwillige müssen keine besonderen Maßnahmen ergreifen, da Ihre Geräte nach Abschluss der Wartungsarbeiten automatisch erneut versuchen, eine Verbindung herzustellen.

Wir danken Ihnen für Ihre Geduld und Ihre Teilnahme.

Planned Maintenance on Wednesday, December 1

We are updating the operating system on our servers on Wednesday, December 1st, beginning at 15:30 UTC.

Published on: 29 Nov 2021

We will be applying an important operating system update to our servers on Wednesday, December 1st, beginning at 15:30 UTC. We anticipate that the work will take approximately two hours.

During some of this time, volunteers will not be able to upload or download new work, and the website will not be accessible.

Volunteers will not need to take any particular action, as your devices will automatically retry their connections after the maintenance work is completed.

We appreciate your patience and participation.

https://www.worldcommunitygrid.org/a...?articleId=749

[Meiner Einer]

Geplante Wartung am Donnerstag, 13. Januar

Wir aktualisieren das Betriebssystem auf unseren Servern am Donnerstag, den 13. Januar, beginnend um 15:30 UTC.

Veröffentlicht am: 12. Januar 2022

Wir werden am Donnerstag, den 13. Januar, ab 15:30 Uhr UTC ein wichtiges Betriebssystem-Update auf unseren Servern installieren. Wir gehen davon aus, dass die Arbeiten ungefähr zwei Stunden dauern werden.

Während dieser Zeit können Freiwillige keine neuen Arbeiten hochladen oder herunterladen und die Website ist nicht zugänglich.

Freiwillige müssen keine besonderen Maßnahmen ergreifen, da Ihre Geräte nach Abschluss der Wartungsarbeiten automatisch erneut versuchen, eine Verbindung herzustellen.

Wir danken Ihnen für Ihre Geduld und Ihre Teilnahme.

Planned Maintenance on Thursday, January 13

We are updating the operating system on our servers on Thursday, January 13th, beginning at 15:30 UTC.

Published on: 12 Jan 2022

We will be applying an important operating system update to our servers on Thursday, January 13th, beginning at 15:30 UTC. We anticipate that the work will take approximately two hours.

During some of this time, volunteers will not be able to upload or download new work, and the website will not be accessible.

Volunteers will not need to take any particular action, as your devices will automatically retry their connections after the maintenance work is completed.

We appreciate your patience and participation.

https://www.worldcommunitygrid.org/a...?articleId=754

[pschoefer]

Wie Igor Jurisica beim Workshop erwähnte, hat ein defekter Speichercontroller das Projekt für den Moment lahmgelegt.

[pschoefer]

Nach dem Ausfall zu Monatsbeginn sind inzwischen die Webseite und das Projektforum zumindest die meiste Zeit wieder erreichbar. Bis auch die BOINC-Dienste wieder laufen, dauert es noch ein wenig.

Neues zur Wiederherstellung der Hardware
Die Webseite wurde neu gestartet und wir arbeiten daran, die wissenschaftliche Datenbank wiederherzustellen, damit BOINC bald wieder gestartet werden kann.
---
Kurze Geschichte

Am 1. März erlitten wir einen Festplattenausfall, der die Kommunikation zwischen unseren wissenschaftlichen und BOINC-Dateisystemen verhinderte und auch die Webseite und das Forum mitriss. Zunächst sah es nach einem Ausfall eines RAID-Controllers aus. Aus einer eigentlich routinemäßigen Fehlerbehebung wurde jedoch ein längeres Unterfangen, nachdem wir feststellten, dass das Problem deutlich ernster war. Es stellte sich heraus, dass der PCI-Bus ausgefallen ist, weshalb wir alle unsere Festplatten in ein anderes Speichersystem umziehen und die RAID-Konfiguration wiederherstellen mussten. Glücklicherweise konnte Sharcnet ein identisches, älteres Speichersystem finden, das wir zur Wiederherstellung verwenden konnten.

Das Rechenzentrum konnte all unsere Festplatten in ein Reservesystem einbauen und den Wiederherstellungsprozess einleiten. Zwar konnte die Integrität der Daten bestätigt werden, aber wir konnten das System nicht booten; wir mussten dafür sorgen, dass die Systemfestplatten im neuen Server funktionieren.

Neustart der Webseite

Am 13. März konnten wir endlich die Datenbanken hinter Webseite und Forum neu starten. Die anfängliche Leistung sowie die Verfügbarkeit und Funktionalität insgesamt bleiben begrenzt wegen der anhaltenden Wiederherstellungsmaßnahmen und Sicherungen. Zwar können die Statistiken nicht aktualisiert werden, bis wir BOINC wieder vollständig starten und bereits bearbeitete WUs herunterladen können - es geht aber keine Arbeit verloren und es werden alle Punkte vergeben, da wir die Zeit zum Zurückmelden der Ergebnisse verlängern werden.

Wir sind enorm dankbar für uns entgegengebrachte positive Einstellung während dieser Vorgänge.

Wir haben Neuigkeiten zu ARP, SCC und MCM vorbereitet und warten damit nur bis zur vollständigen Wiederherstellung nach unserem Speicherausfall.

Falls ihr Kommentare oder Fragen habt, hinterlasst diese bitte in diesem Thread (engl.). Danke für eure Unterstützung, eure Geduld und euer Verständnis.

Das WCG-Team
14.03.2023

Originaltext:

Hardware Recovery Update
The website has been restarted and we are working on rebuilding the science database so BOINC can restart soon.
---
Brief history

On March 1st, we suffered a disk failure that prevented communication between our science and BOINC filesystems, and brought down the website and forum as well. Initially, it looked like a RAID controller failure. What should have been a routine fix turned into a lengthier endeavor when we realized the issue was much more severe. It turns out the PCI bus failed, meaning we needed to move all of our disks to an alternate storage system, and rebuild the RAID configuration. Fortunately, Sharcnet was able to locate an identical, older storage system that we could use during the recovery.

The data center was able to put all of our disks into a spare system and the rebuilding process began. While the data integrity was confirmed, we could not boot the system; we needed to fix the system disks to work in the new server.

Website restart

On March 13, finally, we managed to restart the website/forum databases. Initial performance and overall availability/functionality remains limited due to continued storage recovery efforts and backup. While the stats cannot be updated until we fully restart BOINC and download already processed WUs - no work will be lost, and all credit will be given, as we will extend the time for returning results.

We are immensely grateful for the positivity that we received during the process.

We have ARP, SCC, MCM updates in the pipeline - just waiting for the full recovery from our storage failure.

If you have any comments or questions, please leave them in this thread for us to answer. Thank you for your support, patience and understanding.

WCG team
14 Mar 2023

[roundup]

Hier die Übersetzungen für ein Update aus dem WCG-Forum von gestern, 24. März:

Ein kurzes Update: Das Dateisystem /science wurde von der Recovery Storage Unit auf den neuen Speicher verlegt. Seit letzter Nacht, nach 3 Stunden, zeigt der neue Speicher /science filesystem 1.4TB an. Unter der Annahme einer solchen durchschnittlichen Datentransferrate wird es etwa 74 Stunden dauern. Wir hoffen, dass wir in der Lage sein werden, BOINC von dem neuen Speicher neu zu starten und den Ausfall endlich hinter uns zu lassen. Wir werden Sie auf dem Laufenden halten.

Mit freundlichen Grüßen
igor

[...]

In der Tat - der erste Teil wäre nicht, neue WUs zu starten, sondern die bestehende Arbeit herunterzuladen. Hoffentlich kommt es bei der Synchronisierung zwischen den Datenbanken nicht zu unvorhergesehenen Abhängigkeiten.

Was die Hilfe angeht - die Logistik ist schwierig, da wir von einem anderen Rechenzentrum aus arbeiten - und natürlich können wir nicht einer breiten Gruppe Zugang gewähren. Aber sobald das System wieder läuft, gibt es Dinge, die wir auf unserer Seite planen, und andere mit der breiteren Gemeinschaft. Kurz gesagt, wir müssen das Backend vereinfachen. Im Moment haben wir oft mehrere Fehlerpunkte, anstatt robust zu sein. Aber wenn wir erst einmal so weit sind, wollen wir Hackathons veranstalten. Das kann bei der Optimierung des Codes, den wir auf dem Netz laufen lassen, wesentlich helfen und neue Projekte hervorbringen. Bis jetzt ist nVidia daran interessiert, dies weiter zu diskutieren, denn unser Plan ist es, mehr GPU-Projekte einzubringen. Aber natürlich muss das Backend vorher aufgerüstet werden, denn die Spitzenleistung während des GPU-Stresstests im Jahr 2021 lag bei 16 PFLOPS.

Vielen Dank an alle für Ihre Unterstützung

Igor

Quellen der Originalpostings:
https://www.worldcommunitygrid.org/f...ad?post=683387
https://www.worldcommunitygrid.org/f...ad?post=683391

[PoHeDa]

es wird

WCG team

March 27, 2023 update

Data transfer to new storage system
We have started transferring all data from the recovery storage unit to our new storage system on Friday. Based on the current rate of transfer, we expect to have all data transferred/verified later this week. We will then download all processed WUs, after which we can resume sending work units to volunteers. We plan to start with MCM and OPN/OPNG; followed by ARP and then the new SCC work units.

In the meantime, we have confirmed that our daily database backups for BOINC and for the website/forums are working. The databases have been recovered and transferred to the new, faster storage already. Incremental backup to tape archive has been implemented on the new storage.

[PoHeDa]

Daumendrück dat bald wieder losgeht
die Uploads sind bei mir erledigt. Schauen wir mal.

March 31, 2023 update

Data transfer update & maintenance check
Earlier in the week, we ran into HDD failures while transferring the data from recovery storage to the new storage system. The issue has since been resolved and we have resumed transferring data, expecting to finish it by 5pm today. At 4pm, we will be conducting a brief maintenance on the website and forums to transfer the DB2 filesystems to our new storage system, which will result in restricted access to the website for up to 30 minutes. If all goes well, this could be the final step towards the full storage system upgrade.

We evaluated the possibility of starting download of processed WUs, while not sending new WUs out. It was determined that the risk of complications that might result from doing this with incomplete information available to our scheduler and BOINC or any other unforeseen issues is too high. We have extended the deadlines for workunits that were processed and await upload to WCG.

While we wait for the data transfer to finish, we are working on resolving other long standing issues such as device recognition.

[roundup]

Es ist alles hochgemeldet und es gibt ein paar neue WUs.
Mal abwarten, wie stabil das ganze schon ist....

[roundup]

Und hier die Übersetzung zur Meldung des Neustarts aus dem WCG-Forum:
Originalartikel: https://www.worldcommunitygrid.org/a...?articleId=784

BOINC-System-Neustart

Der Prozess zur Wiederherstellung des Speichers ist abgeschlossen und wir haben die Berechnungen auf dem neuen Speichersystem wieder aufgenommen.

Veröffentlicht am: 3 Apr 2023

Hintergrund

Am 1. März kam es zu einem schwerwiegenden Ausfall des Netzwerk-Dateisystems (weitere Einzelheiten finden Sie in unserem ersten Artikel über die Wiederherstellung der Hardware und in unserem Thread zum Folge-Update). Das Rechenzentrum war in der Lage, ein alternatives System zu finden und uns zu leihen, das unsere RAID-Schlüssel erkennen konnte, nachdem wir die Festplatten aus dem ausgefallenen System ausgetauscht hatten. Nachdem wir das RAID auf dem Ausweichspeichersystem wiederhergestellt und den Zustand aller Datenbanken und Dateien zum Zeitpunkt des Ausfalls wiederhergestellt hatten, übertrugen wir alle Daten auf ein neues Speichersystem mit besserer Leistung, da wir schnelle SSD-Festplatten anstelle der Spinning-Disk-Festplatten im alten System verwendeten.

BOINC-System wurde neu gestartet

Am 31. März wurden alle Daten auf das neue System übertragen, und wir haben damit begonnen, das Netzwerk-Dateisystem von unserem neuen Speichersystem aus zu betreiben, das eine wesentlich bessere Leistung bietet.

Wir haben die Timeouts für die Fertigstellung von WUs angepasst, und am 2. April haben wir BOINC neu gestartet - wir empfangen verarbeitete WUs und stellen OPN1- und MCM-Workunits zur Verarbeitung bereit. Neue SCC-Workunits werden in Kürze verschickt.

Jetzt, da BOINC wieder funktioniert, werden wir uns wieder um die Behebung der Probleme kümmern, die wir in unserer umfassenden Problemliste aufgeführt haben. Wie immer bitten wir diejenigen, die Fehler zu melden haben, diese hier mitzuteilen, anstatt neue Threads zu erstellen. Wir überwachen das System noch immer, aber im besten Fall werden wir in der Lage sein, alle diese Probleme zu lösen und den kompletten Neustart der WCG vorzubereiten.

Aktive Projektaktualisierungen

Während der Wiederherstellung des Speichersystems haben wir Forschungs-Updates von den Teams ARP, MCM und SCC veröffentlicht. In Kürze werden wir weitere Neuigkeiten vom SCC-Team veröffentlichen. Das HSTB-Team hat weiterhin eine wissenschaftliche Pause eingelegt.

Wenn Sie Kommentare oder Fragen haben, hinterlassen Sie diese bitte in diesem Thread, damit wir sie beantworten können. Wir danken Ihnen für Ihre Unterstützung, Ihre Geduld und Ihr Verständnis.

WCG-Team

[Felix_M_]

Es ist alles hochgemeldet und es gibt ein paar neue WUs.
Mal abwarten, wie stabil das ganze schon ist....

Also bei mir hängen aktuell zwei Uploads, einmal OPNG und einmal MCM, Versuch 7 bzw 4

[aendgraend]

Auch wenn ich es ungern sage, aber WCG ist leider ein echtes Ausfall- und Glückprojekt geworden seit dem Umzug.

[Uwe-Bergstedt]

seit IBM das Projekt weggegeben hat geht nichts mehr ohne Probleme.
An welche Hohlbirnen haben sie es eigentlich verscherbelt

29.04.2023 18:36:07 | World Community Grid | Temporarily failed upload of OPNG_0186672_00111_0_r568602946_1: transient HTTP error
29.04.2023 18:36:07 | World Community Grid | Backing off 00:02:54 on upload of OPNG_0186672_00111_0_r568602946_1
29.04.2023 18:36:07 | World Community Grid | Started upload of OPNG_0186672_00155_0_r1938850939_0
29.04.2023 18:36:11 | World Community Grid | Temporarily failed upload of OPNG_0186672_00155_0_r1938850939_0: transient HTTP error
29.04.2023 18:36:11 | World Community Grid | Backing off 00:02:09 on upload of OPNG_0186672_00155_0_r1938850939_0

so geht es schon den ganzen Tag.

Für mich gibt es keinen vernümftigen Grund mehr die Penner zu unterstützen

[pschoefer]

Genau wegen dieser immer wieder auftretenden Upload-Probleme fand ich die Ansage, dass man nun wieder vom Test- und den Normalbetrieb umschalten wolle, äußerst gewagt. Deshalb kann ich Ärger darüber durchaus nachvollziehen. Zwei Anmerkungen:

1. Der Grund für die Übergabe von IBM an Krembil wurde meiner Erinnerung nach nicht klar benannt, dieser Beitrag von Igor Jurisica deutet aber an, dass IBM praktisch den Stecker gezogen hat und der Weiterbetrieb durch seine Arbeitsgruppe die einzige Alternative zur kompletten Abschaltung des Projekts war. Auch wenn ich aus gewissen Gründen sehr gerne vollkommen stabil laufende Projekte sehe, halte ich einen Weiterbetrieb mit Einschränkungen für sinnvoller als den Abbruch von einigen teilweise recht weit fortgeschrittenen Subprojekten. Nur ist die Kommunikation etwas unglücklich; zwar würden einige Teilnehmer sicherlich immer die früher bessere Stabilität unter IBM als Maßstab heranziehen, aber nun groß die Wiederaufnahme des Produktivbetriebs anzukündigen und wieder verstärkt um Rechenzeitspenden zu werben, ist vielleicht nicht unbedingt klug, wenn die Infrastruktur bereits ausgelastet ist. Wenn die Probleme offensiver benannt würden (und vielleicht sogar darauf hingewiesen würde, dass man mit BOINC auch die Möglichkeit hat, parallel oder im Problemfall automatisch andere Projekte zu unterstützen), wären womöglich auch die Erwartungen realistischer.
   
   
2. Beschimpfungen mögen sich in solchen Fällen vielleicht kurzfristig als Ventil hilfreich anfühlen, tragen aber nicht gerade zu einer gesunden Diskussionskultur bei.

[AxelS]

Also ich hatte gerade einige hängengebliebenen Uploads gehabt. Mit 1 bis 2 mal Anschubsen waren die Uploads durch.

Kein Grund zum Mekern.

[Uwe-Bergstedt]

Genau wegen dieser immer wieder auftretenden Upload-Probleme fand ich die Ansage, dass man nun wieder vom Test- und den Normalbetrieb umschalten wolle, äußerst gewagt. Deshalb kann ich Ärger darüber durchaus nachvollziehen. Zwei Anmerkungen:

1. Der Grund für die Übergabe von IBM an Krembil wurde meiner Erinnerung nach nicht klar benannt, dieser Beitrag von Igor Jurisica deutet aber an, dass IBM praktisch den Stecker gezogen hat und der Weiterbetrieb durch seine Arbeitsgruppe die einzige Alternative zur kompletten Abschaltung des Projekts war. Auch wenn ich aus gewissen Gründen sehr gerne vollkommen stabil laufende Projekte sehe, halte ich einen Weiterbetrieb mit Einschränkungen für sinnvoller als den Abbruch von einigen teilweise recht weit fortgeschrittenen Subprojekten. Nur ist die Kommunikation etwas unglücklich; zwar würden einige Teilnehmer sicherlich immer die früher bessere Stabilität unter IBM als Maßstab heranziehen, aber nun groß die Wiederaufnahme des Produktivbetriebs anzukündigen und wieder verstärkt um Rechenzeitspenden zu werben, ist vielleicht nicht unbedingt klug, wenn die Infrastruktur bereits ausgelastet ist. Wenn die Probleme offensiver benannt würden (und vielleicht sogar darauf hingewiesen würde, dass man mit BOINC auch die Möglichkeit hat, parallel oder im Problemfall automatisch andere Projekte zu unterstützen), wären womöglich auch die Erwartungen realistischer.
   
   
2. Beschimpfungen mögen sich in solchen Fällen vielleicht kurzfristig als Ventil hilfreich anfühlen, tragen aber nicht gerade zu einer gesunden Diskussionskultur bei.

Entschuldigung für die Beschimpfungen
Aber für mich ist WCG mit das mit Abstand wichtigste Projekt ever und es ärgert mich zutiefst wie damit umgegangen wird --sorry--

[Rainer Baumeister]

Ich sehe bei WCG im Allgemeinen auch als mein wichtigstes Projekt, aber wie heißt es so schön:

Et kütt wie et kütt

Alle anderen sind außerhalb des Pentathlon auf 0%, einzig WCG ist auf x-Tage eingestellt.
Gruß Rainer

[Felix_M_]

Meine Erfahrung aus den letzten Monaten lässt sich recht kurz zusammen fassen:

- Die Verteilung von Arbeit wird regelmäßiger
- Die Up-/Downloadprobleme werden seltener
- Noch ist nicht wirklich von einem stabilen Betrieb zu reden

Alles in allem seh ich Fortschritte in die richtige Richtung, und denke, dass sich das in den nächsten Wochen auch voll erledigt.