PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : MLC@Home



pschoefer
18.07.2020, 09:46
Das noch recht neue Projekt MLC@Home wird nun offiziell vom CORAL-Lab der University of Maryland unterstützt:

MLC@Home und CORAL
Spannende Neuigkeiten!

MLC@Home ist jetzt ein Projekt des Labors für Kognition, Robotik und Lernen (engl. Cognition, Robotics, and Learning, CORAL (https://coral-lab.umbc.edu/)) an der University of Maryland in Baltimore County (UMBC).

Das hat einige Vorteile, nicht zuletzt Raum im Labor zum Betrieb von Hardware, neue Ideen für auszuführende Forschung und einen Platz zur Zusammenarbeit mit anderen Forschern, die womöglich nicht Teil der BOINC-Gemeinschaft sind. Vor allem ist die Unterstützung eines Forschungslabors einer Universität eine Rückversicherung für euch, unsere Freiwilligen, dass dieses Projekt sowohl wissenschaftlichen Nutzen als auch einen Zweck über einen einzelnen Forscher und dessen Ziele hinaus hat. In den nächsten Tagen werde ich unsere Webseite aktualisieren, um die neue Affiliation widerzuspiegeln.

Wie gewohnt könnt ihr weitere Einzelheiten zur aktuellen Forschung auf unserer Hauptseite (https://www.mlcathome.org) finden oder uns unterstützen, indem ihr eure BOINC-Clients mit dieser Adresse anmeldet: https://www.mlcathome.org/mlcathome/
18.07.2020, 3:53:29 MEZ

Originaltext:

MLC@Home and CORAL
Exciting news!

MLC@Home is now a project of the The Cognition, Robotics, and Learning (CORAL (https://coral-lab.umbc.edu/)) lab at the University of Maryland, Baltimore County (UMBC).

This brings many benefits, not the least of which is lab space to run equipment, new ideas for research to conduct, and a place to collaborate with other researchers who may not be members of the BOINC community. Most importantly, being backed by a university research lab provides some assurance to you, our volunteers, that this project has both academic merit and a purpose beyond a single researcher and their goals. Over the next few days I'll be updating our website to reflect the new affiliation.

As always, please see our main website, https://www.mlcathome.org for details on the current research, or join us by attaching your BOINC client to this URL: https://www.mlcathome.org/mlcathome/
18 Jul 2020, 2:53:29 UTC

JayPi
18.07.2020, 12:25
Schön und gut, wenn das Projekt gefördert wird. Bei mir läuft es dennoch nicht. Alles ist up to date und "fuse" habe ich installiert. ContOS7 hört anscheinend bei GLIBC_2.17 auf, vom Projekt verlangt wird GLIBC_2.18 :(

AxelS
18.07.2020, 14:31
Was verlangt unter CentOS die Bibliothek GLIBC_2.18?

JayPi
18.07.2020, 15:10
Dies zeigt der Fehlerreport meiner letzten WU (https://www.mlcathome.org/mlcathome/result.php?resultid=449548):

<stderr_txt>
../../projects/www.mlcathome.org_mlcathome/mlds_0.920_x86_64-pc-linux-gnu: /lib64/libc.so.6: version `GLIBC_2.18' not found (required by /tmp/.mount_mlds_03iDNEu/usr/bin/../lib/libstdc++.so.6)
</stderr_txt>

- - - Aktualisiert - - -

Zeige ich die installierte Version an:

Installed Packages
glibc.i686 2.17-307.el7.1 @base
glibc.x86_64 2.17-307.el7.1 @anaconda

AxelS
18.07.2020, 18:22
Das von Dir verwendete CentOS 7 ist veraltet, wie man in den Angaben Deines Rechners (799) (https://www.mlcathome.org/mlcathome/show_host_detail.php?hostid=799) sehen kann. Das Blöde dabei ist, die verwendete GLIBC_2.17 ist fester Bestandteil des Linux-Kernels von CentOS 7.

Dass dies so ist bin ich durch eine Recherche im Netz auf diesen Thread (https://forums.centos.org/viewtopic.php?t=71740) gestossen. Schade halt.

Vor einem Jahr habe ich auf einem meiner Rechner auch CentOS gehabt. Nach ca. 8 Wochen habe ich das BS gelöscht und bin zurück zu LinuxMint gewechselt.
Muß nach einem Jahr gestehen, meine Entscheidung war richtig und habe es bis jetzt nicht bereut.

Offensichtlich bringt LinuxMint alles mit, was man braucht. Jediglich MLC@Home musste ich im BOINC hinzufügen, alles andere lief sofort problemlos.

Wenn Du CentOS verwenden willst, dann versuche es mit der neuen Version (CentOS 8) welches im letztem Jahr, im September 2019 ge-released wurde.
Dieses beinhaltet glibc_2.28

Nur meine 5 cent :)

JayPi
18.07.2020, 21:25
Danke für Deinen Hinweis mit dem Artikel aus dem CentOS Forum! Die Version 8 hatte ich schon probiert, es gab aber noch zu viele Kinderkrankheiten. Vielleicht teste ich die Version 8 Ende August nochmal neu auf einem Rechner.

JayPi
19.07.2020, 19:29
Einen Rechner hatte ich bereits mit CentOS 8 laufen, dort ist die WU jetzt erfolgreich gestartet.

- - - Aktualisiert - - -

Unter Windows muss das Visual C++ Redistributable Package für Visual Studio 2015 in 64 bit installiert werden.

- - - Aktualisiert - - -

Jetzt habe ich auch gelesen, dass CentOS 7 ausdrücklich nicht supportet ist: siehe Artikel (https://www.mlcathome.org/mlcathome/forum_thread.php?id=16#77)

- - - Aktualisiert - - -

Inzwischen erreichen mich die ersten Credits. Leider kann ich nur auf ein paar Rechnern das Projekt laufen lassen.

KidDoesCrunch
19.07.2020, 21:18
Hallo JayPi, herzlichen Willkommen bei MLC@HOME, die ersten 15.000 Credits bei Free-DC zu sehen.

JayPi
23.08.2020, 09:16
Da es wohl auch bei anderen Teilnehmern große Probleme mit kaputten Windows WUs gibt, ist der Entwickler an der Arbeit. Die Versionen der Applikation wechseln aktuell im Stundentakt.

KidDoesCrunch
23.08.2020, 10:22
Ja, ich habe jetzt schon ein paar Versionen durch :-) Wenn das noch lange so weitergeht wechsel ich wohl,

KidDoesCrunch
25.08.2020, 12:10
So 10.000.000 erreicht

JayPi
25.08.2020, 13:04
So 10.000.000 erreicht

Herzlichen Glückwunsch ... ich folge Dir demnächst ...

KidDoesCrunch
25.08.2020, 20:16
Folgen ist OK! :D

Dumme Aussage!

Für das Projekt ist es unerheblich wer wem folgt. Aus Projektsicht ist es lediglich erheblich was wir als Team leisten. FULL STOP. Sorry, manchmal geht es einfach mit mir durch :-(

DerLetzteGermane
16.11.2020, 06:45
MLC@Home unterstützt jetzt auch GPU

Ich habe gerade auch zwei durchgerechnet ohne Fehler.

- - - Aktualisiert - - -

Na ja besonders effizient läuft es noch nicht. Mit einer WU ist mein Cuda nur bei 70% und mit zwei bei 92%.
Dafür werden aber auch je 1 CPU Kern und 2Gb RAM pro WU benötigt.

- - - Aktualisiert - - -


<app_config>
<app>
<name>mlds-gpu</name>
<gpu_versions>
<gpu_usage>0.5</gpu_usage>
<cpu_usage>0.49</cpu_usage>
</gpu_versions>
</app>
</app_config>

No_Name
01.12.2020, 15:02
Meine 1650 wird nur zu 20 % ausgelastet, hat noch jemand diese Probleme?

pschoefer
01.12.2020, 15:54
Das ist dann doch sehr niedrig, gerade für eine eher kleinere GPU. Hilft es evtl., einen CPU-Kern freizuhalten?

lugu
01.12.2020, 15:57
Meine GPU ist zu 0% ausgelastet, weil die 7 CPU-WUs zu viel RAM fressen... :D

No_Name
01.12.2020, 16:19
Das ist dann doch sehr niedrig, gerade für eine eher kleinere GPU. Hilft es evtl., einen CPU-Kern freizuhalten?

Ohne CPU WUs komme ich auf 15% Auslastung mit einer WU, bei zweien sind es 30 %. Mehr als 3 WUs bekomme ich nicht in den VRAM.
Treiber ist aktuell.

Edit: Mit 3 WUs bin ich schon bei 40 % Auslastung :D

nexiagsi16v
02.12.2020, 09:48
Wie sind die Laufzeiten deiner GPU WUs?

DerLetzteGermane
02.12.2020, 14:59
pro WU ca. 35min bei zwei gleichzeitig GPU und je ein CPU kern.

Dann habe ich auch eine Auslastung der GPU von 94%. Aber es werden auch zwei CPU kerne voll belastet und je 2GB RAM benötigt.

KidDoesCrunch
02.12.2020, 15:18
Meine 1080TI will absolut nicht mit MLC@HOME. Auslastung 0 %. Woran kann es liegen?

JayPi
02.12.2020, 16:53
Soviel ich weiss, müssen Linuxer noch fuse installieren ;)

taurec
02.12.2020, 17:00
Soviel ich weiss, müssen Linuxer noch fuse installieren ;)

Hm, also ich musste nichts zusätzlich installieren - Mint 19.3

AxelS
02.12.2020, 17:24
Warum soll ein Dateisystem im Userspace beim NVIDIA-Treiber Problem helfen? fuse ist ein Filesystem welches User ohne admin-Rechte mounten und nutzen dürfen...

Mir fällt aber was anderes auf: Die App für die GPU ist unter Linux ja dynamisch verlinkt. Bei meinen Linux-Kisten fehlen da noch einige librarys.
Meine GTX1660Ti wird aber zu 50% ausgelastet.



root@xxxxx:~# ldd ~boinc/projects/www.mlcathome.org_mlcathome/mlds-gpu_9.80_x86_64-pc-linux-gnu__cuda10200
linux-vdso.so.1 (0x00007ffd3ab97000)
libc10.so => not found
libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007fda0ab91000)
libsz.so.2 => not found
libz.so.1 => /lib/x86_64-linux-gnu/libz.so.1 (0x00007fda0ab75000)
libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007fda0ab6f000)
libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007fda0aa20000)
libtorch_cpu.so => not found
libtorch_cuda.so => not found
libtorch.so => not found
libgomp.so.1 => /usr/lib/x86_64-linux-gnu/libgomp.so.1 (0x00007fda0a9dc000)
libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fda0a7ea000)
/lib64/ld-linux-x86-64.so.2 (0x00007fda0b394000)
root@xxxxx:~#

taurec
02.12.2020, 18:01
so ungefähr sieht das bei mir auch aus auf den ersten Blick:
linux-vdso.so.1 (0x00007ffef29d2000)
libc10.so => not found
libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007f63c4167000)
libsz.so.2 => not found
libz.so.1 => /lib/x86_64-linux-gnu/libz.so.1 (0x00007f63c3f4a000)
libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007f63c3d46000)
libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007f63c39a8000)
libtorch_cpu.so => not found
libtorch_cuda.so => not found
libtorch.so => not found
libgomp.so.1 => /usr/lib/x86_64-linux-gnu/libgomp.so.1 (0x00007f63c3779000)
libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f63c3388000)
/lib64/ld-linux-x86-64.so.2 (0x00007f63c4b47000)

KidDoesCrunch
02.12.2020, 18:38
Also ich bin auf Windows 2012 Server mit GTX 1080 TI. Collatz, Priomegrid usw, läuft alles ohne Prob, MLC läuft 3 bis 5 min ohne GPU Zeit zu belasten und kackt dann ab.

<core_client_version>7.16.5</core_client_version>
<![CDATA[
<message>
(unknown error) - exit code -1073741511 (0xc0000139)</message>
]]>

- - - Aktualisiert - - -

vermutlich fehlen irgendwelche DLL's, aber welche?

No_Name
02.12.2020, 19:15
Aktuellen Treiber drauf?

KidDoesCrunch
02.12.2020, 19:23
Ja, 457.30 . Läuft mit den 2080 und 2080 Super ohne Probleme. Auch die VC Runtimes sind drauf. Außer dem Fehler 139 gibts auch keine Info was es sein könnte.

KidDoesCrunch
02.12.2020, 19:36
Collatz geht auch noicht mehr. Hmm. OK. Ende. Die Karte macht jetzt Einstein.

KidDoesCrunch
02.12.2020, 20:18
Ja, 457,51 habe ich. Das mit 457,30 war nur was in meinem Kopf :D.

nexiagsi16v
07.12.2020, 14:42
So, ich hab mal bissel rechnen lassen und folgendes kam dabei raus:

i3 8300 @3,7GHz 4WUs gleichzeitig mit Mint 19.3: Machine Learning Dataset Generator v9.61 x86_64-pc-linux-gnu
ParityModified 1GB RAM 37min 260P
ParityMachine 1GB RAM 37min 260P
EightBitModified 1GB RAM 37min 260P
rand_automata 0,5GB RAM 2h16min 959P

Ryzen 3600 @4GHz 6 WUs gleichzeitig mit Win 10: Machine Learning Dataset Generator v9.61 windows_x86_64
ParityModified 0,6GB RAM 56min 260P
ParityMachine 0,6GB RAM 56min 260P
EightBitModified 0,6GB RAM 56min 260P
rand_automata 0,2GB 3h50min 959P

Ryzen 3600 @4GHz 6 WUs gleichzeitig Mint 19.3: Machine Learning Dataset Generator v9.61 x86_64-pc-linux-gnu
ParityModified 1GB RAM 34min 260P
ParityMachine 1GB RAM 34min 260P
EightBitModified 1GB RAM 34min 260P
rand_automata 0,5GB RAM 2,1h 959P

Vorallem bei Ryzen (ist genau der selbe Rechner, nur mit anderem Betriebssystem) sieht man, das Linux hier erste wahl ist. Wahrscheinlich kommt der Geschwindigkeitsvorteil von der höheren RAM-Nutzung?
Was mir aufgefallen ist, Ryzen mit Linux gab es keinen Checkpoint. Hatte bei 60% den Rechner aus gemacht und nach dem wieder Einschalten, fingen sie bei 0% an und liefen mit normaler Laufzeit bis zum Ende. Evtl. liegt es auch an Boinc 7.9.3 und nicht an MLC...

GPUs kann ich nicht testen, da ich keine habe die bei MLC läuft. Evtl. ergeben sich da auch Vorteile für das ein oder andere Betriebssystem. SMT an/aus müßte ich beim Ryzen auch noch mal antesten...

Urs
19.12.2020, 14:34
Ich habe eine neue Art von GPU-Wu "entdeckt".

Üblich: 1,561.49 1,487.30 2,080.00 Machine Learning Dataset Generator (GPU) v9.75 (cuda10200)
windows_x86_64

Anders: 3,152.79 2,973.19 4,160.00 Machine Learning Dataset Generator (GPU) v9.75 (cuda10200)
windows_x86_64

Urs
26.12.2020, 18:48
Weiss jemand wofür "Maximale Anzahl CPUs" steht?

Ich kann mehr wus laden als ich k/t habe (einstellung 1) . Wenn ich das verstelle und neu lade passiert nix.

Felix_M_
01.01.2021, 15:53
Weiss jemand wofür "Maximale Anzahl CPUs" steht?

Ich kann mehr wus laden als ich k/t habe (einstellung 1) . Wenn ich das verstelle und neu lade passiert nix.

Normalerweise wird dies verwendet, um einzuschränken, wieviele CPU-Cores vom Projekt verwendet werden dürfen.
Beispiel: Du hast 12 Cores, Boinc darf 10 davon verwenden, hast Rosetta und MLC laufen, MLC 4 Cpus.
Also lässt MLC auf maximal 4 Cores Wus laufen, Rosetta kann dann auf den anderen laufen lassen.
Leider ist die Umsetzung Boincseitig etwas blöd, es kann auch vorkommen, dass Rosetta dann z.b alle Cores verwendet, allerdings deutet das "Maximale" auch schon darauf hin.
Sinnvoll ist dies vorallem, wenn ein Projekt Wus mit viel Rambedarf hat. dann kannst du eben entsprechend viele Cores einstellen, dass dein Ram nicht voll wird, und ein anderes Projekt kann sich dann die restlichen Cores krallen.

KidDoesCrunch
24.03.2021, 09:42
Mal wieder Probleme mit MLC. Die WU laufen endlos. Zum Beispiel die WU (https://www.mlcathome.org/mlcathome/result.php?resultid=4350747) nach 2 tagen abgebrochen. Keine Idee woran es liegen könnte.

JayPi
24.03.2021, 10:09
Bei einem älteren Windows-Rechner hatte ich ähnliche Probleme. Die WUs brechen ab, laufen aber dennoch mit 0% CPU weiter. Den Rechner habe ich hier erstmal raus genommen.

KidDoesCrunch
28.03.2021, 11:26
Die MLC GPU's mit NVIDIA Treiber 461.09 hängen nach wenigen Minuten mit GPU=0%. Egal ob Boinc 7.16.11 oder 7.14.2. Mit NVIDIA 457.51 und auch 457.30 ist alles in Ordnung, sowohl auf 7.14.2 als auch 7.16.11.
Demnächst mal schauen ob es einen neueren Treiber als 461.09 gibt und ob der dann funktioniert. Kommt Zeit, kommt Rat. ;)

pschoefer
28.03.2021, 12:07
Ich habe noch eine Version dazwischen (461.72) und damit keine echten Probleme mit einer GTX 1070 Ti. Auslastung mit zwei WUs parallel und jeweils einem reservierten CPU-Kern ziemlich konstant bei knapp über 70%, da bekomme ich auch mit mehr WUs nicht mehr heraus. Festhängende WUs hatte ich noch nicht, einige WUs werden allerdings ungültig; eine ähnliche Ausschussquote sehe ich aber auch bei anderen GPUs unter den Top-Rechnern.

KidDoesCrunch
28.03.2021, 12:11
Die 460.79 hängt ebenfalls.

- - - Aktualisiert - - -

Hallo Patrick, für die nächste Maschine nehme ich dann mal die 461.72. Vielleicht schaffe ich das heute Nachmittag.

JayPi
28.03.2021, 14:11
Mein Rückenwind hat schon kräftig zugenommen :cool: Mal sehen, ob daraus ein Sturm wird :D

KidDoesCrunch
28.03.2021, 18:13
@Patrick. 461.92 ist die aktuellste, die scheint auch zu funktionieren.

@JayPi. Rückenwind? Eigentlich wollte ich Dich wegblasen. :D. Ich arbeite noch daran.

JayPi
28.03.2021, 21:31
"Wer Wind sät, wird Sturm ernten": Das kommt unserem Team nur gut :thumbup:

KidDoesCrunch
28.03.2021, 22:05
:D :zustimm:

KidDoesCrunch
29.03.2021, 14:51
Alle Maschinen auf Volldampf bei MLC. Bis auf zwei Grakas.
Eine NVIDIA GeForce GTX 1080 (4095MB) driver: 461.92 OpenCL: 1.2 im Intel(R) Core(TM) i7-6700K CPU @ 4.00GHz [Family 6 Model 94 Stepping 3] unter Windows 10 Enterprise x64 Edition
Aufgabe (https://www.mlcathome.org/mlcathome/result.php?resultid=4403399)

Eine NVIDIA GeForce GTX 1080 Ti (4095MB) driver: 461.92 OpenCL: 1.2 im Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz [Family 6 Model 45 Stepping 6] unter Microsoft Windows Server 2012 R2
Aufgabe (https://www.mlcathome.org/mlcathome/result.php?resultid=4394467)

In beiden Fällen fehlt wohl irgendeine DLL, leider sagt das System nicht welche? Alle VC Runtimes sind installiert.


@JayPi. Naja, wird wohl nur ein laues Lüftchen bleiben, so wie es im Moment aussieht. In 24 Stunden sehe ich dann das Ergebnis.

KidDoesCrunch
29.03.2021, 17:55
Hallo Uwe, Danke, das ist schon berücksichtigt. :-)

pschoefer
30.03.2021, 11:06
Bei meinen alternden Grafikkarten erzeugen vor allem die Lüfter Wind, aber ich habe noch eine zweite davon hier zugeschaltet. :cool:

KidDoesCrunch
31.03.2021, 10:18
12 Fehler? Bei 299 Gültigen! Und da machst Du gleich ein Fass auf? :D Stell Dich mal nicht so an.

- - - Aktualisiert - - -

Status: Alle (73434) · In Bearbeitung (263) · Überprüfung ausstehend (0) · Überprüfung ohne Ergebnis (0) · Gültig (68186) · Ungültig (800) · Fehler (4185)

KidDoesCrunch
31.03.2021, 10:24
:D :D

pschoefer
03.04.2021, 19:22
Nichtsdestotrotz sind wir nun auf #1 angelangt. :cool:

nexiagsi16v
03.04.2021, 20:12
Aber die hohe Fehlerquote ist schon eine Hausnummer. Wenn die nach ein paar Sekunden abbrechen, okay, aber einige laufen auch voll durch. Zum Glück nur die kurzen WUs die unter 1h normal brauchen. Die lange die bei mir 2,5h laufen, sind wohl recht stabil.
Ich hab 500 Gültige und 6/7 Ungültige/Fehler. Also nur 13 insgesamt....gut 2,5%....bei Kid sind es ja über 7%...:rolleyes:

Aber wird sind mit mächtig Speed auf Platz 1 gesprungen...

JayPi
03.04.2021, 21:13
Nachdem ich mich zwischendurch recht alleine fühlte, weht nun vom ganzen Team hinter mir ein kräftiger Sturm, sodass wir über die 1 hinweg geflogen sind. Gratulation :cool::thumbup:

KidDoesCrunch
03.04.2021, 22:26
7% Fehlerquote ist schon schräg. Aber #1 ist Geil :D

Felix_M_
12.04.2021, 20:34
jetzt noch den platz halten und nicht wie bei den adneren Projekten nachlassen sgaktiv

KidDoesCrunch
12.04.2021, 22:12
Musste gerade mal nach PG, komme aber in 45 Stunden wieder. :-)

Freezing
12.04.2021, 22:18
Komme ebenfalls nach PG zurück ;)

JayPi
18.04.2021, 21:42
Sorry - zu PG wechsele ich zurzeit nicht, ich halte hier die Stellung. so wird unser Abstand nach hinten schneller aufgebaut. Aktuell befinden wir uns ca. 20% vor dem Team auf Platz 2.
Durch die steigenden Temperaturen werden wohl bald ein paar Rechner bei mir in den "Lockdown" laufen, die Raumtemperatur darf nicht zu hoch werden.

KidDoesCrunch
19.04.2021, 07:46
Ich bin schon bei 39° Raumtemperatur angekommen. :D Tendenz schwach steigend.

walli
19.04.2021, 19:35
Uff, da hast du ja schon mehr Spaß in den Backen, als ich es von unserem pschoeferchen kenne ;). Respekt! Ich hoffe, du musst in dem Raum nicht auch "leben"... ;)

KidDoesCrunch
19.04.2021, 19:49
Neee, in dem Büro müssen nur die Rechner ackern. Ich selbst arbeite beim Kunden bie wohltemperierten 21°. :D

JayPi
20.04.2021, 22:36
4.000.000 Output nur Heute! Da sind aber einige von uns unterwegs ... vom Rollator bis zum Flugzeug ist alles dabei :) :cool: :thumbup:

KidDoesCrunch
21.04.2021, 07:46
Sogar Kinder spielen mit. LG Kid :D

JayPi
23.04.2021, 19:22
Inzwischen habe ich den 2. Platz in der Weltrangliste erreicht :)
Bin mal gespannt wie lange noch, denn hinter mir weht wieder ein kräftiger Wind :D

KidDoesCrunch
23.04.2021, 20:53
Flaut schon wieder ab.

pschoefer
25.04.2021, 08:08
In der dieswöchigen Zusammenfassung konnte MLC@Home gleich über mehrere Höhepunkte berichten. Nicht nur wurden das Projekt und die ersten Ergebnisse beim BOINC Workshop vorgestellt, sondern es wurde auch ein erster Artikel über die Ergebnisse veröffentlicht. Darin wird der bisherige Datensatz vorgestellt und die Gewichte der erzeugten neuronalen Netze untersucht.

[TWIM Notes] 22. April 2021
This Week in MLC@Home
Notizen vom 22. April 2021
Eine wöchentliche Zusammenfassung von Neuigkeiten und Notizen zu MLC@Home

Zusammenfassung
Das waren einige ereignisreiche Wochen für MLC@Home!

Am 14.04.2021 wurde beim BOINC Workshop 2021 ein Vortrag über MLC gehalten. Die Folien sind hier (https://www.mlcathome.org/analysis/mlcathome-boinc-workshop-2021-presentation.pdf) (engl.) verfügbar. Das Video des Vortrags wird in Kürze auf Youtube (https://www.youtube.com/channel/UC1YM32SpdGnb1S5b5gUJPyQ) eingestellt. Am 21.04.2021 haben wir am zweiten Tag des Workshops an einer Diskussionsrunde über künstliche Intelligenz (KI) und maschinelles Lernen (ML) mit Hilfe von BOINC teilgenommen. Videos davon sollten ebenfalls in Kürze veröffentlicht werden. Es wurde sowohl klar, dass es großes Interesse daran gibt, BOINC für KI/ML zu verwenden, als auch, dass MLC dabei an der Spitze steht.

Darüber hinaus hat MLC@Home heute den ersten Fachartikel über den von unseren Freiwilligen berechneten MLDS-Datensatz veröffentlicht!

MLDS: A Dataset for Weight-Space Analysis of Neural Networks (https://arxiv.org/abs/2104.10555) (engl.; MLDS: ein Datensatz für die Untersuchung neuronaler Netze im Gewichtsraum)

In diesem Artikel zeigen wir eine bedeutsame Ballung von mit denselben Daten trainierten Netzwerken im Gewichtsraum. Wie in jeder guten Wissenschaft führen diese vorläufigen Ergebnisse zu genauso vielen neuen Fragen wie Antworten.

Unterm Strich sind viele große Dinge für die Zukunft von MLC im Gange, während wir die Arbeit am vierten Datensatz (DS4) fortsetzen. Nochmals vielen Dank für die Unterstützung für MLC, die ihr gezeigt habt, und wir hoffen, auch in Zukunft eure Unterstützung zu verdienen.

Weitere Neuigkeiten

Viel großartiger Fortschritt bei DS3, wir sind zu 75% fertig. Es ist schön, etwas Grün auf der Anzeigetafel zu sehen.
Wir haben damit begonnen, einige Programmiersessions live auf dem Discord-Server zu übertragen, während wir an der DS4-Unterstützung arbeiten.
Zur Erinnerung: die MLC-Anwendung ist quelloffen und hat eine Liste offener Probleme auf gitlab (https://gitlab.com/mlcathome/mlds). Falls ihr Programmierer oder Datenwissenschaftler seid und helfen möchtet, seid ihr eingeladen, einen Blick auf die Probleme zu werfen und Änderungsvorschläge einzureichen.


Momentaufnahme des Projektstatus:
(diese Zahlen sind Näherungen)

https://www.mlcathome.org/status/project-summary-2021-04-22.png

https://www.mlcathome.org/status/mlds-live-status-2021-04-22.png

Letzte Ausgabe der TWIM Notes: 08.04.2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=189) (engl.)

Nochmals vielen Dank allen unseren Freiwilligen!

-- Der/die MLC@Home-Admin(s)
Homepage: https://www.mlcathome.org/
Einladung zu Discord: https://discord.gg/BdE4PGpX2y
Twitter: @MLCHome2 (https://twitter.com/mlchome2)
22.04.2021, 6:45:00 MEZ

Originaltext:

[TWIM Notes] Apr 22 2021
This Week in MLC@Home
Notes for Apr 22 2021
A weekly summary of news and notes for MLC@Home

Summary
It's been a very busy few weeks for MLC@Home!

On 4/14/2021, MLC presented at the 2021 BOINC Workshop. The slides are available here (https://www.mlcathome.org/analysis/mlcathome-boinc-workshop-2021-presentation.pdf). The video of the presentation will be posted to youtube (https://www.youtube.com/channel/UC1YM32SpdGnb1S5b5gUJPyQ) shortly. On 4/21/2021, we participated on in day 2 of the workshop as a member of a panel on doing AI/ML using BOINC. Videos of that should be posted shortly as well. It was clear that there's both a lot of interest in using BOINC for AI/ML, and it is also clear MLC is at the forefront of that interest.

More importantly, MLC@Home released today the first paper based on the MLDS dataset computed by our volunteers!

MLDS: A Dataset for Weight-Space Analysis of Neural Networks (https://arxiv.org/abs/2104.10555)

In this paper, we show meaningful clustering in weight space for networks that are trained on the same data. Like any good science, these preliminary findings trigger just as many new questions as it provides answers.

All in all, as we continue to work on DS4, there's a lot of big things afoot for the future of MLC. Thanks again for the support you have shown MLC, and we hope to continue to earn your support as we move forward.

Other News

Lots of great progress on DS3, we're 75% complete. It's nice to see some green showing up on the scoreboard.
We've started live streaming some coding sessions on the discord server as we work on DS4 support.
Reminder: the MLC client is open source, and has an issues list at gitlab (https://gitlab.com/mlcathome/mlds). If you're a programmer or data scientist and want to help, feel free to look over the issues and submit a pull request.


Project status snapshot:
(note these numbers are approximations)

[img]

[img]

Last week's TWIM Notes: Apr 8 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=189)

Thanks again to all our volunteers!

-- The MLC@Home Admins(s)
Homepage: https://www.mlcathome.org/
Discord invite: https://discord.gg/BdE4PGpX2y
Twitter: @MLCHome2 (https://twitter.com/mlchome2)
22 Apr 2021, 5:45:00 UTC

MarceloBordon
12.05.2021, 06:36
Hat MLC Checkpoint?
Bin gerade mal am Testen. Über CPU sollen die Laufzeiten 6:48 Std. betragen.

JayPi
01.06.2021, 16:27
Jetzt bin ich auf Platz 3 gerückt. Habe nicht damit gerechnet, dass ich bis zu meinem Ziel vor KidDoesCrunch bleibe. Aber jetzt habe ich Dich ziehen lassen :x)

KidDoesCrunch
02.06.2021, 05:39
Hallo JayPi, ich habe alles gegeben :-) Mehr ging nicht. Mein Ziel sind 500.000 Stunden für MLC(CPU) und 50.000 Stunden für MLC(GPU) bei WuPROP. Daher bleib ich noch was drauf.

pschoefer
10.07.2021, 22:29
In der letzten Woche wurde MLC@Home ein Jahr alt. Zu diesem Anlass seien die (inzwischen monatlich erscheinenden) Notizen des Projektadministrators übersetzt, die eine Zusammenfassung des bisher Erreichten und der Pläne für das nächste Jahr beinhalten:

[TMIM Notes] 1. Juli 2021 --- einjähriges Jubiläum von MLC@Home!
This Month in MLC@Home
Notizen vom 1. Juli 2021
Eine monatliche Zusammenfassung von Neuigkeiten und Notizen zu MLC@Home

Zusammenfassung
Alles Gute zum ersten Geburtstag, MLC@Home! Dieses Projekt startete am 1. Juli 2020 und hat in der BOINC-Gemeinschaft schnell Fuß gefasst. Wir haben uns auf unser Ziel konzentriert, nämlich die Black Box der neuronalen Netzwerke aufzubrechen, um zu erklären, warum sie Entscheidungen so treffen, wie sie es tun. Das ist so wichtig, weil maschinelles Lernen mehr und mehr in unseren Alltag vordringt; von autonomen Autos über Entscheidungen von Banken bis zu medizinischen Diagnosen. Wir müssen forschen, um zu verstehen, wie wir Verzerrungen aus diesen Systemen heraushalten.

Wir sind auch das erste und bisher einzige öffentliche BOINC-Projekt mit Fokus auf maschinelles Lernen (ML). Das bedeutet, dass wir zwar BOINC zur Aufgabenverwaltung nutzen konnten, aber das meiste der ML-Anwendungsinfrastruktur von Grund auf aufbauen müssen. Das lief nicht immer glatt, aber wir haben dennoch viel im letzten Jahr erreicht.

Im letzten Jahr haben wir:
Unterstützung von mehr als 2500 Freiwilligen mit mehr als 9200 Rechnern erhalten
über 3,4 Millionen BOINC-WUs bearbeitet
über 1,1 Millionen neuronale Netzwerke zur Analyse dreier verschiedener Datensätze trainiert, welche die größten Datensätze ihrer Art sind
mehr als 4,3 TB Daten zur Auswertung erzeugt
einen Fachartikel veröffentlicht (weitere folgen...)
beim BOINC Workshop 2021 vorgetragen
47 Anwendungsversionen für drei verschiedene CPU- und zwei GPU-Architekturen sowie mehrere Versionen von Windows und Linux veröffentlicht
innerhalb der ersten paar Monate die Kapazitäten des ursprünglichen Servers überschritten!


Ich bin überwältigt von unserer Gemeinschaft und dem, was wir gemeinsam erreicht haben. Wir haben schon gezeigt, dass mit denselben Daten trainierte Netzwerke im Gewichtsraum eine Ballung zeigen, trotz der Zufälligkeit beim Trainieren neuronaler Netzwerke. Wir haben auch gezeigt, dass wir diese Ballungen nutzen können, um Netzwerke zu finden, die mit vergifteten statt sauberen Daten trainiert wurden; eine wichtige Entdeckung in diesem Forschungsgebiet.

Aber es gibt noch soo viel mehr zu tun! Daher lasst uns, während wir anerkennen und feiern wollen, was wir bisher gemeinsam erreicht haben, auch nach vorne schauen und einige lose Ziele für das nächste Jahr bei MLC@Home setzen:


MLDS wird kurzfristig weitergehen!
Der vierte Datensatz (DS4) ist (fast) fertig und erweitert den Datensatz um gefaltete neuronale Netzwerktypen (engl. Convolutional Neural Network, CNN) zusätzlich zu rückgekoppelten neuronalen Netzwerken (engl. Recurrent Neural Network, RNN), die in DS1-3 verwendet werden. DS5 wird wahrscheinlich leicht die Form und Größe jedes Netzwerks variieren, um zu sehen, ob es auch zu Ballungen kommt, wenn die Form variiert. Zukünftige MLDS-Arbeit über DS5 hinaus steht noch nicht fest, aber wir gehen davon aus, dass es viele DS4/DS5-WUs für viele Monate geben wird. Wir planen, den Artikel im nächsten Monat mit den neuesten Durchläufen zu aktualisieren.


Wir möchten über MLDS hinaus expandieren!
Wir sind das erste Projekt, das ML in BOINC-Größenordnung durchführt. Wir möchten auch andere Forschungsbereiche unterstützen und uns festlegen, mindestens ein weiteres ML-Projekt innerhalb des nächsten Jahres ans Netz zu bringen. Bitte kontaktiert uns, wenn ihr eine Forscherin seid, die daran interessiert ist, mit der Plattform zu arbeiten!


Wir müssen die technische Seite des Projekts verbessern
Von der Unterstützung von AMD-GPUs und macOS über Optimierung der Auslastung von Grafikkarten bis zu einem besseren Validierungsvorgang für die WUs gibt es eine lange Liste technischer Angelegenheiten, an denen wir arbeiten möchten, dies aber in den letzten drei Monaten nicht effektiv getan haben. Wir stoßen auch auf einige seltene Probleme der BOINC-Software, die schwer zu umschiffen sind. Falls ihr Entwickler seid und helfen möchtet, würden wir die Unterstützung sehr begrüßen.


Wir möchten unsere Reichweite verbessern
Um mehr Leute zur Teilnahme zu bewegen, möchten wir einige kurze Videos über das Projekt, was wir gefunden haben und wie andere helfen können, erstellen. Diese sollten kurz, einfach zugänglich und einfach zu teilen sein. Wir möchten wenigstens eins davon in den nächsten 6 Monaten erstellen.


Dies sind lose Ziele, aber sie sollten euch eine Idee vermitteln, worauf wir unsere Arbeiten im nächsten Jahr konzentrieren werden. Wenn ihr weitere Hinweise habt, teilt sie bitte hier (https://www.mlcathome.org/mlcathome/forum_thread.php?id=212) oder auf Discord.

Danke nochmal für die Unterstützung von MLC@Home und auf viele weitere Jahre erfolgreicher, wichtiger Forschung auf einem wichtigen Gebiet.

Weitere Neuigkeiten
DS3 ist fast abgeschlossen (nur noch die letzten gut 130 WUs tröpfeln ein!). Ich sehe DS3 als den wichtigsten Datensatz an und kann es nicht erwarten, die Auswertung des ganzen Datensatzes laufen zu lassen!
Von jetzt an werden wir DS1- (und danach DS2-)WUs in die Warteschlangen für sowohl GPUs als auch CPUs hauen, bis diese abgeschlossen sind und/oder DS4 fertig vorbereitet ist. Wir werden versuchen, diese schnellstmöglich über den Berg zu bringen.
Eine frohe Nachricht! Der MLC-Discord-Teilnehmer Tankbuster hat unsere Bannergrafik aktualisiert! Ihr könnt das aktualisierte Banner auf den Projektseiten und der Startseite sehen!
Noch spannender: Tankbuster hat einen Prototypen für eine Grafikausgabe von MLC@Home erstellt! Auf dem MLC-Discord-Server (Link am Ende der Nachricht) könnt ihr Entwürfe und Videos sehen und die Diskussion darüber verfolgen. Screenshot (https://www.mlcathome.org/analysis/mlcgraphics.png): https://www.mlcathome.org/analysis/mlcgraphics.png
Zur Erinnerung: die MLC-Anwendung ist quelloffen und hat eine Liste offener Probleme auf gitlab (https://gitlab.com/mlcathome/mlds). Falls ihr Programmierer oder Datenwissenschaftlerinnen seid und helfen möchtet, seid ihr eingeladen, einen Blick auf die Probleme zu werfen und Änderungsvorschläge einzureichen.


Momentaufnahme des Projektstatus:
(diese Zahlen sind Näherungen)
https://www.mlcathome.org/status/project-summary-2021-07-01.png
https://www.mlcathome.org/status/mlds-live-status-2021-07-01.png

Letzte Ausgabe der TMIM Notes: 08.06.2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=203) (engl.)

Nochmals vielen Dank allen unseren Freiwilligen!

-- Der/die MLC@Home-Admin(s)
Homepage: https://www.mlcathome.org/
Einladung zu Discord: https://discord.gg/BdE4PGpX2y
Twitter: @MLCHome2 (https://twitter.com/mlchome2)
02.07.2021, 2:40:09 MEZ


Originaltext:
https://www.mlcathome.org/mlcathome/forum_thread.php?id=212

KidDoesCrunch
12.10.2021, 20:10
Auf einigen Rechnern habe ich aktuell massiv Probleme mit Abbrüchen.

<core_client_version>7.14.2</core_client_version>
<![CDATA[
<message>
(unknown error) - exit code 195 (0xc3)</message>
<stderr_txt>
21:06:23 (2828): wrapper (7.7.26016): starting
21:06:23 (2828): wrapper: running mlds.exe (--nthreads 1 -c --maxepoch 128)
21:06:58 (2828): mlds.exe exited; CPU time 0.031250
21:06:58 (2828): app exit status: 0xc0000409
21:06:58 (2828): called boinc_finish(195)

</stderr_txt>
]]>

Kennt jemand eine Ursache?

pschoefer
13.10.2021, 07:32
Etliche WUs wurden mit fehlerhaften Scripts (https://www.mlcathome.org/mlcathome/forum_thread.php?id=238&postid=1381#1381) erzeugt.

KidDoesCrunch
13.10.2021, 08:27
Der Esel weiß alles. Danke Dir Patrick, ich hab das nicht gefunden.

KidDoesCrunch
14.10.2021, 14:40
16484 MLC@Home 10/14/21 15:36:10 This computer has finished a daily quota of 1 tasks

Jetzt fangen 2 Rechner an durchzudrehen. Wieso testen die bei MLC im Produktivbetrieb? Haben die einen an der Waffel? Ich versuche mit allen Tricksereien WU's zu verarbeiten die Boykottieren das auch noch. Wenn das nicht bald besser wird bin ich weg.

pschoefer
14.10.2021, 15:52
Die Daily Quota sinkt mit jeder fehlerhaften WU um 1, bis sie bei 1 angelangt ist, und verdoppelt sich mit jeder erfolgreich berechneten WU wieder bis zu einem Maximalwert. Eigentlich ist der Hintergedanke, dass bei clientseitigen Problemen die Clients nicht beliebig viele WUs zerschießen sollen; in solchen Fällen, wo das Projekt schlicht defekte WUs verschickt, ist das natürlich ungünstig.

So wie ich das verstanden habe, hat der Entwickler der neuen Scripts im Glauben gehandelt, dass seine Änderungen nur das Test-Subprojekt beträfen, aber der Admin hat sie auch für die beiden produktiven Subprojekte (CPU und GPU) aktiviert. Da muss sich das neue Projektteam wohl erst noch einspielen.

KidDoesCrunch
14.10.2021, 18:28
Ja, so hatte ich es auch verstanden. OK, dann geben wir Ihnen mal noch ein wenig Zeit. Kann ja wohl nur noch besser werden :thumbup:

pschoefer
14.10.2021, 23:06
Inzwischen gibt es auch noch eine offizielle Projektnachricht dazu:

Aktuelle WU-Probleme, Lösung in Arbeit
Dies ist eine kurze Nachricht, dass wir über die Probleme mit WUs aus den Arbeitsvorräten für CPU und TEST Bescheid wissen (der GPU-Vorrat sieht momentan gut aus). Es liegt an einem serverseitigen Problem in Verbindung mit einigen Aufräumarbeiten und Aktualisierungen, die ich im Hintergrund durchgeführt habe und die scheinbar völlig danebengegangen sind. Da zunächst alles zu funktionieren schien, habe ich das nicht sofort gemerkt, was die Probleme verschlimmert hat.

Das ist nicht akzeptabel und ich bitte um Entschuldigung. Zwar wurde dies getestet, aber die Fehlermöglichkeit war unerwartet. Ihr vertraut darauf, dass wir die Dinge sauber am Laufen halten, und ich habe euch enttäuscht.

In den nächsten 24 Stunden werden wir die kaputten WUs serverseitig abbrechen und möglicherweise die Dienste einige Male stoppen und wieder starten, während wir versuchen, aufzuräumen. Bitte habt Verständnis und danke für eure Geduld.

Ich betone: Es gab keinen Datenverlust und der Fehler tritt auf den Clients schnell auf, sodass wenige bis keine Ressourcen verschwendet werden.

Danke nochmals und wir werden es in Zukunft besser machen.
14.10.2021, 21:18:19 MEZ

Originaltext:

Current WU issues, working on a fix
A short note that we're aware of the issue with WUs coming from the CPU and TEST work queues (the GPU queue appears fine at the moment). This is due to a server-side issue related to some cleanup and upgrades I've been doing behind the scenes that appears to have gone haywire, and since it initially seemed to be working I didn't catch it immediately, leading to compounding the issues.

This is unacceptable and I apologize. While this had been tested, this failure mode was unforeseen. You rely on us to keep things running smoothly, and I failed you.

Over the next 24 hours we'll be sending out cancellations for the corrupted WUs, and may stop/start the service a few times while we try to clean things up. Please bear with us and thanks for your patience.

I stress : no data was lost, and the nature of the failure is to fail-fast on the client, so there is little to no wasted computer cycles.

Thanks again, and we'll do better in the future.
14 Oct 2021, 20:18:19 UTC

KidDoesCrunch
15.10.2021, 06:40
Danke.

pschoefer
31.10.2021, 09:23
Einige in der letzten Woche vom Projektadministrator geteilte Neuigkeiten seien an dieser Stelle nachgereicht:

[TMIM Notes] 23. Oktober 2021
This Month in MLC@Home
Notizen vom 23. Oktober 2021
Eine (ungefähr) monatliche Zusammenfassung von Neuigkeiten und Notizen zu MLC@Home

Zusammenfassung
Die letzten Neuigkeiten sind schon eine Weile her! Aber es ist eine Menge passiert. Von der langsamen Aufarbeitung des Rückstands von Datensatz 2 (DS2) bis hin zu Aktualisierungen des Unterbaus für bessere Wartbarkeit, die etwas schiefliefen, Arbeiten am Unterbau für DS4 und der Auswertung von DS3.

Zunächst unterlief uns vor zwei Wochen ein Missgeschick bei der WU-Erzeugung und "Fortsetzungs"-WUs wurden mit falschen Parametern verschickt, was zu Berechnungsfehlern fühte. Wir brauchten ein paar Tage, um das zu beheben und aufzuräumen, aber es gab keinen Datenverlust. Wir haben unsere Unterbauskripte aktualisiert und modernisiert, um sie zu konsolidieren und weniger fehleranfällig zu machen (das ist gut für die Wartbarkeit!) und eine der Aktualisierungen lief schief. Danke für eure Geduld, während wir daran gearbeitet haben. Wir haben uns bisher ganz gut geschlagen, sodass ich hoffe, dass ihr uns trotz dieses Rückschlags in Zukunft weiter unterstützt. Wir suchen nach neuen Wegen für bessere Tests, um ähnliche Probleme in Zukunft zu vermeiden.

Der Großteil der Arbeit in den letzten Monaten war die Auswertung der DS3-Daten. Wir haben den vorhandenen Artikel mit der vollständigen Auswertung von DS3 aktualisiert. Diese ist sehr fordernd für Festplatte, Bandbreite und Speicher auf unserem Unterbau und kann leider nicht so leicht in über BOINC verteilbare WUs aufgeteilt werden. Tatsächlich benötigt schon das Packen des gesamten DS3 (2,6 TB) über 24 Stunden, da es über 4 Millionen kleine Dateien sind. Wir werden DS3 bald vollständig als Torrent zur Verfügung stellen. Ich habe Neuigkeiten dazu auf unseren Discord-Server gestellt, falls ihr euch dafür interessiert.

Da wir uns auf DS3 und die Modernisierung unseres Unterbaus und der Verwaltungsskripte konzentriert haben, hat DS4 gelitten. Ich wünschte, ich könnte sagen, dass die DS4-WUs fließen, aber das tun sie noch nicht. Alles dafür ist vorbereitet, wir müssen nur mit den Tests beginnen.

Danke nochmal für eure anhaltende Unterstützung und seid gewiss, dass auch, wenn diese Neuigkeiten nicht mehr in so rascher Folge kommen, das nicht bedeutet, dass hinter den Kulissen nicht gearbeitet würde!

Weitere Neuigkeiten

Wir haben auch etwas Zeit mit dem Versuch verbracht, die neue statisch gelinkte Anwendung auf CUDA und ROCM zu portieren, was bisher beides nicht funktioniert hat. Die Windows-CUDA-Anwendung sollte sich normal neu kompilieren lassen, aber die Linux-Anwendungen ließen sich nicht wie gedacht kompilieren und linken und brauchen daher noch etwas mehr Arbeit.
Wir beginnen, Spam im Forum zu sehen. Um das zu bekämpfen, könnt ihr nun außer im Bereich Issue Discussion (https://www.mlcathome.org/mlcathome/forum_forum.php?id=7) (engl., Problemdiskussion) keine Beiträge mehr schreiben, wenn ihr nicht mindestens 100 Punkte habt. Falls ihr im Forum etwas seht, das nach Spam aussieht, benutzt bitte den Meldeknopf, um es als solchen zu melden, und wir werden uns so rasch wie möglich darum kümmern.
Die Anwendung für ARM64 ist auch noch nicht fertig wegen eines merkwürdigen Linker-Fehlers mit der Größe der statischen Anwendung. Wir wissen ehrlich gesagt nicht, wie wir das zum Laufen bekommen. Wenn ihr etwas über Linken unter Linux mit großen Relokationen auf ARM64 wisst, kontaktiert uns bitte. Nutzt bis dahin bitte die ARMHF-Anwendung (32 Bit) auf 64-Bit-ARM-Systemen.
Vielen Dank an Delta für seine unermüdliche Arbeit an der Modernisierung unseres Unterbaus. Wir haben dank seiner Arbeit schon einen neuen Datenbankzugriff sowohl für die BOINC-Datenbank als auch unsere MLDS-spezifische MongoDB-Datenbank und werden bald 21 verschiedene Skripte zu einigen wenigen konsolidieren.
Zur Erinnerung: die MLC-Anwendung ist quelloffen und hat eine Liste offener Probleme auf gitlab (https://gitlab.com/mlcathome/mlds). Falls ihr Programmiererinnen oder Datenwissenschaftler seid und helfen möchtet, seid ihr eingeladen, einen Blick auf die Probleme zu werfen und Änderungsvorschläge einzureichen.


Momentaufnahme des Projektstatus:
(diese Zahlen sind Näherungen)
https://www.mlcathome.org/status/project-summary-2021-10-23.png
https://www.mlcathome.org/status/mlds-live-status-2021-10-23.png

Letzte Ausgabe der TMIM Notes: 06.08.2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=225) (engl.)

Nochmals vielen Dank allen unseren Freiwilligen!

-- Der/die MLC@Home-Admin(s)
Homepage: https://www.mlcathome.org/
Einladung zu Discord: https://discord.gg/BdE4PGpX2y
Twitter: @MLCHome2 (https://twitter.com/mlchome2)
24.10.2021, 4:40:40 MEZ

Originaltext:
https://www.mlcathome.org/mlcathome/forum_thread.php?id=243

pschoefer
14.11.2021, 07:09
In der Nacht wurden einige Serverdienste aktualisiert, was vor einigen Wochen zu fehlerhaften WUs führte. Dieses Mal scheint alles problemlos zu funktionieren.

Weitere Testaktualisierungen der Unterbaudienste
Hallo zusammen,

wir werden an diesem Wochenende wieder einige Aktualisierungen der Unterbaudienste auf dem Server testen. Letztes Mal führte das zu Instabilität, aber wir haben einiges daraus gelernt und Maßnahmen ergriffen, um sicherzustellen, dass das nicht noch einmal passiert, mit einem einfachen und schnellen Weg zurück, falls nötig. Es könnte einige kleine Unterbrechungen geben, aber nichts Ernsthaftes. Es gibt auch nichts, was ihr clientseitig tun müsst, alles betrifft nur den Unterbau.

Wünscht uns Glück, wir werden die Ergebnisse wie ein Falke nach neuen Problemen absuchen.
14.11.2021, 3:40:52 MEZ

Wenig später gab es schon eine Erfolgsmeldung:

---
Die neuen Unterbau-Programme laufen nun. Wir haben die Aufzeichnungen und die herausgehenden WUs überprüft und sie scheinen korrekt eingestellt zu sein, sodass der Fehler vom letzten Mal verhindert wurde. Falls ihr jedoch irgendwelche ungewöhnlichen Fehler seht, lasst es uns bitte wissen, insbesondere wenn fehlerhafte WUs zu clientseitigen Fehlern führen. Wir werden die Foren, Discord und die Server-Logs in den nächsten Tagen genau verfolgen.

Während der Änderung gab es eine kurze, 10-sekündige Phase mit Fehlern, die dazu führten, dass einige wenige (etwa 5?) WUs nicht richtig validiert wurden. Wir haben das sofort gesehen und den Server abgeschaltet, um das zu beheben, sodass es hoffentlich keine weiteren solchen Fälle gab. Jetzt scheint alles glatt zu laufen.

Danke nochmals für eure Unterstützung des Projekts!
14.11.2021, 4:24:41 MEZ


Originaltexte:

Testing updates to backend services again
All,

We're going to be testing some new backend server updates again this weekend. Last time this lead to some instability, but we've learned quite a bit from that and have taken steps to make sure it doesn't happen again, with an easy and quick revert path if necessary. There may be some small interruptions, but nothing serious,. There is also nothing you need to do on the client side, this is all on the backend.

Wish us luck, and we'll be watching the results like a hawk for any new issues.
14 Nov 2021, 2:40:52 UTC

New backend scripts are live now. We've checked the logs and the outgoing WUs and they appear to be configured correctly, avoiding the error from last time. However, please do let us know if you experience any more unusual errors, especially with malformed WUs leading to client errors! We'll be monitoring the forums, discord, and server logs closely over the next few days.

During the transition, we had one brief 10 second period of errors that lead to a small handful (about 5?) result validation failures. We caught those immediately, and shut down the server to fix, so hopefully no more made it through. We appear to be working smoothly now.

Thanks again for supporting the project!
14 Nov 2021, 3:24:41 UTC

Urs
25.06.2022, 17:12
Es gibt grade wieder cpu-wus.