PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : MLC@Home



pschoefer
18.07.2020, 10:46
Das noch recht neue Projekt MLC@Home wird nun offiziell vom CORAL-Lab der University of Maryland unterstützt:

MLC@Home und CORAL
Spannende Neuigkeiten!

MLC@Home ist jetzt ein Projekt des Labors für Kognition, Robotik und Lernen (engl. Cognition, Robotics, and Learning, CORAL (https://coral-lab.umbc.edu/)) an der University of Maryland in Baltimore County (UMBC).

Das hat einige Vorteile, nicht zuletzt Raum im Labor zum Betrieb von Hardware, neue Ideen für auszuführende Forschung und einen Platz zur Zusammenarbeit mit anderen Forschern, die womöglich nicht Teil der BOINC-Gemeinschaft sind. Vor allem ist die Unterstützung eines Forschungslabors einer Universität eine Rückversicherung für euch, unsere Freiwilligen, dass dieses Projekt sowohl wissenschaftlichen Nutzen als auch einen Zweck über einen einzelnen Forscher und dessen Ziele hinaus hat. In den nächsten Tagen werde ich unsere Webseite aktualisieren, um die neue Affiliation widerzuspiegeln.

Wie gewohnt könnt ihr weitere Einzelheiten zur aktuellen Forschung auf unserer Hauptseite (https://www.mlcathome.org) finden oder uns unterstützen, indem ihr eure BOINC-Clients mit dieser Adresse anmeldet: https://www.mlcathome.org/mlcathome/
18.07.2020, 3:53:29 MEZ

Originaltext:

MLC@Home and CORAL
Exciting news!

MLC@Home is now a project of the The Cognition, Robotics, and Learning (CORAL (https://coral-lab.umbc.edu/)) lab at the University of Maryland, Baltimore County (UMBC).

This brings many benefits, not the least of which is lab space to run equipment, new ideas for research to conduct, and a place to collaborate with other researchers who may not be members of the BOINC community. Most importantly, being backed by a university research lab provides some assurance to you, our volunteers, that this project has both academic merit and a purpose beyond a single researcher and their goals. Over the next few days I'll be updating our website to reflect the new affiliation.

As always, please see our main website, https://www.mlcathome.org for details on the current research, or join us by attaching your BOINC client to this URL: https://www.mlcathome.org/mlcathome/
18 Jul 2020, 2:53:29 UTC

JayPi
18.07.2020, 13:25
Schön und gut, wenn das Projekt gefördert wird. Bei mir läuft es dennoch nicht. Alles ist up to date und "fuse" habe ich installiert. ContOS7 hört anscheinend bei GLIBC_2.17 auf, vom Projekt verlangt wird GLIBC_2.18 :(

AxelS
18.07.2020, 15:31
Was verlangt unter CentOS die Bibliothek GLIBC_2.18?

JayPi
18.07.2020, 16:10
Dies zeigt der Fehlerreport meiner letzten WU (https://www.mlcathome.org/mlcathome/result.php?resultid=449548):

<stderr_txt>
../../projects/www.mlcathome.org_mlcathome/mlds_0.920_x86_64-pc-linux-gnu: /lib64/libc.so.6: version `GLIBC_2.18' not found (required by /tmp/.mount_mlds_03iDNEu/usr/bin/../lib/libstdc++.so.6)
</stderr_txt>

- - - Aktualisiert - - -

Zeige ich die installierte Version an:

Installed Packages
glibc.i686 2.17-307.el7.1 @base
glibc.x86_64 2.17-307.el7.1 @anaconda

AxelS
18.07.2020, 19:22
Das von Dir verwendete CentOS 7 ist veraltet, wie man in den Angaben Deines Rechners (799) (https://www.mlcathome.org/mlcathome/show_host_detail.php?hostid=799) sehen kann. Das Blöde dabei ist, die verwendete GLIBC_2.17 ist fester Bestandteil des Linux-Kernels von CentOS 7.

Dass dies so ist bin ich durch eine Recherche im Netz auf diesen Thread (https://forums.centos.org/viewtopic.php?t=71740) gestossen. Schade halt.

Vor einem Jahr habe ich auf einem meiner Rechner auch CentOS gehabt. Nach ca. 8 Wochen habe ich das BS gelöscht und bin zurück zu LinuxMint gewechselt.
Muß nach einem Jahr gestehen, meine Entscheidung war richtig und habe es bis jetzt nicht bereut.

Offensichtlich bringt LinuxMint alles mit, was man braucht. Jediglich MLC@Home musste ich im BOINC hinzufügen, alles andere lief sofort problemlos.

Wenn Du CentOS verwenden willst, dann versuche es mit der neuen Version (CentOS 8) welches im letztem Jahr, im September 2019 ge-released wurde.
Dieses beinhaltet glibc_2.28

Nur meine 5 cent :)

JayPi
18.07.2020, 22:25
Danke für Deinen Hinweis mit dem Artikel aus dem CentOS Forum! Die Version 8 hatte ich schon probiert, es gab aber noch zu viele Kinderkrankheiten. Vielleicht teste ich die Version 8 Ende August nochmal neu auf einem Rechner.

JayPi
19.07.2020, 20:29
Einen Rechner hatte ich bereits mit CentOS 8 laufen, dort ist die WU jetzt erfolgreich gestartet.

- - - Aktualisiert - - -

Unter Windows muss das Visual C++ Redistributable Package für Visual Studio 2015 in 64 bit installiert werden.

- - - Aktualisiert - - -

Jetzt habe ich auch gelesen, dass CentOS 7 ausdrücklich nicht supportet ist: siehe Artikel (https://www.mlcathome.org/mlcathome/forum_thread.php?id=16#77)

- - - Aktualisiert - - -

Inzwischen erreichen mich die ersten Credits. Leider kann ich nur auf ein paar Rechnern das Projekt laufen lassen.

KidDoesCrunch
19.07.2020, 22:18
Hallo JayPi, herzlichen Willkommen bei MLC@HOME, die ersten 15.000 Credits bei Free-DC zu sehen.

JayPi
23.08.2020, 10:16
Da es wohl auch bei anderen Teilnehmern große Probleme mit kaputten Windows WUs gibt, ist der Entwickler an der Arbeit. Die Versionen der Applikation wechseln aktuell im Stundentakt.

KidDoesCrunch
23.08.2020, 11:22
Ja, ich habe jetzt schon ein paar Versionen durch :-) Wenn das noch lange so weitergeht wechsel ich wohl,

KidDoesCrunch
25.08.2020, 13:10
So 10.000.000 erreicht

JayPi
25.08.2020, 14:04
So 10.000.000 erreicht

Herzlichen Glückwunsch ... ich folge Dir demnächst ...

KidDoesCrunch
25.08.2020, 21:16
Folgen ist OK! :D

Dumme Aussage!

Für das Projekt ist es unerheblich wer wem folgt. Aus Projektsicht ist es lediglich erheblich was wir als Team leisten. FULL STOP. Sorry, manchmal geht es einfach mit mir durch :-(

DerLetzteGermane
16.11.2020, 07:45
MLC@Home unterstützt jetzt auch GPU

Ich habe gerade auch zwei durchgerechnet ohne Fehler.

- - - Aktualisiert - - -

Na ja besonders effizient läuft es noch nicht. Mit einer WU ist mein Cuda nur bei 70% und mit zwei bei 92%.
Dafür werden aber auch je 1 CPU Kern und 2Gb RAM pro WU benötigt.

- - - Aktualisiert - - -


<app_config>
<app>
<name>mlds-gpu</name>
<gpu_versions>
<gpu_usage>0.5</gpu_usage>
<cpu_usage>0.49</cpu_usage>
</gpu_versions>
</app>
</app_config>

No_Name
01.12.2020, 16:02
Meine 1650 wird nur zu 20 % ausgelastet, hat noch jemand diese Probleme?

pschoefer
01.12.2020, 16:54
Das ist dann doch sehr niedrig, gerade für eine eher kleinere GPU. Hilft es evtl., einen CPU-Kern freizuhalten?

lugu
01.12.2020, 16:57
Meine GPU ist zu 0% ausgelastet, weil die 7 CPU-WUs zu viel RAM fressen... :D

No_Name
01.12.2020, 17:19
Das ist dann doch sehr niedrig, gerade für eine eher kleinere GPU. Hilft es evtl., einen CPU-Kern freizuhalten?

Ohne CPU WUs komme ich auf 15% Auslastung mit einer WU, bei zweien sind es 30 %. Mehr als 3 WUs bekomme ich nicht in den VRAM.
Treiber ist aktuell.

Edit: Mit 3 WUs bin ich schon bei 40 % Auslastung :D

nexiagsi16v
02.12.2020, 10:48
Wie sind die Laufzeiten deiner GPU WUs?

DerLetzteGermane
02.12.2020, 15:59
pro WU ca. 35min bei zwei gleichzeitig GPU und je ein CPU kern.

Dann habe ich auch eine Auslastung der GPU von 94%. Aber es werden auch zwei CPU kerne voll belastet und je 2GB RAM benötigt.

KidDoesCrunch
02.12.2020, 16:18
Meine 1080TI will absolut nicht mit MLC@HOME. Auslastung 0 %. Woran kann es liegen?

JayPi
02.12.2020, 17:53
Soviel ich weiss, müssen Linuxer noch fuse installieren ;)

taurec
02.12.2020, 18:00
Soviel ich weiss, müssen Linuxer noch fuse installieren ;)

Hm, also ich musste nichts zusätzlich installieren - Mint 19.3

AxelS
02.12.2020, 18:24
Warum soll ein Dateisystem im Userspace beim NVIDIA-Treiber Problem helfen? fuse ist ein Filesystem welches User ohne admin-Rechte mounten und nutzen dürfen...

Mir fällt aber was anderes auf: Die App für die GPU ist unter Linux ja dynamisch verlinkt. Bei meinen Linux-Kisten fehlen da noch einige librarys.
Meine GTX1660Ti wird aber zu 50% ausgelastet.



root@xxxxx:~# ldd ~boinc/projects/www.mlcathome.org_mlcathome/mlds-gpu_9.80_x86_64-pc-linux-gnu__cuda10200
linux-vdso.so.1 (0x00007ffd3ab97000)
libc10.so => not found
libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007fda0ab91000)
libsz.so.2 => not found
libz.so.1 => /lib/x86_64-linux-gnu/libz.so.1 (0x00007fda0ab75000)
libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007fda0ab6f000)
libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007fda0aa20000)
libtorch_cpu.so => not found
libtorch_cuda.so => not found
libtorch.so => not found
libgomp.so.1 => /usr/lib/x86_64-linux-gnu/libgomp.so.1 (0x00007fda0a9dc000)
libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fda0a7ea000)
/lib64/ld-linux-x86-64.so.2 (0x00007fda0b394000)
root@xxxxx:~#

taurec
02.12.2020, 19:01
so ungefähr sieht das bei mir auch aus auf den ersten Blick:
linux-vdso.so.1 (0x00007ffef29d2000)
libc10.so => not found
libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007f63c4167000)
libsz.so.2 => not found
libz.so.1 => /lib/x86_64-linux-gnu/libz.so.1 (0x00007f63c3f4a000)
libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007f63c3d46000)
libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007f63c39a8000)
libtorch_cpu.so => not found
libtorch_cuda.so => not found
libtorch.so => not found
libgomp.so.1 => /usr/lib/x86_64-linux-gnu/libgomp.so.1 (0x00007f63c3779000)
libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f63c3388000)
/lib64/ld-linux-x86-64.so.2 (0x00007f63c4b47000)

KidDoesCrunch
02.12.2020, 19:38
Also ich bin auf Windows 2012 Server mit GTX 1080 TI. Collatz, Priomegrid usw, läuft alles ohne Prob, MLC läuft 3 bis 5 min ohne GPU Zeit zu belasten und kackt dann ab.

<core_client_version>7.16.5</core_client_version>
<![CDATA[
<message>
(unknown error) - exit code -1073741511 (0xc0000139)</message>
]]>

- - - Aktualisiert - - -

vermutlich fehlen irgendwelche DLL's, aber welche?

No_Name
02.12.2020, 20:15
Aktuellen Treiber drauf?

KidDoesCrunch
02.12.2020, 20:23
Ja, 457.30 . Läuft mit den 2080 und 2080 Super ohne Probleme. Auch die VC Runtimes sind drauf. Außer dem Fehler 139 gibts auch keine Info was es sein könnte.

KidDoesCrunch
02.12.2020, 20:36
Collatz geht auch noicht mehr. Hmm. OK. Ende. Die Karte macht jetzt Einstein.

Uwe-Bergstedt
02.12.2020, 20:43
Das sind die neuesten NVidia treiber:

02.12.2020 20:10:33 | | CUDA: NVIDIA GPU 0: GeForce GTX 1080 (driver version 457.51, CUDA version 11.1, compute capability 6.1, 4096MB, 3545MB available, 9265 GFLOPS peak)
02.12.2020 20:10:33 | | OpenCL: NVIDIA GPU 0: GeForce GTX 1080 (driver version 457.51, device version OpenCL 1.2 CUDA, 8192MB, 3545MB available, 9265 GFLOPS peak)

KidDoesCrunch
02.12.2020, 21:18
Ja, 457,51 habe ich. Das mit 457,30 war nur was in meinem Kopf :D.

nexiagsi16v
07.12.2020, 15:42
So, ich hab mal bissel rechnen lassen und folgendes kam dabei raus:

i3 8300 @3,7GHz 4WUs gleichzeitig mit Mint 19.3: Machine Learning Dataset Generator v9.61 x86_64-pc-linux-gnu
ParityModified 1GB RAM 37min 260P
ParityMachine 1GB RAM 37min 260P
EightBitModified 1GB RAM 37min 260P
rand_automata 0,5GB RAM 2h16min 959P

Ryzen 3600 @4GHz 6 WUs gleichzeitig mit Win 10: Machine Learning Dataset Generator v9.61 windows_x86_64
ParityModified 0,6GB RAM 56min 260P
ParityMachine 0,6GB RAM 56min 260P
EightBitModified 0,6GB RAM 56min 260P
rand_automata 0,2GB 3h50min 959P

Ryzen 3600 @4GHz 6 WUs gleichzeitig Mint 19.3: Machine Learning Dataset Generator v9.61 x86_64-pc-linux-gnu
ParityModified 1GB RAM 34min 260P
ParityMachine 1GB RAM 34min 260P
EightBitModified 1GB RAM 34min 260P
rand_automata 0,5GB RAM 2,1h 959P

Vorallem bei Ryzen (ist genau der selbe Rechner, nur mit anderem Betriebssystem) sieht man, das Linux hier erste wahl ist. Wahrscheinlich kommt der Geschwindigkeitsvorteil von der höheren RAM-Nutzung?
Was mir aufgefallen ist, Ryzen mit Linux gab es keinen Checkpoint. Hatte bei 60% den Rechner aus gemacht und nach dem wieder Einschalten, fingen sie bei 0% an und liefen mit normaler Laufzeit bis zum Ende. Evtl. liegt es auch an Boinc 7.9.3 und nicht an MLC...

GPUs kann ich nicht testen, da ich keine habe die bei MLC läuft. Evtl. ergeben sich da auch Vorteile für das ein oder andere Betriebssystem. SMT an/aus müßte ich beim Ryzen auch noch mal antesten...

Urs
19.12.2020, 15:34
Ich habe eine neue Art von GPU-Wu "entdeckt".

Üblich: 1,561.49 1,487.30 2,080.00 Machine Learning Dataset Generator (GPU) v9.75 (cuda10200)
windows_x86_64

Anders: 3,152.79 2,973.19 4,160.00 Machine Learning Dataset Generator (GPU) v9.75 (cuda10200)
windows_x86_64

Urs
26.12.2020, 19:48
Weiss jemand wofür "Maximale Anzahl CPUs" steht?

Ich kann mehr wus laden als ich k/t habe (einstellung 1) . Wenn ich das verstelle und neu lade passiert nix.

Felix_M_
01.01.2021, 16:53
Weiss jemand wofür "Maximale Anzahl CPUs" steht?

Ich kann mehr wus laden als ich k/t habe (einstellung 1) . Wenn ich das verstelle und neu lade passiert nix.

Normalerweise wird dies verwendet, um einzuschränken, wieviele CPU-Cores vom Projekt verwendet werden dürfen.
Beispiel: Du hast 12 Cores, Boinc darf 10 davon verwenden, hast Rosetta und MLC laufen, MLC 4 Cpus.
Also lässt MLC auf maximal 4 Cores Wus laufen, Rosetta kann dann auf den anderen laufen lassen.
Leider ist die Umsetzung Boincseitig etwas blöd, es kann auch vorkommen, dass Rosetta dann z.b alle Cores verwendet, allerdings deutet das "Maximale" auch schon darauf hin.
Sinnvoll ist dies vorallem, wenn ein Projekt Wus mit viel Rambedarf hat. dann kannst du eben entsprechend viele Cores einstellen, dass dein Ram nicht voll wird, und ein anderes Projekt kann sich dann die restlichen Cores krallen.