Wie von Roadranner schon im "Neue Projekte"-Thread angekündigt:
QuChemPedIA@home
Läuft derzeit bei mir auf dem i7-4790-k auf 4 Threads, Laufzeiten kann ich noch keine klare Linie erkennen, Checkpoints auch nicht.
Gibt die Möglichkeit, MAX CPUs und MAX WUs zu begrenzen oder einzustellen, aber das funktioniert anscheinend noch nicht so toll. Gerade neuen Rechner hinzugefügt mit anderem Profil, rechnet trotzdem 1 WU nur mir 1 Thread.
Mal beobachten. Bin da auch noch am Testen.
Laufzeiten bisher zwischen 6800 und 40000s, Credits werden entsprechend den Laufzeiten vergeben, so wie es bei mir da so aussieht: ca. 38 Credits pro Stunde auf dem o.g. PC.
Wir liegen derzeit auf Rang 18, Tendenz steigend![]()
Ergebnis 1 bis 25 von 29
Thema: QuChemPedIA@home
-
- Titel
- ist hier zu Hause
- Bewertung
- Registriert am
- 30.06.2008
- Ort
- Allerorten
- Beiträge
- 4.105
- Danke
220
55
Anzahl Awards: 1608.11.2019, 20:15 #1QuChemPedIA@home
Ciaotaurec
-
Die folgenden Benutzer haben sich bei taurec bedankt für diesen nützlichen Beitrag:
Uwe-Bergstedt (08.11.2019)
-
- Titel
- Esel
- Bewertung
- Registriert am
- 07.07.2007
- Ort
- Osterode / Göttingen
- Beiträge
- 15.856
- Danke
155
1.724
Anzahl Awards: 1417.11.2019, 15:47 #2Veröffentlichung zum Hintergrund des Projektes
Ein Fachartikel wurde im Journal of Cheminformatics veröffentlicht und motiviert die aktuell von QuChemPedIA@home durchgeführten Berechnungen:
Wissenschaftliche Veröffentlichung
Hallo zusammen!
Unser Artikel mit dem Titel "Dataset’s chemical diversity limits the generalizability of machine learning predictions" (übersetzt etwa: Die chemische Vielfalt eines Datensatzes limitiert die Verallgemeinerbarkeit der Vorhersagen maschinellen Lernens) wurde angenommen und veröffentlicht! Er ist frei zugänglich:
https://jcheminf.biomedcentral.com/a...K395ODe941Y3_0
Falls ihr Fragen dazu habt, kontaktiert uns gern über das Projektforum (unter dieser Nachricht).
Grüße!
Benoit
Hier ist eine Nachricht von Thomas Cauchy über unsere Forschung:
Hallo,
ich bin der Chemiker hinter diesem Projekt. Die von Benoit Da Mota genannte Veröffentlichung wurde verfasst, als wir das BOINC-Projekt gestartet haben. Aber ich kann einige Sätze aus dem Artikel herausziehen, um zu zeigen, was wir uns dabei denken:
"Zusammenfassung: Der Datensatz QM9 ist zum Goldstandard für Vorhersagen verschiedener chemischer Eigenschaften durch maschinelles Lernen (ML) geworden. QM9 basiert auf GDB, was eine kombinatorische Untersuchung des chemischen Parameterraums ist. Kürzlich wurden ML-Vorhersagen für Moleküle mit einer Genauigkeit veröffentlicht, die mit Berechnungen auf Basis der Dichtefunktionaltheorie vergleichbar ist. Solche ML-Modelle müssen anhand echter Daten getestet und verallgemeinert werden. In diesem Artikel wird PC9 vorgestellt, ein neuer, zu QM9 äquivalenter Datensatz (nur mit H, C, N, O und F und bis zu 9 "schweren" Atomen) des PubChemQC-Projektes. Eine statistische Untersuchung von Bindungslängen und chemischen Funktionen zeigt, dass dieser neue Datensatz eine größere chemische Vielfalt umfasst. Die Methoden Kernel Ridge Regression, Elastic Net und das neurale Netzwerk von SchNet wurden auf beide Datensätze angewandt. Die Genauigkeit der Energievorhersage ist insgesamt höher für den QM9-Datensatz. Ein mittels PC9 trainiertes Modell zeigt jedoch eine bessere Fähigkeit, die Energien des anderen Datensatzes vorherzusagen."
Der Datensatz QM9 enthält etwa 130000 kleine Moleküle, wohingegen unser Datensatz PC9 119000 enthält (aber aus einer anderen Art von Berechnungen stammt). Das Problem ist, dass die vollständigen Ergebnisse von QM9 nicht frei verfügbar sind. Sie haben einige Ergebnisse der teuren quantenmechanischen Berechnungen extrahiert und das Protokoll weggeworfen. Wir sind nicht mit PC9 zufrieden, da sich einfach zeigen ließ, dass eine größere chemische Vielfalt benötigt wird.
Derzeit zielt das BOINC-Projekt darauf, die interessanten Moleküle aus QM9 und PC9 dieses Mal mit gleichartigen Berechnungen neu zu berechnen. Alle Ergebnisse werden in der QuChemPedIA unter https://quchempedia.univ-angers.fr verfügbar sein, wenn diese Plattform etwas robuster ist (Anfang 2020), auf Augenhöhe mit unserem Programm zur Qualitätskontrolle.
Wir sind noch nicht völlig zufrieden mit NWChem. Mit dem gleichen BOINC-Projekt verwenden Benoit Da Mota und ich das proprietäre Gaussian, welches effizienter ist. Aber NWChem ist quelloffen...
Wir haben dank eurer Hilfe etwa 130000 von 200000 berechnet!
Wir hoffen, der Gemeinschaft im Dezember vorschlagen zu können, neue Moleküle zu berechnen, die vielleicht gar nicht existieren und nicht stabil sind, um dem maschinellen Lernen zu helfen, besser zu verallgemeinern. Diese neuen Moleküle werden auch durch maschinelles Lernen erzeugt. Es würde zu lange dauern, das jetzt hier zu erklären.
Falls ihr Fragen habt...
Mit freundlichem Gruß,
Thomas
Originaltext:
Zitat von https://quchempedia.univ-angers.fr/athome/forum_thread.php?id=36
Gruß
Patrick
"Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]
-
- Titel
- Administrator
- Bewertung
- Registriert am
- 10.11.2009
- Ort
- Hessen
- Beiträge
- 6.639
- Danke
141
989
Anzahl Awards: 2417.11.2019, 19:25 #3Ich habe das Projekt soeben in den SG-Stats integriert.
https://stats.seti-germany.de/teamst...id=QuChemPedIANicht alles was der Kopf denkt, muss der Mensch auch umsetzen.
Man muss auch mal Nein zu sich selbst sagen, zur Not übe es ...
------
Meine Homepage :: Meine Gedichte :: Meine Stats :: Meine laufenden WU's :: Statistiken rund um unser Team SETI.Germany
-
19.11.2019, 12:02 #4
Bei dem Papertitel dachte ich zuerst auch nur: Ach was, sag bloß!
Aber, dass durch Methoden des maschinellen Lernens mittlerweile Ergebnisse herauskommen, die auf DFT-Niveau liegen, ist schon stark. Vielleicht überwinde ich mich doch mal und richte auf einem Rechner eine Virtuelle Box ein.Hauptrechner: i7-6700K @ 4.00 GHz | GeForce GTX 1080 | 16 GB DDR4 | Windows 10 | BOINC 7.14.2
Nebenrechner: i3-7300 @ 4.00 GHz | GeForce GTX 1050 Ti | 8 GB DDR4 | Windows 10 | BOINC 7.8.3
Nebenrechner: i3-6100 @ 3.70 GHz | Intel HD Graphics 530 | 8 GB DDR4 | Windows 10 | BOINC 7.6.33
Statistiken | Badges
-
- Titel
- ist hier zu Hause
- Bewertung
- Registriert am
- 30.06.2008
- Ort
- Allerorten
- Beiträge
- 4.105
- Danke
220
55
Anzahl Awards: 16
-
- Titel
- ist hier zu Hause
- Bewertung
- Registriert am
- 08.07.2007
- Ort
- Kölle am Rhing
- Beiträge
- 2.701
- Danke
15
5
Anzahl Awards: 19
-
24.11.2019, 20:36 #7
BoincStats sagt: Account creation disabled
Meine Statistiken: https://houseofsteinert.de/index.php
-
- Titel
- ist hier zu Hause
- Bewertung
- Registriert am
- 30.06.2008
- Ort
- Allerorten
- Beiträge
- 4.105
- Danke
220
55
Anzahl Awards: 1624.11.2019, 20:47 #8Invitation code : 3VwMu3-eTCg32
https://quchempedia.univ-angers.fr/athome/about.php
geht's damit?Ciaotaurec
-
- Titel
- Gold Member
- Bewertung
- Registriert am
- 05.02.2017
- Ort
- NRW
- Beiträge
- 1.234
- Danke
18
28
Anzahl Awards: 11
-
- Titel
- Gold Member
- Bewertung
- Registriert am
- 05.02.2017
- Ort
- NRW
- Beiträge
- 1.234
- Danke
18
28
Anzahl Awards: 1127.11.2019, 07:28 #10Welche Laufzeiten sind denn normal?
Ich habe da 2 Aufgaben die laufen bereits über 2 Tage und sind bei 55%.
Insgesamt hab ich 3 Aufgaben und nu noch ne Frage da ich keine Erffahrung mit VB habe. Im BM hat jede Aufgabe einen thread aber wenn ich die VB aufrufe steht da das nur 1 Kern freigegeben ist. Ist das so normal oder muss ich da was umstellen?
Die anderen Projekte die gleichzeitig ohne VB laufen scheinen normale Laufzeiten zu haben.
-
- Titel
- ist hier zu Hause
- Bewertung
- Registriert am
- 30.06.2008
- Ort
- Allerorten
- Beiträge
- 4.105
- Danke
220
55
Anzahl Awards: 16
-
- Titel
- Gold Member
- Bewertung
- Registriert am
- 05.02.2017
- Ort
- NRW
- Beiträge
- 1.234
- Danke
18
28
Anzahl Awards: 11
-
- Titel
- ist hier zu Hause
- Bewertung
- Registriert am
- 08.07.2007
- Ort
- Kölle am Rhing
- Beiträge
- 2.701
- Danke
15
5
Anzahl Awards: 19
-
- Titel
- ist hier zu Hause
- Bewertung
- Registriert am
- 30.06.2008
- Ort
- Allerorten
- Beiträge
- 4.105
- Danke
220
55
Anzahl Awards: 16
-
- Titel
- ist hier zu Hause
- Bewertung
- Registriert am
- 08.07.2007
- Ort
- Kölle am Rhing
- Beiträge
- 2.701
- Danke
15
5
Anzahl Awards: 1910.12.2019, 18:10 #15Mir ist aufgefallen, dass unter Windows VirtualBox ingesetzt wird. Die RAM-Auslastung ist da mit 2GB je VM doch gewaltig und bringt meine Rechner an die (RAM-)Grenzen.
Unter Linux sieht die Welt ganz anders aus: Hier laufen die WUs native - ohne VM. Daher kann ich jetzt unter Linux 16 WUs ohne Probleme parallel laufen lassen.
-
- Titel
- ist hier zu Hause
- Bewertung
- Registriert am
- 30.06.2008
- Ort
- Allerorten
- Beiträge
- 4.105
- Danke
220
55
Anzahl Awards: 16
-
- Titel
- ist hier zu Hause
- Bewertung
- Registriert am
- 08.07.2007
- Ort
- Kölle am Rhing
- Beiträge
- 2.701
- Danke
15
5
Anzahl Awards: 19
-
- Titel
- ist hier zu Hause
- Bewertung
- Registriert am
- 08.07.2007
- Ort
- Kölle am Rhing
- Beiträge
- 2.701
- Danke
15
5
Anzahl Awards: 19
-
- Titel
- ist hier zu Hause
- Bewertung
- Registriert am
- 08.07.2007
- Ort
- Kölle am Rhing
- Beiträge
- 2.701
- Danke
15
5
Anzahl Awards: 1915.12.2019, 15:13 #19Nachdem ich meine Million voll habe gibt es eine Kurze Zusammenfassung meiner Erfahrungen in diesem Projekt:
Linux:
Linuxrechner sind klar im Vorteil. Die WUs benötigen keine VM, belegen lediglich ca. 150 MB RAM pro Stück und sie laufen relativ zuverlässig. Selten musste ich hier eingreifen.
Windows:
Windowsrechner sind die Verlierer: Eine einzelne WU benötigt VirtualBox und belegt dadei 2 GB RAM. Hier muss die Anzahl der parallel laufenden WUs beschränkt werden, da meistens nicht genügend RAM im Rechner steckt. Dafür gibt es in den Projekteinstellungen eine elegante Möglichkeit ("Maximale Anzahl Aufgaben" und "Maximale Anzahl CPUs"). Die Zuverlässigkeit der WUs ist nicht so gut, öfters bleibt eine WU bei knapp 100% stecken oder verbraucht keine CPU Leistung mehr. Diese habe ich abgebrochen. Auch stellte ich häufig fest, dass eine WU "verschoben" ist und nicht mehr läuft. Hier hilft Neustart von BOINC oder Abbruch der WU. Beim Abbruch übernimmt die neu geladene WU die verwaiste, gestoppte VM und arbeitet mit dieser weiter.
Laufzeit:
Gewöhnlich benötigen die WUs 30-60 Minuten. Credits liegen im üblichen Rahmen, es gibt 30-40 je Stunde. Öfters laufen die WUs auch länger, bis zu mehreren Stunden. Auch hier werden die Credits korrekt vergeben - sofern die WUs nicht stecken bleiben. 2-3x am Tag habe ich alle Rechner geprüft und stecken gebliebene, "verschobene" oder zu lang laufende WUs abgebrochen. Dieses Projekt benötigt ständige Kontrolle.
Projektabschluss:
Wenn man nicht mehr für dieses Projekt weiter rechnen will müssen Windows-Rechner aufgeräumt werden:
Nach dem Abmelden des Projektes können VMs bei VirtualBox noch als "nicht zugreifbar" gelistet sein. Diese müssen gelöscht werden. Desweiteren sollte man in den slots-Verzeichnissen mögliche Überreste löschen. Zuletzt, oder besser zuerst im Taskmanager prüfen, ob noch vboxHeadless-Prozesse laufen. Wenn keine VMs mehr laufen sollten, dann müssen diese auch manuell abgebrochen werden.Geändert von JayPi (15.12.2019 um 18:07 Uhr) Grund: Projektabschluss ergänzt
-
- Titel
- Gold Member
- Bewertung
- Registriert am
- 19.12.2009
- Ort
- weit im Süden
- Beiträge
- 2.159
- Danke
62
24
Anzahl Awards: 1717.12.2019, 16:22 #20Anmerkung noch zu JayPi's Zusammenfassung:
ich sehe keinen wirklichen Grund da Windows-WUs zu rechnen, wenn schon VirtualBox,
dann kann man ja gleich ein Linux-System aufsetzten und BOINC installieren !!
hat den Vorteil, wenig RAM, stabil laufende WUs (selbst bei Volllast der CPU)
und es spart den ganzen Ärger, den JayPi beschrieben hat ..
Cheers 😊hl
-
- Titel
- ist hier zu Hause
- Bewertung
- Registriert am
- 30.06.2008
- Ort
- Allerorten
- Beiträge
- 4.105
- Danke
220
55
Anzahl Awards: 1617.12.2019, 17:53 #21servus HL und JayPi,
einziges Manko der WUs/des Projektes (hier Linux) ist noch:
Auf "Anhalten" stellen einer WU bedeutet nicht, dass die keine Prozessorzeit mehr belegt. Die läuft voll weiter.
Hatte mich jetzt auf einem Rechner bei PG gewundert, dass der keine CPU-Wutze mit 8 Kernen berechnen wollte, und als ich dann mit "top" nachsah ...Geändert von taurec (17.12.2019 um 17:55 Uhr) Grund: Komma falsch :-)
Ciaotaurec
-
17.12.2019, 20:48 #22
Hallo JayPi, HJL und taurec
Ganz klar, QuChemPedlA läuft auf Linux problemlos, im Gegensatz zu der VM-Sache unter Windows. Meine letzten verbleibenden WU habe ich heute auf der Win-Kiste abgebrochen. Eben die gleichen Probleme, wie JayPi gepostet hatte musste ich auch feststellen. Die Credits-Ausbeute geht da seit Tagen mehr oder weniger gegen Null, umso mehr, je mehr WUs einfach stehen geblieben sind. Und tagsüber kann ich nicht nach meinen Rechnern schauen, leider.
Unter Linux ist der nwchem ist der eigentliche Prozess, der die CPU beschäftigt. Die Eigenschaften einer WU zwar eine Prozess-ID, aber diese ist nur die des wrappers. MitCode:ps jf -U boinc |grep -A3 <pid der wu>
Meine Beobachtung ist: Beim Anhalten einer WU läuft dieser nwchem-Unterprozess noch einige Sekunden weiter und beendet sich selbst oder er wird beendet. Beim Fortsetzen der WU wird ein neuer Unter-Prozess mit einer anderen PID gestartet.
@HJL
-
- Titel
- Esel
- Bewertung
- Registriert am
- 07.07.2007
- Ort
- Osterode / Göttingen
- Beiträge
- 15.856
- Danke
155
1.724
Anzahl Awards: 1416.01.2020, 17:49 #23zwei mögliche Wege des weiteren Projektverlaufs
Die vorherige Serie von Berechnungen ist abgeschlossen, zwei mögliche Ansätze zur Fortführung des Projektes wurden vorgestellt. Projektteilnehmer können in diesem Thread ihre Meinung dazu äußern.
Neuigkeiten und Abstimmung
Liebe Quchempedia-Cruncher!
Die erste Generation unserer neu erzeugten kleinen Moleküle ist fast fertig. Danke nochmals.
Wir haben zwei Vorschläge für die nächste Phase der Berechnungen:
1. Eine Pause einlegen (etwa einen Monat), um die neuesten Berechnungen zu analysieren und zu verarbeiten, aus den Erfolgen und Fehlschlägen der Berechnungen lernen und dann neue kleine Moleküle erzeugen. Wahrscheinlich mit etwas mehr als 9 Atomen.
2. Einige der neu erzeugten Verbindungen zu einem im Chemielabor hier in Angers verwendetem Kern (BTX) hinzufügen (siehe die Zusammenfassung dieses Artikels: https://pubs.rsc.org/en/content/arti...h#!divAbstract, engl.), um vorzuführen, wie wir unsere neu erzeugten Moleküle in einem echten System verwenden können, zu zeigen, wie ein Fragment die Eigenschaften des Kerns verändern kann, sowie als Screening-Beispiel. Diese Berechnungen sind sehr interessant und können sehr schöne Anwendungen haben (Medikamente und Werkstoffe).
Beachtet, dass die zweite Option bedeutet, dass die Moleküle mehr als 9 schwere Atome haben werden, wahrscheinlich mehr als etwa 30, und die Berechnungen daher Tage dauern können. Die gute Nachricht ist, dass die nächsten WUs den Zwischenstand speichern werden. BOINC wird den wirklichen Fortschritt nicht anzeigen können und davon ausgehen, dass die Berechnung von vorne beginnt, aber wir haben einige Tests durchgeführt und die Berechnungen liefen vom letzten Zwischenschritt weiter. Die erwarteten Berechnungszeiten werden immer sehr ungefähr und unzuverlässig sein, wir werden einen recht hohen Wert auswählen.
Falls ihr die erste Option auswählt, werden wir die BTX-WUs mit unseren eigenen Resourcen berechnen und eine Nachricht schreiben, wenn wir die neuen kleinen Moleküle verarbeitet und erzeugt haben.
Vielen Dank für eure Wahl und Meinungen unter diesem Beitrag.
Mit freundlichem Gruß,
Thomas and Benoit
14.01.2020, 15:24:40 MEZ
Originaltext:
Zitat von https://quchempedia.univ-angers.fr/athome/forum_thread.php?id=53
Gruß
Patrick
"Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]
-
-
14.07.2020, 21:15 #25
Hi, ich habe heute dem ersten mal ein par WU´s bekommen. Weiß nicht ob es da vorher Probleme gab. Aber ich habe das Projekt schon seit einigen Wochen in der Liste und bislang nie etwas erhalten. Gruß
- - - Aktualisiert - - -
Update bei mir sind inzwischen 6 auf "Verschoben: VM job unmanageable, restarting later." gelaufen. Bei Laufzeiten zwischen 1:35-1:00:44. Bislang ist keiner fertig. Habe jetzt noch mal 4 neue gestartet.
So macht es auf jeden fall kein Spaß.Intel Core i7-9700K, GTX 1660 Super, 32GB DDR4 - Raspberry Pi 4 - boincstats - Join World Community Grid
Single Sign On provided by vBSSO