• MLC@Home: Projekt nach Erreichen der Ziele beendet

    von
    pschoefer
    Veröffentlicht: 16.10.2022 17:30
    Nachdem die WU-Versorgung schon in den vergangenen Monaten sehr sporadisch war, das Projekt seine geplanten Ziele erreicht hat und neue Ziele derzeit nicht absehbar sind, wird MLC@Home nun abgeschaltet.

    MLC@Home wird vorerst abgeschaltet, vielen Dank!
    MLC@Home wird abgeschaltet
    Nach mehr als zwei Jahren, einigen holprigen Momenten und der gewaltigen Unterstützung durch unsere Freiwilligen, treffe ich als MLC-Admin die Entscheidung, MLC@Home als BOINC-Projekt vorerst abzuschalten.

    Warum?
    Wir haben mit vier vollständigen Datensätzen, die eine Datenmenge von Dutzenden Terabytes zum Auswerten umfassen, die von mir gesetzten Ziele (und mehr!) erreicht. Wir müssen uns jetzt auf das Auswerten der Ergebnisse und das Schreiben von Artikeln konzentrieren. Als Forscher muss man an einem gewissen Punkt aufhören, neue Daten zu erzeugen, und schreiben; zudem haben meine Familie, Arbeit und schulische Verpflichtungen die Zeit eingeschränkt, die mir zum Erzeugen neuer Experimente zur Verfügung steht. Das sollte offensichtlich sein, da ich in den letzten sechs Monaten weniger und weniger für die Gemeinschaft erreichbar war, wofür ich um Entschuldigung bitte. Während man stets jedes Unterfangen weitertreiben könnte, denke ich, dass wir für den Moment viel erreicht haben, und möchte das Projekt für unbestimmte Zeit auf Eis legen, bis sich etwas Neues ergibt.

    Zu diesem Zeitpunkt sollten wir alles feiern, das unsere Freiwilligen gemeinsam erreicht haben! Die Gemeinschaft in den Foren und auf Discord war großartig. Wir schalten das Projekt nicht wegen irgendeines Problems ab, sondern weil wir die Ziele erreicht haben, die wir erreichen wollten. Ich bin dafür äußerst dankbar.

    Der einzige bittersüße Punkt beim Abschalten des Projekts ist, dass ich MLC@Home gern über MLDS hinaus zu einer Plattform für demokratisierte Forschung zu maschinellem Lernen entwickelt hätte. Ich habe damit keine anderen Forscherinnen erreicht, sodass MLDS das einzige Projekt auf MLC@Home blieb. Daran trägt zum Teil COVID Schuld, aber auch einige andere Faktoren von der Weise, wie Forschung in einem angesagten Feld wie ML finanziert wird, bis zu meinen eigenen zeitlichen Einschränkungen. Falls andere Forscher Interesse bekunden, können wir das Projekt in der Zukunft wiederbeleben, aber im Moment kann ich es nicht rechtfertigen, das Projekt ohne klarem Weg zu bedeutsamer neuer Arbeit weiterzuführen. Das wäre gegenüber unseren Freiwilligen nicht fair.

    Was passiert jetzt?
    Wie versprochen werden die Datensätze weiterhin verfügbar sein (die Veröffentlichung von Datensatz [DS] 4 wird noch etwas Nachdenken und Zeit erfordern, siehe unten), und die MLC@Home-Hauptseite (https://www.mlcathome.org) sowie der Twitter-Feed werden aktiv bleiben, sodass ich Neuigkeiten zu etwaigen Fachartikeln und zum Zugriff auf DS4 teilen kann, sobald dieser verfügbar ist. Für den Moment gibt es keine Änderungen an den BOINC-Server-Anteilen der Webseite. Ich muss nachlesen, wie ich die Foren, die Projektseiten und die Statistiken ordentlich archvieren kann, sodass sie (nur mit Lesezugriff) verfügbar bleiben können, ohne ein Magnet für Spam und die (derzeit stündlichen...) Hackversuche (seufz...) zu werden. Ich werde über den nächsten Monat oder so auch die Discord-Gemeinschaft auflösen.

    Ich persönlich werde meine Forschung fortsetzen und an der Veröffentlichung bedeutsamer Ergebnisse arbeiten. Ich werde auch weiterhin andere BOINC-Projekte (ich habe seit SETI@home Classic zu BOINC beigetragen) und die Idee des Volunteer Computing unterstützen. Irgendwann werde ich meine Erfahrung als Forscher beim Aufsetzen eines neuen Projekts und mit seinem Betrieb vom Start bis zum Ende aufschreiben; ich hoffe, dass das eine Hilfe für andere Projekte in den Startlöchern sein kann. Es war insgesamt eine positive Erfahrung, aber es gibt bestimmte Bereiche mit Verbesserungsbedarf.

    Euch ermutige ich, weiterhin andere großartige BOINC-Projekte mit eurer Rechenzeit zu unterstützen. Die offizielle Liste gibt es hier: https://boinc.berkeley.edu/projects.php.

    DS1/2/3 können jetzt heruntergeladen werden, was ist mit DS4?
    DS4 ist groß, allein der dichte Anteil umfasst über 12TB. Daher wird es noch mehr Zeit brauchen, ihn zu kopieren, abzupacken, auszuwerten und hochzuladen. Ich habe vor, das nach Fertigstellung meiner Auswertung und Doktorarbeit zu tun, was innerhalb der nächsten 6 Monate sein sollte. Falls eine Forscherin gern früher Zugriff auf den Datensatz hätte, bitte ich um direkte Kontaktaufnahme und wir können eine Lösung finden.

    Die ursprüngliche Idee für DS4 war, neuronale Netzwerke für jeden Datentyp mit dichten, LeCun-artigen faltenden neoronalen Netzwerken (engl. Convolutional Neural Network, CNN) und mit AlexNet-CNNs zu berechnen. Es stellte sich heraus, dass LeCun-Netzwerke so klein und leicht zu berechnen sind, dass ich 50000 davon lokal auf meinem eigenen Rechner innerhalb von ein, zwei Tagen berechnen kann, sodass ich darauf verzichtet habe, diese als BOINC-WUs zu versenden (auch weil die aktuelle Anwendung auf einigen Plattformen bei der Berechnung von LeNet5 abstürzt und es schneller ging, sie lokal zu berechnen, als das Problem zu beheben). Da fraglich ist, welchen wissenschaftlichen Mehrwert AlexNet-CNNs gegenüber LeCun-Netzwerken haben, werde ich diese wahrscheinlich aus dem Datensatz entfernen.

    Danke
    Auch wenn nichts mehr passiert, war MLC@Home ein großer Erfolg. Wir haben wissenschaftlich interessante und einzigartige Datensätze erzeugt, ein komplett neues Wissenschaftsfeld (Maschinelles Lernen) in die BOINC-Gemeinschaft eingeführt und demonstriert, dass Forschung zu maschinellem Lernen von einer Gruppe Freiwilliger über das Internet durchgeführt werden kann.

    Es gibt einige Gruppen und Einzelpersonen, denen ich ausdrücklich dafür danken möchte, dass sie dieses Projekt zu solch einem Erfolg machten. Diese sind, unter anderen: Die BOINC-Entwickler, insbesondere Vitalii Koshura und die anderen Entwickler auf dem BOINC-Discord-Server, für ihre Hilfe bei der Entwicklung des Projekts von Anbeginn an; Marcus (Delta auf dem BOINC-Discord-Server, der auch gemeinsamt mit JRingo den BOINC-Radio-Podcast betreibt, der MLC@Home von Anbeginn an beworben und unterstütz hat) für seinen direkten Beitrag zur Hintergrund-Verarbeitungssoftware des MLC@Home-Servers; Mike von PrimeGrid für wichtige frühe Ratschläge zum Betreiben eines neuen Projekts. Ich bin mir sicher, dass ich viele andere vergesse, aber seid gewiss, dass wir als Gemeinschaft vielen für den Erfolg des Projekts zu danken haben.

    Ich möchte auch den frühzeitig beim Projekt eingestiegenen Freiwilligen besonders danken, die dazu beigetragen haben, das Forum zu einem hilfreichen und einladenden Ort zu machen.

    Danke auch an das CoRaL-Institut und meinen Betreuer an der Universität Maryland, Baltimore County, für die Unterstützung der Forschung und die Finanzierung des neuen Servers, nachdem wir schnell die Kapazitäten des ursprünglichen ThinkPad-Laptops von 2015 überschritten hatten.

    Schließlich danke ich unseren mehr als 4200 Freiwilligen, die mit mehr als 17000 Rechnern über 12,5 Millionen WUs gecruncht haben. Ich bin wirklich überwältigt von euren Beiträgen und dem, was wir gemeinsam erreicht haben. Nichts davon wäre ohne euch möglich gewesen. Danke, dass ihr einem kleinen, unbekannten Forscher eine Chance gegeben habt, und ich ermutige euch, auch in Zukunft kleinere Projekte zu unterstützen, da deren Erfolg darüber mitbestimmt, ob BOINC weiterhin wächst und gedeiht.

    Ich verabschiede mich mit einem letzten, befriedigenden Schnappschuss der Webseite:


    Nochmals danke an alle,
    pianoman

    -- Hauptforscher und Administrator von MLC@Home:
    https://www.mlcathome.org/
    E-Mail: mlcathome2020@gmail.com
    Twitter: @MLCHome2
    02.10.2022, 18:22:59 MEZ

    Originaltext:
    Zitat Zitat von https://www.mlcathome.org/mlcathome/forum_thread.php?id=276
    MLC@Home shutting down for now, and thank you!
    MLC@Home Is shutting down
    After over two years, some bumpy moments, and the tremendous support from our volunteers, I, as MLC admin, am making the decision to shut down MLC@Home as a BOINC project for the time being.

    Why?
    We've achieved the goals I set out to accomplish (and more!) with 4 complete datasets comprising dozens of terabytes of data to analyze. Now we need to focus on analyzing the results and writing papers. As a researcher, at some point you have to stop generating data and write; and my family, work, and school commitments have limited the amount of time I can spend generating new experiments. This should be evident as I've been less and less responsive to the community over the past 6 months, for which I apologize. While we can always want more from any endeavor, I think we've accomplished a lot for now, and want to put the project on indefinite hiatus until something new comes along.

    This is a time to celebrate all that our volunteers have achieved together! This community has been amazing between the forums and Discord. We're shutting down not because of any problem, but because we've achieved the goals we set out to accomplish. For that, I couldn't be more grateful.

    The only bittersweet aspect to shutting the project down is that I hoped to grow MLC@Home beyond MLDS, to become a platform for democratized machine learning research. I failed to gain traction with other researchers and as such MLDS was the only project on MLC@Home. COVID is partly to blame[1], but there are a number of other factors ranging from how research is funded in a hot field like ML to my own limited time commitments. If other researchers express an interest we can revive the project in the future, but for now I can not justify running the project without a real path to meaningful new work. That's wouldn't be fair to our volunteers.

    What happens now?
    First, as promised, the datasets will remain available (DS4 will require some thought and time to release, see below), and the main MLC@Home website (https://www.mlcathome.org) and twitter feed will remain active so I can post updates on any papers and how to access DS4 when available. For now, there are no changes to the BOINC server portions of the website. I'll need to read up on how to properly archive the forums, project pages, and stats so that they can remain available (read only) without becoming a magnet for spam and the (currently hourly...) hacking attempts (sigh...). I will also be winding down the Discord community over the next month or so.

    For me personally, I will continue my research and work on publishing meaningful results. I'll also continue to support other BOINC projects (I've been contributing to BOINC since the SETI@Home classic days) and support the idea of volunteer computing. At some point, I'll write up my experience as a researcher starting a new project and running it from the beginning to end; and hope that will be a resource for other projects wanting to start out. It's generally been a positive experience, but there are some definite areas for improvement.

    For you, I encourage you to continue to support other great BOINC projects with your computing time. The official list is here https://boinc.berkeley.edu/projects.php.

    DS1/2/3 are up for download now, what about DS4?
    DS4 is large over 12TB in size for just the Dense portion. So ti's going to require even more time to copy, package, analyze, and upload. I intend to do this after my analysis and thesis is complete, which should be in the next 6 months. If you are a researcher and want access to the dataset sooner, please contact me directly and we can work something out.

    The original idea for DS4 was to compute neural networks for each type of data using dense, LeCun-style CNNs, and AlexNet CNNs. It turns out LeCun networks are so small and easy to compute that I can compute 50,0000 of them them locally on my won workstation in a day or two, so I didn't bother sending those out as BOINC workunits (also because the current client crashes when computing LeNet5 on some platforms, and it was faster to computer it locally than track down the bug). Since its debatable what scientific benefit having AlexNet (another CNN) brings over LeCun networks I'll likely drop those from the dataset.

    Thanks
    Even if nothing else happens, MLC@Home has been major success. We produced scientifically interesting and unique datasets, introduced a whole new type of science (machine learning) to the BOINC community, and showed that machine learning research can be conducted by a group volunteers over the internet.

    There are a few groups and individuals I'd like to specifically thank for making this project such a success. These include, but aren't limited to: the BOINC developers, especially Vitalii Koshura and the other developers on the BOINC Discord server, for helping me develop the project from the very beginning, Marcus (Delta on the BOINC Discord servers) for contributing directly to MLC@Home's server backend processing software, and who, along with JRingo run the BOINC Radio podcast that promoted and supported MLC@Home from very beginning. Mike from the PrimeGrid project for providing some crucial early advice for running a new project. I'm sure I'm forgetting many others, just know that we, as a community have many to thank for the success of this project.

    I'd like to extend an extra thanks to the early volunteers on the project who helped make the forum a helpful and welcoming place.

    Thanks also to the CoRaL Labs and my advisor at UMBC for supporting the research and providing funding for the new server after we quickly out-grew our original 2015-era ThinkPad laptop.

    Finally, thanks to our 4200+ volunteers, who crunched over 12.5 million work units using more than 17000 hosts. I am truly humbled by your contributions and what we've achieved together. None of this would have been possible without you. Thank you for giving a small unknown researcher a chance, and I encourage you to seek out smaller projects in the future, as their success will help determine whether BOINC continues to grow and thrive.

    I leave you with one last, satisfying website screenshot:
    [img]

    Thanks again to everyone,
    pianoman

    -- MLC@Home primary researcher and admin:
    https://www.mlcathome.org/
    email: mlcathome2020@gmail.com
    Twitter: @MLCHome2
    2 Oct 2022, 17:22:59 UTC
    Ursprünglich wurde dieser Artikel in diesem Thema veröffentlicht: MLC@Home - Erstellt von: pschoefer Original-Beitrag anzeigen
    1. Kategorien:
    2. Projekte
Single Sign On provided by vBSSO