Seite 1 von 2 1 2 Letzte
Ergebnis 1 bis 25 von 33

Thema: Sourcefinder

  1. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #1

    Standard Sourcefinder

    Sourcefinder, das Schwesterprojekt von POGS, testet ein Programm zum Identifizieren von Radioquellen und ist nun im Produktivbetrieb angekommen. Neue WUs werden jeden Mittwoch generiert, gelegentlicher Leerlauf ist nicht ausgeschlossen.

    Wir sind nun bereit für den Produktivbetrieb!
    Ja, der Tag ist gekommen. Sourcefinder wechselt endlich vom Test- in den Produktivbetrieb!

    Die meisten Fehler und Probleme, die wir während der Tests hatten, wurden so weit ausgebügelt, dass ich zufrieden bin.
    Alle Test-WUs wurden abgebrochen, alle WUs und Ergebnisse wurden archiviert.
    Wir werden nun mit dem Crunchen tatsächlicher Daten beginnen, 681 GB davon!
    Code:
    27G cubelets_1
    27G cubelets_2
    27G cubelets_3
    27G cubelets_4
    27G cubelets_5
    27G cubelets_6
    27G cubelets_7
    27G cubelets_8
    27G cubelets_9
    27G cubelets_10
    27G cubelets_11
    27G cubelets_12
    27G cubelets_13
    27G cubelets_14
    27G cubelets_15
    27G cubelets_16
    27G cubelets_17
    27G cubelets_18
    27G cubelets_19
    27G cubelets_20
    27G cubelets_21
    27G cubelets_22
    27G cubelets_23
    27G cubelets_24
    27G cubelets_25
    8.6G cubelets_26
    681G total
    Wir werden mit den Würfelchen (cubelets) 1 bis 4 beginnen.

    Ein paar weitere Bemerkungen:

    Ich habe einen neuen Dienst auf dem Server eingerichtet, welcher WUs und Ergebnisse, die älter als 2 Wochen sind, archiviert, daher werdet ihr diese Daten nicht auf der Webseite sehen.

    Während der Testphase ercrunchte Credits bleiben erhalten.

    Alle Produktiv-WUs werden unter Durchlauf 10 erfasst.

    Das WU-Limit pro Rechner wird erhöht. Ich plane, die entsprechenden Einstellungen zu ändern von
    Code:
    <max_wus_to_send>1</max_wus_to_send>
    <max_wus_in_progress>2</max_wus_in_progress>
    <max_ncpus>4</max_ncpus>
    zu
    Code:
    <max_wus_to_send>8</max_wus_to_send>
    <max_wus_in_progress>3</max_wus_in_progress>
    <max_ncpus>16</max_ncpus>
    Dadurch sollten auf jedem Rechner bis zu 16 CPUs verwendet werden und jeder Teilnehmer kann bis zu 3 WUs pro CPU gleichzeitig auf dem Rechner haben. Die maximale Zahl WUs, die ein Client gleichzeitig haben kann, beträgt nun also 48; achtet darauf, dass ihr diese auch alle rechtzeitig berechnen könnt!
    Außerdem können nun bei jeder Scheduleranfrage bis zu 8 WUs gesendet werden.
    Diese Zahlen sind derzeit provisorisch, wenn es Probleme oder Vorschläge gibt, bin ich gerne bereit, sie zu ändern.

    Etwas zur Zukunft:

    Ich möchte endlich die theSkyNet-Webseite aktualisieren, sodass sie den aktuellen Status des Sourcefinder-Projektes korrekt wiedergibt.

    Für alle, die es interessiert, werde ich jede Woche Statistiken zum Projekt posten.

    Ich werde definitiv jeden Mittwoch neue WUs herausgeben, manchmal auch an anderen Tagen, wenn ich Zeit dazu habe.

    Mein Hauptaugenmerk liegt ab jetzt darauf, Probleme mit der theSkyNet-Webseite zu beheben, da diese schon viel zu lange an der Lebenserhaltungsmaschine hängt.


    Danke euch allen, die bisher beim Sourcefinder-Projekt mitgeholfen haben, wir wissen eure Arbeit sehr zu schätzen. Nur dank euch konnte dieses Projekt endlich den Produktivbetrieb erreichen .
    19.04.2017, 2:22:01 MEZ


    Originaltext:
    Zitat Zitat von http://54.196.169.236/duchamp/
    We're now ready for Production!
    Yup, the day has come. Sourcefinder is finally moving from testing to production!

    Most of the bugs and issues we've been having during testing have been ironed out to a level that I'm happy with.
    All testing work units have been cancelled, and all work units and results have been archived.
    We're now going to begin to crunch actual data, 681GB of it!
    [...]

    We're starting with cubelet sets 1 to 4.

    A few other notes:

    I've added a new process to the server to archive work unit and result data older than 2 weeks, so you wont be able to see any of that archived data on the website.

    Any credits earned during testing will remain during production.

    All production work units will be registered under run 10.

    The limit on the number of work units sent to a single host will be increased. I'm planning on modifying the max work unit configuration from:
    Code:
    <max_wus_to_send>1</max_wus_to_send>
    <max_wus_in_progress>2</max_wus_in_progress>
    <max_ncpus>4</max_ncpus>
    to
    Code:
    <max_wus_to_send>8</max_wus_to_send>
    <max_wus_in_progress>3</max_wus_in_progress>
    <max_ncpus>16</max_ncpus>
    This should mean up to 16 CPUS on each machine will be used, and each user will be able to have up to 3 work units per CPU at any one time. This means the maximum number of WUs that a client can be running at any one time is now 48; just make sure you can crunch them all in time!
    Additionally, each scheduler request cycle will provide up to 8 work units.
    These numbers are tentative as well, if there are any issues or recommendations, I'm more than happy to change them.

    A few future things:

    I plan on finally updating theSkyNet website to accurately reflect the current state of the Sourcefinder project.

    I'll be reporting the project stats each week, for those who are interested.

    I'll definitely be pushing work units out every Wednesday, and sometimes on other days of the week if I get time.

    My main focus from now on is fixing the issues with theSkyNet website, as it's been running on life support for miles too long.


    Thank you everyone who has helped out with the Sourcefinder project so far, we greatly appreciate the work you've all done. It's because of all of you that this project was able to eventually reach production .
    19 Apr 2017, 1:22:01 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  2. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #2

    Standard Neue Projekt-URL

    Das Projekt hat nun eine vernünftige URL bekommen und ist auch per https erreichbar:

    Neue Projekt-URL
    Da SSL für Sourcefinder nun richtig eingerichtet ist, habe ich die Projekt-URL zu https://sourcefinder.theskynet.org/duchamp/ geändert.
    Das einzige, was ihr tun müsst, ist das Projekt in BOINC abzumelden und mit der neuen URL wieder hinzuzufügen.
    Die alte URL funktioniert noch zum Hoch- und Herunterladen von WUs, sodass alle über diese URL verteilten WUs noch immer sauber durchlaufen und hochgeladen werden sollten.
    17.05.2017, 2:46:49 MEZ

    Auch ein Logo hat das Projekt bekommen, natürlich dem Schwesterprojekt nicht ganz unähnlich:


    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    New Project URL
    Now that SSL is correctly set up for Sourcefinder, I've changed the project URL to https://sourcefinder.theskynet.org/duchamp/.
    The only thing you'll need to do is remove the duchamp project from BOINC, then re-add it using the new URL.
    The old URL is still valid for work unit uploads/downloads, so all current work units that are registered using this URL should still complete and upload fine.
    17 May 2017, 1:46:49 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  3. Avatar von Archi_74
    Titel
    BOINC Maniac

    Bewertung

    Registriert am
    01.10.2009

    Ort
    Bayern

    Beiträge
    607

    Danke
    Danke gesagt 6   Danke erhalten 1

    #3

    Standard

    Und wieder ein interessantes Projekt das vBox voraussetzt.
    Somit uninteressant! (zumindest für mich)
    "Ich würde es begrüßen, wenn wir zuerst unseren eigenen Planeten in Ordnung bringen,
    bevor wir die Arroganz aufweisen, unsere signifikant mangelhaften Zivilisationen auf andere
    Planeten zu befördern - selbst wenn diese völlig unbewohnt wären."
    (Sir Patrick Stewart)

  4. Avatar von taurec
    Titel
    ist hier zu Hause

    Bewertung

    Registriert am
    30.06.2008

    Ort
    Allerorten

    Beiträge
    3.754

    Danke
    Danke gesagt 207   Danke erhalten 54

    #4

    Standard

    Danke für die Info, pschoefer. Nach Ende des Pentathlon geht's da mal weiter ...
    Ciao taurec

  5. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #5

    Standard ursprünglicher Datensatz fast vollständig ausgewertet

    Das Projekt schreitet gut voran, der zu Beginn genannte 681 GB große Datensatz ist fast vollständig ausgewertet. Es wird danach aber wohl weitergehen.

    Neuigkeiten vom 5. Juni 2017
    Der Satz WUs, den ich diese Woche herausgebe, ist der letzte aus unserem 681 GB großen Datensatz.
    Soweit ich weiß, gibt es danach noch weitere Daten zu bearbeiten, aber ich muss herausfinden, wie ich diese aus dem Haupt-Superwürfel extrahieren kann.
    Alle bisher bearbeiteten Daten wurden vor meiner Zeit extrahiert.
    07.06.2017, 6:07:39 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    Update 5 June 2017
    The set of work units I'm pushing out this week are the last of our 681GB batch of data.
    To my knowledge, there is still more data to process once this is done, but I'll need to find out how to extract it from the main supercube.
    All of the data up until now had been pre-extracted ahead of time for me.

    [...]
    7 Jun 2017, 5:07:39 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  6. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #6

    Standard vorerst keine neuen Aufgaben, grafische Darstellung der Ergebnisse in Vorbereitung

    Inzwischen sind alle WUs der ersten Serie verschickt. Ein weiterer Datensatz muss noch vorbereitet werden, außerdem werden die Ergebnisse bald grafisch aufbereitet auf der theSkyNet-Webseite zu sehen sein.

    681 GB weniger
    Glückwunsch an alle, wir haben die ersten 681 GB der Sourcefinder-Würfelchen geschafft!
    Ihr alle habt großartige Arbeit geleistet und theSkyNet dankt euch dafür.

    Da wir nun einen großen Teil der Daten des simulierten Würfels bearbeitet haben, werde ich mich nun auf die Entwicklung einiger Visualisierungswerkzeuge konzentrieren, damit jeder tatsächlich sehen kann, welche Quellen er bearbeitet hat. Dieses Werkzeug wird auf theSkyNet.org eingebaut.
    Ihr werdet auswählen können, welches Würfelchen und welcher Parametersatz angezeigt werden sollen, und könnt dann die Örter der Quellen innerhalb des Würfelchens zusammen mit den Namen der Benutzer sehen, welche die Quellen gefunden haben.
    Ich plane auch, irgendwann die Credits von Sourcefinder zu euren Dashboards auf theSkyNet.org hinzuzufügen.

    Soweit ich weiß, sollte es noch weitere ca. 300 GB Daten zum Bearbeiten geben, da der ursprüngliche Superwürfel etwa 1 TB groß war. Ich glaube, dass diese Daten aus irgendeinem Grund nicht aus dem Superwürfel extrahiert wurden, also werde ich herausfinden, wie sie extrahiert werden können.
    Bis dahin wird es leider keine weiteren Sourcefinder-Workunits geben.

    Nochmals danke euch allen für das Crunchen all dieser Daten. Ich hoffe, dass euch das Visualisierungswerkzeug gefallen wird, wenn ich es fertiggestellt habe
    14.06.2017, 1:15:54 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    681GB Down
    Congratulations everyone, we made it through the first 681GB of Sourcefinder cubelets!
    You've all done amazing work so far, and everyone at theSkyNet thanks you for it.

    Now that we've processed a large portion of the simulated cube data, I'm going to be focusing on developing some visualisation tools to allow everyone to actually see the sources they've processed. This tool is going to be incorporated in to theSkyNet.org.
    You're basically going to be able to select a cubelet and parameter set to view, and you'll be shown the locations of the sources within that cubelet along with the name of the users who found the sources.
    I'm also planning on adding credit stats from Sourcefinder to your dashboard on theSkyNet.org at some point.

    To my knowledge, there should also be another ~300GB of data somewhere to process, as the original supercube was around 1TB in size. I believe this data wasn't extracted from the supercube for whatever reason, so I'm going to be working out how to extract it.
    Until then, there wont be any more Sourcefinder work units unfortunately.

    Anyway, thank you again to all of you for crunching all of this data. I hope you all enjoy the visualisation tool when I've finished building it
    14 Jun 2017, 0:15:54 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  7. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #7

    Standard neue (alte) WUs, neue Anwendung und bald neue Daten

    Es gibt wieder WUs, zunächst müssen einige alte WUs noch einmal berechnet werden. In Kürze wird der gesamte Datenwürfel noch einmal mit einer anderen Anwendung namens SoFiA (Source Finding Application, Quellenfinder-Anwendung) durchsucht, um die Zuverlässigkeit dieser Anwendung mit der bisher verwendeten Duchamp-Anwendung zu vergleichen. Auch wird das Projekt nun eine etwas längere Zukunft haben, bald sollen Daten des Australian Square Kilometre Array Pathfinder (ASKAP) durchsucht werden.

    Echte Daten kommen bald!
    Ich komme gerade zurück von einem Treffen mit Kirsten und habe einige sehr gute Neuigkeiten zu teilen!

    ASKAP ist beinahe fertig mit den Beobachtungen seines ersten ~500 GB großen Würfels und wir werden die Daten auswerten, wenn sie fertig sind!
    Bisher wurden ASKAP-Daten noch nie mit Quellenfinder-Anwendungen ausgewertet, wir werden also die allerersten sein.

    Während wir auf die ASKAP-Daten warten, werden wir den simulierten Superwürfel noch einmal auswerten, diesmal mit einer neuen Quellenfinder-Anwendung namens SoFiA.
    Wir werden beobachten, ob SoFiA die Quellen zuverlässiger findet als Duchamp.

    Sobald wir die Daten sowohl von Duchamp als auch von SoFiA haben, werde ich die gefundenen Quellen mit dem ursprünglichen Quellenkatalog abgleichen, dann werden wir ein klares Bild haben, welcher Quellenfinder besser funktioniert.

    Mir wurde auch gesagt, dass es sehr wahrscheinlich eine Publikation zum Vergleich von Duchamp und SoFiA als Quellenfinder geben wird, ich werde euch darüber auf dem Laufenden halten, sobald ich mehr darüber höre.

    Schließlich gab es ein Speicherproblem mit einigen der ausgewerteten Daten und ich muss ein paar WU-Sätze noch einmal laufen lassen, ihr könnt also recht bald mit mehr Arbeit rechnen.
    21.06.2017, 5:52:54 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    Real data coming soon!
    I've just arrived back from a meeting with Kirsten, and I have some extremely good news to share with everyone!

    ASKAP has almost completed observations of its first ~500GB cube, and we're going to be processing it when it's done!
    Running a sourcefinding application on ASKAP data hasn't been done yet, so this is going to be a world first.

    While we're waiting for ASKAP to be done, we're going to be running the simulated super cube again, this time using a new sourcefinding application called SoFiA.
    We're going to be looking at whether SoFiA is any better at finding sources than Duchamp is.

    Once we have data from both Duchamp and SoFiA, I'll be working on cross matching the sources they found with the original sources catalogue, then we'll have a clear picture of which is the better sourcefinder.

    I'm also told that there's a very high chance of a paper being written on the comparison between Duchamp and SoFiA as sourcefinders, so I'll be sure to keep you all up to date if I hear any more about it.

    Finally, there's been a bit of a back end storage issue with some of the data we've processed, and I'll need to re-run a few sets of work units, so expect some more work to be coming fairly soon.
    21 Jun 2017, 4:52:54 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  8. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #8

    Standard Zukunft des Projektes

    Ein ausführlicher Beitrag fasst noch einmal alle Änderungen zusammen, die in nächster Zeit bei Sourcefinder durchgeführt werden:

    Die Zukunft von Sourcefinder
    Wie einige von euch noch aus meinem letzten Beitrag wissen, wird Sourcefinder in den nächsten Monaten einigen deutlichen Veränderungen unterzogen. Ich dachte, es wäre an der Zeit, genau auszuführen, was passiert.

    Die Einführung von SoFiA
    Ich arbeite derzeit daran, die Quellenfinder-Anwendung SoFiA in Sourcefinder zu integrieren. Um SoFiA sauber zu integrieren, arbeite ich an einer relativ wichtigen Überholung etlicher Systeme des Sourcefinder-Unterbaus, um die Unterstützung mehrerer Quellenfinder-Anwendungen zu ermöglichen. Mein Ziel ist es, das Hinzufügen neuer Quellenfinder-Anwendungen in Zukunft so einfach wie möglich zu machen. Wenn es euch interessiert, könnt ihr meine Änderungen im module_rework-Zweig unseres Git-Repositorys verfolgen.
    Ich werde sehr wahrscheinlich einige Test-WUs verschicken, während ich an der Integration von SoFiA arbeite, also werdet ihr möglicherweise außer der Reihe Arbeit erhalten, bis die Integration abgeschlossen ist.
    Sobald SoFiA korrekt funktioniert, werden wir alle WUs aus dem simulierten Würfel nochmals bearbeiten, diesmal mit SoFiA statt Duchamp.

    Publikation zum Vergleich von SoFiA und Duchamp
    Die Wissenschaftler, welche die Daten von diesem Projekt verwenden werden, planen das Schreiben einer Publikation zum Vergleich der Leistung von Duchamp und SoFiA als Quellenfindern. Nach dem, was mir erzählt wurde, wird die Datenauswertung dieses Projektes sehr wahrscheinlich entweder am Ende dieses Jahres oder am Ende nächsten Jahres von einem ICRAR-Stipendiaten durchgeführt.
    Ich werde sicherstellen, dass die Namen/Benutzernamen von so vielen Leuten wie möglich, die an Sourcefinder mitgewirkt haben, in der Publikation aufgelistet werden, bevor sie veröffentlicht wird.
    Ihr werdet in ein paar Monaten mehr über diese Publikation hören, sobald SoFiA sauber in Sourcefinder integriert ist.

    Echte Daten von ASKAP
    Wie ich im letzten Beitrag schrieb, sollten wir mit Sourcefinder in den kommenden Monaten echte Daten von ASKAP bearbeiten. Sobald ich diese Daten habe, werde ich WUs für Duchamp und später für SoFiA verschicken. Ich kann außer "bald" keinen Zeitraum nennen, wann diese Daten verfügbar sein werden, aber ich hoffe, dass das innerhalb weniger Monate geschehen wird.

    Visualisierung der Sourcefinder-Ergebnisse
    Ich plane die Entwicklung einer kleinen Webanwendung, die es wahrscheinlich auf http://www.theskynet.org jedem ermöglichen wird, die von Duchamp und SoFiA gefundenen Quellen anzuschauen. Meine aktuelle Idee für diese Minianwendung ist, ein Bild des Würfelquerschnitts anzuzeigen, in welchem die Quelle gefunden wurde, eine kleine Markierung der Quelle sowie eine Liste der Teilnehmer, die zum Fund der Quelle beigetragen haben.
    Ich werde mit der Arbeit an dieser Minianwendung beginnen, sobald SoFiA in Sourcefinder integriert ist.

    Workunits
    Alle bei dem Speicherproblem, von dem ich im letzten Beitrag sprach, verloren gegangenen WUs wurden nochmals bearbeitet (danke!). Das bedeutet, dass es für eine Weile keine signifikante Anzahl Sourcefinder-WUs geben wird. Ich versuche, diese Zeit so kurz wie möglich zu halten (hoffentlich höchstens einen oder zwei Monate), aber das hängt sehr davon ab, wie einfach es ist, SoFiA zu integrieren.

    Änderung der Projekt-URL
    Ich plane, die Projekt-URL irgendwann von https://sourcefinder.theskynet.org/duchamp in https://sourcefinder.theskynet.org/sourcefinder zu ändern. Der ursprüngliche Name 'duchamp' stammt noch aus der Zeit, bevor ich dieses Projekt übernommen habe. Ich dachte nicht, dass wir mehrere Anwendungen haben würden, deshalb beließ ich es dabei. Sobald SoFiA läuft, ist der 'duchamp'-Teil der URL offensichtlich nicht mehr sinnvoll, sodass ich das in das allgemeinere 'sourcefinder' ändern werde. Ich werde jedem eine Woche vorher Bescheid geben, damit ihr Zeit habt, einfach zu wechseln. Ich werde auch sicherstellen, dass die alte URL weiterhin funktioniert, aber einfach auf die neue weiterleitet.

    Ich denke, das ist alles für den Moment. Ich werde versuchen, euch in allen Punkten so gut wie möglich auf dem Laufenden halten.
    Danke nochmals für eure Hilfe bei Sourcefinder!
    19.07.2017, 1:14:08 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    The future of Sourcefinder
    As some of you will remember from my previous post, Sourcefinder is going to see some significant changes coming in the next few months. I thought it was time I properly outlined exactly what's happening.

    The introduction of SoFiA
    I'm currently working on integrating the SoFiA sourcefinding application in to Sourcefinder. In order to integrate SoFiA cleanly, I'm working on a fairly significant overhaul to a lot of the Sourcefinder backend systems that will allow support for multiple sourcefinding applications. My aim here is to make it as easy as possible to add new sourcefinding applications to the system in the future. If anyone is interested, you can see the changes I'm making in the module_rework branch of our git repository.
    I'll most probably be sending out quite a few test work units while working on integrating SoFiA, so you'll probably get odd spats of work until it's integrated properly.
    Once SoFiA is working correctly, we'll be processing all of the work units in the simulated cube again, but this time using SoFiA instead of duchamp.

    SoFiA vs Duchamp research paper
    The scientists who will be using the data from this project plan on writing a research paper comparing the performance of Duchamp and SoFiA as sourcefinders. From what I've been told, the data analysis side of this project is most likely to be performed by an ICRAR studentship student either at the end of this year or the end of next year.
    I plan on ensuring that as many people as possible who contributed to Sourcefinder will have their names/usernames listed in the research paper before it's published.
    You'll hear more about this paper in a few months once SoFiA is integrated properly in to Sourcefinder.

    Real data from ASKAP
    As I stated in the previous post, we should have some real data from ASKAP to process on Sourcefinder in the coming months. The moment this data becomes available to me, I'll be sending out work units for Duchamp, and later for SoFiA. I don't have a timeframe on when this data will be available aside from "soon", but I'm hoping we'll see it within a few months.

    Visualisation of Sourcefinder results
    I plan on developing a little web applet that will probably live on http://www.theskynet.org to allow anyone to view the sources found by Duchamp and SoFiA. My current plan for this applet is to display an image of the cube slice that the source was found in, a small highlight indicating the source, and a list of the users who contributed to finding the source.
    I'll be starting work on this applet after SoFiA is integrated in to Sourcefinder.

    Workunits
    The workunits that were lost in the back end storage issue that I spoke about in the last post has all been reprocessed (thank you!). This means there wont be a significant number of workunits for Sourcefinder for a little while. I'll try to make this period as short as possible (hopefully a month or two at most), but it really depends on how easy it is to integrate SoFiA.

    Project URL change
    At some point I plan on changing the project URL from https://sourcefinder.theskynet.org/duchamp to https://sourcefinder.theskynet.org/sourcefinder. The original name 'duchamp' was a carry over from before I event inherited this project. I didn't think we'd be running multiple applications, so I just left it. Obviously once SoFiA is working, the 'duchamp' part of the URL wont make much sense, so I'll be changing it to the more generic 'sourcefinder'. I'll give everyone a weeks notice before I change anything, so you should have time to change over easily. I'll also ensure the old URL still works, but simply re-directs to the new one.

    [...]

    I think that's about everything I have for now. I'll try to keep everyone as updated as possible on all of these issues.
    Thank you again for helping out with Sourcefinder!
    19 Jul 2017, 0:14:08 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  9. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #9

    Standard Test-WUs für SoFiA-Anwendung

    Derzeit sind erste Test-WUs für die neue SoFiA-Anwendung verfügbar:

    SoFiA-Test-WUs
    Meine Hauptarbeit an SoFiA ist seit heute abgeschlossen.
    Der letzte Schritt ist ein Test, um sicherzustellen, dass Validator, Assimilator, etc. korrekt funktionieren.
    Dafür habe ich SoFiA als Betatest-Anwendung eingerichtet. Ich werde dafür Test-WUs herausgeben, bis ich alle signifikanten Probleme behoben habe.

    Wenn ihr mir beim Testen helfen wollt, könnt ihr in euren Projekteinstellungen auf der folgenden Seite Betatest-Anwendungen erlauben:
    https://sourcefinder.theskynet.org/d...subset=project

    Ich hoffe, dass die Testphase von SoFiA nicht allzu lang dauern wird und wir innerhalb der nächsten Wochen eine produktive SoFiA-Anwendung haben werden.
    30.08.2017, 6:00:14 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    SoFiA Test Work Units
    As of today, my main work on the SoFiA is complete.
    The final step is testing to ensure the validator, assimilator etc. all function correctly.
    For this, I've created a beta test app for SoFiA. I'll be running test work units through this app until I've ironed out all significant issues.

    If you wish to help me run test work units, you can set your project preferences to allow beta test apps on the following page:
    https://sourcefinder.theskynet.org/d...subset=project

    I'm hoping that, overall, the testing phase of SoFiA wont be too long and we'll have a production SoFiA app running within the next few weeks.
    30 Aug 2017, 5:00:14 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  10. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #10

    Standard Neuerungen im SoFiA-Betatest

    Es gibt ein paar Änderungen nach der ersten Woche der SoFiA-Testphase:

    Neuigkeiten zum SoFiA-Betatest, Teil 1
    Der CNHI-Filter wurde von allen Testparametern entfernt. Dieser hat riesige WU-Laufzeiten verursacht, die zu einer Zeitüberschreitung der WUs führten.

    Eine Begrenzung von 30 Minuten pro Parameter wurde eingerichtet. Die VM versucht nun jeden Parametersatz höchstens 30 Minuten lang zu bearbeiten. In meinen lokalen Tests brauchten die meisten Parameter höchstens 2-5 Minuten, daher sollte das mehr als genug Zeit sein. Ich werde ein Auge darauf werfen, ob eine 30-Minuten-Grenze in Zukunft zum Problem wird.

    Die RAM-Größe der VMs wurde von 1024 MB auf 128 MB verringert. Das sollte die Speicheranforderungen auf dem Wirtsystem deutlich verringern.

    Die vbox-Wrapper für Mac OS (x86 und x64) wurden von Version 26199 auf Version 26196 aktualisiert.

    Ein neuer Satz Test-WUs ist jetzt verfügbar.
    06.09.2017, 4:07:54 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    SoFiA Beta Update 1
    Removed CNHI Filter from all test parameters. This was causing huge workunit runtimes, ultimately resulting in work units timing out.

    Added a per-parameter timeout of 30 mins. The VM will now attempt to process each parameter set for a max of 30 mins before timing out. In my local tests, most parameters only take around 2 - 5 mins to run, so this should be more than enough time. I'll keep an eye on whether a 30 min timeout becomes an issue in the future.

    Dropped VM RAM size to 128MB from 1024MB. This should significantly reduce the memory requirements of the host system.

    Updated vboxwrappers for apple (x86 and x64) to version 26199 from version 26196

    A new set of test work units are available now.
    6 Sep 2017, 3:07:54 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  11. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #11

    Standard weitere Optimierungen für SoFiA

    Auch an diesem Mittwoch gab es eine weitere, inzwischen schon vergriffene Serie Test-WUs mit weiteren Optimierungen:

    Neuigkeiten zum SoFiA-Betatest, Teil 2
    Die RAM-Größe der VM wurde auf 256 MB erhöht. Das sollte hoffentlich dieses wilde Auslagern, das auf Linux passierte, beenden.

    Die VM-Abbilddatei wurde von 1,9 GB auf 1,6 GB verkleinert. Die komprimierte Abbilddatei ist 446 MB groß. Ich werde später schauen, ob ich noch weiteres aus der VM entfernen kann. Ich könnte die Größe möglicherweise um ein paar weitere hundert MB verringern.

    Es wurden dreimal so viele Test-WUs wie bisher herausgegeben. Es sollten etwa 1500 bereitstehen.
    13.09.2017, 5:51:07 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    SoFiA Beta Update 2
    Increased VM RAM size to 256MB. This'll hopefully stop that furious swapping that was happening on Linux.

    Compacted the VM image from 1.9GB down to 1.6GB. The compressed image is 446MB. I'll see if theres anything more I can strip out of the VM at a later date. I might be able to strip it down be another few hundred MB.

    Released 3x the number of test work units as before. There should be around 1500 ready to go.
    13 Sep 2017, 4:51:07 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  12. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #12

    Standard SoFiA-Betatest auf der Zielgeraden

    Nur noch kleinere Probleme mussten ausgebügelt werden, die gerade in Verteilung befindliche WU-Serie wird wohl die letzte des SoFiA-Betatests sein, bevor der Produktivbetrieb mit dieser Anwendung beginnen kann.

    Neuigkeiten zum SoFiA-Betatest, Teil 3
    Ein paar Fehler im Assimilator wurden korrigiert.
    Die Aufzeichnung der Validator-Meldungen wurde verbessert.

    Von den 1736 WUs, die beim letzten Mal verschickt wurden, habe ich für 1723 Ergebnisse auf unserem Cloud-Speicher. Das ist eine Erfolgsrate von 99%!

    Es gab allerdings ein paar Probleme mit dem Assilimator, die verhindert haben, dass die Ergebnisse korrekt in unserer Datenbank gespeichert wurden. Wir speichern sowohl die gefundenen Quellen in unserer Datenbank als auch die von den Clients zurückgemeldeten Rohdateien auf einem Cloud-Speicher.

    Hoffentlich wird dies die letzte Woche des SoFiA-Betatests sein und wir können dann mit produktiven Berechnungen beginnen!

    Edit: Ich habe SoFiA auch in die Projektbeschreibung auf der Startseite eingebaut.
    20.09.2017, 2:26:26 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    SoFiA Beta Update 3
    Fixed a few bugs in the assimilator.
    Improved logging in the validator.

    Out of the 1736 work units sent out in the last update, I have the results for 1723 of them stored in our cloud storage system. That's a 99% success rating!

    There were a couple of issues with the assimilator that were preventing the results from being properly stored in our database though. We store sources found in our database as well as storing the raw files returned by a client in cloud storage.

    Hopefully this will be the last week of the SoFiA beta, and then we can proceed in to full processing mode!

    Edit: I've also updated the project description that appears on the main page to include SoFiA.
    20 Sep 2017, 1:26:26 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  13. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #13

    Standard nächste Runde im SoFiA-Betatest

    Auch in dieser Woche wurden noch weitere Probleme korrigiert und Erweiterungen vorgenommen, allerdings gibt es derzeit Berichte, dass die allwöchentlichen Test-WUs nicht korrekt heruntergeladen werden können.

    Neuigkeiten zum SoFiA-Betatest, Teil 4
    Ein weiterer Fehler im Assimilator wurde behoben.

    Die Art, wie SoFiA die Ausgabedateien zurückgibt, wurde verändert. Es gab ein Problem mit einigen Parameterkombinationen, die zu unterschiedlich formatierten Ausgaben von SoFiA führten. Das sollte nun korrekt behandelt werden.

    Ein neuer, erweiterter Parametersatz für das Testen von SoFiA wurde aufgebaut. Wir testen nun etwa 100 verschiedene Kombinationen.

    Neue WUs mit dem erweiterten Parametersatz wurden herausgegeben.
    27.09.2017, 8:17:38 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    SoFiA Beta Update 4
    Fix yet another bug in the assimilator.

    Modified the way SoFiA returns output files. There was an issue with various parameter combinations causing SoFiA to return outputs in different formats. This should be accounted for properly now.

    Built a new, extended parameter set for SoFiA testing. We're now testing about 100 different combinations.

    Pushed out new work units using the extended parameter set.
    27 Sep 2017, 7:17:38 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  14. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #14

    Standard Nachtrag zu weiteren SoFiA-Tests

    Die Informationen zu den Test-WUs dieser Woche seien hiermit nachgereicht. Es gibt unter anderem noch ein Problem mit SoFiA, dass die Berechnung eines Parameters manchmal funktioniert, manchmal aber fehlschlägt.

    Neuigkeiten zum SoFiA-Betatest, Teil 5
    Ich habe die Aufzeichnung der Assimilator-Meldungen beschränkt, damit ich darin auch tatsächlich etwas finden kann.

    Ein extrem unwahrscheinlicher Fehler im Assimilator wurde behoben, der zuschlug, wenn die S3-Server von Amazon nicht erreichbar sind.
    Ein Fehler, dass der Assimilator nicht existierende temporäre Verzeichnisse zu löschen versuchte, wurde behoben.

    Außerdem scheint einer der SoFiA-Ergebnisparameter, Wm50, nichtdeterministisch zu sein. Einige Durchläufe berechnen ihn ohne Fehler, aber andere schlagen fehl. Hier sind Beispiele der Fehlermeldungen von zwei verschiedenen Durchläufen mit demselben Parametersatz:

    Durchlauf 1 (vom Benutzer emoga):
    Code:
    Warning (Parametrization): Cannot determine kinematic major axis. Source too faint.
    Warning (Parametrization): Measurement of kinematic PA failed.
    Warning (Parametrization): Kinematic major axis derived from just 2 data points.
    Error (Parametrization): Calculation of Wm50 failed (3).
    Warning (Parametrization): Failed to measure source line width.
    Error (Parametrization): Cannot fit ellipse, source flux <= 0.
    Warning (Parametrization): Ellipse fit failed.
    Warning (Parametrization): Cannot determine kinematic major axis. Source too faint.
    Warning (Parametrization): Measurement of kinematic PA failed.
    Durchlauf 2 (vom Benutzer LCB001)
    Code:
    Warning (Parametrization): Cannot determine kinematic major axis. Source too faint.
    Warning (Parametrization): Measurement of kinematic PA failed.
    Warning (Parametrization): Kinematic major axis derived from just 2 data points.
    Error (Parametrization): Cannot fit ellipse, source flux <= 0.
    Warning (Parametrization): Ellipse fit failed.
    Warning (Parametrization): Cannot determine kinematic major axis. Source too faint.
    Warning (Parametrization): Measurement of kinematic PA failed.
    Beachtet, dass im ersten Fall der Parameter Wm50 nicht berechnet werden kann, aber im zweiten Fall kein Problem bei der Berechnung auftritt.
    Ich werde das mit dem SoFiA-Team besprechen, weil das möglicherweise ein Problem ist, das sie beheben können.

    Ich habe außerdem einen Satz von Parameterdateien erhalten, welche die Wissenschaftler von uns bearbeitet sehen wollen, daher werden wir in dieser Woche einen Test dieser Parameter durchführen, um sicherzustellen, dass alles funktioniert.
    Es sind insgesamt 486 Parameter pro Würfelchen zu berechnen (das sind zweimal so viele wie bei Duchamp!), daher werden die WUs etwas länger laufen als üblich. Ich habe die Parameter lokal getestet und die Berechnung einer WU dauerte etwa 30 Minuten.
    11.10.2017, 3:54:41 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    SoFiA Beta Update 5
    Reduced logging in the assimilator logs so I can actually find things in them.

    Fixed an extremely unlikely bug in the assimilator that fires if amazon's S3 servers can't be reached.
    Fixed a bug with the assimilator attempting to remove temporary folders that don't exist.

    It also appears as though one of the SoFiA result parameters, Wm50, is non-deterministic. Some runs calculate it without error, but others fail. Here's an example error log from two different runs of the same parameter set:

    Result 1 (courtesy of emoga):
    [...]

    Result 2 (courtesy of LCB001)
    [...]

    Note how in the first case, the Wm50 parameter fails to calculate, but in the second there's no issue calculating it.
    This is something I'll bring up with the SoFiA team, as it might be an issue somewhere that they can address.

    I've also received a set of parameter files that the scientists would like us to run, so for this week we'll be running a test on those parameters to make sure everything works fine.
    There are a total of 486 parameters to run per cubelet (that's 2x more than duchamp!) so work units should take a bit longer to complete than normal. I tested the parameters locally and they took around 30 mins to process one work unit.
    11 Oct 2017, 2:54:41 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  15. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #15

    Standard Feinschliff am SoFiA-Subprojekt

    In dieser Woche wurde die Benennung der WUs etwas verändert, außerdem wird das in der Vorwoche beschriebene Determinismus-Problem nun von den SoFiA-Entwicklern untersucht. Nächste Woche könnte der Produktivbetrieb beginnen.

    Neuigkeiten zum SoFiA-Betatest, Teil 6
    Entschuldigt, ich habe meine gestrige Änderungsmeldung vergessen!

    Es gab ein Problem mit Überschneidungen der WU-Namen zwischen Duchamp und SoFiA. Die ursprüngliche Namenskonvention war "Durchlauf-ID_Würfelname", aber es gab keine Unterscheidung zwischen SoFiA- und Duchamp-WUs.
    Die neue Namenskonvention ist einfach "Anwendungsname_Durchlauf-ID_Würfelname", um die Möglichkeit künftiger Überschneidungen auszuschließen.

    Ich habe auch die SoFiA-Entwickler wegen des in der letzten Woche beschriebenen Determinismus-Problems kontaktiert und sie arbeiten daran.

    Ich möchte so schnell wie möglich mit der echten Arbeit beginnen, daher peile ich an, in der nächsten Woche auf produktive Arbeit umzustellen, wenn in dieser Woche alles glatt läuft.
    19.10.2017, 1:26:12 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    SoFiA Beta Update 6
    Apologies, I forgot to post my changelog for yesterday!

    There was an issue with workunit name clashes between duchamp and sofia. The original naming convention was "runid_cubename", but there was no differentiation between SoFiA and Duchamp workunits.
    The new naming convention is simply "appname_runid_cubename" to avoid the possibility of future clashes.

    I've also contacted the SoFiA devs about the determinism issue I outlined last week and they're looking in to it.

    I want to get started on real work as soon as possible, so if this week's work goes smoothly, I'll see about moving on to production work next week.
    19 Oct 2017, 0:26:12 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  16. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #16

    Standard SoFiA im Produktivbetrieb

    Nach den Tests in den vergangenen zwei Monaten ist die SoFiA-Anwendung nun im Produktivbetrieb. Die WU-Versorgung sollte in nächster Zeit relativ konstant sein.

    Produktive WUs mit SoFiA
    Grüße an alle!

    Ich freue mich, den Start der produktiven WUs für SoFiA bekanntzugeben. Nach Entfernen des Parameters Wm50 ist das bisherige Determinismus-Problem verschwunden, sodass ich nun produktive WUs herausgeben kann.

    Diese WUs sind genau die gleichen wie die Duchamp-WUs, etwa 15 MB groß. Dieses Mal testen wir jedoch 486 verschiedene Parameterkombinationen, deutlich mehr als die 176 Parameterkombinationen mit Duchamp. Ihr könnt mit längeren WU-Laufzeiten und mehr Punkten pro WU rechnen.

    Die Projektwissenschaftler sind außerdem dabei, den DINGO-Würfel neu in größere Teile von 100 MB aufzuspalten, die wir ebenfalls mit SoFiA bearbeiten werden. Wenn diese Würfelchen verfügbar sind, werde ich sie in einen Satz von 5 verschiedenen Durchläufen aufteilen, mit unterschiedlichen Parametersätzen für jeden Durchlauf. Die ersten vier Durchläufe werden 100 der 486 SoFiA-Parameter enthalten, der letzte die verbleibenden 86 Parameter.
    Ich halte euch auf dem Laufenden, wann diese WUs verfügbar sein werden.

    Ich muss außerdem empfehlen, dass ihr derzeit NICHT auf VirtualBox 5.2 aktualisieren solltet. Ich warte darauf, dass BOINC die zu VirtualBox 5.2 kompatiblen Wrapper-Versionen offiziell herausgibt.

    Schließlich werde ich versuchen, das Sourcefinder-Forum täglich zu überprüfen statt nur mittwochs, wenn ich tatsächlich an Sourcefinder arbeite. Hoffentlich werde ich dadurch deutlich schneller auf Probleme mit Sourcefinder reagieren können, die in den kommenden Monaten auftauchen.

    Danke euch allen für eure Geduld mit dem recht langsamen Fortschritt der SoFiA-Beta. Ich hoffe, dass die Versorgung mit produktiven WUs recht stetig sein wird.

    Frohes Crunchen!

    Sam.
    01.11.2017, 3:43:17 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    SoFia Production Workunits
    Greetings Everyone!

    I'm pleased to announce that I'm starting production workunits for SoFiA. After the removal of the Wm50 parameter from SoFiA's parameter files, the previous determinism issues disappeared, so I'm ready to begin pushing out production work units.

    These work units are the exact same as the Duchamp ones, around 15MB in size. This time, however, we're running 486 different parameter combinations, which is up significantly from Duchamp's 176 parameter combinations. You can expect longer WU times, with a larger amount of credit per WU.

    The project scientists are also in the process of re-chopping the DINGO cube in to larger, 100MB pieces that we'll also be running through SoFiA. When these cubelets are available, I will be splitting them in to a set of 5 different runs, with a different parameter set for each run. The first 4 runs will contain 100 of the 486 SoFiA parameters, with the final run making up the remaining 86 parameters.
    I'll keep you updated as to when these workunits will be available.

    I must also recommend that everyone does NOT update to VirtualBox 5.2 for the time being. I'm currently waiting on BOINC to officially release their VirtualBox 5.2 compatible wrapper versions.

    Finally, I'm going to attempt to make time to check the Sourcefinder message boards every day, instead of only on Wednesdays when I'm actually working on Sourcefinder tasks. Hopefully this'll help me be significantly more responsive to any Sourcefinder related issues that crop up over the coming months.

    Thank you everyone for being patient with the rather slow progress of the SoFiA beta. I hope to have a fairly steady flow of production work units.

    Happy Crunching!

    Sam.
    1 Nov 2017, 2:43:17 UTC
    Geändert von pschoefer (05.11.2017 um 12:13 Uhr)
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  17. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #17

    Standard Creditbonus wegen Validierungsproblemen

    Für die seit Mittwoch herausgegebenen WUs werden 50% mehr Credits vergeben als Entschädigung für die vorangegangenen Validierungsprobleme. Allerdings scheinen diese Probleme doch nicht behoben zu sein, es gibt weiterhin viele WUs ohne eindeutiges Ergebnis, weshalb auch immer noch neue Aufgaben bereitstehen.

    Neuigkeiten zum SoFiA-Produktivbetrieb, Teil 1
    Die Möglichkeit, die vom Validator für WUs vergebenen Credits zu skalieren, wurde hinzugefügt. Derzeit beträgt der Skalierungsfaktor 1,5, um die Validierungsprobleme zu kompensieren, die wir hatten.

    Wir bearbeiten derzeit einen neuen Satz WUs, der innerhalb der nächsten ca. 12 Stunden geschafft sein sollte.
    08.11.2017, 7:54:13 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    SoFiA Production Update 1
    Added the ability to scale credit awarded to workunits by the validator. Currently credit scaling is at x1.5 to make up for the validation errors we've been having.

    Currently processing a new batch of work units, which should be done within the next 12 or so hours.
    8 Nov 2017, 6:54:13 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  18. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #18

    Standard kürzere WUs wegen anhaltender Validierungsprobleme

    Die Probleme mit einigen ungültigen WUs bestehen weiterhin, sollten aber durch verkürzten Umfang der WUs etwas abgemildert werden. Die Ursachenforschung dauert an.

    Neuigkeiten zum SoFiA-Produktivbetrieb, Teil 2
    Die Arbeit für diese Woche ist in vier verschiedene Durchläufe aufgeteilt (16 -> 19), welche jeweils ein Viertel der 486 Parameter enthalten, die wir mit SoFiA behandeln.

    Das Ziel hierbei ist, die Laufzeit pro WU und die Datenmenge, die erneut berechnet werden muss, falls eine WU als ungültig markiert wird, zu verringern.

    Ich untersuche noch immer den eigentlichen Grund für diese ungültigen WUs, aber konnte die Fehler noch immer nicht lokal auf meinen eigenen Rechnern reproduzieren. In der Zwischenzeit hoffe ich, dass diese schnelle Lösung die Last etwas verringert.
    15.11.2017, 7:43:10 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    SoFiA Production Update 2
    The work for this week is broken up in to 4 different runs (16 -> 19) which each contain a quater of the 486 parameters that we're running through SoFiA.

    The aim here is to reduce the run time of each work unit, and reduce the amount of data that needs to be re-calculated whenever a workunit is marked invalid.

    I'm still investigating the actual cause of these invalid workunits, but I still haven't been able to re-produce the errors locally on my own machines. In the mean time, I hope this quick fix eases the load a little.
    15 Nov 2017, 6:43:10 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  19. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #19

    Standard bessere WU-Versorgung und VirtualBox 5.2

    Nachgereicht die Neuigkeiten der letzten beiden Wochen. Neben serverseitigen Verbesserungen wurde auch der VirtualBox-Wrapper aktualisiert, sodass er die neueste VirtualBox-Version 5.2 zwar noch nicht offiziell unterstützt, aber doch zu funktionieren scheint.

    Neuigkeiten zum SoFiA-Produktivbetrieb, Teil 3
    Ich habe einige Zeit in das Beschleunigen des Assimilators gesteckt, um dessen derzeit große Warteschlange abzubauen.

    Weitere drei WU-Sätze werden gerade vorbereitet. Sie sollten in wenigen Stunden bereitstehen.
    22.11.2017, 5:30:00 MEZ


    Neuigkeiten zum SoFiA-Produktivbetrieb, Teil 4
    Die VirtualBox-Wrapper für 32- und 64-Bit-Windows wurden auf Version 26200 aktualisiert.

    Dieses Mal gebe ich vier WU-Sätze statt drei heraus, um zu versuchen, eine bessere WU-Versorgung sicherzustellen.

    Ich versuche noch immer, den möglichen Grund der ungültigen WUs zu ermitteln. Ich teste derzeit WUs mit einigen verschiedenen VirtualBox-Versionen, falls eine bestimmte Version Probleme verursacht. Ich werde die VM auch mit VirtualBox 5.2 testen, um zu bestätigen, dass das korrekt funktioniert. Wir warten jedoch noch immer auf zu 5.2 kompatible Wrapper von BOINC.
    29.11.2017, 5:46:11 MEZ


    Originaltexte:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    SoFiA Production Update 3
    Spent some time improving the speed of the assimilator to grind through the large assimilation backlog we currently have.

    Currently processing another 3 sets of workunits. They should be ready to go in a few hours.
    22 Nov 2017, 4:30:00 UTC
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    SoFiA Production Update 4
    Updated the windows 32bit and 64bit virtualbox wrappers to version 26200.

    Pushing out 4 sets of work units this time instead of 3 to try and keep work flowing nicely.

    I'm still trying to investigate the potential cause of invalid workunits. I'm currently testing workunits on several different virtualbox versions in-case one version in particular is causing issues. I'm also going to test the VM with virtualbox 5.2, just to confirm it works properly. We're still waiting on 5.2 compatible wrappers from BOINC, though.
    29 Nov 2017, 4:46:11 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  20. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #20

    Standard Downloadproblem behoben

    Reichlich WUs stehen zur Verfügung und können nun auch wieder erfolgreich heruntergeladen werden:

    Neuigkeiten zum SoFiA-Produktivbetrieb, Teil 5
    Ein Berechtigungsproblem mit dem VM-Image auf dem Server wurde behoben (Entschuldigung!).
    Ich habe zwei weitere WU-Sätze zur Warteschlange hinzugefügt, obwohl noch immer eine angemessene Menge Arbeit übrig war, was ein gutes Zeichen ist.
    06.12.2017, 2:59:27 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    SoFiA Production Update 5
    Fixed a permission issue with the VM image on the server (sorry!).
    Added another two sets of workunits to the queue, although we still have a fair amount of work remaining as it is, so that's a good sign.
    6 Dec 2017, 1:59:27 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  21. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #21

    Standard Weihnachtsgruß und größere WUs im neuen Jahr

    Der Projektadministrator verabschiedet sich in die Weihnachtspause, nicht ohne für das neue Jahr größere WUs und damit eine stabilere Versorgung in Aussicht zu stellen:

    Frohe Weihnachten / Frohe Festtage 2017
    Hallo zusammen!

    Ich möchte euch allen frohe Weihnachten wünschen oder frohe Festtage, falls ihr nicht Weihnachten feiert.
    Ich hoffe, dass ihr alle eine sehr gute Zeit an diesen Feiertagen habt, ich weiß, dass es mir so gehen wird.

    Ich werde in den nächsten 2 Wochen eine Pause einlegen, aber werde noch versuchen, die verbleibenden WUs des aktuellen Satzes herauszugeben, wenn ich die Zeit dafür finden kann.
    Wenn ich zurückkehre, werden wir mit dem Crunchen der größeren 100MB-WUs beginnen, die hoffentlich zu einer stabileren WU-Versorgung führen anstatt der gewohnt stockenden Versorgung.

    Nochmals frohe Weihnachten und ein frohes neues Jahr an alle und danke für ein weiteres Sourcefinder-Jahr!

    Sam.
    25.12.2017, 9:51:20 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    Merry Christmas / Happy Holidays 2017
    Hello everyone!

    I just want to wish you all a Merry Christmas, or Happy Holidays if you don't celebrate Christmas.
    I hope everyone has an excellent time during this holiday period, because I know I certainly will.

    I'm on break for the next 2 weeks, but I'll still be trying to release the remaining workunits for the current set, when I can find the time.
    When I return, we'll get started crunching the larger 100mb workunits, which will hopefully see a more stable workunit supply rather than an on/off situation that we're used to.

    Once again, Merry Christmas and a happy new year to everyone, and thanks for another year of Sourcefinder!

    Sam.
    25 Dec 2017, 8:51:20 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  22. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #22

    Standard neues Jahr, neue WUs

    Nach der Weihnachtspause wird es zeitnah mit den letzten kleineren WUs weitergehen, bevor die anstehenden größeren WUs zunächst getestet werden.

    Frohes neues Jahr 2018!
    Hallo zusammen!

    Ich bin zurück von meiner zweiwöchigen Pause, also wird es später am heutigen Tage wieder Arbeit geben, sobald der letzte Satz der SoFiA-WUs vorbereitet wurde.
    Sobald diese letzten 15MB-WUs fertig berechnet worden sind, werden wir mit den 100MB-WUs weitermachen.

    Vorher plane ich jedoch eine Aktualisierung der SoFiA-VM, um die neueste SoFiA-Version zu verwenden (anstelle der relativ alten Version, die wir bisher verwendet haben), hoffentlich bringt das einige Verbesserungen in Geschwindigkeit und Zuverlässigkeit.

    Ich werde einige Serien von 100MB-Test-WUs durchführen, damit wir sehen, wie sie laufen. Wenn wir keine größeren Probleme haben, werden wir weitermachen und den Rest bearbeiten. Wenn Probleme auftreten, werden wir mit Testserien fortfahren, bis ich den Fehler beheben kann.

    Ich hoffe, ihr alle hattet ebenfalls gute Feiertage und freut euch darauf, was dieses Jahr bringen mag. Ich tue das mit Sicherheit.

    Sam
    10.01.2018, 2:01:56 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    Happy New Year 2018!
    Hello everyone!

    I'm back from my 2 week break, so work will be resuming later today once the final set of SoFiA workunits have been dispatched.
    Once those final 15mb workunits have finished processing, we'll be moving on to the 100mb workunits.

    Before that, though, I plan on updating the SoFiA VM to use the latest version of SoFiA (rather than the fairly old one we've been using) in the hopes that we'll see some speed and reliability improvements.

    I'll run a few batches of test 100mb workunits, and we'll see how they go. If we don't have any significant issues, then we'll continue on and process the rest. If we run into issues, then we'll continue to run test batches until I can work everything out.

    I hope you've all had an excellent holiday period too, and are looking forward to what this year brings. I certainly am.

    Sam
    10 Jan 2018, 1:01:56 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  23. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #23

    Standard höherer Speicherbedarf mit größeren WUs

    Ein erster Satz der angekündigten größeren WUs wurde testweise bereitgestellt und ist bereits vergriffen, zu beachten ist auch für die folgenden WUs ein deutlich gestiegener Speicherbedarf.

    Neuigkeiten zum SoFiA-Produktivbetrieb, Teil 6
    Hallo zusammen,

    für diese Woche plane ich, als allgemeinen Test einen kleinen Satz der 100-MB-WUs mit SoFiA laufen zu lassen. Es gibt nur 705 WUs, aber jede WU sollte deutlich länger laufen als die bisherigen WUs. In diesen Test-WUs rechnen wir mit allen ~400 Parametern in jeder WU, statt die Parameter in verschiedene Durchläufe aufzuteilen. Das wird nur die Test-WUs betreffen, die produktiven WUs werden genau wie die 10-MB-WUs aufgeteilte Parametersätze verwenden.

    Die SoFiA-VM wurde mit der neuesten SoFiA-Version ausgerüstet. Hoffentlich trägt das dazu bei, die allgemeine Stabilität zu verbessern und einige der aufgetretenen Probleme zu verringern.

    Jede VM-Instanz wird jetzt bis zu 3072 MB Arbeitsspeicher belegen, eine große Steigerung gegenüber den bisherigen 256 MB. Ich bitte dies zu entschuldigen, leider scheint SoFiA keine besonders gut optimierte Speichernutzung zu haben und meine lokalen Tests gerieten mit weniger als 3 GB Arbeitsspeicher in Probleme wegen zu wenig Arbeitsspeichers. Wenn Leistungsprobleme auftreten, solltet ihr die Zahl der gleichzeitig auf euren Rechnern ausgeführten SoFiA-Instanzen begrenzen. Ich habe den recht hohen Speicherbedarf auch den Entwicklern gemeldet, damit sie das in zukünftigen Versionen vielleicht verbessern können.

    Ich werde versuchen, die Foren täglich zu besuchen, um ein Auge auf eventuell auftretende Probleme zu werfen, sodass ich kleinere Probleme hoffentlich in meiner Freizeit lösen kann statt alles auf nächsten Mittwoch zu verschieben.

    Ich hoffe, dass alles reibungslos verläuft.

    Sam.
    17.01.2018, 8:01:25 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    SoFiA Production Update 6
    Hello everyone,

    For this week, I'm planning on running a small set of 100MB workunits through SoFiA, just as a general test. There's only 705 workunits, but each workunit should take substantially longer to process than the ones we've been doing so far. For these test workunits, we're running all ~400 parameters on each workunit, rather than splitting the parameters up in to different runs. This is only going to be the case for the test workunits, the production ones will use split parameter sets just like the 10MB workunits did.

    The SoFiA VM has been updated to use the latest version of SoFiA. Hopefully, this will help increase general stability and decrease some of the problems we've been encountering.

    Each VM instance will now use up to 3072MB of memory, a huge increase from the previous 256MB. I'm sorry about this, but SoFiA doesn't seem to have particularly optimal memory usage, and my local tests were running into out of memory problems at anything less than 3GB of memory. You may want to limit the number of SoFiA instances your machines run if you begin to get performance issues. I've also reported the rather large memory usage to the developers, as it may be something they can improve on in future versions.

    I'll be trying to visit the forums daily to keep an eye on any issues that might crop up, so hopefully I'll be able to resolve small problems in my spare time instead of having to postpone everything until next Wednesday.

    I hope this goes smoothly.

    Sam.
    17 Jan 2018, 7:01:25 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  24. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #24

    Standard Speicherbedarf optimiert

    Eine neue Serie Test-WUs steht bereit, im Vergleich zur letzten Woche wurde der Speicherbedarf optimiert, liegt mit 2 GB pro VM aber weiterhin deutlich über dem Bedarf der bisherigen kleineren WUs.

    Neuigkeiten zum SoFiA-Produktivbetrieb, Teil 7
    Die SoFiA-Entwickler haben eine Lösung für den riesigen Speicherbedarf gefunden, den ich letzte Woche erwähnte, und ich konnte den Speicherbedarf für die VMs auf 2 GB pro VM reduzieren. Ich weiß, dass das noch immer viel mehr ist als bisher, aber es sieht nicht so aus, als ob ich den Speicherbedarf noch weiter senken kann ohne deutliche Leistungseinbußen (aufgrund von Auslagerung auf die Festplatte).

    Die VM wurde auf diese neue SoFiA-Version aktualisiert und ich habe einige zusätzliche Zeit damit verbracht, sie so weit wie möglich zu komprimieren. Ich habe es geschafft, die Größe der komprimierten VM auf unter 500 MB zu drücken!

    Die WUs von letzter Woche wurden nicht richtig ausgegeben wegen eines Problems mit dem WU-Generator, das ich erst jetzt beheben konnte, aber die Test-WUs sollten nun herausgehen, während ich dies schreibe. Ich bin gespannt, wie das System damit umgeht.
    24.01.2018, 6:09:09 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    SoFiA Production Update 7
    So the SoFiA devs managed to work out a fix to those extremely large memory requirements I mentioned last week, and I've been able to drop the VM memory requirements down to 2GB per VM. I know that's still a lot more than they were before, but it doesn't look like I'll be able to drop them any less without hitting some huge performance decreases (due to disk swapping).

    The VM has been updated with this new version of SoFiA, and I've spend some extra time compacting it as far as possible. I managed to get the VM size below 500MB compressed!

    The workunits from last week didn't release properly due to an issue with the workunit generator that I couldn't get around to fixing until now, but the test WUs should be flowing as I write. I'm interested to see how the system handles them.
    24 Jan 2018, 5:09:09 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

  25. Avatar von pschoefer
    Titel
    Administrator

    Bewertung

    Registriert am
    07.07.2007

    Ort
    Osterode / Göttingen

    Beiträge
    15.007

    Danke
    Danke gesagt 146   Danke erhalten 1.617

    #25

    Standard weitere Test-WUs nur mit Einwilligung des Teilnehmers

    Nach den Problemen der letzten Woche werden Tests ab jetzt als Testanwendung durchgeführt, sodass man explizit in den Projekteinstellungen auswählen kann, ob man daran teilnehmen möchte.

    Neue Anwendung sofiabeta
    Hallo zusammen,

    nach dem Desaster in der vergangenen Woche habe ich den Vorschlag von LumenDan aufgegriffen und eine neue Anwendung sofiabeta erstellt. Ich werde in Zukunft diese Anwendung verwenden, um neue Versionen und Änderungen zu testen, bevor ich die Hauptanwendung sofia verwende.

    Die Anwendung sofiabeta muss vom Benutzer erlaubt werden, ihr müsst sie also nicht benutzen, wenn ihr das nicht möchtet. Ihr könnt Testanwendungen hier erlauben/verbieten.

    Derzeit ist ein Satz Test-WUs in Vorbereitung, welchen ich in sechs Durchläufe aufgeteilt habe, um die lächerlichen Berechnungszeiten zu verringern.

    Ich hoffe, dass das reibungslos verläuft.

    Sam
    31.01.2018, 5:58:04 MEZ

    Originaltext:
    Zitat Zitat von https://sourcefinder.theskynet.org/duchamp/
    New sofiabeta app.
    Hello everyone,

    After the disaster that was last week, I took the advice of LumenDan and I've created a new app, sofiabeta. I'll be using this app in the future to trial new client versions and changes before using the main sofia app.

    The sofiabeta app is opt in, so if you don't want to run it, you don't have to. You can opt into / out of running test applications here.

    There's currently a set of test workunits waiting, which I've split into 6 runs to ease the ridiculous computation times.

    I hope this goes smoothly.

    Sam
    31 Jan 2018, 4:58:04 UTC
    Gruß
    Patrick
    Trinity, ein paar Taschenrechner und der UL1-SG-Booster - laufende WUs

    "Zusammenkommen ist ein Beginn, Zusammenbleiben ein Fortschritt, Zusammenarbeiten ein Erfolg." [H. Ford]

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •  
Single Sign On provided by vBSSO