• 25.08.2019

    von Veröffentlicht: 25.08.2019 09:25
    1. Kategorien:
    2. Projekte

    Seit einiger Zeit ist es möglich (und zumindest bei längeren WUs auch deutlich effizienter), mehrere CPU-Kerne parallel an derselben WU rechnen zu lassen. Bisher musste das clientseitig mit einer app_config.xml eingestellt werden, bald wird das auch über die Projekteinstellungen auf der Webseite möglich sein.

    Wer derzeit aktiv ein LLR-Subprojekt mit Multithreading cruncht und vermeiden will, dass nach der projektseitigen Umstellung zunächst die Standardeinstellungen verwendet werden, kann jetzt schon die app_config.xml entsprechend erweitern wie in den folgenden Übersetzungen beschrieben. Natürlich werden diese Änderungen erstmal zur Fehlermeldung führen, dass die Planklasse mt unbekannt sei; sobald die erste neue WU nach der projektseitigen Umstellung heruntergeladen wird, werden die Einstellungen dann aber korrekt verwendet.

    Kommende NOTWENDIGE Änderungen an der app_config.xml
    Falls ihr nicht wisst, was eine app_config.xml ist oder keine solche für LLR-Anwendungen bei PrimeGrid nutzt, könnt ihr diese Nachricht ignorieren. Das betrifft euch nicht.

    Falls ihr aber eine app_config.xml für irgendeine unserer LLR-Anwendungen verwendet, wird diese nach einigen Änderungen auf unserer Seite nicht mehr funktionieren, weil wir die Planklasse der LLR-Anwendungsversionen ändern. Für Einzelheiten und eine Anleitung, was ihr jetzt schon tun solltet, siehe bitte diese Nachricht. Kommentare, Fragen und die Diskussion finden sich auch in diesem Thread.
    22.08.2019 | 16:55:33 MEZ


    Nachfolgend die Übersetzung des verlinkten Beitrags:

    Wichtig:

    PrimeGrid wird in naher Zukunft Multithreading über die Projekteinstellungen anbieten.
    Falls ihr eine app_config.xml (wahrscheinlich zum Einrichten von Multithreading) verwendet, wird diese nicht mehr funktionieren, wenn das neue Multithreading-System in Betrieb genommen wird. Wenn ihr wollt, dass eure app_config.xml weiterhin funktioniert, solltet ihr jetzt Änderungen vornehmen, damit sie sowohl vor als auch nach der Umstellung funktioniert.

    Nur LLR-Subprojekte sind betroffen.

    Jeder <app_version>-Block für ein LLR-Subprojekt sollte kopiert werden und die Kopie zusätzlich um die Zeile <plan_class>mt<plan_class> ergänzt werden. Für ESP mit 4 Threads sieht das beispielsweise so aus:

    Code:
    <app>
      <name>llrESP</name>
      <fraction_done_exact>1</fraction_done_exact>
      <report_results_immediately>1</report_results_immediately>
    </app>
    
    <app_version>
      <app_name>llrESP</app_name>
      <cmdline>-t 4</cmdline>
      <avg_ncpus>4</avg_ncpus>
    </app_version>
    
    <app_version>
      <app_name>llrESP</app_name>
      <plan_class>mt</plan_class>
      <cmdline>-t 4</cmdline>
      <avg_ncpus>4</avg_ncpus>
    </app_version>
    Ihr könnt das heute ändern und der alte app_version-Block wird weiterhin funktionieren. Sobald wir das neue Multithreading installieren, wird dieser app_version-Block ignoriert und stattdessen der zweite app_version-Block für die Planklasse mt verwendet. Die meisten Leute werden dann ihre app_config.xml oder zumindest die Abschnitte für die LLR-Subprojekte löschen und die Multithreading-Einstellungen auf der Webseite verwenden können.

    Es gibt noch keinen genauen Termin für diese Änderung, aber es wird nicht mehr im August passieren, sondern hoffentlich Anfang September.
    22.08.2019 | 16:43:13 MEZ


    Originaltexte:
    Zitat Zitat von https://www.primegrid.com/forum_thread.php?id=8758
    Upcoming REQUIRED changes to app_config.xml
    If you don't know what app_config.xml is, or if you don't use it for PrimeGrid's LLR apps, you can ignore this notice. This doesn't affect you.

    But if you are using app_config.xml on any of our LLR apps, we are changing the plan class of the LLR app versions, and therefore your app_config.xml won't work after the changes. For details, as well as what you should do right now, please see this message. Comments, questions, and discussion are also located in that thread.
    22 Aug 2019 | 15:55:33 UTC
    Zitat Zitat von https://www.primegrid.com/forum_thread.php?id=8750&nowrap=true#132260
    IMPORTANT:

    PrimeGrid will be switching to a preferences-based method for setting up multi-threading in the near future.
    If you are using app_config.xml (probably to set up multi-threading) it's going to stop working when the multi-threading system goes live. If you want your app_config.xml to continue working, you should make modifications now that will allow it to work both before and after the change.

    Only LLR projects are affected.

    Every <app_version> block for an LLR project should be duplicated, with the duplicate having a <plan_class>mt<plan_class> line added to it. For example, this is the before and after for ESP, set up for 4 threads:

    Code:
    <app>
      <name>llrESP</name>
      <fraction_done_exact>1</fraction_done_exact>
      <report_results_immediately>1</report_results_immediately>
    </app>
    
    <app_version>
      <app_name>llrESP</app_name>
      <cmdline>-t 4</cmdline>
      <avg_ncpus>4</avg_ncpus>
    </app_version>
    
    <app_version>
      <app_name>llrESP</app_name>
      <plan_class>mt</plan_class>
      <cmdline>-t 4</cmdline>
      <avg_ncpus>4</avg_ncpus>
    </app_version>
    You can do this today, and the original app_version block will continue to work. Once we install the new multi-tasking, that app_version block will be ignored and the second app_version block for the mt plan class will take over. At that point, most people can erase app_config.xml, or at least the parts for LLR projects, and start using the multi-threading controls on the website.

    I don't have an exact time yet for this change, but it won't happen in August. I'm hoping for early September.
    22 Aug 2019 | 15:43:13 UTC
    von Veröffentlicht: 25.08.2019 08:30
    1. Kategorien:
    2. Projekte

    Seit einigen Tagen befinden sich mehrere Millionen Sixtrack-WUs im System, wodurch die Datenbank zu einem Flaschenhals bei der WU-Verteilung geworden ist. Etwas Abhilfe schaffen inzwischen zusätzliche Scheduler, jedoch haben diese auch Nebeneffekte wie beispielsweise Ungenauigkeiten auf der Serverstatus-Seite.

    Viele Aufgaben in der Warteschlange - Serverstatus-Seite irrig
    Wegen der sehr großen Zahl Sixtrack-WUs in der Warteschlange haben wir die Last auf vier Scheduler/Feeder-Server verteilt, um den Bedarf zu befriedigen. (Unser Flaschenhals ist die Datenbank, aber mehrere Scheduler können mehr WUs zur Verteilung vorhalten.)

    Unsere Serverstatus-Seite zeigt den Status der Dienste auf anderen Servern derzeit nicht in Echtzeit. Daher kann die Serverstatus-Seite anzeigen, dass Serverprozesse wie der Feeder auf boincai12 nicht laufen, obwohl sie in Ordnung sind.

    Bitte habt auch Geduld, wenn ihr nicht ausreichend schnell WUs für eure bevorzugte Anwendung erhaltet. Nach einigen Versuchen wird es einige WUs geben. Vielen Dank für euer Verständnis und frohes Crunchen!

    ---das Team
    21.08.2019, 12:41:17 MEZ

    Originaltext:
    Zitat Zitat von https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5119
    Many queued tasks - server status page erratic
    Due to the very high number of queued Sixtrack tasks, we have enabled 4 load-balanced scheduler/feeder servers to handle the demand. (Our bottleneck is the database, but several schedulers can cache more tasks to be dispatched.)

    Our server status page does not currently show in real time the daemon status on remote servers. Hence the server status page may indicate that server processes like feeder on boincai12 is down, while it is ok.

    Please also be patient if you are not getting tasks for your preferred application quickly enough. After a few retries, there will be some tasks. Thanks for your understanding and happy crunching!

    ---the team
    21 Aug 2019, 11:41:17 UTC
Single Sign On provided by vBSSO