Einstein lernt Cuda

Kann mla jemand den aktuellen Stand von Cuda @ Einstein zusammenfassen? Hat sich da gegenüber dem, was hier im thread steht, grundlegend was geändert? Und vor allem: wie sieht es mit der Lastverteilung aus?

Ich persönlich hätte nichts dagegen, wenn nur die FFT beschleunigt wird. Für eine gute Ausnutzung der Ressourcen würde ich es mir aber so vorstellen: BOINC startet so viele Einstein clients, dass die GPU unter normalen Bedingungen voll ausgelastet ist. Während die verschiedenen clients gerade auf die GPU warten, geben sie den CPU-Kern wieder frei, für andere Einsteins (da wird sich ja ab und zu einer finden, der nicht auf die GPU wartet) oder andere Projekte (wenn die GPU zu langsam ist, um für alle Kerne die Einstein-FFT zu rechnen). Aber wie ich BOINC kenne geht das so (noch) nicht

Der kommende Fermi soll ja seine bis zu 16 shader cluster zu einem Zeitpunkt auch verschiedene Anwendungen laufen lassen können - das wäre hier ideal!

MrS

Seit ich meine neue GPU (GTX 240) habe, rechne ich wieder Einstein mit CUDA. Meine CPU (Q9650) hat die WU`s schon bisher recht flott weggeknuspert, aber mit GPU-Unterstüzung mache ich ca. die doppelten Credits/sec. Dafür ist die GPU nicht zu 100% ausgelastet, für den "normalen" Gebrauch kann man also die GPU ohne Unterbrechung laufen lassen.
Es ist also Stärke und Schwäche gleichzeitig, andere Projekte nutzen die GPU effizienter, dafür kann man mit dem PC gar nix machen, ohne die GPU-Berechnung anzuhalten.
Einstein-CUDA´s sind weniger effizient, dafür lassen sie "Luft" für normale Benutzung.
Das ist der Stand von vor einer Woche. Seit einer Woche habe ich auch wieder SETI-CUDA´s auf meinem PC und deshalb steht der BOINC Manager auch wieder auf "suspend work.."

Ich hatte Einstein auf dem Phenom IIx4 mit gtx 295 laufen. Hab es die Tage wieder runter geworfen. Die Cr Ausbeute taugt einfach nicht.

http://de.boincstats.com/stats/host_...ein&id=2354339 Link zu den Rechner Stats

Zitat von AgentSchatten(sdw)

Ich hatte Einstein auf dem Phenom IIx4 mit gtx 295 laufen. Hab es die Tage wieder runter geworfen. Die Cr Ausbeute taugt einfach nicht.

Ja, dass kann ich mir gut vorstellen, dass so eine Monster-GPU hier überhaupt nicht augelastet ist.

So, ich kann jetzt zwei systeme miteinander Vergleichen!
Der Einfachheit halber gebe ich die Werte vom BOINC-Bench wieder, dass sind Werte die jeder zur Verfügung hat. Die CUDA-WUs haben fast alle eine identische Laufzeit, damit kann man die auch recht gut vergleichen.

PC1: C2D + GTX 260/216: (lt. BOINC 1516 fl/ 2568 int + 583 Gfl) Laufzeit 3 Stunden 30Minuten
PC2: C2Q + GTX 240 (lt. BOINC 3172 fl/ 6245 int + 273 Gfl) Laufzeit 2 Stunden 5 Minuten.

Man sieht also, die Rechenzeit ist vorwiegend von der CPU-Geschwindigkeit abhängig, eine schnelle CPU ist hier offensichtlich vergeudete Rechenpower.
Ist halt interessant für alle, die keine so tolle GPU haben, denn ein Gewinn ist es trotzdem!
Für etwa gleich viele Credits rechnet mein C2Q ohne GPU ungefähr 4 Stunden.

Hallo zusammen,

bei mir läuft die cuda-app tadellos, aber nicht optimal.
Ich bin (unglücklicher) Besitzer einer GTX260-192. Ich habe mir mit MSI-Afterburner einmal angesehen, was von der App so gebraucht wird. Ernüchternde 9% GPU-Auslastung, 130MB Ram werden verwendet. Eine reine Verschwendung von Ressourcen und Energie.

Meine Idee ist folgende: auf meinem Quad-Core könnten durchaus auch 2 solcher Apps laufen (später vielleicht auch mehr), dazu benötigt man aber eine app_info.xml.

Aus dem E@H Forum weiss ich, dass man alle Apps akzeptieren muss, sonst werden die Admins unruhig. Soll auch nichts dagegen sprechen, aber wie stellt man das zusammen? Dazu fehlt mir die Erfahrung und auch das Wissen, wo man die benötigten Zahlen (lt. BOINC Wiki) herbekommt.

Kann da bitte jemand helfen? Gibt es ein funktionierendes Beispiel? Ich rechne das unter XP SP3, Intel Quad-Core und GTX260.

Alexander

Klingt nach ner guten Idee! Bei 9% Nutzung sollten sogar 4 davon ohne größere Streitereien laufen können. Einen gewissen Verschnitt wird es geben, da vor Fermi zu einem Zeitpunkt immer nur eine CUDA-App alle Shader benutzen kann. Trotzdem sollte es so deutlich effizienter laufen. Kann jemand die passende app_info erstellen?

MrS

Na ja, meine Gedanken gehen noch einen Schritt weiter.
Mit den Lunatics optimised apps kommt ja auch eine app_info.xml zu den Seti-wu's dazu. Damit hätte man dann die Möglichkeit, zwei Einsteins und ein Seti laufen zu lassen. Vom Speicher her müsste das bei der GTX260 reichen, und die Auslastung wäre auch noch besser.
Zwei Seti Cuda-WU's gehen, das lässt sich einstellen.

Alexander

Hallo,

ist schon interessant, dass das Thema nur wenige Leute interssiert.
Im Einstein-Forum habe ich meine Frage ja auch schon deponiert; auch dort fragen Andere ebenfalls, wie man das machen kann, aber niemend hat da eine Idee.

Schade eigentlich, ist eine Ressourcenverschwendung.

Alexander

Ich glaube eher, dass sich nur wenige mit den app_infos auskennen. Die meisten benutzen sie "nur". Wenn ich die z.B. mal anpassen wollte, ging oft irgendwas schief.

Andererseits: um erstmal 2 Einstein@GPU rechnen zu lassen, müsste man ja eigentlich nur die Anzahl der pro app angeforderten GPUs auf 0,5 setzen, oder 0,25 für 4 WUs.

MrS

Hallo zusammen!

Nachdem ich heute morgen meine GTX260 wieder in Betrieb genommen habe, hab' ich mir mal eine app_info.xml zusammengestrickt. Die funktioniert auch für's erste. Zwei CUDA APB2 laufen auf zwei (von vier) CPU-Kernen und gemeinsam auf der GPU.

Auslastung wie folgt:

1x Einstein CUDA ~ 6% GPU, ~ 223 MB VideoRAM (inkl. Desktop), GPU Temp. ~ 59°
2x Einstein CUDA ~ 18% GPU, ~ 339 MB VideoRAM (inkl. Desktop), GPU Temp. ~ 61°

Zum Vergleich auf gleicher Karte heute:

1x Collatz CUDA ~ 88% GPU, ~ 151 MB VideoRAM (inkl. Desktop), GPU Temp. ~ 74°

Man könnte also vielleicht sogar vier Einstein CUDA gleichzeitig laufen lassen. Ich lasse erstmal ein paar im Doppelpack laufen und erhöhe später dann mal auf drei und vielleicht vier.

Zwei Einschränkungen im Moment: Ich habe noch keine neuen WU mit der app_info.xml heruntergeladen und bis jetzt ist noch nichts validiert. Also wie immer auf eigene Gefahr.

Viel Spaß beim Experimentieren! Die entscheidende Stellgröße ist

<count>0.50</count>

wobei 0.50 zwei WUs pro GPU bedeutet, 0.25 wäre also vier. Hier die app_info.xml:

<app_info>
 <app>
  <name>einsteinbinary_ABP2</name>
  <user_friendly_name>Arecibo Binary Pulsar Search (STSP)</user_friendly_name>
 </app>
 <file_info>
  <name>einsteinbinary_ABP2_3.11_windows_intelx86__ABP2cuda23.exe</name>
  <executable/>
 </file_info>
 <file_info>
  <name>cudart32_23.dll</name>
  <executable/>
 </file_info>
 <file_info>
  <name>cufft32_23.dll</name>
  <executable/>
 </file_info>
 <file_info>
  <name>einsteinbinary_ABP2_3.03_graphics_windows_intelx86.exe</name>
  <executable/>
 </file_info>
 <app_version>
    <app_name>einsteinbinary_ABP2</app_name>
    <version_num>311</version_num>
    <platform>windows_intelx86</platform>
    <avg_ncpus>1</avg_ncpus>
    <max_ncpus>1</max_ncpus>
    <plan_class>ABP2cuda23</plan_class>
    <file_ref>
        <file_name>einsteinbinary_ABP2_3.11_windows_intelx86__ABP2cuda23.exe</file_name>
        <main_program/>
    </file_ref>
    <file_ref>
        <file_name>cudart32_23.dll</file_name>
        <open_name>cudart.dll</open_name>
        <copy_file/>
    </file_ref>
    <file_ref>
        <file_name>cufft32_23.dll</file_name>
        <open_name>cufft.dll</open_name>
        <copy_file/>
    </file_ref>
    <file_ref>
        <file_name>einsteinbinary_ABP2_3.03_graphics_windows_intelx86.exe</file_name>
        <open_name>graphics_app</open_name>
    </file_ref>
    <coproc>
        <type>CUDA</type>
        <count>0.50</count>
    </coproc>
 </app_version>
</app_info>

Ein Hinweis noch: die genannte app_info.xml ist nur für ABP2 / CUDA. Das heißt Ihr solltet vielleicht vorher die anderen exe (CPU-Apps) herauskopieren und sichern. Sonst werden die gelöscht und Ihr müsst sie später neu herunterladen, wenn Ihr sie braucht.

Hallo zusammen,

ich habe an mehreren Stellen etwas Wind gemacht.
Im Seti-Forum (orginal-forum) ist jetzt ein Thread unter Number-Crunching, der Auskunft gibt.
Und bei Einstein habe ich auch einen Thread begonnen.

Jemand aus Dänemark hat da eine Idee gehabt und gepostet, und kurz darauf finde ich auch hier eine Nachricht.

Es scheint also sogar mehrere Möglichkeiten geben; mein Rechner arbeitet bereits damit und ich mache ein paar Tests mit dem Setting.

Halte Euch weiter informiert.

Alexander


http://setiathome.berkeley.edu/forum...d.php?id=61215
http://einstein.phys.uwm.edu/forum_thread.php?id=8355

Hallo Alexander,

kannst Du bitte die Links zu den Foren ergänzen, so dass wir nicht suchen und mitlesen können? Danke vorab.

Btw, ich hab zwei WUs verloren durch Berechnungsfehler bei ca. 30 %. War zu der Zeit nicht zuhause, der Win 7 Desktop hat das Basisschema eingeschaltet, vermute mal einen Treiberabsturz o.ä. Danach lief / läuft es aber wieder.

Gruß

So,
jetzt läuft die Sache seit ein paar Stunden. Meine Seti-cuda wu's sind mir ausgegangen und etwas hat sich am Verhalten geändert. Auch wenn sonst nichts läuft, startet BOINC nur eine Einstein Cuda wu.
Scheint so als wäre da noch einiges an Arbeit nötig.

Alexander


Hinzugefügter Post:

Hallo,
so könnte das aussehen



wenn Einstein nicht von zeit zu zeit die geänderten Einstellungen zurücksetzen würde!
Damit läuft dann plötzlich nur noch ein Einstein auf der GPU. Damit greift Einstein in den Ablauf anderer Projekte ein. Das ist wohl nicht korrekt.

Alexander

Zitat von Alexander

Auch wenn sonst nichts läuft, startet BOINC nur eine Einstein Cuda wu.

Ist denn die CPU ausgelastet? Falls ja, würde ich das nicht unbedingt als Fehler ansehen, sondern als normales Verhalten. Schließlich sagt man mit coproc count = 0.50 z.B. dem BOINC Manager nur, dass die App eine halbe GPU braucht. Das sollte ihn nicht davon abhalten auf einem Quadcore z.B. drei reine CPU Tasks und eine Tasks mit 1.00 CPU + 0.50 GPU zu starten, wenn der Scheduler es für nötig hält. Damit wäre die GPU zwar nicht ausgelastet, aber das war sie ja vorher (also ohne manuelle Änderungen) mit der Einstein CUDA App auch nicht.

Ich denke BOINC richtet sich immer noch nach der CPU-Auslastung als maßgebliches Kriterium, das ist ja auch vernünftig, da nur wenige Projekte überhaubt GPU-Apps anbieten und wenn, dann laufen diese meist nur auf 0.01 bis 0.10 CPU, also hauptsächlich auf der GPU. Einstein ist da ja ein bißchen ein Sonderfall, da die GPU hier nicht als Ersatz sondern tatsächlich als Coprozessor für die CPU eingesetzt wird (ok, vielleicht mal abgesehen von der Hybrid-AP Anwendung für ATI, die ich mir mangels Astropulse Wutzen noch nicht anschauen konnte).

Bei mir laufen jedoch, trotz relativ vieler CPU Workunits anderer Projekte im Cache, bis jetzt immer zwei Einstein CUDA parallel.

Eine ist bisher validiert (ohne Auffälligkeiten), die anderen noch im pending. Rechenfehler sind keine mehr aufgetreten (toi-toi-toi ) Heute morgen waren alle weggecruncht, so dass ich, jetzt mit app_info.xml im Projektverzeichnis, neue angefordert habe. Es kam die bekannte Warnung:

27.08.2010 04:59:40 Einstein@Home update requested by user
27.08.2010 04:59:46 Einstein@Home Sending scheduler request: Requested by user.
27.08.2010 04:59:46 Einstein@Home Reporting 4 completed tasks, not requesting new tasks
27.08.2010 05:00:06 Einstein@Home Scheduler request completed
27.08.2010 05:05:57 Einstein@Home work fetch resumed by user
27.08.2010 05:05:59 Einstein@Home Sending scheduler request: To fetch work.
27.08.2010 05:05:59 Einstein@Home Requesting new tasks for GPU
27.08.2010 05:06:26 Einstein@Home Scheduler request completed: got 28 new tasks
27.08.2010 05:06:26 Einstein@Home Message from server: To get more Einstein@Home work, finish current work, stop BOINC, remove app_info.xml file, and restart.
27.08.2010 05:06:28 Einstein@Home Started download of p2030_53895_63724_0136_G184.93-00.05.C_0_0.binary

Dennoch bekam ich die angeforderten Tasks, auch bei einer weiteren Anforderung später.

Auf dem Server tauchen die Tasks jetzt als 'Anonymous platform' auf, was vielleicht zu Problemen führen könnte. (Hinweis: Einstein fordert explizit Arbeit für Global Corr. / Gravitationswellensuche anzufordern, nur die Arecibo Pulsarsuche ist optional, näheres hier im Einstein Forum.) Insofern ist der Vorschlag count coproc in der client_state.xml zu ändern, sicher sinnvoll, da nicht entgegen der Projektpolitik. Nachteil: Bei BOINC Neustart ist die Änderung weg, EDIT: Falsch, nicht bei Neustart, sondern bei jedem Serverkontakt wie Alexander unten schrieb und wie es natürlich auch logisch ist EDIT ENDE, also nur was für 24/7 Cruncher oder man muss sich ein Skript basteln (viel Frickelei, die Mühe mache ich mir bestimmt nicht).

Im Grunde wäre hier eine Art 'Experteneinstellung' notwendig, wo der User angepasst auf die von ihm verwendete Grafikhardware, für jede Anwendung separat und eigentlich auch für jeden Computer separat, die Auslastung der GPU (und der CPU eigentlich auch bei solchen Hybrid-Apps) einstellen könnte. Schwierig umzusetzen und komplex bei der derzeitigen Infrastruktur.

Zitat von Alexander

wenn Einstein nicht von zeit zu zeit die geänderten Einstellungen zurücksetzen würde!
Damit läuft dann plötzlich nur noch ein Einstein auf der GPU. Damit greift Einstein in den Ablauf anderer Projekte ein. Das ist wohl nicht korrekt.

Du beziehst dich auf Einstellungen in der client_state.xml? Das ist normales Verhalten von BOINC und hat nichts mit Einstein zu tun. Die Lösung mit der derzeitigen Technik wäre eine app_info.xml, wie ich sie derzeit benutze. Ich bin mir nur nicht sicher, ob die Projektverantwortlichen von Einstein rumzicken würden, wenn man sich die Mühe macht eine zu basteln, die auch alle derzeitigen CPU Apps beinhaltet und damit konform mit der Projektpolitik wäre. Sie taucht in den Serverlogs halt immer noch als 'Anonymous platform' auf. Sowas ist schnell aussortiert. Habe wenig Lust mir die Arbeit zu machen und die CPU dafür einzusetzen um mich dann vielleicht im Forum dort als Cheater bezeichnen zu lassen (nicht von den Admins, aber von irgendwelchen selbsternannten Hilfspolizisten) und möglicherweise Credits für viele CPU-Stunden zu verlieren. Für mich war dies hier nur ein Experiment, um zu gucken, was geht und was passiert, keine Dauerlösung. Die müssen andere entwickeln.

Zitat von akl

Ist denn die CPU ausgelastet?

Bei BOINC Neustart ist die Änderung weg, also nur was für 24/7 Cruncher oder man muss sich ein Skript basteln (viel Frickelei, die Mühe mache ich mir bestimmt nicht).


Du beziehst dich auf Einstellungen in der client_state.xml? Das ist normales Verhalten von BOINC und hat nichts mit Einstein zu tun.

Hallo,

ja, meine CPU ist immer zu 100% ausgelastet.
Die Einstellungen ändern sind nicht beim BOINC Neustart sondern immer dann, wenn BOINC mit Einstein Kontakt aufnimmt. Deshalb läuft mein System derzeit ohne Internet-Zugriff.

Defekte wu's sind bei mir bislang auch noch nicht aufgetrete. Bin gespannt, ob die Kombination mit SETI auch klappen wird.

Alexander

Also, auch mit Seti läuft das tadellos. Habe 2 Einsteins und ein Seti auf meiner GTX260 laufen.

Ich hab mal meinen Senf dazu gegeben. Was hat's 'n mit der "Hybrid ATI" App auf sich, die oben erwähnt wurde?

MrS

Zitat von '[ETA

Was hat's 'n mit der "Hybrid ATI" App auf sich, die oben erwähnt wurde

Hallo MrS

ich meinte diese hier, von Lunatics / Raistmer, für SSE3 CPUs und SP oder DP ATI Grafikkarten. Mangels Astropulse WUs konnte ich sie noch nicht testen.

Axo, SETI
Trotzdem Danke!

MrS

Wie ist der aktuelle Stand für einen effizienten Rechner für Einstein, taugt die GPU App mittlerweile mehr?

Zitat von IBM

Wie ist der aktuelle Stand für einen effizienten Rechner für Einstein, taugt die GPU App mittlerweile mehr?

Bei Windoof hat sich die letzte Zeit nichts geändert, immer noch 1.00 CPUs + 1.00 NIVIDIA GPUs.

Linux und ATI kann ich nichts zu sagen?

Gibt es eigentlich derzeit GPU-Apps? Derzeit kriege ich nix.

VG Jeeper

Könnte sein, dass die WUs dafür ausgegangen sind. Neben den "Global Correlations", die Daten des Gravitationswellendetektors LIGO enthalten, gab es bis vor kurzem auch die "Arecibo Binary Puls". Die enthielten Daten des Radioteleskops auf Arecibo (das gleiche, das SETI verwendet bzw. mit dem es angefangen hat), die mit einer speziellen Methode auf Pulsare untersucht wurden. Nur dafür gab es die CUDA-Anwendung (die, nebenbei gesagt, nur mäßig nützlich war). In den letzten Wochen hab ich aber ein paar mal davon gelesen, dass diese Auswertung demnächst fertig sein würde.

Aber Nachschub kommt bestimmt

MrS

Heute sind neben den Arecibo-WUs, die ja nur "unterstützen" auch "Binary Radio Pulsar Search" aufgetaucht. Diese scheinen die GPU voll auszulasten. Nach der PG-Challenge werde ich die mal durchrechnen, mal sehen wie sich diese WUs antun.

VG Jeeper