PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Problem mit dem File cc_config...wo bleiben die GPU WU?



Gattorantolo
26.08.2012, 16:25
Hallo,
ich habe so ein cc_config file in die Boinc Datei reingefügt, die GPU 1 und 2 müssen nicht vervendet werden (und es geschiet auch!), aber es gibt ein Problem...Boinc holt gar keine WU GPU mehr, auch wenn ich es manuell versuche.
Ich muss Boinc stoppen, die cc_config Datei löschen, Boinc neu starten und dann ohne cc-config file werden die WU GPU problemlos runtergeladen. Sobald genug WU GPU heruntergeladen worden sind muss ich erneut Boinc stoppen, die cc_config Datei erneut einfügen und Boinc neu starten!:shocked::shocked:
Was soll das? Warum kann Poem keine WU GPU herunterladen wenn eine cc_config Datei vorhanden ist???

Hier die cc_config Datei:
<cc_config>
<options>

<report_results_immediately>1</report_results_immediately>
<exclude_gpu>
<url>http://boinc.fzk.de/poem/</url>
<device_num>1</device_num>
</exclude_gpu>
<exclude_gpu>
<url>http://boinc.fzk.de/poem/</url>
<device_num>2</device_num>
</exclude_gpu>

</options>
<log_flags>
</log_flags>
</cc_config>

[ETA]MrSpadge
26.08.2012, 16:31
Welche BOINC-Version? Wie viele GPUs hast du denn in dem Rechner? Sind es alles AMDs? Sagt BOINC beim manuellen WU-anfordern so etwas wie "not needed, not requesting WUs" ... bis der POEM-Bunker komplett leer ist, und holt dann erst neue WUs?

MrS

Gattorantolo
26.08.2012, 18:51
MrSpadge;226531']Welche BOINC-Version? Wie viele GPUs hast du denn in dem Rechner? Sind es alles AMDs? Sagt BOINC beim manuellen WU-anfordern so etwas wie "not needed, not requesting WUs" ... bis der POEM-Bunker komplett leer ist, und holt dann erst neue WUs?

MrS
Boinc Version 7.0.28
GPU im Rechner 3XGTX680
Boinc antwortet mit "Reporting 1 completed tasks, not requesting new tasks" wenn eine WU hochgeladen wird. Beim manuellen Befehl antwortet Boinc so: "Not reporting or requesting tasks"
Wenn der Bunker leer ist bleibt er auch so...keine moglichkeit WU reinzuholen:wall:

[ETA]MrSpadge
26.08.2012, 23:08
Mhh, dann ist es irgendein anderer Fehler. Du könntest mal die neueste beta von BOINC versuchen. Die sind zwar manchmal sehr mit Vorsicht zu genießen, aber manchmal haben sie auch Fehler behoben statt neue einzubauen.

MrS

Gattorantolo
27.08.2012, 11:27
MrSpadge;226565']Mhh, dann ist es irgendein anderer Fehler. Du könntest mal die neueste beta von BOINC versuchen. Die sind zwar manchmal sehr mit Vorsicht zu genießen, aber manchmal haben sie auch Fehler behoben statt neue einzubauen.

MrS
Das ist aber ein bekannter Problem, habe schon andere gleiche "Posts" irgendwo gelesen, ist also nicht neu...:undecided:

DeleteNull
27.08.2012, 19:16
MrSpadge;226565']Mhh, dann ist es irgendein anderer Fehler.

Das ist kein Fehler, sondern die BOINC-Software als solche. Die arbeitet nicht Resourcen-bezogen, sondern "denkt" immer noch in Zeitfenstern. Beim "work fetch" kommt BOINC gar nicht auf die Idee, dass hier noch WU's anzufordern sind.
Das könnte daran liegen, dass hier "nur" die dritte Grafikkarte rechnen soll, also BOINC die gar nicht in seinen "work fetch" mit einbezieht.

folgende Änderungen könnten Hilfe bringen, also ist auf jeden Fall mal ein Test der 7.0.31 zu empfehlen, oder auch mal die 7.0.34'er Version.


7.0.31:
- client: in the job scheduler, there's a check to prevent
overcommitting the CPUs if an MT is scheduled.
Skip this check for GPU jobs.

7.0.34:
- client: when we're making a scheduler RPC
for a reason other than work fetch,
and we're deciding whether to piggyback a work request,
skip the checks for hysteresis (buffer < min)
and for per-resource backoff time.
These checks are there only to limit the rate of RPCs,
which is not relevant since we're doing one any.

This fixes a bug where a project w/ sporadic jobs specifies
a next_rpc_delay to ensure regular polling from clients.
When these polls occur they should request work regardless of backoff.

- client: tweak to the above: never ask for work if buffer > max.
This is needed to prevent projects that use next_rpc_delay
from queuing unbounded work.

Gattorantolo
27.08.2012, 22:36
Die cc-config Datei ist also nicht falsch...die neue Boinc Version teste ich lieben nicht, warte lieber ab bis die Offizielle Version rauskommt...

guru2001-muc
28.08.2012, 11:31
[...]
folgende Änderungen könnten Hilfe bringen, also ist auf jeden Fall mal ein Test der 7.0.31 zu empfehlen, oder auch mal die 7.0.34'er Version.


7.0.31:
- client: in the job scheduler, there's a check to prevent
overcommitting the CPUs if an MT is scheduled.
Skip this check for GPU jobs.

[...]


Die 7.0.31er- Version habe ich bei diesem Host (http://boinc.fzk.de/poem/hosts_user.php?userid=10056) bereits im Einsatz und exakt dasselbe Problem - beliebig viele CPU-WUs, aber selbst wenn die Kiste völlig leer gerechnet ist, wird "ums verrecken" trotzdem keine GPU-WU angefordert.
Ich wollte an sich nach dem Ende der derzeitigen SIMAP-Schwemme auf 7.0.25 downgraden und probeweise den "zero_debts"-Parameter setzen. Sinnigerweise wurde der ja leider in der 7.0.27er- Version entfernt ...

Gattorantolo
28.08.2012, 14:54
Die 7.0.31er- Version habe ich bei diesem Host (http://boinc.fzk.de/poem/hosts_user.php?userid=10056) bereits im Einsatz und exakt dasselbe Problem - beliebig viele CPU-WUs, aber selbst wenn die Kiste völlig leer gerechnet ist, wird "ums verrecken" trotzdem keine GPU-WU angefordert.
Ich wollte an sich nach dem Ende der derzeitigen SIMAP-Schwemme auf 7.0.25 downgraden und probeweise den "zero_debts"-Parameter setzen. Sinnigerweise wurde der ja leider in der 7.0.27er- Version entfernt ...
Bin also nicht allein mit dem Problem...:D

[ETA]MrSpadge
28.08.2012, 19:21
"zero_debts" ist weg? Oh nein.. diese "Schulden" bringen doch immer nur alles durcheinander!

MrS

HeNiNnG
28.08.2012, 19:51
MrSpadge;226720']"zero_debts" ist weg? Oh nein.. diese "Schulden" bringen doch immer nur alles durcheinander!

MrS

Nein, nein...also ja...

Also:
Zero_debts ist weg, weil das komplette debts System weg ist...;)
Juhuu! Keine Schulden mehr!
Ob das nun besser ist, muss man in der Praxis testen...
Bei mir habe ich festgestellt, dass es nun ein internes Prioritätensystem gibt...also die Projekte dort eine Reihenfolge haben...

Kleines Beispiel:
Ich habe aktuell yafu laufen (mt). Nebenher viele Projekte, bei denen es nur selten WUs gibt.
U.a. LHC. Nun hatte ich die Situation, dass BOINC theoretisch genug Arbeit für die CPU hatte, in Form von yafu mt WUs, aber zwischenzeitlich auch ein paar LHC WUs gezogen wurden. Irgendwann gibt's dann halt bei LHC nix mehr und BOINC wechselt dann, sobald ein Kern idlen müsste auf die yafus und 7 LHCs warten halt. Schön und gut, solange die deadline nicht näher rückt.
Kommt es soweit, nimmt BOINC idlende Kerne in kauf. Bis hin zu 7 Stück. Und da letztens sehr viele sehr lange LHCs im Umlauf waren hatte ich das recht oft.
Versucht habe ich dann manuell bei ein paar Projekten WUs anzufordern, es gab aber immer die Meldung : 'not requesting tasks: project is not highest priority'
Abhilfe schaffte ich mir dann, indem ich yafu komplett anhielt. Dann ging BOINC die Projekte, die nicht auf nnw standen seiner Reihe nach durch und kam dann irgendwann zu dem Projekt, von dem ich WUs wollten (weil ich wusste, dass es da halt welche gibt)

Was ich davon halten soll? Tjo...keine Ahnung - ist natürlich schon recht speziell, was ich der Software da abverlangen...naja
Am liebsten wäre es mir, wenn ich die Prioritäten selbst bestimmen könnte.
Pirates zb höchste Priorität...gibt es dort WUs, wird alles andere hinten angestellt - sofern keine deadline da im weg ist...*weiterträum* :rolleyes:

Das war jetzt aber mal nen Roman...Oo (schulligung dafür ;))

guru2001-muc
28.08.2012, 23:01
[...]
Das war jetzt aber mal nen Roman...Oo (schulligung dafür ;))

Kein Problem, ich fand die Beschreibung Deiner Erfahrung durchaus interessant. Und mir geht es mit SIMAP ähnlich wie Dir mit Pirates - wenn es dort was gibt, soll das laufen. Und die Möglichkeit zur "manuellen Bestimmung", was ich akut in dem Moment bearbeiten lassen will, ist mir ebenfalls wichtig. Wenn ich aber höre, was da tatsächlich implementiert wurde, entfernt sich das eher von meinen Vorstellungen.

Gattorantolo
29.08.2012, 06:26
zero_debts? Was ist das?

guru2001-muc
29.08.2012, 10:50
Ein Parameter, der über die "cc_config.xml"-Datei zusätzlich konfiguriert werden konnte. Nachdem es im Entwicklungsverlauf der Boinc6.x-Versionen wohl Beta-Versionen gab, die bei den "Schulden"-Konten ("debts") der einzelnen ausgewählten Projekte zueinander ziemlichen Unsinn angestellt haben, wurde auf diesem Weg eine Möglichkeit geschaffen, mit jedem Boinc-Neustart diese "debts" wieder auf 0 zurück zu setzen.

Ansonsten hätten sich aus den Fehlern unerwünschte Nebeneffekte auf die Art und Weise ergeben, von welchen Projekten Boinc wieviel Arbeit anfordert.

Nachdem diese Art zu berechnen, was an Arbeit angefordert werden soll, mit Boinc7.x anscheinend komplett umgeschmissen wurde, hat man den Parameter in der 7.0.27 entfernt. Leider scheint das neue Berechnungsverfahren auch seine Macken zu haben, da bei mir einfach keine POEM-GPU-WUs angefordert werden - selbst wenn der Host völlig leer läuft.

Eine Erklärung steht auch hier (http://boinc.berkeley.edu/dev/forum_thread.php?id=7685), wenn es Dich weiter interessiert, einfach mal nach dem Boinc7-Changelog googeln.

Frage damit beantwortet ?

HeNiNnG
29.08.2012, 12:26
Kein Problem, ich fand die Beschreibung Deiner Erfahrung durchaus interessant. Und mir geht es mit SIMAP ähnlich wie Dir mit Pirates - wenn es dort was gibt, soll das laufen. Und die Möglichkeit zur "manuellen Bestimmung", was ich akut in dem Moment bearbeiten lassen will, ist mir ebenfalls wichtig. Wenn ich aber höre, was da tatsächlich implementiert wurde, entfernt sich das eher von meinen Vorstellungen.

Dann war es ja nicht völlig umsonst. Schön :)

[ETA]MrSpadge
29.08.2012, 19:49
Danke, von diesen Änderungen hatte ich noch gar nichts mitbekommen!

Ich persönlich bin seit längerem eh für ressourcen-basiertes scheduling.. und meine höchste Priorität wäre "fordere endlich die verda**ten GPU-WUs an!" Wobei das mit einer GPU und einem Projekt zugegebenermaßen inzwischen meist gut funktioniert ;)

MrS

Rainer Baumeister
29.08.2012, 20:25
Boinc Version 7.0.28
GPU im Rechner 3XGTX680
Boinc antwortet mit "Reporting 1 completed tasks, not requesting new tasks" wenn eine WU hochgeladen wird. Beim manuellen Befehl antwortet Boinc so: "Not reporting or requesting tasks"
Wenn der Bunker leer ist bleibt er auch so...keine moglichkeit WU reinzuholen:wall:

ich bin mir fast sicher, das es bei den NVIDIA-Karten immer nur eine rechnen kann.
Ich hatte es auch mit 2x GPU versucht: klappt nicht.

Du kannst es mit der cc_config umgehen, hier als Beispiel mit Poem und Seti:
<cc_config>
<options>

<exclude_gpu>
<url>http://setiathome.berkeley.edu/</url>
<device_num>0</device_num>
</exclude_gpu>

<exclude_gpu>
<url>http://boinc.fzk.de/poem/</url>
<device_num>1</device_num>
</exclude_gpu>

</options>
</cc_config>

Gruß Rainer

Gattorantolo
29.08.2012, 21:22
ich bin mir fast sicher, das es bei den NVIDIA-Karten immer nur eine rechnen kann.
Ich hatte es auch mit 2x GPU versucht: klappt nicht.
Gruß Rainer
Das stimmt! Ich hatte es mit 3 versucht und...nichts, nur eine GPU arbeitete die WU, die anderen zwei hörten immer auf nach 2-3 Sekunden und fingen wieder von vorne an...und das dauernd!
Deswegen musste ich eine cc_config Datei erfinden (für POEM) die nur die GPU im Device 0 nutzte!

Dr. Frank-N-Furter
29.08.2012, 22:19
Das stimmt! Ich hatte es mit 3 versucht und...nichts, nur eine GPU arbeitete die WU, die anderen zwei hörten immer auf nach 2-3 Sekunden und fingen wieder von vorne an...und das dauernd!
Deswegen musste ich eine cc_config Datei erfinden (für POEM) die nur die GPU im Device 0 nutzte!

pronblem liegt bei boinc - open-cl auf multi-gpu setups scheint nicht zu funktionieren.

[ETA]MrSpadge
30.08.2012, 19:05
Eine AMD und eine nVidia im Rechner kann es zusammen mit POEM, aber nicht 2 gleiche. Für maximale Effizienz ist es aber eh besser, einen Rechner nur eine dicke GPU mit POEM-Arbeit versorgen zu lassen. 2 GPUs schaffen zwar mehr, aber bei weitem nicht doppelt so viel.

MrS

Yamazaki
30.08.2012, 21:34
Nabend zusammen,

ich hab jetzt mal die Gelegenheit - nach dem WOW-Event -
Poem ein wenig mit der GraKa zu rechnen.
... und entsprechend den vielen Beiträgen mit der app-info zu spielen.

Dabei ist interessant, dass offenbar erhebliches Optimierungspotential zu finden ist.
Man muss nur suchen ;)
In meinem Fall bin ich dabei, ein paar Scenarien durchzuspielen:

Q9550 plus ATI6770@950/5000
4x Poem auf je 0,25Cores/1 Core - 7700sec - ca. 33k Cr./Tag (Auslastung bis 80% stark schwankend)
3x Poem auf je 0,33Cores/1 Core - 5700sec - ca. 45k Cr./Tag (Auslastung bis 60%, dito)
2x Poem auf je 0,50Cores/1 Core - 3800sec - ca. 66k Cr./Tag (Auslastung bis 50%, dito)
2x Poem auf je 1,00Cores/2 Cores- xxxxsec - ca. xxk Cr./Tag (läuft zur Zeit)
4x Poem auf je 0,50Cores/2 Cores- to do

...
Bei den ersten 3 Werten fällt auf, dass die Auslastung der GPU stark unregelmässig ist. Es gibt häufig ein Auf und Ab von 30sec Aktivität, dann 30sec Pause. Muss die GPU da warten auf den CPU-Tropf ?

Wir werden weiter berichten... :cool:

Btw:
Ich bin für einen Mitgliederbereich, in dem wir solche 'Erkenntnisse' (gesammelt & aufbereitet) an die SG'ler weitergeben könnten... oder doch lieber gleich "public" ?

taurec
30.08.2012, 21:40
Nabend zusammen,

ich hab jetzt mal die Gelegenheit - nach dem WOW-Event -
Poem ein wenig mit der GraKa zu rechnen.
... und entsprechend den vielen Beiträgen mit der app-info zu spielen.

Dabei ist interessant, dass offenbar erhebliches Optimierungspotential zu finden ist.
Man muss nur suchen ;)
In meinem Fall bin ich dabei, ein paar Scenarien durchzuspielen:

Q9550 plus ATI6770@950/5000
4x Poem auf je 0,25Cores/1 Core - 7700sec - ca. 33k Cr./Tag (Auslastung bis 80% stark schwankend)
3x Poem auf je 0,33Cores/1 Core - 5700sec - ca. 45k Cr./Tag (Auslastung bis 60%, dito)
2x Poem auf je 0,50Cores/1 Core - 3800sec - ca. 66k Cr./Tag (Auslastung bis 50%, dito)
2x Poem auf je 1,00Cores/2 Cores- xxxxsec - ca. xxk Cr./Tag (läuft zur Zeit)
4x Poem auf je 0,50Cores/2 Cores- to do

...
Bei den ersten 3 Werten fällt auf, dass die Auslastung der GPU stark unregelmässig ist. Es gibt häufig ein Auf und Ab von 30sec Aktivität, dann 30sec Pause. Muss die GPU da warten auf den CPU-Tropf ?

Wir werden weiter berichten... :cool:

Btw:
Ich bin für einen Mitgliederbereich, in dem wir solche 'Erkenntnisse' an die SG'ler weitergeben könnten... oder doch lieber gleich "public" ?

Servus Yamazaki,

mit POEM habe ich vor Wow! auch gespielt. Bisher bei mir optimale Einstellung (Gigabyte GV-N560448-13l)
auf AMD945 Quad:
1 CPU frei für POEM - 1 WU für POEM - maximaler Durchsatz - OS Linux 64bit
ich werds aber auch nochmal durchtesten, da mir derzeit keine fertigen Aufgaben mehr angezeigt werden.

Eigentlich gehört das ja nicht mehr in diesen Thread :redface:

Eine WU Poem benötigt ca. 19 Minuten bei mir.

Rainer Baumeister
30.08.2012, 22:06
Moin POEMler, [ETA]MrSpadge hat sich sehr lange damit beschäftigt und bei seinem Rechner herausgefunden, das alle Kerne nur für POEM freibleichen bei gleichzeitigen 5/6 WUs.
Ich dagegen möchte mein WCG nicht vernachlässigen und gebe auf einem i7 nur 4 Kerne frei und rechne nebenher noch WCG.
Da ist die Ausbeute nicht so hoch, aber immer noch ca. 270k und ohne CPU Arbeit liegt es um die 450k/Tag
Warum soll das versteckt werden, sollen ruhig alle machen: Konkurrenz belebt die Sache.

btw: Im Moment rechnen alle Kerne wegen dem baldigen Ende von Sustainable Water nur WCG.
Gruß Rainer

Gattorantolo
31.08.2012, 11:09
Eigentlich gehört das ja nicht mehr in diesen Thread :redface:
...eben...:)

Yamazaki
31.08.2012, 17:47
Jo...
Ich bastel das nach und nach in die Wiki ein.

[ETA]MrSpadge
31.08.2012, 22:19
Hab mal meine neuesten Messungen in den anderen Thread geschrieben. Und nebenbei: ich bin EK'ler :x)

MrS

Rainer Baumeister
01.09.2012, 04:24
Nebenbei: Wir haben dich trotzdem lieb.:x)
Gruß Rainer