Unterschiede der WUs

Hallo!

Hab da mal eine Frage. Ich habe mal mit meinen beiden schnelleren Rechnern mit CPDN angefangen (je eine WU). Der Unterschied der beiden Rechner in der Geschwindigkeit bei vergleichbaren WUs ist zwar deutlich, aber eigentlich nicht so extrem wie sich das bei CPDN momentan bemerkbar macht.

Rechner 1: Core2Duo 6850 @ 3 GHz, 4 GB RAM
Rechner 2: Core2Quad 6600 @ 2,4 GHz, 2 GB RAM

Wie gesagt auf beiden läuft derzeit je eine CPDN WU. Allerdings nicht von der gleichen Sorte. Trotzdem scheint mir der 2. Rechner im Schneckentempo voranzukommen.

Auf dem 1. Rechner läuft eine HADCM3 WU (HADCM3 Coupled Model Experiment Optimised File I/O 6.02), die nun nach ~760 h auf ca. 80 % steht und auch schon knapp 20k Credits abgeworfen hat.

Auf dem 2. Rechner läuft eine HADSM3 (UK Met Office HadSM3 Slab Model 6.07), die hat jetzt 1000 h runter und steht grad mal knapp vor 21 %. Gut, die wird wohl von haus aus länger laufen, sieht man auch daß die nen halbes Jahr späteres Fälligkeitsdatum hat. Aber die hat in der Zeit grad mal 1.418 Credits abgeworfen.

Also mir scheints halt so, also ob der 2. Rechner irgendwelche Probleme mit CPDN hat, daß die so langsam läuft. Sicher, 2 GB für einen Quadcore ist nicht viel, aber daran scheints nicht zu liegen. Speicherauslastung mit 1x CPDN + 3x Yoyo liegt bei unter 500 MB. Bei anderen Projekten liegt er pro Kern in der Rechenzeit erwartungsgemäss in etwa so weit zurück, wie er geringer getaktet ist.

Ist das normal bei diesen WUs oder hat jemand einen Tip auf Lager woran das liegen könnt?

Also deine Angaben decken sich mit dem, was bei der Workunit angezeigt wird.

Auffällig ist aber, dass der Wert bei "Average (sec/TS)", also die Zeit, die für einen Timestep benötigt wird, seit Ende Oktober stark angestiegen ist. Normalerweise sollte sich der Wert hier irgendwo einpendeln. Bei dir z.B. so um 1,5 ...jetzt bist du allerdings schon bei 21(!!!).

Zum Vergleich deine andere WU, da passt das ganz offensichtlich.

Irgendwas ist da ganz gewaltig faul.

Ich hab die jetzt mal abgebrochen. Wenn die Zeit weiter ansteigt endet das ja irgendwo nach der Deadline.

Seltsam, eigentlich gibts keinen Grund warum die so langsam läuft. Fürs erste Quartal nächsten Jahres hab ich geplant dem Rechner ein anderes Mainboard zu spendieren. Bin mit dem jetzigen leider auf 2 GB limitiert (Asrock Umrüstboard). Hab noch nen zweiten 2 GB Riegel ungenutzt rumliegen, den kann ich mit nem anderen Board mit reinpacken. Vielleicht liegts ja irgendwie doch am RAM.

Zeigt die Grafikausgabe irgendwas ungewöhnliches? Zum Beispiel eine extrem niedrige Temperatur (Ice World)?

Hab mal ein wenig in Foren gestöbert und bin darauf gestoßen. Die Symptome, also extremes Ansteigen der Berechnungsdauer der Trickle, scheinen ja auf deine Problem-WU zu passen.
Dort wird geraten, die WU abzubrechen, aber dazu will ich dir jetzt nicht unbedingt raten...
In dem Forum werden auch noch andere Problemfälle geschildert. Kannst ja mal ein wenig stöbern.

Edit: Oh, wohl ein wenig zu spät gewesen.

Jo der ganze Globus war blau, ich denk mal dann war das da auch das Problem. ^^

Hallo, und "Happy New Year"!!!!

Ich rechne auch ab und zu bei climateprediction. Allerdings besitze ich nur einen Laptop (Core2Duo P9500 2,53 GHz) und entsprechend lange dauern die WU's.
Mir ist allerdings aufgefallen, dass bei Abbruch einer WU trotzdem Credits dem Konto gutgeschrieben werden, und nicht zu wenig, staun.
Ist das normal?

Blacky

Zitat von Blacky

Hallo, und "Happy New Year"!!!!

Ich rechne auch ab und zu bei climateprediction. Allerdings besitze ich nur einen Laptop (Core2Duo P9500 2,53 GHz) und entsprechend lange dauern die WU's.
Mir ist allerdings aufgefallen, dass bei Abbruch einer WU trotzdem Credits dem Konto gutgeschrieben werden, und nicht zu wenig, staun.
Ist das normal?

Blacky

Ja, das ist normal.
CPDN lädt in regelmäßigen Abständen (bei mir sind's ca. 3-4 Stunden) sog. "Trickles" hoch und für jeden Trickle gibt es Credits.
Schau dir doch mal die "Task details" deiner WUs an, da gibt es ganz unten eine Übersicht mit "Latest Trickles Received".

Wollte mich nur mal kritisch zu diesen langen Rechenzeiten äussern. Denn bei mir hätte die letzt WU über 1600 St gedauert, was mir einfach zu lange ist, zumal ich z.B. beim LHC Prokekt erlebt hbe, dass ich nachher ein Meldung "Rechenfahler" bekommen habe und damit die Arbeit für den A... war. Wenn ich mr nun bedenke, dass dieses bei diesem Projekt passieren würde, dann wären ja gleich 1000 Std. sinnlos verchwendet worden. Also bi ich sehr dafür, dass man die Projekte bzw. WUs so gestalltet, dass auf einem normalen PC innerhalb von max. 1. bis 7 Tagen ein Erfolg zu erzielen ist.

Zitat von georg70

Wollte mich nur mal kritisch zu diesen langen Rechenzeiten äussern. Denn bei mir hätte die letzt WU über 1600 St gedauert, was mir einfach zu lange ist, zumal ich z.B. beim LHC Prokekt erlebt hbe, dass ich nachher ein Meldung "Rechenfahler" bekommen habe und damit die Arbeit für den A... war. Wenn ich mr nun bedenke, dass dieses bei diesem Projekt passieren würde, dann wären ja gleich 1000 Std. sinnlos verchwendet worden. Also bi ich sehr dafür, dass man die Projekte bzw. WUs so gestalltet, dass auf einem normalen PC innerhalb von max. 1. bis 7 Tagen ein Erfolg zu erzielen ist.

Das ist bei CPDN unmöglich, sinnvolle Klimasimulationen brauchen halt länger. Aber es werden ja alle paar Stunden verwertbare Zwischenstände nach Oxford gemeldet, mehr als ein paar wenige Stunden ist also nie verloren, und as kann immer mal passieren.

Ich fände es allerdings hilfreich, wenn alle Projekte mit recht langen Wutzen wie CPDN Zwischenstände trickeln würden. Es müssen ja nicht die gar so relativ große .zip-Dateien sein wie dort nach den einzelnen Phasen2-4 mal pro Wutz, aber alle paar Stunden ein paar Werte zurückmelden über den Zwischenstand, möglichst auch mit einer kleinen Teilvergütung, wäre schon schön.

Kann mich Saenger da auch im wesentlichen anschließen. Da es sich bei den Simulations-Programmen um Code handelt, der im Grunde genommen von Supercomputern "herunter portiert" worden ist, geht es schlecht anders als so, wie es ist. Auch das "Auseinanderhacken" der WUs in handliche Portionen von sagen wir einer Woche, das in den originalen Projektforen schon vorgeschlagen wurde, kommt laut den Betreibern nicht in Frage wegen des dann zu bewältigenden, mit den verfügbaren Ressourcen nicht leistbaren Koordinierungsaufwands.

Wer bei CPDN teilnehmen will und nur eher "kurze" WUs abarbeiten möchte, sollte in seinen Projekteinstellungen dann eben auswählen, das er nur HadSM3 bzw. HadSM3MH bekommen möchte, wenn genug RAM vorhanden ist, vielleicht auch HadAM3. Mit der aktuell gängigen durchschnittlichen Hardware sind die alle in etwa zwei bis drei Wochen erledigt bei 24/7-Betrieb.

Was allerdings seeehr lange dauern kann, sind die HadCM3-WUs, bei denen eben wirklich "alle Features" berücksichtigt werden müssen bei der Berechnung. Selbst habe ich da auch noch zwei Stück dieser "Monster" in Arbeit, sogar die längere der beiden möglichen Varianten mit 160 Simulationsjahren. Zur Zeit knabbere ich da schon rund elf Monate Realzeit dran rum, und wenn alles glatt geht, werden das am Schluß jeweils etwa 2200 Stunden CPU-Zeit eines Q6600 gewesen sein.


Hier hätte ich auch einen ernsthaften Verbesserungsvorschlag für das Projekt:
Derzeit werden "Neulinge" automatisch für alle Teil-Projekte eingetragen, was sie dann an Arbeit zugeteilt bekommen, ist eben statistische Glückssache.
Meines Erachtens wäre es ein erheblicher Fortschritt, wenn man nach Neuanmeldung beim Projekt für alle Subprojekte außer HadCM3 eingetragen wird, und diese in den Einstellungen explizit aktiv anwählen müsste. Mein Eindruck ist schon, das hier viele Neulinge eigentlich völlig unnötig "vor den Kopf gestossen" werden, wenn ihnen als erstes womöglich genau so ein "Monster" auf den Tisch fällt. Und nicht wenige Standardfragen im Support des Projekts würden einfach nicht mehr unnötig gestellt werden ...

@Saenger:
Da mir das Projektforum dort leider die Registrierung verweigert (warum auch immer) - wärst Du evtl. so nett, meine Idee mal dorthin zu transportieren ? Wenn mich meine Erinnerung nicht trügt (kann ja vorkommen), bist Du dort ohnehin aktiv - wäre sehr freundlich von Dir ! Danke an dieser Stelle, falls Du Dich meiner Bitte annehmen magst.

Zitat von guru2001-muc

@Saenger:
Da mir das Projektforum dort leider die Registrierung verweigert (warum auch immer) - wärst Du evtl. so nett, meine Idee mal dorthin zu transportieren ? Wenn mich meine Erinnerung nicht trügt (kann ja vorkommen), bist Du dort ohnehin aktiv - wäre sehr freundlich von Dir ! Danke an dieser Stelle, falls Du Dich meiner Bitte annehmen magst.

Meinst Du das BBcode-Forum?
Es gibt ja auch das BOINC-Forum, das wird zumindest von den Mods auch regelmäßig gelesen.

Und was die Anmeldung angeht:
Benutzt Du eventuell Sonderzeichen in Nick oder Passwort? Ich hatte da nach der Umstellung auf BBCode3 ziemliche Probleme, mein Name wurde falsch geschrieben, da die einen seltsamen Zeichensatz verwenden und mein "ä" nicht erkannten, im Passwort hatte ich zwar keinen, aber sicherheitshalber würd' ich's auch da vermeiden.

Edith sagt:
Been there, done that

Also ich bin wirklich nicht an irgendwelchen Statistiken interessiert, sondern mir gefällt eben bei Climate, dass man dort wirklich schön sieht, was der Rechner gerade schon für Ergebnisse errechnet hat. Aber so lange wie die WUs dauern, ändert sich ja über Tage und Wochen nichts an der aktuellen Grafik, was das Projekt für mich langweilig macht.

Würdest du die WU ohne die Grafik anzusehen, wäre deine WU auch in der Hälfte der Zeit fertig. Die Grafik ist m.E. bei vielen Projekten der größte Ressourcenfresser. Aus diesen Grund und anderen Gründen gibt es zum Beispiel für Seti optimierte Applikationen welche völlig ohne Grafikanteil sind und dementsprechend flott berechnet werden.

Auch ohne die Grafik kannst du auf deiner Accountseite ansehen, was gerade berechnet wurde. Bei jeder WU stehen die Werte tabellarisch aufbereiten mit dabei.

Für mich sind gerade die Grafiken interessant, ich muss ja nicht ständig diese anschalten. Aber Credits oder irgendwelche Statistiken interressieren mich wenig.
Ich möchte lieber wissen, ob mein PC gerade eine interessante Radiowelle für Seti , ein Molkühl zum Nutzen der Menscheit oder die Klimkatastrophe voerher sagt.
Also suche ich eben neben Seti min. ein Projekt, wo man so richtig schön sieht, ob man gerade die Jackpot WU erwischt hat und man eben aus den Grafiken sogar noch etwas lernen kann.

Zitat von georg70

Ich möchte lieber wissen, ob mein PC gerade eine interessante Radiowelle für Seti , ein Molkühl zum Nutzen der Menscheit oder die Klimkatastrophe voerher sagt.
Also suche ich eben neben Seti min. ein Projekt, wo man so richtig schön sieht, ob man gerade die Jackpot WU erwischt hat und man eben aus den Grafiken sogar noch etwas lernen kann.

Gerade das wirst du mit Sicherheit nicht auf oder in der Grafik finden. Bei Climate berechnest du nur ein winziges Bruchteil eines komplexen Wettermodells. Diese werden von tausenden Usern berechnet und am Ende wieder zu einen ganzen zusammen gesetzt. Das gerade du etwas feststellst unwahrscheinlich, eher hast den Jackpot im Lotto.
Auch bei Seti ist die gleiche Problematik. Im Serverstatus bei Seti ist gut dargestellt, wie groß der gesamte Stream eines kleinen Ausschnitt den der Horchlöffel abgesucht hat, ist. Von diesen meist rund 50 GB bekommst du nur etwa 350 KB zugeteilt. Wieviel Bogensekunden in der Michstraße das real sind, kann ich nicht sagen. Jedenfalls hat noch keiner seit Mai 1999 (Start von Seti Classic offiziell) das WOW Signal gefunden. Klar waren einige Kandidaten dabei, die einer näheren Prüfung, nochmaligen berechnen etc. nicht standgehalten haben.

Es gibt glaube ich, kein Projekt welches auf Grafik optimiert wird von den Betreibern. Denn diese haben schon vor langer Zeit erkannt, das ein verschwindenter geringe Anteil der User auf die Grafik anspringt, die meist recht minimalistisch gehalten ist.

Ok, ich akzeptiere deine Vorlieben, ist auch ne Möglichkeit die Stromrechnung hoch zu halten mit ca. 50%iger Ineffektivität zur Rechenleistung.

Hallo leprechaun.
was soll denn das ganze Boinc, wenn die User nur darauf aus sind, die eigenen Rechner für bestimmte Projekte zu optimieren, es stckt doch eigentlich ein wissenschaftliches Interesse dahinter.

Für alle, die nur stolz auf den eigenen Rechner sind, kann man doch ein extra Projekt machen, das einfach misst, wie lange ein Rechner braucht, um von 1 bis 1 Billarden zu zählen. Man könnte sogar noch einen Trick einbauen, den evtl. nur bestimmte Teilnehmer wissen, aber genau so ein Projekt interesiert mich eben gar nicht. Ic
Programmcode wäre ungefähr so:

"
Addition=1.
Zähler = 1.
If User = Georg70 then Credits = 1000 and exit program.
Do while x < 1000000000000
Zähler = Zähler + Addition
End While.
Credits = 100

"
(Bei so einem Projekt könnte jeder seinen PC blind testen und sogar evtl. Tricks anwenden, aber sinnvoll wäre es doch nur für Leute, die beweisen wollen, dass sie tolle Hardware haben oder Tricks kennen)

Ich suche ein Projekt,bei dem ich etwas lerne, wo ich wirklich teilnehme (Erfolge evtl. gleich sehe) und dessen Ergeniss keiner finanziell ausnutz.

Zitat von leprechaun

Ok, ich akzeptiere deine Vorlieben, ist auch ne Möglichkeit die Stromrechnung hoch zu halten mit ca. 50%iger Ineffektivität zur Rechenleistung.

Dieses Märchen von einer 50%igen Einschränkung der Rechenleistung wenn mensch sich die Grafik ansieht kann so nicht stehen bleiben. Natürlich gibt es ein wenig Einschhränkung, vermutlich im einstelligen Prozentbereich, da die Grafikkarte nicht alles komplett schafft. Wer noch weniger Verlangsamung haben möchgte kann dies in seinen Projekteinstellungen verändern, dann frischt sich die Grafik weniger oft auf.

Die Grafik ist ein wesentlicher Bestandteil von BOINC, damit mehr Leute mitrechnen, die Zielpersonen sind nicht irgendwelche Nerds sondern normale Leute, die z.B. statt sinnlosem Bildschirmschoner was sinnvolles tun wollen, und zu einem Bildschirmschoner gehört nun mal eine ansprechende Grafik.

Zitat von leprechaun

...
Ok, ich akzeptiere deine Vorlieben, ist auch ne Möglichkeit die Stromrechnung hoch zu halten mit ca. 50%iger Ineffektivität zur Rechenleistung.

Hallo Leprechaun,
warum soll meine Strom Rechnung steigen, nur weil ich eben gerne z.B. Grafiken zu Projekten habe?
Mein Rechner braucht doch nicht mehr Strom, nur weil ich z.B. eine Setibildschirmschoner anstatt z.B. einen Windows Bildschirmschoner nutze.
DIE CPU läuft so oder so bei 100 %. Evtl. duert es etwas länger, um ein WU zu erledigen, aber der Stromverbrau steigt nur, wenn z.B. auf Kredits aus wäre und dann den PC Tag und Nacht anlassen würde.
Aber die Kredits sind mir recht egal, ob ich nun auf Position 250000 oder 230000 im Prokelt x bin, das ist mir wurscht.

Zitat von georg70

Hallo Leprechaun,
warum soll meine Strom Rechnung steigen, nur weil ich eben gerne z.B. Grafiken zu Projekten habe?
Mein Rechner braucht doch nicht mehr Strom, nur weil ich z.B. eine Setibildschirmschoner anstatt z.B. einen Windows Bildschirmschoner nutze.
DIE CPU läuft so oder so bei 100 %. Evtl. duert es etwas länger, um ein WU zu erledigen, aber der Stromverbrau steigt nur, wenn z.B. auf Kredits aus wäre und dann den PC Tag und Nacht anlassen würde.
Aber die Kredits sind mir recht egal, ob ich nun auf Position 250000 oder 230000 im Prokelt x bin, das ist mir wurscht.

Mir scheint nach deinen Aussagen hin, das du nicht richtig verstehst was Boinc ist. Es geht in erster Linie darum wissenschaftliche Rechenleistung zu spenden. Du gehst mit keinen Wort auf optimierte Applikationen ein, welche ich dir weiter ober schon beschrieben habe. Mit solchen Teilen kannst du echt einen Beitrag zu den Projekten leisten, anstatt einen Schoner laufen zu lassen. Auch wenn dir Credits wurscht sind.
Solltest du jemals etwas, zum Beipiel bei Seti finden, werden dich die Projektleiter informieren. Die sind genau so erwartungsvoll wie du.
Thema Strom, hast du den Schoner an, ist deine Rechenleistung geringer. Nun könnte es sein, das gerade da die WU auf dem Server liegt, die du suchst aber nicht bekommst weil der Rechner nicht schnell genug ist wegen dem Schoner.
Ich vermute trotzdem, das du mich nicht verstehst auf was ich hinaus will.
Schönes Wochenende.

Zitat von leprechaun

Mir scheint nach deinen Aussagen hin, das du nicht richtig verstehst was Boinc ist. Es geht in erster Linie darum wissenschaftliche Rechenleistung zu spenden. Du gehst mit keinen Wort auf optimierte Applikationen ein, welche ich dir weiter ober schon beschrieben habe.

Ich glaube die Boincverständnisfrage hilft hier nicht weiter und hat auch gar nix damit zu tun.

Es geht nicht allen Boinclern darum, möglichst viel zu spenden, sondern eben überhaupt etwas abzuliefern und dafür vielleicht auch einen netten und interessanten Bildschirmschoner zu haben.
Ist doch klasse, besser als 2000 PC Besitzer, die sich fliegende Toaster anschauen ohne das die Kiste was produktives tut.
Und mal ehrlich, genau so crunchen wahrscheinlich 85% aller User und die liefern auch den Großteil der Rechenleistung ab.

Zitat von leprechaun

Mir scheint nach deinen Aussagen hin, das du nicht richtig verstehst was Boinc ist.

Ich glaube, er versteht das deutlich besser als Du
Wenn jemand wie Du hier wider besseres Wissen solche Lügenmärchen von 50%iger Einschränkung verbreitet und Du die Masse der Cruncher, die vermutlich so rechnen wie Kalessin das beschreibt und Georg das korrekterweise tut, niedermachst in Deiner gewohnt unhöflichen und überheblichen Art, dann finde ich das ziemlich daneben.

@georg:
Du machst das schon richtig so, lass Dich von dem Miesepeter nicht beindrucken.

Ich habe schon verstanden, worum es bei Boinc geht. Aber aus meiner Sicht geht es eben nicht nur darum, blind Rechenleistung zur Verfügung zu stellen, sondern auch darum die Leute für bestimmte Forschungen zu begeistern.

Naja besonders viele Infos gibt Seti ja nicht raus. Da sind einige Projekte wie Poem oder Primegrid gesprächiger. Oder LHC. Könnte aber auch daran liegen das wirklich nix interessantes gefunden wird bei SETI.

Zitat von sdw

Naja besonders viele Infos gibt Seti ja nicht raus. Da sind einige Projekte wie Poem oder Primegrid gesprächiger. Oder LHC. Könnte aber auch daran liegen das wirklich nix interessantes gefunden wird bei SETI.

Seti hat bestimmt zwischen 2000 und 2009 mehr Ergenisse (überdurschnittliche Gaussians) gehabt, als zwischen 1996 und 2000, denn es wurden doch auch viel mehr WUs abgearbeitet, weil u.a. die Rechner einfach schneller geworden sind.
Ich glaube einfach, dass man entweder zu faul war, die Ergenisse zu veröffentlichen oder man aus politischen Gründen keine genaueren Ergenisse mehr hier darstellt.

Bis ins Jahr 2000 wurde hier noch diskutiert, ob da gerade eine WU auffällig ist, weil man es mit einem Signale von einem Satelitten zu tun hat, aber heute scheint sich kaum jemand mehr für die Ziele von Seti (auch bei anderen Projekten) zu interessieren.

Deshalb werden auch wohl kaum mehr Ergebnisse veröffentlicht.

Zitat von georg70

Seti hat bestimmt zwischen 2000 und 2009 mehr Ergenisse (überdurschnittliche Gaussians) gehabt, als zwischen 1996 und 2000, denn es wurden doch auch viel mehr WUs abgearbeitet, weil u.a. die Rechner einfach schneller geworden sind.
Ich glaube einfach, dass man entweder zu faul war, die Ergenisse zu veröffentlichen oder man aus politischen Gründen keine genaueren Ergenisse mehr hier darstellt.
[...]
Deshalb werden auch wohl kaum mehr Ergebnisse veröffentlicht.

Gehst du jetzt unter die Verschwörungstheoretiker?
Ein Wissenschaftler arbeitet ohne politischen Druck bzw. Beeinflussung!

Dass Berkeley nicht mehr so viele Ergebnisse veröffentlicht, kann auch daran liegen, dass einfach zu viele Ergebnisse in zu kurzer Zeit eintrudeln (schnellere Rechner, kürzere Laufzeiten, mehr User). Das Einpflegen der Ergebnisse auf die Homepage ist schließlich auch Arbeit, die von irgendwem erledigt werden muss. Da aber die Versorgung der User mit neuen WU's oberste Priorität hat, wird dann darauf verzichtet Ergebnisse auf der HP zu veröffentlichen.
Wahrscheinlich ist aber, dass wirklich nichts richtig spannendes gefunden wurde.

Im übrigen ist diese Diskussion ziemlich off-topic! Hier sollte es doch um CPDN gehen, oder?