PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Vorschlag fürs Team



[SG] JuHu
14.04.2008, 13:50
Hallo zusammen,

ich hoffe, dass dies hier nicht ganz off topic ist.

Mit der Gruppe SPEG wird ja in erster Linie auf "Schwachstellen" in Bezug auf Creditausbeute bei den verschiedenen Projekten und/oder Races reagiert.
Mit den übermittelten Daten der SPEG Mitglieder kann grob berechnet werden was in x Stunden/Tagen an Credits rüberkommt.

Jetzt mein Vorschlag:
Wenn von den "aktiven" Teamusern (nicht SPEG) auch eine Liste geführt wird, aus der hervorgeht für welches Projekt derjenige Member in den nächsten Tagen mit wievielen Kernen und Stunden für ein Projekt gerechnet wird, kann wesentlich besser innerhalb der SPEG geplant werden.
Zum Beispiel: Für PG werde ich den nächsten (5) Tagen mit durchschnittlichen Credit von 8000 Punkten/Tag rechnen.

Gruß Jürgen

Zwitschi
14.04.2008, 14:10
Eine schöne Idee, aber selbst in der SPEG klappt das (noch) nicht :sad:

Außerdem gälte es dann jemanden zu finden, der diese Listen (wohl eher Datenbanken, das wäre eine wahre Datenflut) betreut...

Yamazaki
14.04.2008, 15:43
Von der Idee her sehr gut, Jürgen.
Leider fürchte ich, dass der (Pflege-)Aufwand,
um den aktuellen Stand der Dinge jeweils zu haben,
relativ hoch sein dürfte.

Aber in der Richtung könnte man schon die eine oder andere
Überlegung umzusetzen versuchen.

Überlegung:
Es gibt diverse kleinere Projekte, in denen entweder SG noch nicht in den Top 10 liegt, bzw. langsam rausfällt / rausgefallen ist.
Weiterhin gibt es Fälle, in denen es eines relativ geringen Aufwandes bedarf,
um zB. mit ein paar Hundert K einige Plätze in der Statistik bzw.Formula Boinc gut zu machen.

Diese Vielzahl an kleineren ´Baustellen´ kann und soll die SPEG nicht bearbeiten.
Da würde ich mir wünschen, dass man ausgehend von einer (bereits ansatzweise existierenden aber auch zu pflegenden) Liste und evtl. durch die Rufe um Hilfe/Unterstützung derjenigen, die schon länger in den Projekten rechnen und sich auskennen, dort von SG´lern gezielt Hilfe bekommen könnte.

Beispiel: Jemand, der bei PS3Grid rechnet, und die Position der SG verbessern möchte, ruft alle mit einer PS3 dazu auf, ihn dort zu unterstützen. Mittlerweile haben sich einige gefunden und es geht voran. :)

Beispiel: Jemand bemerkt, dass SG bei Projekt XY langsam Positionen verliert und ruft im Forum nach Unterstützung, daraufhin melden sich einige und auch dort kann die SG-Position wieder verbessert werden.

Sowas fände ich wirklich super, wenn wir das auf etwas breiterer Basis schaffen könnten !

Ich bin mir nicht sicher, ob es eines großen Aufwandes bedarf, so etwas langsam anzugehen. Evtl. reicht es schon, wenn man sich besagte Tabelle der Formula Boinc mal ansieht und evtl. ergänzt sowie ein wenig in der Statistik ´rumwühlt, um genügend Infos zu bekommen, wo es brennt. Dann könnte man im jeweiligenProjektforum oder im Hauptforum die entspr. Infos/Hilferufe geben.

Ich bin sicher, es finden sich immer hilfsbereite SG´ler, die Lust haben, da mit zu ziehen. Es muss halt nur jemand machen. Weiterhin sollte man die Sache jeweils infotechnisch ein wenig begleiten.

Die Sache sollte in jedem Fall einen lockeren Hintergrund haben, so dass sich niemand gezwungen, verpflichtet oder ähnliches fühlt, irgendwo mitzumachen, sondern selbst entscheidet, was und wieviel er an Unterstützung geben möchte/kann.

.

Sysadm@Nbg
14.04.2008, 18:08
Kann Yamazaki im wesentlichen zustimmen. Der Aufwand der Datenpflege rechnet sich aus meiner Sicht nicht. Zumal das ein oder andere Projekt sich hin und wieder auch mal eine längere Auszeit gönnt und dann die ganze Planung über den Haufen geworfen wird ...

[SG] JuHu
14.04.2008, 18:10
Kann Yamazaki im wesentlichen zustimmen. Der Aufwand der Datenpflege rechnet sich aus meiner Sicht nicht. Zumal das ein oder andere Projekt sich hin und wieder auch mal eine längere Auszeit gönnt und dann die ganze Planung über den Haufen geworfen wird ...

Wie gesagt, war ein Vorschlag.
Schade, dass der Aufwand zu hoch ist...

Gruß Jürgen

Yamazaki
15.04.2008, 22:17
Hallo Jürgen,

wie gesagt, ich weiss nicht genau, ob der Aufwand zu gross ist.
Letztlich kommt es ja (wie so oft) darauf an, dass sich jemand engagiert...

Aber um noch ein wenig deutlicher (an einem Beispiel) zu machen, was ich oben meinte:
Ich sehe zB. dass du engagiert bist (unter anderem) bei Prime Grid.
Mal angenommen, du merkst, dass uns da jemand zB. in der FB die Position streitig machen will und schlägst Alarm im Hauptforum und im entspr. Forum-Thread... ich bin sicher, es finden sich schnell Mitcruncher, die unterstützen würden.

Allein der Punkt, dass jeder bei ´seinen (Lieblings-)Projekten´ ein wenig die Augen offen hält und den übrigen Infos etc. zukommen lässt, wäre eine wichtige und entscheidende Verbesserung...
Es gibt nämlich eine Reihe von Baustellen im Auge zu behalten, und es werden zukünftig nicht weniger.

.

Lamer
16.04.2008, 20:31
Mal eine andere Frage in diese Richtung. Wie kommt man denn an die Daten ran. Also diese ganzen Statistikseiten müssen ja irgendwoher die ganzen Statistiken bekommen.

Wenn wir die als csv oder xml bekommen könnten wäre das erstellen der geforderten Sachen ja kein Problem da man automatisch auswerten kann wer gerade wo arbeitet.

Gruß Lamer

MichaelR
16.04.2008, 21:47
Mal eine andere Frage in diese Richtung. Wie kommt man denn an die Daten ran. Also diese ganzen Statistikseiten müssen ja irgendwoher die ganzen Statistiken bekommen.

Wenn wir die als csv oder xml bekommen könnten wäre das erstellen der geforderten Sachen ja kein Problem da man automatisch auswerten kann wer gerade wo arbeitet.

Gruß Lamer

zum Bs. hier (http://www.depspid.net/stats/) von depspid

Gruß Michael

BiancaW
16.04.2008, 22:29
Mal eine andere Frage in diese Richtung. Wie kommt man denn an die Daten ran. Also diese ganzen Statistikseiten müssen ja irgendwoher die ganzen Statistiken bekommen.

Wenn wir die als csv oder xml bekommen könnten wäre das erstellen der geforderten Sachen ja kein Problem da man automatisch auswerten kann wer gerade wo arbeitet.

Gruß Lamer

Bei Willi (BOINCstats) findest du eine xml Datei mit den Daten aller Projekte, nur leider ist es kein wohlgeformtes xml und daher für mich nur mit grösserem Aufwand (zu dem ich keine Zeit habe) zu nutzen.


Schöne Grüsse
Bianca

Lamer
16.04.2008, 23:34
Eigentlich ist es relativ egal in welcher form die daten kommen .. solange sie immer in der selben form sind und durch ein eindeutiges zeichen oder mehrere getrennt sind und man weiß was was ist .. kann man daraus auch was basteln was sich in einer datenbank abspeichern lässt.

Gruß Lamer

SDI
17.04.2008, 08:28
kann man daraus auch was basteln was sich in einer datenbank abspeichern lässt.

Gruß Lamer

Da stimmen wir Dir alle zu, aber der Knackpunkt ist dein "man". Es muss sich trotzdem jemand ziemlich ausführlich mit der Thematik beschäftigen und eine Lösung stricken. Der laufende Aufwand durch Änderungen an der Datenbasis wird auch nicht ohne sein...

Daniel

Lamer
17.04.2008, 11:29
hmmm ... wenn es xml ist kann man es ja parsen .. gibt ja genug tools in den verschiedenen sprachen die aus xml .. programmiersprachen freundliche daten bauen.

Ansonsten würd ich das mit preg_matches machen wobei das eventuell schon nen bisschen arbeit ist, wobei das dann wohl mehr auf den rechner und auf die größe der Dateien ankommt :)

Gruß Lamer

MichaelR
17.04.2008, 17:05
dann sag ich mal, nimm mal ein kleineres Projekt (weniger Daten) und zeig uns was du kannst.Für einen fähigen Programmierer hätten wir immer Arbeit:D was dann dabei rauskommt und ob es für den zweck taugt sagen wir dir dann schon.
Gruß Michael

diclo
17.04.2008, 18:14
da ich zur zeit speg auswertungen mache, kann ich den aufwand in etwa ein schätzen. ich habe das ganze mit excel gelöst. ich kann nur sagen das alleine die xml dateien der projekte in die GigaBytes gehen.... der rechner sollte also ne gut inet anbindung und viel power haben..... das erstellen meiner datei hat circa 4 tage in anspruch genommen (bin aber auch anfänger)....
pro tag braucht der rechner und oder ich circa ne stunde für ein projekt zu aktualisieren..... bei mehr als 70 projekten.....
ein gute strukturierte datenbank wäre, so denke ich, sinn voller....


@ BiancaW hast du mal nen link zu den xml files?

Lamer
17.04.2008, 20:01
Hi ..

ich kann nur sagen das alleine die xml dateien der projekte in die GigaBytes gehen

Pro Tag?

das problem für mich ist halt ich kann es bisher nichts abschätzen. Man müsste erstmal alle möglichen daten zusammentragen .. dann ein anständiges Datenbankmodell entwerfen .. das man auf bestimmte sachen auslegt (die dann noch abzuklären wären) und dann darum eine Seite basteln ..

Gruß Lamer

BiancaW
17.04.2008, 20:44
;47879']

@ BiancaW hast du mal nen link zu den xml files?

Hier eine xml, Zusammengefasste Userdaten aller Projekte Tägliche aktualisierung: http://boinc.netsoft-online.com/stats/

Hier der code für BOINC Combined Stats als Beispiel: http://boinc.berkeley.edu/svn/trunk/boinc_stats/

Schöne Grüsse
Bianca

EDIT: HIer noch etwas umfangreicher mit RPC's http://boinc.berkeley.edu/trac/wiki/StatsXml#WebRPCs

Lamer
17.04.2008, 20:50
Danke .. lad sie mir gerade runter .. bianca .. warum nicht im chat .. :)

EDIT:

So ich hab die mal runtergeladen. Das sind also jetzt alle User die es bei BOINC gibt aufgeschlüsselt danach was sie für punkte in welchen Projekten haben .. soweit so gut .. das auszulesen ist nicht wirklich schwer ..

was brauchen wir noch?

Gruß Lamer

aendgraend
17.04.2008, 21:51
[QUOTE=Lamer;47903was brauchen wir noch?Gruß Lamer[/QUOTE]

ne grafisch ansprechende Umsetzung? :D (:undecided:)

Lamer
17.04.2008, 21:53
naja .. aber ist das wirklich alles ..

berechnen sich die einzelnen Projekte aus der zusammenfassung der einzelnen user oder gibt es da eventuell noch etwas wo man das checken kann ob das hinkommt ..

Bin gerade dabei nen DB model zu basteln

Gruß Lamer

EDIT:

Hier gleich mal ein paar Fragen von nem NewBee

Country in der users xml unter dem Tag Projects .. ist das das Land wo das Project her kommt und ist das immer gleichbleibend?

SDI
17.04.2008, 23:00
Country in der users xml unter dem Tag Projects .. ist das das Land wo das Project her kommt und ist das immer gleichbleibend?

Korrigiert mich, wenn ich falsch liege, aber ist das nicht die Landeseinstellung, die ich bei jedem Projekt, bei dem ich rechne erneut eingeben muss?

Daniel

Lamer
17.04.2008, 23:41
Hi und noch was .. zu dem Country kommt auch noch .. woher weiß ich in welchem Team welcher User ist?.. Also in der XML steht das nicht drin .. gruß Lamer

BiancaW
18.04.2008, 00:07
Hi und noch was .. zu dem Country kommt auch noch .. woher weiß ich in welchem Team welcher User ist?.. Also in der XML steht das nicht drin .. gruß Lamer

Es gibt da noch die host.xml und die team.xml nur leider habe ich die noch nicht als Zusammenfassung gefunden.
Die musst du bei Bedarf von den Projektseiten laden.
Von den Projekten laden hätte noch den Vorteil der Datenaktualität.
Einige Projekte aktualisieren mehrmals pro Tag. (z.B. yoyo aktualisiert glaube ich alle 6h)
In der Zusammenfassung sind die Werte möglicherweise alter als 24h (was zu prüfen wäre).

Schöne Grüsse
Bianca

Lamer
18.04.2008, 00:28
Kann denn jemand die ganzen adressen wo man die xmls bekommt besorgen bzw das team die zusammentragen?

Gruß Lamer

BiancaW
18.04.2008, 01:33
Kann denn jemand die ganzen adressen wo man die xmls bekommt besorgen bzw das team die zusammentragen?

Gruß Lamer

Das ist nicht weiter schwierig.
Projekt url plus stats dranhängen, wie im Beispiel von MichaelR http://www.depspid.net/stats/


Schönen Gruss
Bianca

Lamer
18.04.2008, 06:56
Na dann ist es auch nicht schwierig einen client dafür zu schreiben .. der einmal am tag oder so .. die ganzen XMLs zusammensucht.

nen kleier Cronjob auf einem Server (wirklich klein das sind 15 Zeilen code) und fertig .. der holt die verschiedenen Dateien und legt sie auf den Server in ein TMP verzeichnis. Dann wird einmal am Tag der einlese vorgang angestoßen so das die daten in die Datenbank transportiert werden. FERTIG.

Natürlich geht das nur wenn das wirklich immer so ist ..

Ich probier das mal heute nachmittag aus .. da hab ich hoffentlich Zeit dafür.

Wenn noch jemand etwas weiß was sich zu wissen lohnt immer her damit.

Gruß Lamer

aendgraend
18.04.2008, 09:53
Ich such dir mal aus meinen Sicherungen vom alten Forum einige der Projekt-URL zu deren Stats-Files heraus am WE.

Anmerkung:
Von BOINCstats sollten generell KEINE Stats-files ausgelesen werden, Willy prüft die Zugriff auf seine Daten, und bei zu vielen Zugriffen wird die entsprechende IP geblockt, und zwar infinit. Er hat auch schon komplette Subnetze geblockt. Siehe dieser Thread aus dem BOINCstats Forum: Scrapers ye be warned! (http://de.boincstats.com/forum/forum_thread.php?id=1161)

kleiner Auszug:

From now on, every scraper detected will have his IP address blocked indefinitely. Your stats history will be purged and if the scraper is a member of a team, the team stats histories will be erased as well. For all projects! This cannot be undone.

Also bitte NUR von den Projekt-Servern Daten herunterladen !!!

Lamer
18.04.2008, 10:01
Hmm zuwas stellt er sie dann online .. ?? der zugriff wäre ja einmal am tag .. naja .. aber ich glaube direkt von den projekten sollte aktueller sein .. in so fern alle die selben xml struktur benutzen

dann könnten wir sogar selber so nen service anbieten wie "willy"

Gruß Lamer

aendgraend
18.04.2008, 10:04
Das sollte das Ziel sein, eigene Stats :)

Willy schützt damit nur seine Server, das ist meiner Meinung nach nur verständlich...

Lamer
18.04.2008, 10:39
joah . naja das muß man ja nicht diskutieren .. ich an seiner stelle würde sie dann nicht online stellen .. entweder zugriff so das man immer die neuen ziehen darf oder halt nicht.

Aber egal soll uns nicht weiter aufhalten .. :)


Gruß Lamer

Saenger
18.04.2008, 10:41
Ich such dir mal aus meinen Sicherungen vom alten Forum einige der Projekt-URL zu deren Stats-Files heraus am WE

Die stats-XML liegen eigentlich immer unter der URL www.projekt.url/stats, nur bei WCG bin ich mir nicht sicher ;)

Gesamt-BOINC-XML bietet afaik nur James von netsoft an, wenn ich die Verzeichnissnamen in Berkeley richtig interpretiere sind die Daten dort ein Mirror oder eine Kopie.

Willy bietet keine eigenen XML an, und das Plündern der HTML-Seiten kostet sehr viel Bandbreite und Serverlast, daher sieht er das überhaupt nicht gerne und greift recht schnell zu härteren Mitteln bei Missbrauchsverdacht. Das normale ansehen von ein paar dutzend Seiten im Browser ist nicht so schlimm, er cached allerdings auch dort die Seiten auf dem Server, damit nicht jedes F5 einen Datenbankzugriff erzwingt. Wer höhere Ansprüche hat, sollte ihn einen neuen Server und mehr Bandbreite spendieren ;):D

aendgraend
18.04.2008, 10:42
So, einige hab ich schon mal für dich:
jeweils mit unserer Team-ID beim Projekt, falls die SG highlighten willst ;)

ABC:
http://abcathome.com/stats/
Team-ID SG: 32

AlmereGrid:
http://server1.almeregrid.nl/testgrid/stats/
Team-ID SG: 42

Chess960:
http://www.chess960athome.org/alpha/stats/
Team-ID SG: 19

Cosmology:
http://cosmologyathome.org/stats/
Team-ID SG: 8

Einstein:
http://einstein.phys.uwm.edu/stats/
Team-ID SG: 49

LHC:
http://lhcathome.cern.ch/lhcathome/stats/
Team-ID SG: 42

Malariacontrol:
http://www.malariacontrol.net/stats/
Team-ID SG: 11

Milkyway:
http://milkyway.cs.rpi.edu/milkyway/stats/
Team-ID SG: 9

Orbit:
http://orbit.psi.edu/oah/stats/
Team-ID SG: 19

Pirates:
http://pirates.spy-hill.net/stats/
Team-ID SG: 76

POEM:
http://boinc.fzk.de/poem/stats/
Team-ID SG: 3

Predictor:
http://predictor.chem.lsa.umich.edu/stats/
Team-ID SG: 86

PrimeGrid:
http://www.primegrid.com/stats/
Team-ID SG: 11

Proteins:
http://bioc.polytechnique.fr/proteinsathome/stats/
Team-ID SG: 41

QMC:
http://qah.uni-muenster.de/stats/
Team-ID SG: 14

RCN:
http://dist.ist.tugraz.at/cape5/stats/
Team-ID SG: 2

RieselSieve:
http://boinc.rieselsieve.com/stats/
Team-ID SG: 398

Rosetta:
http://boinc.bakerlab.org/rosetta/stats/
Team-ID SG: 26

SETI:
http://setiathome.berkeley.edu/stats/
Team-ID SG: 30187

SHA-1:
http://boinc.iaik.tugraz.at/sha1_coll_search/stats/
Team-ID SG: 4

SIMAP:
http://boinc.bio.wzw.tum.de/boincsimap/stats/
Team-ID SG: 29

Spinhenge:
http://spin.fh-bielefeld.de/stats/
Team-ID SG: 3

Sudoku:
http://dist2.ist.tugraz.at/sudoku/stats/
Team-ID SG: 34

Superlink@Technion:
http://cbl-boinc-server2.cs.technion.ac.il/superlinkattechnion/stats/
Team-ID SG: 24

Sztaki Desktop Grid:
http://szdg.lpds.sztaki.hu/szdg/stats/
Team-ID SG: 9

TANPAKU:
http://issofty17.is.noda.tus.ac.jp/stats/
Team-ID SG: 9

TSP:
http://bob.myisland.as/tsp/stats/
Team-ID SG: 1

VTU:
http://boinc.vtu.lt/vtuathome/stats/
Team-ID SG: 6

Yoyo@home:
http://www.rechenkraft.net/yoyo/stats/
Team-ID SG: 3

µFluids:
http://www.ufluids.net/stats/
Team-ID SG: 28

Lamer
18.04.2008, 11:01
@ aendgraend

Einige von den links sind da aber nicht mehr aktuell oder .. zumindest sind dort keine xmls vorhanden.

@ Saenger
Achso die XML kommt garnicht von Willi die Bianca in einem der vorhergehenden Posts genannt hat. Ich dachte die käme von willi aber er will nicht das man sie runterläd .. nen seitenauslesen .. (also HTML Wrapping) würde ich eh nicht machen, wie du schon sagtest .. zuviel aufwand.

Gruß Lamer

EDIT:

Also Auslesen geht .. das entpacken ist auch nicht das problem .. die Daten in die Datenbank zu bekommen auch nicht. Ich kontrolliere gerade ob die daten immer gleich sind ..

Wenn das alles passt könnte man das per Cronjob ganz automatisch einmal am Tag machen lassen .. alle urls in eine DB und fertig

Gruß die 2. Lamer

EDIT 2:

So nun hab ich die Daten hier .. kann man irgendwie eine beziehung zwischen den einzelnen Projekten und den Usern herstellen? Also Projekt ABC und SETi ein User ist in beiden .. woran kann man das festmachen?

Gruß Lamer die 3.

EDIT 3: Hab schon jemanden gefunden der mir hilft .. dank an pschoefer und diclo

Gruß die 4 :)

BiancaW
18.04.2008, 16:59
@ Saenger
Achso die XML kommt garnicht von Willi die Bianca in einem der vorhergehenden Posts genannt hat. Ich dachte die käme von willi aber er will nicht das man sie runterläd .. nen seitenauslesen .. (also HTML Wrapping) würde ich eh nicht machen, wie du schon sagtest .. zuviel aufwand.

Gruß Lamer


Hi,
die URL in einem vorhergehenden Post war von Netsoft.
Netsoft bietet ein "data aggregator" Service an.
Herunterladen der Daten von hier ist ok.

Schönen Gruss
Bianca

Saenger
18.04.2008, 18:17
@ Saenger
Achso die XML kommt garnicht von Willi die Bianca in einem der vorhergehenden Posts genannt hat. Ich dachte die käme von willi aber er will nicht das man sie runterläd .. nen seitenauslesen .. (also HTML Wrapping) würde ich eh nicht machen, wie du schon sagtest .. zuviel aufwand.

Gruß Lamer

Wenn Du jetzt auch zu den Statsprogramierern stoßen solltest, hier mal als kleiner Service die (Vor-)namen der anderen (dann kann mensch immer so schön insiderhaft reden ;) ):
BOINCstats macht Willy de Zutter, http://de.boincstats.com
BoincSynergy macht Zain Upton, http://www.boincsynergy.com
allprojectstats macht Markus aka Syd, http://allprojectstats.com
MundayWeb macht Neil Munday, http://boinc.mundayweb.com
KWSN macht Toby Murray, http://stats.kwsn.net
BOINC combined macht James, http://boinc.netsoft-online.com/e107_plugins/boinc/bp_home.php
Stats'n'Stones macht das Team Starfire World Boinc, Name??? http://statsnstones.tswb.org

Edith sagt übrigens noch folgendes:
Es gibt in Berkeley auch eine mailing list für Statsbetreiber:
http://lists.ssl.berkeley.edu/mailman/listinfo/boinc_stats