TN-Grid

[taurec]

Ich kann eure WU-Versorgungsprobleme nicht nachvollziehen. Meine vier Rechner sind dauernd versorgt (Puffer 0,5 bis 1 Tag).
Sollte auch am Output zu sehen sein ...

[No_Name]

Meine 2 Schildkröten laufen auch ohne Puffer nicht leer.

[Handicap SG-FC]

Einer meiner läuft als Dauerläufer für TN und hat auch keine Probleme.

Rechne nun noch einen leer und dann gehen 8 Kerne noch dazu.

[xii5ku_AT]

Auch bei mir kommt weiterhin genug an. (Genug für den Zweck, die Wohnung kontinuierlich zu wärmen, auch ohne Backup-Projekt. Mein Team hat sich nicht zu dieser Challenge angemeldet.) Da aber bis auf seltene kurze Ausreißer der Server-Status ständig "tasks ready to send: 0" zeigt, also Arbeitseinheiten sofort nach Erzeugung an anfragende Hosts vergeben werden, muss es irgendwo Hosts geben, die auch mal leer ausgehen.

Auf den Statistik-Webseiten gibt es jetzt noch nicht genug Daten, um von einem eingependelten Niveau zu sprechen, aber es scheint, dass z.B. bei Gridcoin die Produktion von zuvor 1.7 M PPD auf 1.55 M PPD leicht zurückgegangen ist.

[Handicap SG-FC]

Wie lange läuft das eigentlich ??

[taurec]

Wie lange läuft das eigentlich ??

[Felix_M_]

aktuell sind 1700 wus ready to send

[Handicap SG-FC]

Danke Dir

[xii5ku_AT]

aktuell sind 1700 wus ready to send

Offensichtlich aber nicht wegen eines urplötzlichen Server-Upgrades oder nachlassender Nachfrage, sondern weil schlicht jemand ein paar tausend Tasks abgebrochen hat:



Die daraufhin verfügbar gewordenen Replikas gingen aber auch gleich wieder weg wie warme Semmeln.

[Felix_M_]

hab ich leider auch feststellen müssen, allerdings sind wenigstens eine hand voll bei mir gelandet

[Dennis-TW]

Erstmal keine Arbeit bei TN-Grid:

-----------------------------------------------

Das Speichersystem der Universität (das wir intensiv nutzen) hat große Leistungsprobleme, so dass alles sehr langsam ist. Ich habe den Arbeitsgenerator gestoppt, der aus diesem Grund nicht funktionierte. Es werden keine neuen Aufgaben generiert, bis der Assimilator in der Lage ist, die fertigen Ergebnisse an den richtigen Ort zu verschieben. Es bleibt nichts anderes übrig, als zu warten, bis das Problem gelöst ist, leider ohne Zeitangabe.

The University's storage system (that we heavily use) is heaving big performance issues thus everything is painfully slow. I stopped the work generator, which actually was not working because of this. No new tasks will be generated until the assimilator will be able to move the finished results to the proper place. There is nothing else to do but wait until the problem will be solved, no ETA, unfortunately.

http://gene.disi.unitn.it/test/forum...hp?id=318#2384

-----------------------------------------------

Und das wo ich ganz kurz vor der ersten Mio. stehe

[Dennis-TW]

Der Arbeitsgenerator läuft wieder und das Projekt verschickt wieder neue WUs.

Da der Projektadmin aber selbst keinen Einfluss auf das Speichersystem der Universität hat, halte ich weitere Engpässe in der Zukunft leider nicht für ausgeschlossen. Jetzt erstmal schnell die Million vollmachen.

-----------------------------------------------

Nun, ich weiß wirklich nicht, was hinter dem Speichersystem der Universität steckt (Hardware, Konfiguration usw.), wir benutzen es einfach
Übrigens scheint sich das System langsam zu erholen. Wenn die Zahlen auf der Projektstatusseite gegen Null gehen, werde ich versuchen, den Arbeitsgenerator wieder zu starten und zu sehen, ob er wie gewohnt funktioniert.

Well, I really don't know what's behind the University storage system (hardware, configuration, etc.), we just use it
BTW, it seems that the system is slowly recovering, when the numbers in the project status page will be close to zero I will try to start the work generator again and see if it will work as usual.

http://gene.disi.unitn.it/test/forum...18&postid=2386

[Dennis-TW]

Die Probleme gehen weiter:

Wir haben immer noch das "Speicherproblem". Manchmal ist alles schmerzhaft langsam (ich habe den Arbeitsgenerator vorübergehend deaktiviert).

http://gene.disi.unitn.it/test/forum...18&postid=2394

Bis auf weiteres wird es wohl so sein, dass der Arbeitsgenerator immer wieder gestoppt werden muss, um die Zahl der im Umlauf befindlichen WUs zu verringern und das Speichersystem dadurch zu entlasten.

[pschoefer]

In der Fachzeitschrift Biomolecules ist ein Artikel mit Ergebnissen der vor einiger Zeit durchgeführten Berechnungen zum Genom der Weinrebe (Vitis vinifera) erschienen. Darin wird die Rolle zweier Genfamilien bei Stoffwechselvorgängen beschrieben. Nach dem Artikel über die Anpassung der Pflanze an klimatische Veränderungen ist dies der zweite Fachartikel, der auf diesen Berechnungen basiert.

Artikel in Biomolecules veröffentlicht
Zwar ist das menschliche Genom der derzeitige Schwerpunkt unserer Arbeit, aber in der näheren Vergangenheit haben wir in Zusammenarbeit mit der Edmund-Mach-Stiftung und auch unter Beteiligung einiger Studierender einige Genomerweiterungsexperimente zu Vitis vinifera durchgeführt. Wir freuen uns, euch mitzuteilen, dass unser Artikel "Vitis OneGenE: A Causality-Based Approach to Generate Gene Networks in Vitis vinifera Sheds Light on the Laccase and Dirigent Gene Families" (Vitis OneGenE: ein kausalitätsbasierter Ansatz zur Erzeugung von Gennetzwerken in Vitis vinifera beleuchtet Laccase- und dirigente Genfamilie) in Biomolecules als Teil der Sonderausgabe "Gene Regulatory Networks Controlling Secondary Metabolism in Plants: Computational Approaches and Mechanistic Insights" (Genregulierungsnetzwerke kontrollieren den Sekundärstoffwechsel von Pflanzen: Rechnergestützte Ansätze und mechanistische Erkenntnisse) veröffentlicht wurde und online verfügbar ist:
https://www.mdpi.com/2218-273X/11/12/1744 (engl.)
Danke euch allen für euren unschätzbar wertvollen Beitrag!
23.11.2021, 19:42:01 MEZ

Originaltext:

Paper published on Biomolecules
Although the current focus of our job is on Human genome, in the recent past we also ran some gene expansion experiments on the Vitis vinifera organism, in collaboration with the Edmund Mach Foundation, also involving some students. We are pleased to inform you that our article "Vitis OneGenE: A Causality-Based Approach to Generate Gene Networks in Vitis vinifera Sheds Light on the Laccase and Dirigent Gene Families" has been published in Biomolecules as part of the Special Issue Gene Regulatory Networks Controlling Secondary Metabolism in Plants: Computational Approaches and Mechanistic Insights and is available online:
https://www.mdpi.com/2218-273X/11/12/1744
Thank you all for your invaluable contribution!
23 Nov 2021, 18:42:01 UTC

[lugu]

Puh, ein MDPI-Journal...

[pschoefer]

Das problematische Speichersystem der Universität Trient, aufgrund dessen immer wieder die WU-Erzeugung zeitweise angehalten werden muss, wird ausgetauscht, weshalb TN-Grid in den nächsten Tagen nur wenige WUs versenden und zeitweise auch ganz heruntergefahren wird.

Speicherproblem (wieder einmal)
Wie ihr alle schon wisst, kämpfen wir ständig mit unserem problematischen Speichersystem. Die Universität hat ein neues gekauft und den Umzug geplant. Der Hochleistungsrechnerverbund soll am kommenden Montag (6. März) umziehen, die anderen Systeme werden folgen.
Ich werde den Server vernünftigerweise herunterfahren, sobald das nötig ist, und werde euch das Datum nennen, sobald ich es weiß. In der Zwischenzeit wird der WU-Generator nur ein paar Stunden pro Tag laufen, sodass sehr wenige WUs verfügbar sein werden.
Danke euch allen für euer Verständnis und eure Geduld.
02.03.2023, 11:00:42 MEZ

Originaltext:

Storage problem (again)
As all of you already know we are constantly struggling with our problematic storage. The University have bought a new one and they planned the moving procedure. The HPC cluster should be moved this Monday (March, 6th), the other resources will follow.
I will reasonably shut down the server when needed, I will tell you when as soon as I know the date. Meanwhile the work generator will be active just a few hours a day, so very few workunits will be available.
Thank you all for your understanding and patience.
2 Mar 2023, 10:00:42 UTC

[pschoefer]

In Kürze werden die Berechnungen zu Netzwerken menschlicher Gene abgeschlossen sein. Anschließend könnte es eine Zeit lang nicht allzu viele WUs geben; weitere Berechnungen zu Mäusen und Weinreben sind aber in Planung, sodass sowohl das Subprojekt gene@home als auch TN-Grid als Ganzes weiterlaufen werden.

Ende des FANTOM-1-Experiments
Mit der derzeitigen Geschwindigkeit werden die verbleibenden WUs zum sehr langen und rechenintensiven FANTOM-1-Experiment (das im März 2018 begann) in ungefähr zwei Tagen verteilt sein. Das wird das Ende dieser Aufgabe sein.

Zur Zukunft des Projekts gene@home siehe bitte diesen Thread:
https://gene.disi.unitn.it/test/forum_thread.php?id=366 (engl.)
07.04.2023, 15:11:13 MEZ

Originaltext:

The end of the FANTOM-1 experiment
At our current pace the remaining workunits related to the very long and computational intensive FANTOM-1 experiment (started in March 2018) will be distributed in more or less two days. This will be the end of this job.

For the future of the gene@home project please look at this thread
https://gene.disi.unitn.it/test/forum_thread.php?id=366
7 Apr 2023, 14:11:13 UTC

[pschoefer]

Da das Projekt nach Abschluss der bisherigen Berechnungen derzeit keine WUs verteilt, werden in den nächsten Tagen stattfindende Wartungsarbeiten für die Teilnehmer praktisch keine Auswirkungen haben. Anschließend dürfte es dann neue WUs geben.

Wartung (Datei- und Betriebssystem)
Da wir gerade keine WUs in der Warteschlange haben, ist der perfekte Zeitpunkt, auf das neue Dateisystem zu wechseln und das Betriebssystem auf dem Server zu aktualisieren. Dies wird voraussichtlich an ein paar Tagen ab dem 2. Mai geschehen. Während dieses Zeitraums könnte der Server zeitweise nicht erreichbar sein. Sofern alles glattläuft, planen wir danach wieder WUs zu verteilen.
28.04.2023, 16:15:44 MEZ

Originaltext:

Maintenance (filesystem and o.s.)
Right now that our queue is empty it is the perfect time to switch our filesystem to the new one and to upgrade the operating system of the server. This will probably happen the 2nd of May, for a couple of days. During this period the server may be down for awhile. After that, if everything will go smoothly, we plan to start distributing work again.
28 Apr 2023, 15:15:44 UTC

[pschoefer]

Wie zum Ende der letzten WU-Serie angekündigt, werden seit inzwischen etwa zwei Wochen neue WUs verteilt. Diese beschäftigen sich nun wieder mit dem Genom der Weinrebe (Vitis vinifera), welches das Projekt auch in der Vergangenheit schon behandelte (siehe hier und hier). Ein Flaschenhals ist weiterhin die WU-Erzeugung, alle frischen WUs werden praktisch sofort verschickt. Dennoch werden die Berechnungen vermutlich innerhalb weniger Monaten abgeschlossen.

Vespucci-2023-Vitis-vinifera-OneGenE-Experiment
Das Vespucci-2023-Vitis-vinifera-OneGenE-Experiment hat offiziell begonnen, weitere wissenschaftliche Informationen dazu findet ihr in diesem Thread: https://gene.disi.unitn.it/test/forum_thread.php?id=370 (engl.)
Danke euch allen für eure Unterstützung!
15.05.2023, 18:14:30 MEZ


Zum wissenschaftlichen Hintergrund aus dem verlinkten Thread übersetzt:

Das neue Vitis-vinifera-Projekt läuft
Hallo zusammen, ich freue mich sehr bekanntzugeben, dass ein neuer, größerer Datensatz der transkriptomischen Vitis-vinifera-Daten (Vespucci) zur Erweiterung mit OneGenE verfügbar ist. Die Anzahl der Experimente hat sich mehr als verdreifacht. Wir verwenden noch immer die Ergebnisse der vorherigen Auswertungen und finden dabei sehr interessante Genassoziationen und erstellen erstaunliche Gennetzwerke. Wir erwarten nun, diese mit diesem neuen Satz von Durchläufen verbessern und verfeinern zu können. Vielen Dank euch allen.
Falls ihr euch für die Architektur des transkriptomischen Datensatzes interessiert, schaut bitte diesen Artikel an: https://doi.org/10.3389/fpls.2022.815443 (engl.)
12.05.2023, 17:26:14 MEZ


Originaltexte:

The Vespucci-2023 Vitis vinifera OneGenE experiment
The Vespucci-2023 Vitis vinifera OneGenE experiment is officially started, for more scientific info about it please look at this thread https://gene.disi.unitn.it/test/forum_thread.php?id=370.
Thank you all for your support!
15 May 2023, 17:14:30 UTC

The new Vitis vinifera project is underway
Dear all, I am very excited to announce that a new bigger dataset of Vitis vinifera transcriptomic data (Vespucci) is now available for OneGene expansion. The number of experiments has more than tripled. We are still using the results from the previous analyses, finding very interesting gene associations and producing amazing gene networks. We now expect to improve and refine them with this new collection of runs. Many thanks to all of you.
If you are interested in the architecture of the transcriptomic dataset, please look at the following article: https://doi.org/10.3389/fpls.2022.815443
12 May 2023, 16:26:14 UTC

[pschoefer]

Die vor zwei Monaten begonnene neue WU-Serie zur Weinrebe (Vitis vinifera) steht kurz vor Abschluss. Da dies in die Urlaubszeit fällt und noch keine neuen WU-Serien bereitstehen, wird das Projekt eine Pause einlegen, sobald alle WUs aus dieser Serie berechnet sind.

Sommerpause
Ich habe soeben die letzten Vitis-vinifera-Gene in unsere Warteschlange geladen. Mit dem aktuellen Tempo wird es etwa eine Woche, vielleicht auch kürzer dauern, bis alle verteilt sind. Die neuen Datensätze sind noch nicht bereit... Zudem werde ich in den nächsten zwei Wochen in Urlaub sein und es wäre unratsam, mit neuer Arbeit zu beginnen, ohne das System einfach überwachen zu können.
Deshalb wird der WU-Generator in ein paar Tagen keine neuen WUs mehr erzeugen können und es werden nur noch alte WUs gegebenenfalls neu verschickt.
Ich hoffe, das System Anfang August mit einem neuen Projekt wieder starten zu können.

Danke euch allen!
10.07.2023, 17:21:42 MEZ

Originaltext:

Summer break
I just put the last Vitis vinifera genes into our queue. With the current pace it will take about a week, maybe less, to distribute them all. The new datasets are not ready yet... Also, I will be on vacation the next two weeks, and it wouldn't be advisable to start a new work without having the possibility to easily oversee the system.
Therefore, in a few days, the work generator will not be able to produce new tasks, only resends will be floating around.
I hope to be able to restart the system with a new project at the beginning of August.

Thank you all!
10 Jul 2023, 16:21:42 UTC