• 11.02.2017

    von Veröffentlicht: 12.02.2017 12:45
    1. Kategorien:
    2. Projekte

    CPDN hat einen ausführlichen und sehr interessanten Jahresrückblick verfasst, der hier nur auszugsweise übersetzt sein soll. Der übrige Teil beschreibt die wissenschaftlichen Fortschritte in den jeweiligen Subprojekten oder beispielsweise das kurzfristige Untersuchen von Extremwetterereignissen in Europa und der Arktis. Besonders interessant für uns ist die allgemeine Projektentwicklung, die ich vollständig übersetzt habe.

    Zitat Zitat von Modelling and infrastructure
    How have we actually produced all this science in the past year? Through the efforts of you our volunteers and the moderating team for which we particularly thankful, projects within the program have submitted 582k workunits providing a total of 7557 CPU years of computational resource. We have had returned ~384k workunits during the year which is 20Million model years simulated! We have also been considering how we maximise the value of data that is generated during the project. To facilitate these we will be focusing on data curations, publishing and reuse ensuring that the data you, the volunteers have generated is available to all.
    Alongside the scientific advances that have been enabled by CPDN we have also made a significant number of advances within the underpinning technological system upon which CPDN and W@H depend. This has included transitions in the configurations of models that we run, in particular away from the individual regional Weather@Home1 applications. These were a significant maintenance load as we developed more and more regions we wanted to work with simultaneously. This has led to the development of the single region-independent Weather@Home2 application, within which we could dynamically pick the region of interest, resolution (25 or 50km) and even the time length of individual work units depending on scientific requirements. This allows us to simplify the number of individual applications that we are running as well as engage with more and more different research questions and hence collaborations. As you can see below we have dramatically expanded the regions on which we are able to study. We understand that there are still some issues and are thereby making the full roll out onto all platforms of all models a priority. At the beginning of the project we only deposited data within Oxford or Rutherford laboratory, expanding to both Oregon and Tasmania as further projects were funded. Within 2016 this has increased with the commissioning of further upload servers around the globe including Mexico, South Korea and India. We have strived to rationalise the upload servers moving towards a common deployment mechanism for them all. This will allow us to more rapidly deal with problems by redeploying servers on timescales relevant to allow continued uninterrupted operations in the case of infrastructure problems.

    We have also been investigating how we may support different types of project who require results with a more accurate definition of when they may be able to return results or with urgent computing requirements. This has included investigations of the use of the cloud, with significant grants from AWS to allow us to do proof of concept development on tiering resources attached to BOINC projects (16-17).
    Zitat Zitat von Modellierung und Infrastruktur
    Wie haben wir all diese Wissenschaft im vergangenen Jahr geschafft? Durch die Bemühungen unserer Freiwilligen und unseres Moderatorenteams, für die wir besonders dankbar sind, konnten 582k WUs veröffentlicht werden, die 7557 Jahren Rechenzeit entsprechen. Ungefähr 384k WUs wurden rückgemeldet, was 20 Millionen simulierten Modelljahren entspricht. Wir haben außerdem überlegt, wie wir den maximalen Nutzen aus den so gewonnenen Daten ziehen können. Um das zu erreichen fokussieren wir uns auf die Kuration, Veröffentlichung und Verwendbarkeit der Daten, die ihr, die Freiwilligen, generiert habt um sie für alle verfügbar zu machen. Neben den wissenschaftlichen Fortschritten die CPDN erreicht hat, haben wir außerdem signifikante Fortschritte in der Verbesserung des technischen Unterbaus gemacht, von dem CPDN und W@H abhängen. Das hat Veränderungen in den Modellkonfigurationen beinhaltet, die sich nun deutlich von den alten individuellen regionalen Weather@Home1-Anwendungen unterscheiden. Diese bedeuteten einen hohen Wartungsaufwand, vor allem mit der gestiegenen Anzahl an Modellregionen, die gleichzeitig bearbeitet werden sollten. Das hat zur Enwicklung einer einzigen, regionunabhängigen Weather@Home2-Anwendung geführt, in der die Region, die Auflösung (25 oder 50km) und sogar die Modelllaufzeit frei nach den wissenschaftlichen Erfordernissen gewählt werden kann. Das erlaubt uns die Zahl verschiedener Anwendungen zu verringern und gleichzeitig mehr und mehr verschiedenen wissenschaftlichen Fragestellungen nachzugehen. Wie ihr in der Abbildung erkennen könnt, haben wir die Anzahl der Regionen die wir untersuchen dramatisch erhöht. Wir wissen, dass es noch immer Unstimmigkeiten gibt und arbeiten daran, die neue Anwendung vollumfänglich auf allen Plattformen verfügbar zu machen.

    Zu Beginn des Projekts lagen die Daten ausschließlich auf Servern in Oxford und Rutherford, mit dem Vorranschreiten des Projekts kamen Oregon und Tasmanien hinzu. 2016 ist das Projekt weiter gewachsen mit neuen Servern überall auf der Welt, unter anderem in Mexiko, Südkorea und Indien. Wir haben die Uploadserver dahingehend optimiert, einen gemeinsamen Uploadmechanismus zu verwenden. Das wird uns erlauben schneller auf Probleme zu reagieren und einen projektweiten Serverausfall im Falle von Infrastrukturproblemen zu verhindern.

    Wir haben außerdem untersucht, wie wir verschiedenen Unterprojekte mit besonderen Anforderungen unterstützen können. Das hat auch Experimente mit Cloudlösungen beinhaltet, die durch AWS-Fördermittel ermöglicht wurden und uns erlauben ein funktionierendes Konzept zu entwickeln, das diese Fähigkeiten besitzt.
Single Sign On provided by vBSSO