PlaFRIM discussion team on mattermost

Dear all,

A PlaFRIM discussion team is now available on the Inria mattermost
server. PlaFRIM users got an an email with the link to join.

This team is intended for discussions on any subject related to the use
of the platform. Channels can be created for some specific needs. In any
cases, here some rules to follow

- DO NOT USE any channel to report tickets, sending an email to the
technical team plafrim-support AT inria.fr is the only way to submit tickets.

- Refrain from having NON-SERIOUS conversations or trolls.

For those not having Inria email addresses, an external account must be
created for you to access the mattermost server. Please send an email
back to nathalie.furmento AT labri.fr if you need such an account.

Cheers,

The PlaFRIM technical team

3D Parallel Mesh Adaptation

ParMmg is an open source software (L-GPL) that performs 3D parallel mesh adaptation using MPI parallelization.

Mesh adaptation is an iterative process that allows to optimize the density and orientation of the elements of a computational mesh with repect to user needs (maximal admissible error over numerical solutions, boundaries representation, etc…). ParMmg is built on top of the Mmg software and aims at having the same capabilities, both in term of options than in term of usability:

  – mesh quality improvement;

  – isotropic and anisotropic mesh adaptation with respect to a user size-map;

  – isosurface discretization;

  – user friendly API.

The ParMmg developement is currently founded by the ExaQUte european project in which ParMmg will provide parallel mesh adaptation for the massively parallel simulations of the partners (few thousands of cores).

You can already use, download and try ParMmg, either as a standalone application, either through other software that interface us:

  – the AeroSol library;

  – the freefem++ solver;

  – the Kratos multiphysics framework;

Thanks to PlaFRIM, we have the possibility to develop, test and profile ParMmg… and of course, to continuously improve it.

Example of parallel mesh adaptation using ParMmg
Example of parallel mesh adaptation using ParMmg: cut through initial mesh with user size map (left) and ParMmg output (right).

Contact: Algiane Froehly algiane.froehly AT inria.fr

Building A High-Performance Solver Stack on Top of a Runtime System

The teams HiePACS, Storm and Tadaam have been cooperating for more than a decade now, on developing the idea of building numerical solvers on top of parallel runtime systems.

From the precursory static/dynamic scheduling experiments explored in the PhD of Mathieu Faverge defended in 2009 to the full-featured SolverStack suite of numerical solvers running on modern, task-based runtime systems such as StarPU and PaRSEC, this idea of delegating part of the optimization process from solvers to external system as been successful. The communication library NewMadeleine is also part of this HPC software stack.

PlaFRIM has always been a key enabling component of these collaborations. Thanks to its heterogeneous computing units (standard nodes, GPU, Intel KNL, Numa nodes, …), the development and validation of our software stack have been made easier. Multiple collaborations with national and international universities and industrials have also been made thanks to our use of the platform.

Contact : Olivier Aumage oliver.aumage AT inria.fr

Predictive Rendering

To generate photo-realistic images, one needs to simulate the light transport inside a chosen virtual scene observed from a virtual viewpoint (i.e., a virtual camera). A virtual scene is obtained by modelling (or measuring from the real-world) the:

– shapes of the objects and the light sources,

– the materials reflectance and transmittance

– the spectral emittance of the light sources.

Simulating the light transport is done by solving the recursive Rendering Equation. This equation states that the equilibrium radiance (in Wm-2sr-1 per wavelength) leaving a point is the sum of emitted and reflected radiance under a geometric optics approximation.

The Rendering Equation is therefore directly related to the law of conservation of energy.The rendering equation is solved with Monte-Carlo computations In the context of Computer Graphics, a Monte-Carlo sample is a geometric ray carrying radiance along its path, which is stochastically (e.g., using Russian roulette) constructed.

PlaFRIM permits researchers in Computer Graphics to simulate billion of light paths/rays to generate reference images for a given virtual scene.

These data can be used to validate:

– new models that predicts how light is scattered by a material

– new rendering algorithm that are more efficient in terms of variance but also in terms of parallelism.

Indeed, PlaFRIM offers a large palette of computing nodes (CPU, bi-GPU) that permit us to develop, test and validate the whole rendering pipeline.

Contact: Romain Pacanowski romain.pacanowski AT inria.fr

defq

Following the policy update of the partition usage, defq is no longer available. You need to use the parameter -p of srun & co to specify a partition. Calling sinfo will show you all the available partitions. This solution is temporary until Nov, 12th, when the new platform will be available.

2019-05-23: Scientific Seminar – 10 years

For the 10th anniversary of PlaFRIM, we organise a scientific seminar on 23rd May 2019. This day will be an opportunity to review what has been achieved and to open up perspectives during exchanges and discussions.

The schedule

Time Event
8:45 – 09:15 Welcome & Coffee (Amphithéâtre du LABRI)
09:15 – 09:30 Introduction (Amphithéâtre du LABRI) – Olivier Coulaud
09:30 – 10:30 Exposés scientifiques – session matin 1/2 (Amphithéâtre du LABRI)
09:30 – 10:00 › Simulations numériques pour l’énergie éolienne avec l’ETI VALOREM – Michel Bergmann, .
10:00 – 10:30 › Construire une pile solveur hautes performances au-dessus d’un support d’exécution / Building A High-Performance Solver Stack on Top of a Runtime System – Olivier Aumage, . – Mathieu Faverge, .
10:30 – 11:00 Pause café (Salle 076 du LaBRI)
11:00 – 12:00 Exposés scientifiques – session matin 2/2 (Amphithéâtre du LABRI)
11:00 – 11:30 › Problème de découpe guillotine par lots dans l’industrie du verre, cas d’usage Saint-Gobain / A guillotine cutting-stock problem in the glass industry, Saint-Gobain use-case – Ruslan Sadykov, .
11:30 – 12:00 › Expérimentation d’algorithmes d’apprentissage sur PLAFRIM: opportunités et défis – Alexandre Péré, .
12:00 – 14:00 Déjeuner (Libre) (café à partir de 13h30)
14:00 – 15:30 Exposés scientifiques – session après-midi 1/2 (Amphithéâtre du LABRI)
14:00 – 14:30 › Some results of CARDAMOM team with AeroSol and Uhaina software on Plafrim. – Benjamin Lux, .
14:30 – 15:00 › Implémentation par tâches utilisant le support d’exécution StarPU d’un schéma de volumes finis pour les systèmes hyperboliques de lois de conservation. – Jonathan Jung, .
15:00 – 15:30 › qr_mumps: Un solveur multifrontal à base de tâches pour plates-formes modernes / qr_mumps: A task-based mulifrontal solver for modern architectures – Abdou Guermouche, .
15:30 – 15:45 Pause café (Salle 076 du LaBRI)
15:45 – 17:00 Exposés scientifiques – session après-midi 2/2 (Amphithéâtre du LABRI)
15:45 – 16:15 › Plafrim comme moteur de rendu prédictif / Plafrim as predictive rendering engine – Romain Pacanowski, .
16:15 – 16:45 › Biodiversiton : le calcul intensif au service de la caractérisation de la biodiversité – Alain Franc, .

https://plafrim10ans.sciencesconf.org/program

With best regards.

Olivier Aumage, Michel Bergmann et Olivier Coulaud

2019-03-20: GENCI Seminar

Le 20 mars de 14h à 16h (Amphi du LaBRI), nous aurons une présentation de Jean-Philippe Proux, (Responsable des opérations du GENCI I http://www.genci.fr)  autour des thèmes suivants :  

  •  Des ressources nationales de calcul intensif à GENCI… gratuites ?! Comment puis-je y accéder ?
  •  Un nouveau supercalculateur dédié en partie à l’Intelligence Artificielle chez GENCI disponible en juin 2019… Est-il pour moi ?
  •  Et la place de GENCI dans l’écosystème régional et européen… Puis-je accéder à des ressources de calcul plus importantes via PRACE, l’infrastructure européenne de calcul intensif ?

Une occasion à ne pas manquer pour en savoir plus et répondre aux questions que vous vous posez.

2018-12-03: Hackathon du HPC

Inria, PlaFRIM et CATIE sont organisateurs sur Bordeaux du Hacakaton GENCI

3 et 4 décembre 2018

Inria Bordeaux Sud-Ouest – Salle Ada Lovelace

Le périmètre

  • Thématiques des sujets :
  1. Optimisation : Amélioration des performances d’une application de recherche ou industrielle
  2. Portage : Portage d’une application sur de nouvelles architectures de calcul (GPU, ARM, FPGA, …)
  3. Grands sujets d’intérêts : Aide à la décision, Sciences Humaines et Sociales, Intelligence Artificielle, …
  • Moyens : cluster PlaFRIM
  • Support technique

Le règlement du Hackathon ici

Les sujets locaux

  1. Portage sur GPU d’un code de détection d’anomalies sur la surface océanique à partir d’images satellites – Heloise Beaugendre & Annabelle Collin
  2. Amélioration du produit matrice en Kronecker (tenseur) – Oguz Kaya & Olivier Coulaud
  3. Detection acoustique d’oiseaux – Xavier Hinaut
  4. Discrete fracture network modeling and flow simulations – Federico Tesser équipe GEOSCORE
  5. Optimisation d’un code de dynamique des dislocations – Pierre Esterie & O. Coulaud

Les équipes inscrites (inscription jusqu’au 14 novembre)

  • GEOSCORE (sujet 4) : Alessandro D’Auria (Phd), Alice Raeli, Tesser Federico, TesserFederico Fabio Vicini (PostDoc), Berrone Stefano (Pr)
  • Les Matmecanos (sujet 1) :  Antoine Dumaye

Restitution

Un dossier papier sera demande pour la restitution, dans les 3 jours suivant la fin du hackathon. Pour les lauréats, une vidéo devra en plus être fournie.

Contact

Si vous avez une équipe, ou souhaitez participer envoyer nous un courriel

Toutes les infos sur :  https://hackathon-hpc.sciencesconf.org/

Toutes les infos sur :  https://hackathon-hpc.sciencesconf.org/

2015-11-13 User Committee Meeting

Présents

  • Heloise Beaugendre
  • Michel Bergmann
  • Lionel Boillot (remplaçant de Julien Diaz)
  • Nathalie Furmento
  • Brice Goglin
  • Vincent Perrier
  • Pierre Ramet (remplaçant d’Abdou Guermouche)
  • Francois Rué
  • Olivier Saut
  • David Sherman

Propositions suite à la réunion

  • Annonce du nouveau site www.plafrim.fr
  • Annonce de la réunion de présentation du 15 décembre
  • Créer une queue veryverylong (1 mois) pour 20 noeuds miriel
  • Ouvrir le site wordpress en écriture aux utilisateurs en faisant la demande

Ordre du jour

1) Documentation – comment l’améliorer

Un nouveau site www.plafrim.fr — géré par wordpress — est disponible. Il n’est pas encore complet, mais sera annoncé d’ici la fin du mois.

Donner à tous les utilisateurs la possibilité de poster des articles dans www.plafrim.fr. Le nombre de contributeurs devrait être restreint, et avec un mécanisme de modération, on devrait éviter de polluer le site.

Ajouter l’équivalent de monika/ganglia au site.

2) Le nouveau Scheduler

Dans les centres nationaux, slurm est utilisé. L’outil marche très bien, et de la documentation est largement disponible.

Des ateliers pratiques vont être mis en place autour de l’utilisation de Slurm, au niveau débutant et avancé.

3) La communication

La liste plafrim-users est maintenant archivée.

https://sympa.inria.fr/sympa/info/plafrim-users

Une réunion de présentation de la plateforme et de ses nouvelles fonctionnalités aura lieu le mardi 15 décembre de 14h00 à 17h00 dans l’amphi de l’IMB.

4) Règles de bon usage

Ne pas oublier de citer l’utilisation de PlaFRIM dans les articles.
Ajouter PlaFRIM dans le champ collaborateurs lors du dépôt HAL.

5) Besoins matériels

  • Machines de visualisation comme sur avakas
    • utilisation de paraview en parallèle
    • nœuds dédiés
    • formation pour utiliser ces machines
  • Power 8 : prêt d’ici la fin de l’année
  • Achat de KNL et de nvidia Pascal en 2016

6) Divers

  • Accès à souris: La machine n’est plus directement accessible via ssh mais via l’ordonnanceur slurm. Défaut de communication mais la bascule avait déjà été discuté pendant les premières réunions précédents l’achat. Le passage sous slurm est grandement positif (partage communautaire, stats d’utilisation, maintien à jour par l’équipe PlaFRIM, ..) On attend l’intervention de SGI pour mettre à jour la machine.
  • Éviter que trop de personnes arrêtent d’utiliser PlaFRIM pour se tourner ver Avakas du fait d’un manque de communication/documentation.
  • Utilisation des mistral (xeon phi) : elles sont déjà sur PlaFRIM II.
  • Problème d’Infiniband/MPI. Du à une mise à jour il y a 15 jours/ 3 semaines d’un paramètre d’IntelMPI pour le choix par défaut pour l’infiniband. Le problème est maintenant résolu. Des benchmarks vont être mis en place pour éviter que cela ne se reproduise.
  • L’information remontée par Slurm est souvent laconique et parfois plus technique (par exemple -n et -N)
  • Gestion avec yarn possible ?
  • Le module slurm peut il être chargé automatiquement ?
  • Toute demande pour accéder à un dépôt distant peut être faite en ouvrant un ticket auprès de plafrim-support@inria.fr.
  • Mise en place d’une queue de 1 mois pour les longues expérimentations. Ca serait une phase de test pour 3 mois pour 20 noeuds miriel. Voir en parallèle la mise en place de mécanismes de checkpoint/restart (interne à un code) ou de préemption.  Les queues pour les jobs longs seraient uniquement valides sur des périodes de temps définis (exemple la nuit). En dehors de ces périodes, les jobs longs seraient dumpés sur disque pour être mis en pause afin de permettre à d’autres jobs de s’exécuter. Cela nécessiterait un travail d’adaptation des applis parallèles pour intégrer ces mécanismes de check-point/restart.