Documentation complète

De Documentation

Ce livret a pour objectif de rassembler, en un document unique, les principales informations nécessaires à un utilisateur des moyens de GENCI avec ses calculateurs Adastra, Joliot-Curie et Jean-Zay hébergés respectivement dans les centres nationaux de calcul, du CINES, du TGCC et de l'IDRIS.

Il décrit les services disponibles dans les centres à propos des calculateurs de GENCI, des formations et des supports dispensés par les centres. Ce document détaille également les conditions d'éligibilité fixées par GENCI pour l'obtention des ressources et d'accès, mais également les différents types d'allocations et les procédures d'attribution.

Cependant, pour des informations spécifiques à chaque centre, il est nécessaire de consulter les sites web respectifs : CINES, IDRIS, TGCC.

Chacun des centres nationaux a d’autres activités indépendantes de GENCI, qui n’entrent pas dans le périmètre de ce livret.


Nos offres

Important

Vous trouverez toutes les informations spécifiques à chaque centre et à GENCI sur leurs sites web respectifs


Pour toute assistance, contacter :

Les moyens de GENCI dans les centres

Les moyens de GENCI sont répartis dans les 3 centres nationaux, une rapide description des 3 centres est disponible sous https://www.genci.fr/services/moyens-de-calcul

Dans chacun des trois centres, GENCI fait héberger un calculateur composé de plusieurs partitions de génération et d'architectures différentes, scalaire ou accélérées, ayant des caractéristiques propres, mais également de fonctions spécifiques pour du pré/post-traitement ou visualisation.

Note

En dehors des périodes d’arrêts planifiés dans les centres, les machines sont disponibles 24 h/24 et 7 j/7. Le support est accessible pendant les heures de bureaux de chaque centre (voir précisions sur les fiches de services).

Services de calcul

Important

  • Le CINES exploite le calculateur Adastra : supercalculateur HPE Cray EX4000 de 91,6 Pflop/s. Les principales caractéristiques techniques sont les suivantes :
    • Adastra GENOA : 544 nœuds biprocesseurs (AMD EPYC Genoa/9654 (96 cœurs à 2,4 GHz) et à 768 Go de mémoire / nœud : 104 448 cœurs
    • Adastra GENOA HPDA (nœuds large mémoire) : 12 nœuds biprocesseurs (AMD EPYC Genoa/9654 (96 cœurs à 2,1 GHz) et à 2048 Go de mémoire / nœud : 2304 cœurs
    • Adastra MI250x : 356 nœuds accélérés mono-processeur AMD Epyc Trento (3e génération à 64 cœurs) avec 4 GPU AMD MI250X, 128 Go HBM2 par GPU et 256 Go de mémoire CPU : 1424 GPU
    • Adastra MI300A : 28 nœuds accélérés (4 APU AMD MI300A) avec 512 Go de mémoire / nœud : 112 APU (GPU + CPU)
    • Voir la description détaillée d'Adastra au CINES
  • L’IDRIS exploite le calculateur Jean Zay : supercalculateur HPE-SGI 8600 et ATOS XH3000 de 125,9 Pflop/s. Les principales caractéristiques techniques sont les suivantes :
    • Jean-Zay CSL : 720 nœuds biprocesseurs (Intel Cascade Lake 6248 (20 cœurs à 2,5 GHz) avec 192 Go mémoire DDR4-2667 par nœud (soit 4,8 Go/cœur) : 28 800 cœurs
    • Jean-Zay V100 : 396 nœuds quadri-GPU (nVIDIA V100 (270 nœuds avec 32 Go de HBM et 126 nœuds avec 16 Go de HBM) pour un total de 1584 GPU et de 31 nœuds de calcul octo-GPU nVIDIA V100-32 Go pour un total de 248 GPU.
    • Jean Zay A100 : 52 nœuds octo-GPU (nVIDIA A100-80 Go avec 512 Go de mémoire par nœud et 2 processeurs AMD Rome de 32 cœurs et 3 nœuds octo-GPU nVIDIA A100-40 Go PCIe : 416 GPU
    • Jean-Zay-H100 : 364 nœuds quadri-GPU (nVIDIA H100-80 Go avec 512 Go de mémoire par nœud et 2 processeurs Intel Sapphire Rapid de 48 cœurs) : 1456 GPU
    • Voir la description détaillée de Jean Zay à l'IDRIS
  • Le TGCC exploite le Joliot-Curie/Irene :supercalculateur ATOS X1000-XH2000 de 20 Pflop/s.
    • Joliot-Curie/Irene SKL : 1 656 nœuds biprocesseurs (Intel Skylake 8168 (24 cœurs à 2,7 GHz) 192 Go de mémoire DDR4 /nœud :79 488 cœurs
    • Joliot-Curie/Irene Rome : 2292 nœuds biprocesseurs (AMD Rome Epyc (64 cœurs à 2,6 GHz) 256 Go de mémoire DDR4 / nœud : 293 376 cœurs
    • Joliot-Curie/Irene V100 : 32 nœuds biprocesseurs (Intel Cascade Lake (20 cœurs à 2,1 GHz)) et 4 GPU nVIDIA V100 avec 16Go chacun : 128 GPU
    • Joliot-Curie/Irene ARM A64FX (prototype) : 80 nœuds (Fujitsu FX700 monoprocesseur A64FX de 48 cœurs et 32 Go de mémoire HBM2 par nœud : 3840 cœurs
    • Plateforme Quantique (prototype) : Un émulateur quantique capable de simuler jusqu'à 40 Qubits parfaits et intriqués. Il permet d'utiliser différents émulateurs (Pulser, Perceval, MyQLM et d'autres à venir).
Il peut aussi servir de module d’hybridation entre calcul HPC et quantique.

Attention

Usage des machines prototypes
L'usage des machine prototypes est un cas particulier de l'usage classique des autres partitions car la demande de ressources sur ces machine est limitée et passe uniquement par une allocation dynamique (cf § 3.4) L'usage de la machine prototype ARM A64FX, est limitée à une allocation de 5000 heures coeur. Quant à l'allocation sur la plateforme quantique, elle est limitée à 100 heures.

Les services de calcul permettent l’exécution des codes utilisateurs. Ils sont destinés à des applications utilisant le plus souvent un fort parallélisme et répondant à des besoins en calcul intensif de niveau national.

Les moyens nationaux de calcul proposent une puissance cumulée de plus de 237 Petaflop/s.

Les projets retenus bénéficient d’une allocation d’heures sur un ou plusieurs calculateurs et peuvent calculer dans la limite de cette allocation. L’accès aux calculateurs est effectif après avoir rempli les formalités administratives du centre où est/sont hébergé(s) le ou les calculateur(s) concerné(s).

La soumission des calculs se fait par un système de files d’attente, prenant en compte les caractéristiques des travaux à exécuter, les disponibilités courantes du calculateur et une priorité propre au projet (fair share), ajustée dynamiquement tel que décrit ci-dessous.

Les files d’attente sont gérées par un gestionnaire de « batch » qui permet de réserver les ressources pendant la durée de l’exécution du travail en gérant la disponibilité des ressources et les priorités des travaux en file d’attente. Les ressources réservées sont décomptées de l’allocation d’heures de l’utilisateur une fois l’exécution terminée.

Les modalités et limites de réservation des ressources en nombre de cœurs et en durée de calcul peuvent différer suivant les centres et les partitions des supercalculateurs.


L’accès en interactif aux supercalculateurs est possible, mais les ressources disponibles sont alors très limitées.


Services de pré/post-traitement et de visualisation

Les services de pré et post-traitement font référence à l’ensemble des activités de mise en forme des données en amont et en aval des services de calcul de production. Ils concernent les problématiques de reformatage de résultats, d’extraction de données, de génération de maillages, etc. Généralement, ils requièrent beaucoup de mémoire et/ou des entrées-sorties très intensives. Ces spécificités font que ces services de pré et post-traitement s’exécutent soit sur des machines particulières, soit sur des nœuds des machines de production.

Les trois centres nationaux proposent également des moyens de visualisation efficaces, une aide au choix des solutions logicielles présentes sur leur plate-forme et un support personnalisé à l’utilisation de ces logiciels. Les logiciels de visualisation disponibles sont : ParaView, VisIt, EnSight, … La liste détaillée est disponible sur les différents sites des centres.

Les services de pré/post-traitement et de visualisation sont opérés sur des machines spécifiques de GENCI disponibles au sein du cluster de calcul.

Important

L’allocation d’heures disponibles par votre projet inclut ces ressources de pré/post-traitement et de visualisation. L’accès à ces nœuds spécifiques est possible sans demande particulière. Les heures utilisées dans ce cadre ne sont pas comptabilisées dans les demandes d’attribution d’heures de calcul.

Tout utilisateur ayant un compte ouvert sur un supercalculateur a donc automatiquement accès à ces services. Les modalités d’accès aux systèmes de fichiers des machines de calcul depuis les machines dédiées de pré et post-traitement et visualisation peuvent différer suivant les centres, une recopie manuelle des données sur un système de fichiers locaux à la machine pré-post étant parfois nécessaire. Suivant les centres, les utilisateurs disposent soit d'un quota ou d'un accès illimité à ces ressources.

Note

  • CINES
    • Le calculateur Adastra est équipé de nœuds de pré/post-traitement et de visualisation composés de 2 processeurs AMD Genoa 64 cœurs à 2,10 GHz, 2048 Go de mémoire DDR5-4800 par nœud, 2 NIC Slingshot 200 Gb/s et 3 SSD SAS MU de 3,2 To et 2 cartes graphiques NVIDIA A40.
  • IDRIS
    • Le calculateur Jean Zay est équipé de 4 nœuds à large mémoire, chacun avec 4 processeurs Intel Skylake 6132 de 12 cœurs à 3,2 GHz avec 3 To mémoire DDR4 2666 MT/s, un GPU NVIDIA V100 et un disque NVMe de 1,6 To le pré/post-traitement
    • pour la visualisation distante, il dispose de 5 nœuds biprocesseurs Intel Cascade Lake 6248 de 20 cœurs à 2.5 GHz avec 192 Go de mémoire DDR4 et un GPU NVIDIA P6000.
  • TGCC
    • Le calculateur Joliot-Curie/Irene propose des nœuds pour le pré/post-traitement. Il s’agit de 5 nœuds à grosse mémoire de type Bull S6230 intégrant chacun 4 processeurs Intel Skylake 28 cœurs à 2,1 GHz, 1 GPU NVIDIA P100, 3 To de mémoire DDR 4 et 1 SSD NVMe de 1,6 To.
    • pour la visualisation distante, il dispose de 20 nœuds de type bullx R421-E5 intégrant chacun 2 processeurs Intel Skylake 24 cœurs à 2,7 GHz, 1 GPU NVIDIA P100, 192 Go de mémoire DDR4 et 1 SSD NVMe de 800 Go.

Service de gestion de données

Services de stockage

Chaque centre de calcul dispose de plusieurs espaces de stockage pour héberger les différents types de données des utilisateurs. Une fois votre compte ouvert, il est impératif de prendre connaissance des pratiques propres à chacun des centres, qu’on peut trouver sur leurs sites web respectifs. Cependant, dans chaque centre, on peut retrouver les espaces suivants :

Important

  • Un espace appelé « CCFRHOME » : espace personnel, permanent, sauvegardé, avec des quotas en volume assez limités. C’est l’espace où vous vous trouvez quand vous vous connectez. Il est utilisé pour stocker les données peu volumineuses, mais critiques comme : les fichiers de personnalisation de session, les codes sources, des fichiers de paramètres de calcul, etc.
  • Un espace global « CCFRSCRATCH » : non sauvegardé, il dispose d’excellentes performances en lecture/écriture. C’est un espace semi-permanent : dans le CCFRSCRATCH, les fichiers peuvent être supprimés soit à la fin d’un job si vous le spécifiez, soit après un temps d’inutilisation (variable suivant les centres).
  • Un espace global « CCFRWORK » : permanent mais non sauvegardé, il dispose de bonnes performances en lecture/écriture. C’est un espace de travail, il est soumis à des quotas en volume mais assez larges en nombre d’inodes (fichiers et répertoires).
  • Un espace de stockage, appelé « CCFRSTORE » : avec des capacités de stockage en volume très importants, il est bien adapté pour héberger de gros fichiers d’archive de résultats de calcul pour la durée du projet. Il s’appuie sur un système de gestion hiérarchique de données (HPSS, DMF) afin d’offrir des volumes de stockage très importants grâce à l’utilisation de bandes magnétiques. Il est donc soumis à des quotas larges en volume, mais stricts en nombre d’inodes. Le CCFRSTORE bénéficie d’une sécurisation additionnelle.

L’estimation du volume total de données générées par le projet ainsi que les principaux besoins en stockage dans les différents espaces doivent être précisés dans le cadre de la demande de ressources.

Les projets qui n’auraient pas pu exprimer correctement leurs besoins dans leur dossier de ressources, ou qui voient ces besoins évoluer significativement en cours d’appel doivent prendre contact avec le support des centres de calcul.

Attention

Durée de conservation des données
Lorsqu’un compte utilisateur n’est plus rattaché à un projet DARI (en cas de non renouvellement du projet), le délai « garanti » d'accès au compte et la conservation des données associées est de 6 mois après la fin du projet. Lorsqu’un compte est rattaché à un projet DARI mais qu’il est inactif depuis plus d’un an (aucune connexion sur les frontales ni aucune soumission de job), sans réponse de son titulaire ou du chef de projet, le compte et les données associées peuvent être détruits.

GENCI n'offre pas de solution de stockage à long terme. Pour ce service vous pouvez vous rapprocher du CINES des informations complémentaires sont disponibles sur leur site.

Service de transfert des données entre centres nationaux

Le réseau des Centres de Calcul Français (CCFR) est un réseau dédié à très haut débit (10 Gb/s), qui interconnecte les trois centres de calcul nationaux CINES, IDRIS et TGCC. Ce réseau CCFR est mis à la disposition des utilisateurs pour faciliter les transferts de données entre les centres nationaux. Outre le transfert de données, l’accès interactif aux machines des centres via le réseau CCFR est proposé. Sont actuellement raccordées sur ce réseau les machines Joliot-Curie au TGCC, Jean Zay à l’IDRIS et Adastra au CINES.

Pour bénéficier du réseau CCFR, une demande doit être formulée auprès de l’un des centres de calcul lors de la demande de création du compte utilisateur en cochant la case « Je souhaite utiliser le réseau CCFR » sur le portail web eDARI. Cette demande peut également être réalisée ultérieurement auprès du support de l’un des centres de calcul par le responsable projet, pour les comptes utilisateurs rattachés à ce projet. Lorsqu’une demande est déposée auprès d’un centre de calcul, celle-ci est diffusée vers les autres centres et les autorisations d’accès sont automatiquement mises en cohérence dès lors qu’un compte valide existe pour l’utilisateur sur plusieurs centres.

Les accès aux ressources du réseau sont authentifiés au même titre que les accès aux centres de calcul. Deux modes d’authentification sont mis en œuvre : l’authentification unique (Single Sign-On) par certificat X509 (IDRIS et TGCC uniquement pour le moment) et l’authentification basique traditionnellement en vigueur entre les centres (mot de passe, etc.).

La documentation complète concernant les prérequis, les méthodes d’authentification et l’utilisation du service CCFR est disponible sur les sites web des centres :

Le support des centres

Services d’assistance aux utilisateurs

L’assistance est le point de contact privilégié permettant d’apporter une aide aux utilisateurs, au quotidien. Chaque centre a mis en place un accueil centralisé pour la prise en compte et le suivi des demandes utilisateurs par téléphone, e-mail ou autre moyen.

L’assistance au quotidien comprend :

  • un service bilingue (français, anglais) de hotline ou de niveau 1, accessible par téléphone, e-mail ou portail web, pendant les heures ouvrables. Il prend en charge les questions des utilisateurs tant sur la compréhension du contexte HPC-IA que sur l’utilisation de chacun des environnements disponibles. Il règle les problèmes qui sont de sa compétence et escalade au niveau 2 pour les demandes plus spécialisées.
  • des services techniques de niveau 2 qui prennent le relais pour toute question non résolue par le niveau 1, exigeant des connaissances spécifiques.

Chacun des centres dispose d’un système de gestion des requêtes via des tickets d’incidents qui permettent d’en assurer le suivi.

Ce service d’assistance est complété par :

  • des documentations en ligne ;
  • des cycles de formations organisés par les centres ;
  • un service d’expertise et d’accompagnement personnalisé pour l’évaluation et l’amélioration des codes de calcul.

L’essentiel de ces informations est disponible sur le site web de chaque centre.

  • CINES
    • Le point d’entrée de l’assistance aux utilisateurs des plates-formes du CINES est le service « svp » qui garantit une prise en compte rapide de la question et son suivi par la création d’un ticket, dans le respect des bonnes pratiques ITIL.
    • Suivant la complexité et la spécificité du problème soulevé, svp en assure la résolution ou transmet le ticket à la liste d’experts adéquate.
    • Par ailleurs, le CINES met à la disposition des utilisateurs une liste FAQ et un certain nombre de documents techniques en ligne permettant de comprendre les modalités d’accès et de mise en œuvre des moyens de calcul intensif du centre : https://www.cines.fr/calcul/
    • Attribution et niveaux de service
      • La permanence « svp » du CINES est assurée par téléphone au 04 67 14 14 14, ou par mail : svp@cines.fr les jours ouvrés du lundi au jeudi de 7 h à 18 h et le vendredi de 7 h à 17 h.
  • IDRIS
    • Les équipes de supports aux utilisateurs (SU HPC et SU IA), composées au total de 24 ingénieurs, sont les interfaces privilégiées entre l'IDRIS et ses utilisateurs. Leur mission consiste à aider les utilisateurs HPC ou IA à adapter leurs exigences scientifiques (codes de calcul, applications) aux moyens de calcul intensif de l'IDRIS, à tous les niveaux.
    • Attribution et niveaux de service
      • Les équipes SU (HPC et IA) de l’IDRIS assurent une permanence par messagerie (assist@idris.fr) ou par téléphone au 01 69 35 85 55, du lundi au jeudi de 9 h à 18 h et le vendredi de 9 h à 17 h 30.
  • TGCC
    • Le TGCC offre un service d’accueil centralisé ou « hotline ». Cette hotline transmet ensuite les demandes, si elle ne peut pas les traiter, auprès des différentes équipes du TGCC en fonction des thématiques (système, stockage, applicatif, …).
    • Des équipes d’experts CEA peuvent être mobilisées pour assurer le support niveau 3 en cas de besoin. De nombreuses recommandations et bonnes pratiques sont également disponibles sur le site web des utilisateurs https://www-tgcc.ccc.cea.fr
    • Attribution et niveaux de service
      • Il est accessible par téléphone de 8 h 30 à 17 h 30 les jours ouvrés au 01 77 57 42 42 ou par mail à hotline.tgcc@cea.fr.


Services de support applicatif

L’évolution des architectures et les exigences croissantes de performances impliquent l'adaptation des applications de façon à tirer parti de cette puissance de calcul. Cette adaptation requiert technicité, compétences expertes et une grande expérience dans tous les domaines du calcul numérique intensif. Pour cela, les centres nationaux accompagnent les utilisateurs en leur proposant des services d’aide au développement et à l’optimisation de leurs applications sur les supercalculateurs.

Le support applicatif recouvre les notions suivantes :

  • conseil au niveau de la méthodologie d’optimisation à suivre ;
  • conseil à l’utilisation des outils de débogage ou d’analyse de performances au niveau de l’optimisation séquentielle ou parallèle du code (vectorisation, optimisation des accès mémoire, optimisation des communications MPI, des entrées-sorties, choix des bibliothèques scientifiques les plus performantes, optimisation algorithmique, etc.).
  • CINES
    • Le département calcul intensif du CINES met à disposition des moyens matériels et logiciels avancés et propose une assistance pour faciliter l’activité de modélisation des chercheurs. Le CINES propose également un support avancé et personnalisé pour les projets nécessitant une expertise spécifique afin de réaliser un passage à l’échelle ou une optimisation des performances.
  • IDRIS
    • Au-delà du support applicatif de base, assuré dans le cadre de l’assistance utilisateurs, l’IDRIS propose un support avancé aux utilisateurs, pour les projets HPC ou IA qui auraient besoin d’une aide spécifique via des services à haute valeur ajoutée au service des développeurs via ce lien http://www.idris.fr/support_avance.html. Cette aide permet, par exemple, d’exploiter efficacement les moyens de calcul disponibles (optimisation, passage à l’échelle, vectorisation, débogage, portage sur architecture hybride accélérée GPU, utilisation de l’IA dans les codes de calcul…).
    • L’évaluation des demandes de support avancé à un projet de calcul intensif se fait sur la base des aspects techniques du projet, de la capacité de l’IDRIS à fournir un support efficace, voire de l’avis des comités thématiques sur la pertinence scientifique du projet. Les projets sélectionnés reçoivent l'aide d'ingénieurs de l'IDRIS sur une période de temps déterminée (3 mois renouvelables).
  • TGCC
    • Au travers de son activité de support applicatif, le TGCC assure la prise en compte de demandes de soutien pour porter ou optimiser des codes applicatifs et de l’assistance aux utilisateurs dans ces opérations. En complément, un service de type « développement applicatif » peut être proposé suivant certaines modalités de financement, afin d’aider au développement des codes des utilisateurs.
    • Pour le service de type « développement applicatif », organisé sur le mode « projet », le demandeur doit rédiger un cahier des charges. Ce document est ensuite validé et/ou complété par le centre puis donne lieu à une estimation financière (non prise en charge par le centre) et un planning de réalisation de la part du centre.

Services de mise à disposition de logiciels

En plus des compilateurs et des bibliothèques MPI indispensables pour compiler et exécuter des codes parallèles, des logiciels thématiques (principalement de chimie), des bibliothèques (scientifiques ou propres aux entrées-sorties) et des outils (d’analyse de performance/profilage, de débogage (TotalView, DDT, etc.), de développement et de gestion de programmes sources) sont mis à disposition des utilisateurs.

Certains sont soumis soit à autorisation soit à licence et nécessitent, dans ce cas, des droits particuliers. Ces logiciels sont généralement gérés avec la commande module qui permet entre autres de lister les différentes versions disponibles.

La liste exhaustive des logiciels installés et maintenus par chacun des centres ainsi qu’une documentation associée décrivant les modalités de leur utilisation est disponible sur le site de chacun des centres, en suivant les liens indiqués ci-dessous.

Également disponible ici: Liste des logiciels installés

Les utilisateurs souhaitant utiliser des logiciels spécifiques mis à disposition par les centres peuvent désormais l’indiquer dans le formulaire de demande d’heures DARI, tout en veillant à vérifier leur disponibilité sur la machine ciblée.

Important

La liste des logiciels déjà installés dans les centres est consultable dans la FAQ et est complétée pour chaque centre ci-dessous.

Sur demande justifiée, les utilisateurs peuvent demander l’installation de nouvelles versions ou de nouveaux logiciels aux équipes d’assistances des centres.

Services de formations

Pour faciliter le transfert de connaissance à destination de leurs utilisateurs, des programmes de formation sont mis en place, ouverts aussi bien à la recherche publique que privée, couvrant tous les aspects techniques relatifs au HPC ou à l’IA. Ces formations, à fort caractère appliqué, concernent aussi bien les langages de programmation scientifique que la parallélisation (MPI, OpenMP, hybride MPI+OpenMP), l’utilisation des accélérateurs (CUDA, OpenACC, OpenCL), l’optimisation et le débogage de codes, la visualisation, l’utilisation des ressources de calcul disponibles dans les centres, etc. Le programme et les modalités d’inscription à ces formations, propres à chacun des centres, sont disponibles sur leur site web respectif.

Les besoins en formation peuvent être indiqués dans le cadre de la demande DARI, mais les modalités de délivrance du service sont régies par chacun des centres.

  • Le CINES organise des formations et des hackathons pour la communauté des utilisateurs. Ces formations couvrent entre autres :
    • l’introduction aux architectures parallèles et au supercalculateur ;
    • l’optimisation de codes ;
    • l’initiation à la parallélisation avec MPI et OpenMP ;
    • pour tout contact :training@cines.fr
  • L’IDRIS propose un programme soutenu d’actions de formation, alliant cours magistraux et de nombreux TP d’applications, dispensées sous forme de 60 journées de formation par an, réparties en une vingtaine de sessions,
    • axées principalement sur :
      • les langages de programmation scientifique (C/Fortran90/Fortran2003)
      • le parallélisme (MPI, OpenMP, Hybride MPI+OpenMP, débogage à l’échelle, OpenACC-OpenMP/GPU, PETSc, vectorisation SIMD)
      • l’intelligence artificielle (Introduction Pratique au Deep Learning (IPDL) et Deep Learning Optimisé sur Jean Zay (DLO-JZ))
    • Les inscriptions à ces sessions de formation sont gratuites pour le personnel du CNRS et de l’enseignement supérieur, payante via CNRS Formation Entreprises sinon. Le calendrier prévisionnel, le contenu détaillé des formations ainsi que les modalités d’inscription sont disponibles sur le site : https://cours.idris.fr/
    • Les supports de cours et des TP sont librement téléchargeables sur http://www.idris.fr/formations/supports_de_cours.html
    • Certaines de ces formations sont aussi dispensées dans le cadre de PRACE (PTC, https://training.prace-ri.eu
  • Le TGCC organise des formations pour répondre aux besoins de ses utilisateurs. Ces formations portent sur :
    • l’utilisation du TGCC et de son environnement pour de nouveaux utilisateurs ;
    • la programmation MPI, OpenMP, hybride, etc. ;
    • les environnements de développement : compilateurs Intel, Intel trace analyser, débogueur ;
    • l’usage avancé de Joliot-Curie (dans le cadre de PRACE/PTC).
    • Elles peuvent aussi être organisées à la demande des représentants utilisateurs.

Des séminaires, des journées thématiques d’information et de débat sont également régulièrement organisées par les centres pour mettre en exergue l’utilité du calcul haute performance et de l’intelligence artificielle, leurs spécificités, leurs problématiques et partager des retours d’expérience autour de certaines thématiques ciblées.

Conditions d'éligibilité pour une demande d'allocation

Un dossier de demande de ressources est déposé par le responsable du projet pour le compte d’un ou plusieurs utilisateurs, selon les conditions décrites ci-après.

Acteurs publics et privés

Important

Les moyens de calcul nationaux sont ouverts aux projets scientifiques émanant aussi bien de la sphère publique que de la sphère privée. L’attribution des heures de calcul se fait sur des critères d’excellence scientifique et technique. Les résultats des travaux réalisés grâce à l’allocation d’heures de calcul sur les moyens nationaux doivent donner lieu à publication (recherche ouverte). L’accès aux ressources de calcul et de stockage est gratuit, une information sur le coût financier et l'impact CO2 représentés par les ressources demandées et attribuées dans le projet est fournie à titre indicatif.

Concernant la sphère publique, les moyens de calcul nationaux dont dispose GENCI sont ouverts à tous travaux scientifiques relevant d’une mission de service public de recherche ou d’enseignement supérieur. Peuvent notamment recevoir des allocations d’heures au titre de la présente procédure les chercheurs relevant des structures publiques présentes dans le répertoire national des structures de recherche (RNSR) (https://appliweb.dgri.education.fr/rnsr/).

Dans le cas des EPIC, ne sont éligibles que les seuls projets relevant de la recherche sur financement public, à l’exclusion de ceux relevant de l’activité commerciale de l’établissement. Les ressources de GENCI ne peuvent être valorisées par un tiers à des fins commerciales.

Concernant la sphère privée, les moyens nationaux de calcul de GENCI sont aussi accessibles aux entreprises françaises et même étrangères disposant d’une activité de R&D en France (TPE, PME, ETI et grands groupes), qui effectuent des travaux de recherche ouverte impliquant la publication des résultats obtenus.

Appartenance du porteur du projet et des utilisateurs

On entend ici par « porteur de projet », celui qui dépose un dossier de demande de ressources et par « utilisateur » celui qui accède aux supercalculateurs pour consommer les ressources attribuées. Le porteur de projet lui-même peut être utilisateur des ressources qui lui ont été attribuées.

Important

Le porteur du projet doit :

  • appartenir à une des structures citées ci-dessus, y compris les Unités Mixtes Internationales,
  • ou appartenir à une entreprise française ou étrangère, mais justifiant d’une activité de recherche en France.

Les utilisateurs obéissent aux mêmes conditions, mais en sus, les utilisateurs peuvent également appartenir à un laboratoire étranger, mais participant à un projet associé à un organisme de recherche français (par exemple, ANR ou projets européens et internationaux).

Attention

Le porteur du projet est responsable du respect de ces conditions par les utilisateurs rattachés à son projet.

Statut du porteur du projet et des utilisateurs des ressources

Le porteur de projet doit être un membre permanent d’une structure de recherche, un post-doctorant ou un ingénieur (en CDD ou CDI).

Attention

Dans le cas particulier des Accès Dynamiques pour le CT10 (Intelligence artificielle et applications transversales du calcul), le porteur de projet peut également être un doctorant, ou un étudiant en stage de Master 2 dans un laboratoire.

En cas d’utilisation non conforme ou de négligence avérée du porteur de projet, GENCI se réserve la possibilité d’annuler l’attribution de ressources au projet et, suivant les cas, de saisir les autorités de sécurité ou judiciaires compétentes.

Quant à l'utilisateur de ressources, rattaché à un dossier, aucune condition de statut particulière ne s'applique à celui-ci, outre les conditions de sécurité à l'accès aux calculateurs mentionnées à ce chapitre Modalités d'accès aux calculateurs

Conditions sur les données (RGPD)

Comme décrit dans le document des « CGU des ressources de GENCI », l’utilisateur s’engage à ne pas déposer, stocker et/ou utiliser des données à caractère personnel au sens du Règlement Général sur la Protection des Données (RGPD) sur les équipements de calcul et de stockage nationaux, dont la collecte ou le traitement ne serait pas conforme à la réglementation applicable à la protection des données à caractère personnel. Par exemple : les données de santé à caractère personnel recueillies à l’occasion d’activités de prévention, de diagnostic, de soin ou de suivi social et médicosocial, qui nécessitent des conditions particulières de traitement en vertu de l’article L.1111-8 du Code de la santé publique.

En effet, aucun centre de calcul national n’est certifié HDS (Hébergeur de Données de santé). L’utilisateur, entendu comme le responsable de traitement sur les données, s’engage à cet égard à valider, auprès de son Délégué à la Protection des Données (DPD), l’ensemble des informations qu’il déclare dans le cadre de sa demande de ressources.

Pour plus de détails, vous pouvez consulter le chapitre sur les « CGU des ressources de GENCI » dans les annexes ci-dessous.

Obligations et engagements des porteurs de projets et de GENCI

En contrepartie des ressources allouées, il est demandé au porteur du projet :

  1. de fournir un rapport d'activité en fin d’allocation ou lors du renouvellement du projet ; un guide est disponible au chapitre Dépôt d'un dossier. En cas d’absence de rapport, aucun renouvellement de ressources ne sera possible,
  2. d’indiquer dans ce rapport l’ensemble des publications réalisées grâce aux ressources attribuées par GENCI et de renseigner leurs liens DOI dans le site eDARI,
  3. que les résultats des travaux réalisés grâce à l’allocation d’heures de calcul sur les moyens nationaux donnent lieu à publication et soient référencés (en contenant le texte intégral) dans les archives ouvertes HAL https://hal.science/,
  4. d’insérer obligatoirement la mention ci-après dans les remerciements des publications scientifiques, dans le but d’améliorer la visibilité des moyens nationaux de calcul intensif mis à la disposition de la communauté scientifique :

Important

Version française :
Ces travaux ont bénéficié d’un accès aux ressources de calcul en [HPC/IA/Quantique] et de stockage au [CINES/IDRIS/TGCC] au travers de l'allocation de ressources 20XX-[numéro de dossier] attribuée par GENCI sur la partition [SKL/ROME/CSL/GENOA/V100/A100 /H100/MI250x/MI300] du calculateur [Jean Zay/Joliot Curie/Adastra].

Version anglaise :
This project was provided with computing [HPC/AI/Quantum] and storage resources by GENCI at [CINES/IDRIS/TGCC] thanks to the grant 20XX-[project number] on the supercomputer [Jean Zay/Joliot Curie/Adastra]'s [SKL/ROME/CSL/GENOA/V100/A100/ H100/ MI250x/MI300] partition .

Pour les mêmes raisons, GENCI s’est engagé auprès de ses tutelles à rendre publique la liste des projets ayant obtenu des ressources. Aussi, les porteurs de projet sont informés que les données suivantes sont publiées sur le site de GENCI (Liste des projets scientifiques) :

  • nom et laboratoire du porteur de projet ;
  • titre du projet ;
  • comité thématique ;
  • logiciel(s) sélectionné(s) ;
  • résumé publiable ;
  • ressources allouées par supercalculateur ;
  • photo d’illustration.

Modalités d'allocation

Les ressources de GENCI sont des ressources nationales hébergées par les 3 centres nationaux. Pour chacun des 3 centres, elles sont d'environ un ordre de grandeur plus puissantes que celles disponibles dans chaque mésocentre ou centre régional. Idéalement, le porteur de projet aura suivi à chaque fois le même cycle : développement / portage / débogage / optimisation et production. Mais dès que les puissances souvent liées aux nombres de processeurs sont insuffisantes ou qu’une des caractéristiques comme la taille mémoire ou le stockage disponible ne satisfait plus les besoins du porteur, ce dernier passe successivement de l’ordinateur mis à sa disposition dans son laboratoire à celui de son université, puis à celui du mésocentre de sa région. Au-delà, il pourra utiliser les ressources de GENCI ; si ces ressources ne suffisent plus ou que celles demandées grèvent significativement l’exploitation des centres nationaux, le porteur de projet a encore la possibilité d'utiliser l’infrastructure européenne EuroHPC (https://eurohpc-ju.europa.eu/), particulièrement si ses besoins en ressources sont au-delà de 50 Mh-cœur CPU ou 500 kh GPU.

Pour obtenir des ressources sur les supercalculateurs nationaux, les porteurs de projet doivent déposer, via un formulaire unique, un dossier de Demande d’Attribution de Ressources Informatiques dans le cadre d’un appel à projets. L’espace utilisateur du site eDARI (https://www.edari.fr/) permet de constituer un nouveau dossier ou de renouveler un dossier précédent.

Le schéma ci-dessous montre un synoptique des différentes étapes de soumission d'une demande de ressources.

Les différents types d’allocations de ressources de GENCI

Deux types d’allocations permettent d’obtenir des ressources de calcul sur les moyens nationaux de GENCI : les Allocations Régulières et les Allocations Dynamiques.

Note

Si la demande de ressources cumulées par le porteur de projet sur les différentes partitions des calculateurs est inférieure ou égale aux deux seuils suivants : 500 000 heures*cœurs CPU (équivalent CSL/SKL) et 50 000 heures GPU (équivalent V100), le porteur de projet sera dans le cadre d'un dossier d’Accès Dynamique (AD) ; dans le cas contraire, il sera dans le cadre d'un dossier d’Accès Régulier (AR).

Cette sélection entre les types d'allocations est faite automatiquement dans le formulaire lors du remplissage du dossier, en fonction des ressources spécifiées. Dans tous les cas, le porteur de projet devra justifier de façon pertinente sa demande d’allocation sur les moyens nationaux de GENCI.

L’ensemble de la démarche de conduite des campagnes (demande, validation, sélection, attribution, etc.) est un processus certifié ISO9001 depuis 2022.

Connexion à l'application de demande de ressources edari (www.edari.fr)

Dès leur première connexion, les utilisateurs le pouvant sont invités à se connecter en utilisant la fédération d'identité de Renater. Ainsi, après avoir cliqué sur le lien "se connecter ou se créer un compte eDARI", l'utilisateur ayant un compte dans un établissement public de recherche peut se connecter avec son login/mot de passe de son établissement en utilisant la fédération de Renater.


L'utilisateur venant d'un établissement de recherche privé ou ne faisant pas partie de la fédération d'identité de Renater peut se créer un compte en utilisant le lien "Pas encore inscrit".

Cas particulier pour le personnel CNRS, INRIA ou les membres d’un laboratoire CNRS : en se connectant sur le site eDARI via la Fédération Éducation-Recherche, il est possible de bénéficier d’une dématérialisation du processus pour valider tout type de dossier, à condition que l'adresse courriel soit la même que le login du compte eDARI. Si les renseignements dans l’annuaire Reseda du CNRS ou le serveur d’identité de l’INRIA sont à jour, alors le directeur de la structure de recherche ainsi que le porteur de projet recevront des messages électroniques automatiques contenant des liens qui leur permettront de s’authentifier pour valider la demande des ressources, s’affranchissant ainsi des signatures nécessaires au visa papier dans le cas de l'IDRIS et du CINES.

Dépôt d'un dossier

Ce chapitre a pour objectif de guider les utilisateurs lors du dépôt d’un renouvèlement de dossier ou lors de la création d’un dossier pour un nouveau projet sur l’application eDARI, afin de bénéficier de ressources informatiques sur les moyens nationaux de GENCI. Les informations demandées dans les différentes parties du formulaire permettent aux [Comités Thématiques] et aux directeurs de centres d’évaluer les avancées scientifiques, mais aussi de justifier éventuellement une demande de ressources sur un calculateur d’un centre national.

Lors de la saisie des informations dans le formulaire, vous serez amenés à remplir plusieurs informations parmi lesquelles :

  • Le titre du projet
  • Le choix du comité thématique dont dépendra l'expertise scientifique
  • Si l'IA sera utilisée dans le projet, dans quel domaine, quel type de dataset et le type de méthode utilisé
  • Un résumé publiable, c'est à dire un texte de quelques lignes expliquant votre projet, qui sera consultable librement sur le site de GENCI après obtention d'une allocation.
  • Vous serez libre de déposer une image parlante illustrant votre projet qui pourra être réutilisée par GENCI pour communiquer sur votre projet
  • Si votre projet traite des données à caractère personnel: dans ce cas elles devront être anonymisées selon la CNIL, autrement vous ne pourrez plus poursuivre la demande.
  • Le nombre d'heures précis sur la partition choisie, ainsi que le montant d'espace de stockage envisagé sur le moyen et long terme.
  • Si besoin de logiciel particulier autre que ceux déjà installés.
  • Les informations sur le porteur de projet et votre structure de recherche (publique MESR, publique autre ou privée)
  • Les informations sur l'équipe de recherche (nombre de chercheurs impliqués, les moyens informatiques, l'expérience de l'équipe)
  • Les différents soutiens du projet (ANR, européen, industriel)
  • Détails du code utilisé (nombre de coeurs, mémoire, I/O, méthode de parallélisation)
  • Un document (2-3 pages) avec une description scientifique plus détaillée expliquant la méthode numérique, l'implémentation ainsi qu'une justification de l'usage des ressources sur la machine demandée
  • Un plan de gestion de données (DMP) est demandé à titre indicatif
  • Une bibliographie
  • Pour les nouveaux projets: une publication (pdf, id_Hal ou DOI) de vos derniers travaux en lien avec votre projet qui puisse aider les experts à mieux comprendre scientifiquement l'objectif
  • Pour un renouvellement de projet: la publication (ID_Hal) liée à la précédente allocation


Il sera nécessaire de déposer, à la fin du formulaire :

  • Pour un dossier d’accès régulier : une description détaillée du projet, au format pdf, pour les nouveaux et anciens utilisateurs.
  • Pour un dossier d’accès régulier ou d’accès dynamique : un rapport d’activité au format pdf pour les porteurs ayant déjà obtenu une allocation de ressources sur un ou plusieurs supercalculateur(s) de GENCI.

Le modèles de rédactions des documents sont disponibles sur les liens suivants: | Description détaillée du projet, | Rapport d'activité pour les allocation régulière et | Rapport d'activité pour les allocation dynamique. Leur contenus est détaillé ci-dessous :

Description du projet (pour les AR)

La description du projet permet aux Comités Thématiques d’évaluer la qualité scientifique et technique d’un dossier d’accès régulier. Les différentes parties demandées sont les suivantes :

  • Les informations générales concernant le dossier,
  • un court résumé,
  • une présentation générale du projet,
  • une description de la méthode utilisée,
  • une justification de l’usage des ressources demandées sur le(s) supercalculateur(s),
  • la description d’un Plan de gestion des données (DMP) et
  • une bibliographie.

Il est important de noter qu’une absence des informations demandées aura un impact direct sur la note scientifique et/ou technique attribuée au dossier, et donc sur l’attribution de ressources.

Informations générales

Dans cette partie, sont demandés :

  • les informations générales d’un dossier telles que son titre et numéro,
  • le nom de la structure de recherche,
  • le responsable scientifique et
  • le nombre d’heures demandées.

Résumé

La longueur typique du résumé scientifique est d’environ 15 lignes et d’une longueur maximale d’une page. Une introduction au projet scientifique est attendue avec le positionnement par rapport au contexte ou état de l’art international, ainsi qu’un bref résumé des derniers résultats obtenus dans le domaine (soit au sein de l’équipe/laboratoire, soit au niveau international).

Présentation générale

Dans cette partie, il s’agit de détailler l’intérêt scientifique du projet, comme :

  • les objectifs concrets à atteindre grâce à l’obtention de ces ressources et comment y parvenir ;
  • la situation des travaux de l'équipe sur le thème de recherche proposé vis-à-vis du travail déjà effectué par l'équipe (résultats acquis sur le sujet), et vis-à-vis d'autres travaux sur un plan national et international ;
  • la pertinence des publications de l'équipe dans ce domaine de recherche, référencées dans la section « Bibliographie » à la fin de la description du projet. Tout article, jugé utile à l’évaluation du dossier, peut être annexé au format PDF sur eDARI. Les articles qui ne sont pas en open access ou en version preprint seront effacés après chaque Comité d’Attribution.

La longueur typique de cette partie est d’environ deux pages avec une longueur maximale de quatre pages. Cependant, si le projet se décompose en sous-projets, il est possible de rajouter deux pages additionnelles au maximum par sous-projets.

Méthodes

Cette partie doit suffisamment être précise et argumentée pour permettre au Comité Thématique d'apprécier l'adéquation de l'architecture prévue (scalaire, vectorielle ou parallèle, GPU ...) au problème posé. Une explication détaillée (maximum une demi-page) est demandée afin de préciser les raisons pour lesquelles la méthode numérique et l’usage sont adaptés à un supercalculateur national.

Méthodes numériques et implémentations

La longueur typique est de quatre pages et la longueur maximale est de six pages. Si la méthode utilisée est très connue dans le domaine scientifique en question ou si le logiciel utilisé est disponible dans le centre, l’explication peut être plus courte.

Voici un exemple de plan à adapter selon le sujet :

  • Algorithme utilisé et adaptation à l’architecture visée
  • Modalités d'optimisation (vectorisation, optimisation superscalaire, parallélisation)
  • Structure du programme
  • Logiciels nécessaires
  • Langages utilisés
  • Bibliothèques prévues
  • Systèmes de gestion de bases de données ou systèmes documentaires utilisés.

Des exemples ou descriptifs des points attendus sont fournis par des présidents de Comités Thématiques ci-après.

Note

Descriptifs pour le CT6

  • Pour des projets nécessitants des résolutions d’équations, préciser les méthodes numériques (éléments finis, volumes finis, maillages, discrétisation temporelle…). Cela peut être succinct s’il s’agit de solveurs classiques.
  • Pour les aspects résolution de systèmes linéaires, là aussi, préciser le type de méthodes (factorisation, solveurs directs/inverses…), la complexité attendue, la dimension…

Note

Descriptifs pour le CT7

Description précise des systèmes d’étude, les éléments suivants devront être détaillés :

  • La provenance des structures de macromolécules (cristallographique, par homologie, etc.), nombre d’atomes du système de simulation, présence de solvant explicite, de bicouche explicite, etc.
  • Le type de modèle (tout-atome, united-atom, gros grain, etc.) et le champ de force utilisé.
  • Le code utilisé (GROMACS, NAMD, LAMMPS, OpenMM, etc.).
  • Pour les simulations tout-atome de systèmes basés sur un modèle par homologie, il est essentiel que le comité puisse juger de la pertinence du modèle. L’information minimale devra être : Le pourcentage d’identités par rapport au support. Le modèle a-t-il été validé contre des données expérimentales ?
Justification numérique de l’approche
  • Justifier si les temps simulés demandés permettront d’observer le phénomène attendu compte tenu des problèmes d’échantillonnage, de convergence et de reproductibilité. Est-il plus intéressant de faire une simulation plus longue ou plusieurs plus courtes ?
  • Pour les simulations dont le but est le calcul d’une grandeur (par exemple, calcul d’énergie libre), à quelle barre d’erreur peut-on s’attendre sur cette grandeur avec le protocole envisagé.
Pour les deux aspects, les candidats pourront se baser sur des exemples similaires dans la littérature ou sur leur propre expérience si ce n’est pas publié.

Note

Descriptifs pour le CT8

  • Les travaux théoriques développés dans le projet ont nécessité l’utilisation de l’approche de la théorie de la fonctionnelle de la densité (DFT) dans la cadre de calculs en condition périodique (DFT-PBC). La fonctionnelle d’échange-corrélation utilisée est de type GGA PBE. Les calculs électroniques ont nécessité l’étude des effets de polarisation de spin et donc les propriétés magnétiques ont été abordées tout au long de l’étude. Afin de décrire de manière effective les interactions faibles de type van der Waals (dispersion) dans les systèmes chimiques considérés, une correction semi-empirique à l’approche DFT de type D3 (Grimme) a été systématiquement appliquée au calcul de l’énergie électronique totale.
  • Les calculs ont tous été réalisés au moyen du logiciel de calcul VASP (version 5.4.1) disponible sur les ressources du GENCI. Les calculs ont été menés en environnement parallèle MPI, en utilisant de manière routinière de 32 à 64 cœurs sur les serveurs alloués, pendant le temps d’exécution.
  • Les modes de calcul considérés ont été les optimisations de géométrie (gradient conjugué), le calcul vibrationnel (calcul par différences finies) et la recherche de chemins réactionnels (approche dite de la bande élastique CI-NEB).
  • Pour les optimisations de géométrie, les critères de convergence sont relativement forts (EDIFF=10-6 et EDIFFG=-0.01 eV.Â-1).
  • Pour le calcul vibrationnel, l’approche par différences finies a été utilisée avec un critère de convergence encore plus strict (EDIFF=10-7) et deux points de calcul pour évaluer les dérivées secondes de l’énergie électronique totale (NFREE=2). Tous les degrés de liberté optimisés n’ont pas été retenus pour l’analyse vibrationnelle en raison du coût de calcul trop grand. Seuls les degrés de liberté de la molécule ont été considérés pour cette analyse.
  • Concernant la recherche d’états de transition, la méthode NEB a été développée en utilisant 8 images intermédiaires par chemin réactionnel étudié. Lorsqu’il n’était plus possible de continuer à raffiner le profil énergétique associé au chemin réactionnel, la détermination de la structure géométrique de l’état de transition a été poursuivie au moyen de l’approche CI-NEB qui relâche la contrainte de force tangentielle/normale sur le point énergétique le plus élevé du profil, puis par une optimisation fine à l’aide de l’algorithme de quasi-Newton.

Note

Descriptifs pour le CT10

  • Pour le CT10 et les dossiers relatifs aux nouvelles thématiques de l’Intelligence Artificielle, la démarche reste similaire. Les dossiers indiqueront le domaine applicatif concerné par l’IA et détailleront la méthodologie adoptée. Par exemple, à titre indicatif, quel type d’apprentissage (supervisé ou non, avec ou sans renforcement…), quel type de réseau de neurones (nombre de couches, mécanisme d’attention, transformer …), quel logiciel associé (open source, spécifique.), quel type de données (images, son, texte.), quelle durée de calcul (selon le nombre de GPU nécessaire.) et quel volume de données en distinguant apprentissage et tests. Si besoin, évoquer les questions de licence de logiciel, de propriété intellectuelle, de confidentialité des données.

Justification de l’usage des ressources

La longueur typique est d’une page et la longueur maximale de deux pages. La justification du nombre d’heures demandées en heure par cœur ou GPU doit inclure les informations suivantes :

Nombre et nature des tâches calculatoires du projet : Pour chaque type de tâche calculatoire, il faudra indiquer les ressources impliquées en mentionnant le temps de présence en machine, la mémoire, le nombre de nœuds, le nombre de cœurs ou GPU et l’espace disque en termes de nombre de fichiers et volumétrie (il est possible de décrire précisément ce point au chapitre suivant). Le nombre de tâches qui seront soumises de manière simultanée sur la machine doit être mentionné. L’ensemble de ces informations devront être présentées dans un tableau.

Note

Descriptifs pour le CT7

  • Chaque calcul envisagé doit être décrit précisément. Par exemple, pour des simulations de dynamique moléculaire, le système, le nombre de simulations, la durée (en ns/micros), les heures de calcul nécessaires, le nombre de répliques, les détails sur un éventuel échantillonnage augmenté (REMD, métadynamique, ...).
Pour les demandes conséquentes (supérieures ou égales à 1 million d’heures) et si le système n’a jamais tourné sur un centre national, un accès préparatoire est vivement conseillé afin de générer une courbe de scaling sur le centre demandé. Celle-ci accompagnera la demande et le temps demandé sera estimé au mieux. Afin de faciliter le travail des évaluateurs, l’usage d’un tableau pour les simulations envisagées est recommandé.

Exemple pour le CT7

Note

Exemple pour le CT8

L'estimation des ressources : Elle doit, et cela est d’autant plus important si la demande est conséquente, être basée sur des calculs menés sur un mésocentre ou sur un centre national pour des systèmes ou des tailles de problèmes identiques ou proches de ceux visés dans la demande présente de calcul pour s’appuyer sur des bancs d’essai. Si ce n'est pas le cas, il faudra préciser de combien cela s'écarte du problème ciblé et expliquer comment le nombre d'heures de calcul a été établi via le nombre de travaux soumis en précisant le nombre de cœurs ou GPU requis pour chacun d'eux.

Les ressources de calcul qui seront attribuées devront de préférences être consommées de manière régulière afin de garantir une utilisation optimale des moyens nationaux. Aussi, il faudra préciser si l’utilisation des ressources attribuées sera régulière et/ou par périodes plus intensives et dans ce cas le justifier. Une planification sur l’année (grosse maille) de la consommation des ressources constitue un plus dans un dossier et peut apparaitre dans un tableau récapitulatif pour les gros projets.

Plan de gestion de données (DMP)

Seulement à titre d’information actuellement, il faudra décrire dans cette section le plan de gestion des données ou Data Management Plan (DMP) si disponible. Un exemple est disponible à cette adresse : https://anr.fr/fileadmin/documents/2019/ANR-modele-PGD.pdf.

Cette rubrique sera prochainement obligatoire pour les projets nécessitants de fort volume de stockage ou un grand nombre de fichiers.

Bibliographie

Il s’agit de lister les articles publiés par l’équipe ainsi que les articles de bibliographie générale portant sur le même sujet en précisant bien si les références proviennent du laboratoire. Le dépôt de ces articles se fera sur eDARI en cliquant sur « Déposer les PDF des publications ».

Par exemple : les références [2] sont celles de l'équipe. Si des ressources ont déjà été attribuées sur les moyens nationaux de GENCI, il faudra préciser les publications dont les résultats sont issus de ces calculs.

Exemple de Références

[1] W. Kohn. Nobel Lectures, Chemistry 1996-2000. World Scientic Publishing Co., Singapore, 2003.

[2] P. Nom. Titre de l'HDR. Document d'habilitation-Direction des recherches (2009).


Rapport d’activité (pour les AD ou AR)

Le dépôt d’un rapport d’activité d’une page minimum est nécessaire pour tout type d’accès, si des ressources ont déjà été attribuées sur les moyens nationaux de GENCI afin de permettre aux Comités Thématiques et aux Directeurs de centres d’évaluer les avancées scientifiques et de justifier la demande de ressources additionnelles sur un calculateur d’un centre national.

Les différentes parties demandées sont les suivantes : Informations générales, résultats scientifiques, bibliographie ainsi que la présentation des résultats de recherche à des conférences.

Informations générales

Il faudra indiquer dans cette section les informations générales relatives au projet : Titre du projet, numéro de dossier, nombre d’heures accordées et consommées.

Dans le cas du renouvellement d’un dossier pour un

  • Allocation régulière : En cas de sous-consommation, merci d’en justifier la raison. L’absence de justification d’une sous-consommation importante des ressources du projet à renouveler aura des répercussions sur le jugement du dossier (i.e. note scientifique et/ou technique).
  • Allocation dynamique : En cas d’extrême sous-consommation, merci d’en justifier la raison.

Afin de permettre à l’ensemble des utilisateurs de disposer des ressources attribuées, il est recommandé de consommer les heures le plus régulièrement possible.

Résultats scientifiques

Il faudra indiquer les résultats scientifiques issus des calculs générés sur les supercalculateurs du parc de GENCI, sur deux pages maximums par sous projet. Il est possible de préciser l’approche et les théories utilisées pour le projet.

L’avancement du projet scientifique devra être indiqué par rapport aux objectifs scientifiques annoncés dans la demande. Il est en particulier attendu de démontrer l’apport des calculs effectués dans l’obtention de résultats scientifiques. Les principaux résultats pourront être résumés avec le support d’une ou plusieurs illustrations.

Bibliographie

Il faudra indiquer les articles en cours de préparation ou publication ainsi que ceux publiés pour lesquels les résultats scientifiques obtenus ont été permis grâce à l’allocation de ressources sur les moyens nationaux de GENCI des années précédentes.

Ces articles peuvent être déposés sur eDARI en cliquant sur « Déposer les PDF des publications ».

Conférences et posters

Il faudra lister les conférences où ont été présentés les résultats de recherche issus des calculs générés sur les moyens nationaux de GENCI, en précisant s’il s’agit d’une présentation orale ou d’un poster ; ainsi que la participation à des Challenges.

Allocation Dynamique (AD)

Rôle des Allocations Dynamiques

En plus de pouvoir être utilisées par des codes de simulation en production, les Allocations Dynamiques peuvent également être demandées pour porter, optimiser et paralléliser des codes de calcul sur les supercalculateurs de production et prototypes disponibles, lorsque les ressources sont en deçà du seuil des Allocations Régulières (AR) (500 000 heures*cœurs CPU (équivalent CSL/SKL) et 50 000 heures GPU (équivalent V100)). Les équipes de support applicatif de chaque centre national sont à votre disposition pour vous accompagner dans ces actions de portage ou d’optimisation.

Vous ne devez demander que les ressources dont vous avez réellement besoin, en les justifiant dans votre demande. Vous pouvez donc demander des ressources très largement en dessous du seuil des Allocations Régulières.

Les règles de confidentialité, de bonnes pratiques, de déontologie et de conflit d’intérêt s’appliquent à ce type d’allocation.

Les candidats sont seuls responsables de l’exactitude des informations saisies dans l’application de demande de ressources conservées dans les dossiers de candidatures.

Les utilisateurs souhaitant bénéficier de ce type d’allocation et qui sont éligibles doivent déposer leur dossier au sein du Comité Thématique correspondant à leur projet de recherche.

Dans le cas particulier de demande de ressources pour une machine prototype, la demande ne peut pas dépasser 5 000 heures cœurs.

Porteurs de projet et validations

Dans le cadre d'une allocation dynamique, le tableau ci-dessous résume quel statut est autorisé à déposer une demande de ressources et dans quel cas la validation du responsable de la structure de recherche est nécessaire :

Allocation Dynamique Demande de ressources
Hors CT10 (Intelligence artificielle) CT10 (Intelligence artificielle)
Statut Porteur autorisé Visa Responsable Statut Porteur autorisé Visa Responsable
Membre permanent, ingénieur, post-doctorant oui pas nécessaire oui pas nécessaire
Stagiaire M2, doctorant non oui pas nécessaire

Calendrier des Allocations Dynamiques

Les Allocations Dynamiques sont ouvertes en permanence et permettent l’attribution de ressources de calcul sur le parc de GENCI pour une durée d’un an, dans un délai de quelques jours à quelques semaines.

Gestion d’un dossier d’Accès Dynamique

Dépôt d’un nouveau projet

On entend par nouveau projet un projet dont les finalités ou les moyens mise en œuvre sont radicalement différents d'un éventuel précédent dossier. Si tel n’est pas le cas, il s’agira d’un renouvellement de projet et non d'un nouveau projet.

Les délais d'obtention d'un Accès Dynamique pouvent aller de quelques jours à au plus 2 semaines.

Renouvellement d’un dossier d’Allocation Dynamique

Il n'est possible de demander le renouvellement d’un dossier d’Allocation Dynamique via le portail eDARI qu'à partir de deux mois avant la fin de sa période d’allocation de ressources, mais vous pouvez le faire même après l'expiration de celui-ci, plusieurs mois après, en fonction de vos besoins.

En fonction des besoins nécessaires à la réalisation d’un projet de recherche, il est aussi possible de renouveler un dossier d'Allocation Dynamique vers un dossier d'Allocation Régulière ou vice versa. En effet, lors du renouvellement d’une Allocation Dynamique, si la demande de ressources est supérieure à la limite AD/AR, le dossier sera de type Allocation Régulière, et sera alors évalué lors de la session d’allocation suivante.

En attendant l'attribution de cette allocation régulière, il est proposé de demander un accès dynamique de transition tel que présenté au chapitre décrivant les allocations régulières.

Processus d'attribution

Les responsables de centre jugent de la qualité scientifique et technique des dossiers et peuvent, si besoin, demander l’avis d’un expert du Comité Thématique dans lequel se trouve le projet.

Le porteur de projet reçoit un courrier électronique lui indiquant le détail des ressources qui lui ont été allouées. Deux types d'heures seront présentés, les heures proposées et les heures attribuées.

  • les heures attribuées sont des ressources garanties dans la mesure d'une consommation régulière sur une année, elles peuvent être plus ou moins réduites en fonction de la pression de la demande sur les moyens de GENCI.
  • les heures proposées sont les ressources qui semblent nécessaires aux experts et au président de CT de votre comité pour réaliser le projet. Elles vont permettre, si elles sont supérieures aux heures attribuées et si les disponibilités lors de la soumission des calculs le permettent, de pouvoir dépasser le quota de ressources limité aux heures attribuées.

Allocation Régulière (AR)

Rôle des Allocations Régulières

Les Allocations Régulières permettent d’avoir des ressources importantes, au-delà du seuil maximal autorisé par les Allocations Dynamiques (AD). Ces heures sont utilisées pour des travaux nécessitants, sur une année, des capacités supérieures à celles disponibles sur les calculateurs régionaux ou ceux des mésocentres. Les projets font en moyenne (en heures normalisées) 3 Mh cœurs pour les codes scalaires ou 250 Kh GPU pour les codes accélérés. Les plus grosses demandes peuvent dépasser les 50 Mh cœurs pour les codes scalaires ou 1 Mh GPU pour les codes accélérés.

Porteurs de projet et validations

Le dépôt des dossiers par les porteurs de projets sur le site eDARI à l’URL https://www.edari.fr est obligatoire ainsi que leur validation.

Dans le cadre d'une allocation régulière, le tableau ci-dessous résume quel statut est autorisé à déposer une demande de ressources et dans quel cas la validation du responsable de la structure de recherche est nécessaire :

Allocation Régulière Demande de ressources
Statut Porteur autorisé Visa Responsable
Membre permanent, ingénieur, post-doctorant oui nécessaire
Stagiaire M2, doctorant non


Les dates de fermeture sont strictes, cependant une tolérance de 48 h pourra être observée en cas d’incident justifié et indépendant du porteur de projet.

Les candidats sont responsables de l’exactitude des informations fournies dans les dossiers de candidatures, qu’il s’agisse des informations saisies sur le site eDARI ou des fichiers annexes téléchargés comme :

  • la présentation du projet ;
  • les publications scientifiques ;
  • les rapports d’activités (en cas de renouvellement de projet).

Note

Le proposant peut fournir à l'appui de son dossier un retour d'évaluation effectué par l'ANR lorsqu'il s'agit d’un projet demandant à la fois un financement ANR et une attribution des ressources sur les centres nationaux. La prise en compte de cette information ne dispense pas de l’expertise par les experts du CT.


Calendrier des Allocations Régulières

L’appel à projets pour les Allocations Régulières est ouvert en permanence, mais les sessions d’évaluation des dossiers restent biannuelles. Ces campagnes permettent chacune l’attribution de la moitié des ressources de calcul sur le parc de GENCI. La période de fin de dépôt pour les allocations paires a lieu autour de mi-février et autour de mi-septembre pour les allocations suivantes, les dates précises sont précisées sur le site web eDARI.

Chaque année, ces deux campagnes d’allocations permettent d'attribuer la totalité des ressources disponibles sur les calculateurs : une a lieu en mai (allocations paires) avec 40 % des ressources, l'autre en novembre (allocations impaires) avec la même quantité ; dans chaque cas l'attribution de ressources est d’une durée d’un an. Lors de chaque campagne, 20 % des ressources restantes sur 6 mois sont disponibles pour les demandes complémentaires.

Les deux périodes d’allocations DARI sont décalées entre elles de six mois. Ces périodes peuvent toutefois varier selon les dates de mise en service ou d’arrêt des machines.

  • Les allocations paires (A14, A16, etc.), dont les heures de calcul sont utilisables du mois de mai de l’année n à fin avril de l’année n+1 ;
  • Les allocations impaires (A15, A17, etc.), dont les heures de calcul sont utilisables du mois de novembre de l’année n à fin octobre de l’année n+1.

Rappel : La date limite pour que les dossiers soumis soient expertisés dans la prochaine allocation ou traités comme des demandes complémentaires de l’appel en cours (voir plus loin) est indiquée sur la page d’accueil du site eDARI (https://www.edari.fr).

Chronologie des procédures

Allocation paire

(A14, A16, etc.)

Allocation impaire

(A15, A17, etc.)

Date limite pour postuler Début février Fin août / début septembre
Phase d’expertise des dossiers (1,5 mois) février – mars septembre – octobre
Comité d’évaluation Une semaine avant la fin de l’expertise
Comité d’attribution des ressources avril octobre
Notification des attributions Une semaine avant le démarrage des projets
Phase d’allocation = utilisation des heures de calcul mai (année n) à avril (année n+1) novembre (année n) à octobre (année n+1)

Gestion d’un dossier d’Allocation Régulière

L’appel à projets An permet de :

  • déposer ou renouveler un dossier dans l’allocation régulière n. Lorsqu’un projet obtient des heures de calcul dans une allocation régulière, ces heures sont utilisables pendant un an.
  • déposer une demande d’heures complémentaires « à mi-parcours » (voir plus loin) pour l’allocation régulière n-1 d’un projet déjà en cours, dans ce cas l’allocation complémentaire sera pour 6 mois, jusqu'à la fin normale du projet.

Indépendamment de l’appel, il est possible de déposer Complément de ressources « au fil de l'eau » d’un projet en cours (AR ou AR)

Quelle que soit l’action souhaitée, un formulaire unique est disponible sur eDARI , via la rubrique : Demande de ressources ou demande d'accès, en cliquant sur : Demande de ressources à GENCI, Demandez un Accès Dynamique ou un Accès Régulier, Demandes de ressources, Créer ou renouveler un dossier de demande d'heures.

Dépôt d’un nouveau projet

On entend par nouveau projet un projet dont les finalités ou les moyens mise en œuvre sont radicalement différents d'un éventuel précédent dossier. Si tel n’est pas le cas, il s’agira d’un renouvellement de projet et non d'un nouveau projet.

Les délais d'obtention d'un Accès Régulier pouvant aller de 2 à 6 mois, vous avez la possibilité d'avoir ressources très rapidement. En effet, à la fin de la saisie de la demande, l’application offre au futur porteur de projet la possibilité d’accéder à des ressources en générant automatiquement, si vous le souhaitez, un Accès Dynamique le temps que sa demande d’Accès Régulier soit traitée, pour un délai de quelques mois (6 max.). Cet accès nommé Accès Dynamique de Transition (ADT) s’arrêtera dès que l’attribution de la demande d’Accès Régulier aura eu lieu (au 1er mai ou 1er novembre) ou, si la demande d’Accès Régulier a été rejetée par le Comité d’évaluation, se poursuivra sur une durée d'un an.

Les Allocations Dynamiques de Transition (ADT)

Comme mentionné plus haut, afin d’éviter d’être bloqué dans l'attente de l’attribution de nouvelles ressources (période d'expertise, tenue des Comités d'évaluation et d’attribution) lors d'un AR, il est possible de bénéficier d’une Allocation Dynamique de Transition (ADT) permettant de commencer ou continuer à travailler si la demande de ressources porte sur les mêmes machines et partitions que le dossier renouvelé ; avec pour conséquences  :

  • si des ressources sont allouées au dossier d’Allocation Régulière d'origine, la période d’allocation de l’Allocation Dynamique de transition se terminera au démarrage de cet Allocation Régulière ;
    • Au 1er Mai pour les allocations pairs (A14, A16,etc)
    • Au 1er Novembre pour les allocations impaires (A13,A15,A17,etc)
  • si aucune ressource n’est allouée pour le dossier d’Allocation Régulière suite à l'expertise, l’Allocation Dynamique de Transition se transformera en Allocation Dynamique classique d’une durée d’un an ; la date de démarrage de l’allocation restera celle de l’Allocation Dynamique de Transition.

Le directeur du centre concerné évaluera le dossier d’Allocation Dynamique de Transition de la même manière qu’un renouvellement de dossier d’Allocation Dynamique.

La seule restriction pour bénéficier d'un ADT est un délai de 3 semaines entre la fin de l'allocation précédente (en cas de renouvellement) et le début de l'allocation demandée. Pour les nouveaux dossiers, c'est la date du dépôt de visa + 1 an qui sert de date de fin d'allocation.

La demande d’ADT s’effectue au moment de la validation d’une demande de ressource d'un AR.

Important

  • L'ADT ne pourra être expertisé qu'une fois le visa de votre responsable déposé (token numérique ou papier).
  • Les heures obtenues sont calculées au prorata du temps entre le dépôt de demande et le début de l'allocation régulière à venir et fonction des heures de la demande initiale, avec un maximum correspondant au seuil des AD.
  • Tant que le seuil des AD n'est pas atteint, il est possible de faire une demande au fil de l'eau.

Renouvellement d’un projet existant ou expiré depuis moins de 2 ans

Le renouvellement d’un projet permet au porteur de continuer le même projet au-delà de la période initiale d’un an.

Le projet sera prolongé d’un an avec une nouvelle attribution. Attention, les heures de l’année en cours ne sont pas transférées sur l’année suivante, elles sont perdues si elles n’ont pas été consommées, à moins qu’elles aient été restituées avant sur le site eDARI.

Ainsi, un projet de l'appel A15 ne peut pas être renouvelé dans l'appel A16 : au plus tôt, il pourra l'être dans la campagne A17. En revanche, le porteur a la possibilité de déposer une demande d’allocation complémentaire à mi-parcours dans l'appel A16

Lors d’un appel à projets, seul le dernier projet validé pourra être renouvelé. Si le porteur n’a pas déposé de dossier récemment, il pourra renouveler un ancien dossier datant d’au maximum 2 ans. Ainsi, si un projet obtient des ressources dans une allocation régulière n, mais qu’il ne postule pas au renouvellement dans l’allocation régulière n+2 faute de besoins, il pourra demander le renouvellement du projet dans l’allocation régulière n+3. Ceci impliquera un changement de parité de son allocation, sans autre conséquence qu'une attention particulière aux dates des appels qui auront changé de 6 mois.

Il est possible de renouveler un dossier d'Accès Régulier vers un dossier d'Accès Dynamique et vice versa, cela se fait automatiquement en fonction des besoins en ressources exprimés dans le formulaire sur eDARI lors de son remplissage par le porteur de projet.

Complément de ressources « à mi-parcours » d’un projet en cours

Lors de l’appel à projets pour une allocation régulière n, les projets de l’allocation précédente n-1 peuvent déposer une demande d’heures complémentaires à mi-parcours, c’est-à-dire, 6 mois après le début du projet. Ces heures seront utilisables pendant les 6 derniers mois de leur allocation, de début mai à fin octobre ou de début novembre à fin avril, suivant la parité de l’appel.

Ces demandes sont évaluées avec le même processus que les demandes initiales (via les Comités d’évaluation et d’attribution).

Les demandes d’heures complémentaires pour les Accès Réguliers sont faites pour augmenter significativement les ressources attribuées. Elles sont principalement faites par des projets :

  • ayant sous-estimé leurs besoins, qui réalisent après les premiers mois de consommation que leur attribution ne sera probablement pas suffisante pour terminer le projet documenté ;
  • n’ayant pas eu l'attribution de la totalité de leur demande initiale, par manque de ressources disponibles sur les calculateurs ou à cause d'une évaluation défavorable de leur dossier initial par le Comité d’attribution.

Cette augmentation peut être du même ordre de grandeur de l’allocation initiale. Cependant, elle ne reportera pas la date de fin de la période d’allocation initiale du projet, sa durée de vie reste d'un an.

1/4 des ressources d’un appel sont réservées aux demandes à mi-parcours.

Processus d'attribution

Note

Les Comités Thématiques (CT) sont chargés de l’évaluation scientifique des dossiers sous la direction d’un président, chargé d’en proposer la liste des membres, de veiller à son fonctionnement et de rédiger le rapport du résultat de l’évaluation. Il y a 11 Comités Thématiques, la liste des Comités Thématiques et de leurs présidents respectifs est disponible à cette adresse : https://www.edari.fr/comite/liste.

Note

Le Comité d’évaluation élabore une proposition d’attribution, prenant en compte les contraintes et les équilibres entre spécialités représentées par les Comités Thématiques. Le Comité d’évaluation est formé :

  • du président nommé par le Conseil de GENCI, qui en préside les sessions (Marjorie Bertholus) ;
  • des présidents des Comités Thématiques https://www.edari.fr/comite/liste.;
  • du P.-D.G. de GENCI ou de son représentant.
Sont invités aux séances :
  • les responsables de centres de calcul (CINES, IDRIS et TGCC) ;
  • l'équipe opération de GENCI ;
  • un représentant de chacun des 5 associés de GENCI.
Le secrétariat du Comité est assuré par GENCI.

Note

Le Comité d’attribution est responsable de l’allocation des heures de calcul sur les moyens de GENCI, à l’exclusion des heures de calcul que les associés de GENCI attribuent directement. Le Comité d’attribution est formé de :

  • son président, le P.-D.G. de GENCI ou de son représentant ;
  • du président du comité d'évaluation ;
  • des présidents des Comités Thématiques https://www.edari.fr/comite/liste. ;
  • l'équipe opération de GENCI ;
Sont invités aux séances :
  • les responsables de centres de calcul (CINES, IDRIS et TGCC) ;
  • un représentant de chacun des 5 associés de GENCI.
Le secrétariat du Comité est assuré par GENCI.

Les principales étapes de l'allocation d’heures pour les Accès Réguliers sont :

  • Dépôts des dossiers
  • Expertises par les 11 Comités Thématiques
  • Réunion du Comité d'Évaluation
  • Réunion du Comité d'Attribution
  • Notification des résultats par GENCI

Une fois le dépôt des demandes effectué sur eDARI par les porteurs de projets, les dossiers sont évalués durant le mois précédant l’attribution par les membres des Comités thématiques et les centres de calcul en fonction de leur qualité scientifique et technique.

Il y a une double notation scientifique et technique :

  • la note scientifique a pour objectif d’évaluer l’excellence scientifique du projet (note A, B ou C) ;
  • la note technique évalue l’ensemble des moyens (techniques et humains) mis en œuvre pour la réalisation du projet (note A, B ou C) et la faisabilité de cette mise en œuvre.

Les heures proposées par les Comités Thématiques reflètent donc la qualité du dossier et ne tiennent pas compte des disponibilités sur les supercalculateurs. Lors du Comité d’évaluation, les heures proposées sont figées et ne peuvent plus être modifiées (sauf décision ultérieure du Comité d’attribution).

À l’issue de chaque session d’attribution ou campagne, les décisions d’attribution sont notifiées aux utilisateurs par GENCI.

Le porteur de projet reçoit un courrier électronique lui indiquant le détail des ressources qui lui ont été allouées. Deux types d'heures seront présentés, les heures proposées et les heures attribuées.

  • les heures attribuées sont des ressources garanties dans la mesure d'une consommation régulière sur une année, elles peuvent être plus ou moins réduites en fonction de la pression de la demande sur les moyens de GENCI.
  • les heures proposées sont les ressources qui semblent nécessaires aux experts et au président de CT de votre comité pour réaliser le projet. Elles vont permettre, si elles sont supérieures aux heures attribuées et si les disponibilités lors de la soumission des calculs le permettent, de pouvoir dépasser le quota de ressources limité aux heures attribuées.

En cas de rejet du dossier, les proposants peuvent exercer un recours auprès du Président-Directeur Général de GENCI. Le recours doit être communiqué à GENCI par courrier à l’adresse de GENCI ci-après, dans un délai de 21 jours à compter de la notification de la décision : Philippe Lavocat, GENCI, 6 bis, rue Auguste Vitu, 75015 Paris. Seules les demandes dûment justifiées sur le plan scientifique ou celles demandant la rectification d’erreurs manifestes pourront être considérées. Si la contestation est recevable, le Président-Directeur Général de GENCI saisira le Comité d’attribution pour réexamen du dossier ; la décision rendue est alors définitive.

Modalités d'accès aux calculateurs

Création d'une demande d'accès au calculateurs

L'accès aux calculateurs ne peut se faire qu'après avoir obtenu des ressources de calcul, soit en ayant fait des demandes de ressources, soit en s'étant rattaché à un projet disposant de ressources. Suite à l’attribution d’heures via le processus DARI, il n'y a pas d'ouverture implicite ou automatique de compte.

Note

Tout nouvel utilisateur d'un projet ayant eu des ressources de GENCI doit, sauf s’il possède déjà un compte, déposer une demande d’accès sur le calculateur du centre de calcul sur lequel il a obtenu des ressources, en cliquant sur « Faire la demande d’accès » dans la liste « Demande de ressources ou demande d'accès » sur la page principale.

Une fois vos ressources attribuées, une déclaration de compte calcul doit être réalisée directement sur eDARI en cliquant sur « Créer une déclaration de compte calcul » dans la liste des actions générales possibles ; cas particulier pour le personnel CNRS, INRIA ou membres d’un laboratoire CNRS ou associé : en se connectant sur eDARI via la Fédération Éducation-Recherche, il est possible de bénéficier, comme pour les validateurs (responsable de structure de recherche et Chargé de la Sécurité des Systèmes d’Information de cette structure), d’une dématérialisation complète du processus à la seule condition que l'adresse courriel soit la même que le login du compte eDARI.

Dans l'espace utilisateur du demandeur, la demande d'ouverture d'un compte dans un des trois centres se fait comme dans l'image suivante:

Attention

La demande d'accès aux calculateurs devra être validée par le responsable de recherche ainsi que le responsable réseaux et sécurité de l'organisme de recherche de l'utilisateur, quel que soit sont statut et son organisme de recherche.

Eléments à fournir pour la demande d'accès

L’ouverture de compte (obtention d’un login dans chaque centre) fait l’objet d’une procédure de demande d'accès.

Les utilisateurs doivent se conformer aux règles de sécurité et confidentialité de chaque centre ainsi qu'au respect de la charte d'utilisation en vigueur.

Important

Les mots de passe donnant accès à des équipements informatiques ou à des comptes doivent être choisis avec un soin tout particulier. Ils doivent être constitués d'au moins 12 caractères comportant un mélange de majuscules, minuscules, chiffres et caractères spéciaux. Ils doivent être changés au moins une fois par an et ne jamais être communiqués à autrui, ni laissés accessibles à proximité du poste de travail. Le droit d’utilisation est strictement personnel et n'est en aucun cas transmissible, même temporairement, à des collègues ou à des tiers. Un utilisateur n’a qu’un seul login, quel que soit le nombre de projets sur lesquels il travaille.

Quel que soit le centre, l’accès aux centres de calcul se fait par l’intermédiaire d'une connexion via un protocole chiffré : ssh, https. Un filtrage sur l'adresse IP permet de limiter l’accès aux utilisateurs légitimes.

Attention

Les adresses IP fournies lors de la demande de compte machine, doivent être localisées sur le territoire français, sinon la demande sera soumise à dérogation sur chacun des centres nationaux concernés.

Conditions de sécurité

Important

  • Il est interdit de s'approprier ou de tenter de s'approprier les droits d'usage ainsi que l'accès aux comptes d'autrui par quelque moyen que ce soit.
  • L’utilisateur qui, pour les besoins de son projet scientifique, partage des ressources dont il est propriétaire (fichiers, exécutables, répertoires, ...) doit limiter les droits d’accès donnés aux tiers concernés au strict minimum nécessaire.
  • La propagation volontaire de virus, le développement et l'utilisation de logiciels permettant de contourner les dispositifs de sécurité mis en place, ainsi que le détournement des ressources mises à disposition à des fins autres que celles décrites dans la demande d’attribution constituent des fautes susceptibles de sanctions professionnelles ou pénales.

Validation de la demande d'accès

La validation de l’accès au calculateur et l’ouverture effective des comptes relèvent de la décision du centre de calcul et peuvent faire l’objet d’une demande d’avis auprès du service du Haut Fonctionnaire de Défense et de Sécurité (HFDS) du Ministère en charge de l’Enseignement supérieur et de la Recherche.

La validation de l'accès permet l’utilisation du ou des calculateurs concernés dans le respect des éléments du règlement intérieur du centre de calcul. Ceci concerne notamment les obligations de respect des mesures relatives à la politique de sécurité informatique du centre et à la protection de la propriété intellectuelle. Les directeurs des centres de calcul, le cas échéant leur hiérarchie administrative, sont habilités à prendre les mesures nécessaires et en informer GENCI.

Attention

Tout utilisateur accédant aux ressources informatiques hébergées dans un centre doit avoir au préalable (lors de la saisie de la demande d'accès) approuvé la charte de bon usage des ressources informatiques du centre. L’accès au centre est soumis aux règles de sécurité applicables dans le centre.

L’attribution des heures effectuée par GENCI n’autorise l’utilisation des ressources informatiques que conformément au dossier de demande déposé sur eDARI. S’il s’avère que l’utilisation ne correspond pas au dossier de demande, par exemple, en ce qui concerne l’identité du ou des responsables de la recherche ou du fait d’informations inexactes fournies dans le dossier de demande, GENCI se réserve la possibilité d’annuler l’attribution à tout moment et sans délai. Dans ce cas, les mesures suivantes s'imposent :

  • le responsable du centre suspend l’accès au calculateur et en informe la hiérarchie administrative de l'utilisateur ainsi que GENCI ;
  • GENCI adresse à l’utilisateur concerné une demande d’information complémentaire sur l’utilisation des ressources appelant une réponse dans un délai de 5 jours ouvrés :
    • si l’information fournie ne permet pas de vérifier la conformité de l’utilisation au dossier de demande de ressources, GENCI notifie à l’utilisateur une décision motivée de blocage (gel) de son ou ses comptes de calcul, portant sur une période d’un mois. La période de blocage a pour but de permettre au candidat de faire appel de la décision de GENCI ;
    • en cas d’absence de réponse de l’utilisateur, le compte de calcul sera définitivement fermé et les données associées effacées.

En cas d’avis favorable de GENCI après la procédure d’appel, GENCI informera le centre de calcul de la possible réouverture du compte.

Vie du projet

Suivi des consommations

Outre les informations relatives au processus d’attribution, le portail de GENCI (https://www.edari.fr) permet le suivi mensuel de la consommation des projets sur les machines des centres nationaux. Le porteur est également prévenu par mail en cas de dépassement de son allocation ou en cas de sous-consommation.

Chaque centre informe autant que possible les utilisateurs sur son fonctionnement : en cas de problème de disponibilité des ressources, ou en cas d’arrêt planifié, des mails sont envoyés aux utilisateurs pour les informer et des informations sont disponibles sur les sites web des centres.

Les centres disposent également d'application pour suivre l'évolution de votre projet:

  • CINES
    • Tout au long de l’année, l’utilisateur peut visualiser sa consommation à l’adresse https://reser.cines.fr
  • IDRIS
    • Le service Extranet de l’IDRIS https://extranet.idris.fr/ permet de consulter ses allocations (heures de calcul, volumétrie des espaces fichiers, etc.) et de remettre à jour les données de contact (téléphone, mail, …) des utilisateurs.
  • TGCC
    • Chaque utilisateur peut disposer des informations de consommation relatives à son projet à travers la commande ccc_myproject.

Il est possible de voir la consommation d'un projet à tout moment en allant sur son espace utilisateur sur l'application www.edari.fr et dans le bloc lié au projet comme ci-dessous.

et en cliquant sur le lien de la consommation

La courbe bleue indique la consommation régulière attendue, et la courbe rouge la consommation réelle du projet.

Complément de ressources « au fil de l'eau » d’un projet en cours (AR ou AR)

À tout moment de l'année, les porteurs de projets AD ou AR peuvent déposer une demande « au fil de l'eau » après épuisement de l’allocation initiale, via le portail eDARI (https://www.edari.fr). Cette allocation supplémentaire ne changera pas la date de fin du projet (sa durée de vie reste d'un an).

  • Il est rappelé aux porteurs de projet d'AR que ces demandes doivent rester exceptionnelles, correspondre à un besoin ponctuel sans dépasser quelques pourcents de l’allocation initiale, afin de terminer un calcul en cours ou qui a rencontré un problème lors de sa réalisation. Attention, toute demande conséquente doit être déposée dans le cadre des sessions des campagnes d'attribution d’heures complémentaires. La possibilité de demande « au fil de l’eau » ne doit pas se substituer à une demande d’heures complémentaires à mi-parcours.
  • Dans le cas d'un AD, la demande au fil de l'eau peut aller jusqu'à la limite AD/AR.

Quel que soit le type d'accès, la demande au fil de l'eau d’heures supplémentaires doit s'effectuer sur la même machine que l’allocation en cours, mais pas forcément sur la même partition.

C'est pourquoi, dans la mesure où le total des ressources qui seraient demandées (initialement attribuées + demande « au fil de l’eau ») reste de l’ordre du montant initialement proposé par le Comité d’évaluation, les directeurs de centre ont toute latitude pour valider directement cette demande, en fonction des disponibilités des ressources correspondantes sur les supercalculateurs visés. Dans le cas contraire, le directeur du centre saisit le président du CT concerné pour arbitrage sur les plans scientifique et technique. L’objectif de cette souplesse est de laisser la possibilité aux directeurs de centre d’attribuer des ressources aux seuls projets bloqués par manque d’heures de calcul (souvent en fin de projet), lorsque la charge de la machine visée le permet.

Aucune validation de responsable du porteur n'est nécessaire pour ce type de demande.

Usage des ressources

Modalités de consommation des ressources

Les modalités de régulation sont homogènes entre les trois centres afin de favoriser l’utilisation optimale des ressources de GENCI ; elles permettent de consommer, au plus entre 125 % de l’allocation annuelle ou le montant des heures proposées par le président de CT.

Un projet ayant reçu des ressources sur un des supercalculateurs de GENCI dispose d’une allocation initiale (heures attribuées). Dès que la consommation d’un projet dépasse 125 % de son allocation initiale ou le montant des heures proposées par l'expert, ce projet est bloqué et plus aucun membre du projet ne peut soumettre de travaux.

Par ailleurs, un système de priorité permet de gérer l’exécution des travaux sur les calculateurs, de manière la plus équitable possible entre les projets. Ce système prend en compte différents paramètres, dont en particulier l’allocation initiale et la consommation passée : cette prise en compte décroit exponentiellement avec le temps, avec une demi-vie de 14 jours.

La notion de sur ou sous-consommation se fait en fonction de la consommation régulière de l'attribution. Par exemple, pour une bonne exploitation, les centres s'attendent à ce qu'un projet consomme environ 500 kh sur les derniers 15 jours si ce projet a obtenu 12 Mh sur l'année. par exple si ce même projet n'a consommé que 100 kh sur les 15 derniers jours, il sera considéré comme étant en sous-consommation. S'il a consommé plus de 500 kh, il sera considéré comme étant en sur-consommation.

  • un projet ayant sous-consommé durant les derniers jours/semaines bénéficie d’une priorité augmentée pour l’exécution de ses travaux ;
  • un projet ayant surconsommé durant les derniers jours/semaines peut continuer à s’exécuter mais avec une priorité plus faible ; il pourra donc bénéficier des cycles disponibles sur la machine cible en cas de faible charge (cycles qui sinon auraient été perdus), mais il n’est pas bloqué.

Ce système de priorité maximise l’utilisation effective des cycles du calculateur, en incitant les projets à utiliser leur allocation le plus régulièrement possible au cours de l’année pour pouvoir bénéficier d’un maximum de ressources avec une priorité élevée d'exécution.

En cas de sous-utilisation de la machine, il permet aux projets qui soumettent à ce moment-là, soit de rattraper leur retard, soit de prendre de l’avance en ayant une priorité d’exécution plus faible que les autres, sans autre limite que celle des 125 % leur allocation initiale de ressources ou des heures qui ont été proposées par le PCT.

Restitution par les utilisateurs des heures allouées non consommées

Les porteurs de projet (AD ou AR) ont la possibilité de restituer les heures lorsqu'ils savent qu’ils ne seront pas en capacité de consommer. En effet, les heures allouées à chaque projet sont garanties (si la consommation est régulière) car réservées. Cela bloque donc la réaffectation de ces heures à d’autres projets.

Aussi, dès que le porteur de projet a connaissance que son projet sera dans l’incapacité de consommer l’ensemble de son attribution, il peut rendre les heures directement via son interface sur eDARI, au prorata du temps restant et en tenant compte de sa future consommation sur la vie restante du projet puisque le projet ne dure qu'un an.

Par exemple, un projet de 12 Mh, qui n’a consommé que 4 Mh au milieu de sa période d’allocation et qui pense garder le même rythme de consommation (c’est-à-dire 666 kh/mois) pourrait restituer 2 Mh six mois avant la fin de son projet. En effet, les 2 millions d’heures non consommées les 6 premiers mois sont définitivement perdues, puisque réservés au projet. En revanche, si le porteur restitue les 2 Mh de la deuxième partie de la vie du projet, ces heures pourront être réattribuées à d’autres projets par le directeur de centre, pour des demandes au fil de l’eau ou même pour des Accès Dynamiques, après consolidation avec les autres restitutions d’heures.

Restitution par les centres des heures perdues en cas d’incidents fortuits

Un incident sur un calculateur peut entraîner l’arrêt brutal de travaux et par conséquent la perte des heures cœurs-CPU ou GPU consommées depuis le démarrage de ces travaux. Si l’incident est indépendant des codes et de l'action des utilisateurs, et si le volume des heures perdues s’avère conséquent par rapport à l’allocation dont dispose le projet, les utilisateurs affectés peuvent demander la restitution des heures cœurs-CPU ou GPU perdues auprès du service support du centre. Après analyse de la situation par le centre, le montant des heures de calcul perdues pourra alors être recrédité sur leur allocation courante. Cette procédure manuelle est applicable pour les trois centres de calcul nationaux.

Communication GENCI/Centres/Utilisateurs

Dans chaque centre, il existe un Comité des utilisateurs qui veille à ce que tous les projets auxquels des ressources informatiques ont été attribuées puissent être menés à bien, dans les meilleures conditions. Il transmet les observations de tous les utilisateurs sur le fonctionnement du centre et dialogue avec celui-ci pour définir les évolutions souhaitables (cela s’applique à l’ensemble des services délivrés). Vous trouverez sur le site web de chaque centre le nom des membres du Comité des utilisateurs, que vous pouvez contacter.

Annexes

Valorisation des ressources de GENCI et coefficients de normalisation

Valorisation des heures de calcul

C'est une moyenne, sur l’ensemble du parc de GENCI, des coûts complets financiers, divisés par les heures disponibles et pondérée par la puissance cœur ou GPU de chaque partition des calculateurs. Ce calcul se fait en fonction de l'architecture CPU ou GPU.

À titre indicatif, la valorisation des heures sur les machines en production est la suivante :

Centres Supercalculateurs Valorisation de l’heure en centimes d’euro HT par cœur ou GPU
IDRIS Jean Zay CSL
Jean Zay V100
Jean Zay A100
Jean Zay H100
TGCC Joliot-Curie SKL
Joliot-Curie Rome
Joliot-Curie V100
CINES Adastra MI200
Adastra MI300
Adastra Genoa

Valorisation du stockage

C'est une moyenne, sur l’ensemble du stockage du parc de GENCI, des coûts complets financiers divisés par les volumétries disponibles pour chaque espace (Work ou Store) en fonction de leurs technologies respectives. À titre indicatif, la valorisation des espaces de stockage est listée dans le tableau ci-dessous :

Type de stockage Valorisation du To sur 1 an en € HT
Work
Store

Remarque : Il n'y a pas de valorisation des espaces temporaires SCRATCH/TMP car ils sont intégrés dans le coût du calculateur.

Puissances relatives entre les partitions ou machines

Depuis l’origine de GENCI les puissances relatives entre les partitions ou machines sont listées par technologie (CPU ou GPU) dans le tableau ci-après. Elles sont établies à partir des retours d’expérience lors de la mise en production des calculateurs.

Par exemple, la quantité de travail effectuée sur un calculateur sera la même avec 2 heures-cœurs d’Ada ou 1 heure de Joliot-Curie Skylake/Intel ; autrement dit, un cœur Skylake est deux fois plus puissant qu'un cœur d’Ada. GENCI a choisi de ne pas comparer les architectures CPU et GPU, les technologies, les algorithmes utilisés dans les codes, leur optimisation n’étant pas comparables.

Coefficients de normalisation entre calculateurs ou partitions
Architecture CPU x86 TGCC Joliot Curie (Skylake/Intel)
Joliot Curie (Rome/AMD)
CINES Adastra (Genoa/AMD)
IDRIS Jean Zay (Cascade Lake/Intel)
Architecture GPU TGCC Joliot Curie (V100/Nvidia)
IDRIS Jean Zay (V100/Nvidia)
Jean Zay (A100/Nvidia)
Jean Zay (H100/Nvidia)
CINES Adastra (MI250x/AMD)
Adastra (MI300A/AMD)

Le tableau d’équivalence entre partitions de supercalculateurs mis en œuvre ci-avant sert aux calculs :

  • de l’empreinte carbone,
  • du coût financier par partition,
  • de la volumétrie des transferts de projets d’une partition à une autre lors de l’attribution,
  • des heures normalisées pour comparer les heures entre partition/machine/centre.

Calcul des émissions de Gaz à Effet de Serre

Les chiffres servant à calculer l'empreinte carbone des projets sont issus du calcul des empreintes des calculateurs de GENCI par type d'architecture (CPU ou GPU) avec la méthode du collectif Labos 1point5 moyennées et pondérées en fonction des puissances relatives de chaque partition des calculateurs de GENCI. Par conséquent, pour une même puissance consommée et pour une architecture particulière, accéléré par exemple, le bilan Eq CO₂ sera le même, quel que soit le GPU utilisé (V100, A100, MI250x et suivant).

Le périmètre du calcul est le même pour les 3 centres, c'est-à-dire : les équipements informatiques (calcul, stockage temporaire, réseau, etc.), le système d’alimentation et de refroidissement. Pour aucun des 3 centres la construction et l’entretien du bâtiment, ainsi que l’activité du personnel (transports) ne sont pris en compte.

Voici les valeurs d'émission de CO2 par architecture:

Architecture Emissions
CPU g EqCO2
GPU g EqCO2

L'envionnement EuroHPC


En 2018, la Commission européenne a mis en place une agence européenne de moyens consacrée au calcul intensif, à l'IA, et au calcul quantique, dénommée EuroHPC Joint Undertaking , qui a notamment lancé des programmes d'acquisition de 3 machines pré-exascale et de 2 machines exascale.


Note

Si les ressources de GENCI ne suffisent plus ou que celles demandées grèvent significativement l’exploitation des centres nationaux, le porteur de projet est encouragé à utiliser l’infrastructure européenne EuroHPC (https://eurohpc-ju.europa.eu/), particulièrement si ses besoins en ressources sont au-delà de 50 Mh-cœur CPU ou 500 kh GPU.

Les calculateurs Européens d'EuroHPC

EuroHPC met à disposition de la recherche européenne, académique, publique ou privée, neuf supercalculateurs situés dans toute l'Europe.

Les types de processeurs de chacun des supercalculateurs sont résumés ci-dessous:

Nom du Supercalculateur CENTRE/PAYS CONSTRUCTEUR/INTEGRATION PROCESSEURS CPU PROCESSEURS GPU
LUMI IT Center for Science (CSC) / Finlande Cray EX AMD MILAN AMD MI250X
Leonardo CINECA / Italie ATOS BullSequana XH2000 Intel Ice-Lake / Sapphire Rapids Nvidia A100
Marenostrum 5 Barcelona Supercomputing Center / Espagne ATOS BullSequana XH3000 / Lenovo ThinkSystem Intel Sapphire Rapids/ Intel Emeralds Rapids/ Nvidia Grace Superchip Nvidia H100
Meluxina LuxProvide / Luxembourg ATOS BullSequana XH2000 AMD ROME Nvidia A100
Karolina IT4Innovations National Supercomputing Center / Tchéquie HPE Apollo 2000Gen10 Plus and HPE Apollo 6500 AMD ROME Nvidia A100
Discoverer Sofia Tech Park / Bulgarie ATOS BullSequana XH2000 AMD ROME ---- NON ----
Vega IZUM / Slovénie ATOS BullSequana XH2000 AMD ROME Nvidia A100
Deucalion MACC / Portugal Fujitsu PRIMEHPC ARM / ATOS BULL SEQUANA A164FX (ARM) / AMD ROME Nvidia A100
Jupiter Juhlich Supercomputing centre / Allemagne EVIDEN BullSequana XH3000 SiPearl Rhea1 Nvidia GH200


Le consortium Jules Verne, piloté par la France, a été retenu par EuroHPC pour accueillir au TGCC, la 2e machine exascale européenne.

Les types d'accès sur EuroHPC

Important

L'agence EuroHPC offre plusieurs types d'accès aux calculateurs en fonction du montant d'heures souhaitées, de l'architecture et de la machine cible : Attention les volumétries indiquées le sont en 'heures/noeud', vous devez donc les adapter selon le calculateur d'EuroHPC choisit.

Les accès se font tous les mois, pour une période d'allocation de trois mois maximum.
La volumétrie d'heures demandées est au minimum de 2 kh heures nœuds CPU ou de 200 à 3,5 kh nœuds GPU suivant la partition ciblée. Les accès se font tous les mois, pour une période d'allocation d'une année.
La volumétrie d'heures demandées minimum entre 3 kh et 4,5 kh nœuds CPU et entre 400h et 4,5kh nœuds GPU suivant la partition ciblée Les accès se font 2 fois par an (date limite autour d'avril et juin), pour une période d'allocation d'une année.
La volumétrie d'heures demandées minimum entre 7,1 kh et 50 kh nœuds uniquement sur les partitions accélérées suivant la partition ciblée. Les accès se font tous les 6 mois (date limite autour de mars et septembre), pour une période d'allocation d'une année.
La volumétrie d'heures demandées est au minimum entre 32 kh et 80 kh nœuds CPU et entre 15 kh et 88 kh nœuds GPU suivant la partition ciblée. Les accès se font tous les 6 mois (date limite autour d'avril et octobre), pour une période d'allocation d'une année.
La volumétrie d'heures demandées est au minimum entre 120 kh et 240 kh nœuds CPU et entre 165 kh et 245 kh nœuds GPU suivant la partition ciblée.

Le support d'applications européen : EPICURE

Le 1er février 2024, EuroHPC JU a lancé un nouveau projet EPICURE. Ce projet vise à améliorer les services d'assistance aux utilisateurs pour les candidats retenus dans le cadre des accès aux calculateurs EuroHPC.

Ce projet offre une assistance aux utilisateurs en établissant et en exploitant un service européen de support aux applications HPC, partagé par plusieurs centres mais coordonné par le CSC - IT center for Science situé en Finlande. Ce service sert à encourager la meilleure utilisation possible des supercalculateurs par les chercheurs européens.

Tous les centres européens participant à l'initiative sont répertoriés ici dont le CINES.

Récupérée de « https://www.edari.fr/documentation/index.php?title=Documentation_complète&oldid=874 »