Vie du projet

Suivi des consommations

Outre les informations relatives au processus d’attribution, le portail eDARI permet le suivi mensuel de la consommation des projets sur les machines des centres nationaux. Le porteur est également prévenu par mail en cas de dépassement de son allocation ou en cas de sous-consommation.

Chaque centre informe autant que possible les utilisateurs sur son fonctionnement : en cas de problème de disponibilité des ressources, ou en cas d’arrêt planifié, des mails sont envoyés aux utilisateurs pour les informer et les informations sont disponibles sur une page dédiée des sites Web des centres :

• CINES
  • tout au long de l’année, l’utilisateur peut visualiser sa consommation sur le site https://reser.cines.fr .

• IDRIS
  • l'Extranet de l’IDRIS permet de consulter ses allocations (heures de calcul, volumétrie des espaces fichiers, etc.) et de remettre à jour ses données de contact (téléphone, mail, …).

• TGCC
  • chaque utilisateur peut disposer des informations de consommation relatives à son projet à travers la commande ccc_myproject.

Il est possible de voir la consommation d'un projet à tout moment en allant sur son espace utilisateur sur le site eDARI, dans le bloc lié au projet comme ci-dessous.

en cliquant sur le lien relatif à la consommation, on obtient par exemple l'écran :

La courbe bleue indique la consommation régulière attendue du projet et la courbe rouge sa consommation réelle.

Complément de ressources « au fil de l'eau » d’un projet en cours (AR ou AR)

À tout moment de l'année, les porteurs de projets d'AD ou d'AR peuvent déposer une demande « au fil de l'eau » après épuisement de l’allocation initiale, via le portail eDARI. Cette allocation supplémentaire ne changera pas la date de fin du projet : sa durée de vie reste d'un an.

• Il est rappelé aux porteurs de projet d'AR que ces demandes doivent rester exceptionnelles, correspondre à un besoin ponctuel sans dépasser quelques pourcents de l’allocation initiale, afin de terminer un calcul en cours ou qui a rencontré un problème lors de sa réalisation. Attention, toute demande conséquente doit être déposée dans le cadre des sessions des campagnes d'attribution d’heures complémentaires à mi-parcours (6 mois). La possibilité de demande « au fil de l’eau » ne doit pas se substituer à une telle demande d’heures complémentaires.
• Dans le cas d'un AD, la demande au fil de l'eau peut aller jusqu'à la limite AD/AR.

Quel que soit le type d'accès, la demande d’heures supplémentaires « au fil de l'eau » doit s'effectuer sur la même machine que l’allocation en cours, mais pas forcément sur la même partition.

C'est pourquoi, dans la mesure où le total des ressources qui seraient demandées (initialement attribuées + demande « au fil de l’eau ») reste de l’ordre du montant initialement proposé par le Comité d’évaluation, les directeurs de centre ont toute latitude pour valider directement cette demande, bien sûr en fonction des disponibilités des ressources correspondantes sur les supercalculateurs visés. Dans le cas contraire, le directeur du centre saisit le président du CT concerné pour arbitrage sur les plans scientifique et technique. L’objectif de cette souplesse est de laisser la possibilité aux directeurs de centre d’attribuer des ressources aux seuls projets bloqués par manque d’heures de calcul, souvent en fin de projet, lorsque la charge de la machine visée le permet.

Aucune validation de responsable du porteur de projet n'est nécessaire pour ce type de demande.

Usage des ressources

Modalités de consommation des ressources

Les modalités de régulation sont homogènes entre les trois centres afin de favoriser l’utilisation optimale des ressources de GENCI ; elles permettent de consommer, au plus entre 125 % de l’allocation annuelle ou le montant des heures proposées par le président de CT.

Un projet ayant reçu des ressources sur un des supercalculateurs de GENCI dispose d’une allocation initiale (heures attribuées). Dès que la consommation d’un projet dépasse 125 % de son allocation initiale ou le montant des heures proposées par le président de CT, ce projet est bloqué : plus aucun membre du projet ne peut soumettre de travaux.

Par ailleurs, un système de priorité permet de gérer l’exécution des travaux sur les calculateurs de manière la plus équitable possible entre les projets. Ce système prend en compte différents paramètres, dont en particulier l’allocation initiale et la consommation passée : cette prise en compte décroît exponentiellement avec le temps, avec une demi-vie de 14 jours.

La notion de sur ou sous-consommation est basée sur une consommation régulière de l'attribution. Par exemple, pour une bonne exploitation, les centres s'attendent à ce qu'un projet consomme environ 500 kh sur les derniers 15 jours si ce projet a obtenu 12 Mh sur l'année. Si ce même projet n'a consommé que 100 kh sur les 15 derniers jours, il sera considéré comme étant en sous-consommation ; s'il a consommé plus de 500 kh, il sera considéré comme étant en sur-consommation.

• un projet ayant sous-consommé durant les derniers jours/semaines bénéficie d’une priorité augmentée pour l’exécution de ses travaux ;
• un projet ayant surconsommé durant les derniers jours/semaines peut continuer à s’exécuter mais avec une priorité plus faible. Il pourra donc bénéficier des cycles disponibles sur la machine cible en cas de faible charge (cycles qui sinon auraient été perdus), mais il n’est pas bloqué.

Ce système de priorité maximise l’utilisation effective des cycles du calculateur, en incitant les projets à utiliser leur allocation le plus régulièrement possible au cours de l’année pour pouvoir bénéficier d’un maximum de ressources avec une priorité élevée d'exécution.

En cas de sous-utilisation de la machine, il permet aux projets qui soumettent à ce moment-là soit de rattraper leur retard, soit de prendre de l’avance en ayant une priorité d’exécution plus faible que les autres, sans autre limite que celle des 125 % leur allocation initiale de ressources ou des heures qui ont été proposées par le président de CT.

Restitution par les utilisateurs des heures allouées non consommées

Les porteurs de projet (AD ou AR) ont la possibilité de restituer les heures lorsqu'ils savent qu’ils ne seront pas en capacité de consommer. En effet, les heures allouées à chaque projet sont garanties, car réservées (si la consommation est régulière) : cela bloque la réaffectation de ces heures à d’autres projets.

Aussi le porteur de projet peut-il rendre les heures directement via son interface sur eDARI, au plus tôt dès qu'il a connaissance de l’incapacité de son projet à consommer l’ensemble de son attribution, ceci au prorata du temps restant et en tenant compte de sa future consommation sur la vie restante du projet, puisque le projet ne dure qu'un an.

Par exemple, un projet de 12 Mh, qui n’a consommé que 4 Mh au milieu de sa période d’allocation et qui pense garder le même rythme de consommation (c’est-à-dire 666 kh/mois) sur la fin de sa durée de vie pourrait restituer 2 Mh six mois avant sa fin. En effet, les 2 millions d’heures non consommées les 6 premiers mois sont définitivement perdues, puisqu'elles étaient réservées au projet. En revanche, si le porteur restitue les 2 Mh de la deuxième moitié de la vie du projet, ces heures pourront être réattribuées à d’autres projets par le directeur de centre, que ce soit pour des demandes au fil de l’eau ou même pour des Allocations Dynamiques, après consolidation avec les autres restitutions d’heures.

Restitution par les centres des heures perdues en cas d’incidents fortuits

Un incident sur un calculateur peut entraîner l’arrêt brutal de travaux et par conséquent la perte des heures cœurs-CPU ou GPU consommées depuis le démarrage de ces travaux. Si l’incident est indépendant des codes et de l'action des utilisateurs et si le volume des heures perdues s’avère conséquent par rapport à l’allocation dont dispose le projet, les utilisateurs affectés peuvent demander la restitution des heures-cœurs CPU ou GPU perdues auprès du service support du centre. Après analyse de la situation par le centre, le montant des heures de calcul perdues pourra alors être recrédité sur leur allocation courante. Cette procédure manuelle est applicable pour les trois centres de calcul nationaux.

Suivi du bilan carbone du projet

Lors de la réception de la notification de l'attribution d'heures, la valorisation en Euros et en équivalent-tonne carbone vous sera donné à titre indicatif ; ce montant correspond à la consommation de la totalité des heures attribuées.

Tout au long de votre projet, les centres fourniront des chiffres de bilan carbone à l'issue de chaque calcul.

De plus, les responsables de laboratoires membres du CNRS ou de l'INRIA peuvent consulter ces chiffres sur le site www.edari.fr en suivant la procédure rappelée ici (F.A.Q).

Communication GENCI/Centres/Utilisateurs

Dans chaque centre, il existe un Comité des utilisateurs qui veille à ce que tous les projets auxquels des ressources informatiques ont été attribuées puissent être menés à bien, dans les meilleures conditions. Il transmet les observations de tous les utilisateurs sur le fonctionnement du centre et dialogue avec celui-ci pour définir les évolutions souhaitables (cela s’applique à l’ensemble des services délivrés). Vous trouverez sur le site Web de chaque centre le nom des membres du Comité des utilisateurs, que vous pouvez contacter.