Vie du projet

Suivi des consommations

Outre les informations relatives au processus d’attribution, le portail de GENCI (https://www.edari.fr) permet le suivi mensuel de la consommation des projets sur les machines des centres nationaux. Le porteur est également prévenu par mail en cas de dépassement de son allocation ou en cas de sous-consommation.

Chaque centre informe autant que possible les utilisateurs sur son fonctionnement : en cas de problème de disponibilité des ressources, ou en cas d’arrêt planifié, des mails sont envoyés aux utilisateurs pour les informer et des informations sont disponibles sur les sites web des centres.

Les centres disposent également d'application pour suivre l'évolution de votre projet:

• CINES
  • Tout au long de l’année, l’utilisateur peut visualiser sa consommation à l’adresse https://reser.cines.fr

• IDRIS
  • Le service Extranet de l’IDRIS https://extranet.idris.fr/ permet de consulter ses allocations (heures de calcul, volumétrie des espaces fichiers, etc.) et de remettre à jour les données de contact (téléphone, mail, …) des utilisateurs.

• TGCC
  • Chaque utilisateur peut disposer des informations de consommation relatives à son projet à travers la commande ccc_myproject.

Complément de ressources « au fil de l'eau » d’un projet en cours (AR ou AR)

À tout moment de l'année, les porteurs de projets AD ou AR peuvent déposer une demande « au fil de l'eau » après épuisement de l’allocation initiale, via le portail eDARI (https://www.edari.fr). Cette allocation supplémentaire ne changera pas la date de fin du projet (sa durée de vie reste d'un an).

• Il est rappelé aux porteurs de projet d'AR que ces demandes doivent rester exceptionnelles, correspondre à un besoin ponctuel sans dépasser quelques pourcents de l’allocation initiale, afin de terminer un calcul en cours ou qui a rencontré un problème lors de sa réalisation. Attention, toute demande conséquente doit être déposée dans le cadre des sessions des campagnes d'attribution d’heures complémentaires. La possibilité de demande « au fil de l’eau » ne doit pas se substituer à une demande d’heures complémentaires à mi-parcours.
• Dans le cas d'un AD, la demande au fil de l'eau peut aller jusqu'à la limite AD/AR.

Quel que soit le type d'accès, la demande au fil de l'eau d’heures supplémentaires doit s'effectuer sur la même machine que l’allocation en cours, mais pas forcément sur la même partition.

C'est pourquoi, dans la mesure où le total des ressources qui seraient demandées (initialement attribuées + demande « au fil de l’eau ») reste de l’ordre du montant initialement proposé par le Comité d’évaluation, les directeurs de centre ont toute latitude pour valider directement cette demande, en fonction des disponibilités des ressources correspondantes sur les supercalculateurs visés. Dans le cas contraire, le directeur du centre saisit le président du CT concerné pour arbitrage sur les plans scientifique et technique. L’objectif de cette souplesse est de laisser la possibilité aux directeurs de centre d’attribuer des ressources aux seuls projets bloqués par manque d’heures de calcul (souvent en fin de projet), lorsque la charge de la machine visée le permet.

Aucune validation de responsable du porteur n'est nécessaire pour ce type de demande.

Usage des ressources

Modalités de consommation des ressources

Les modalités de régulation sont homogènes entre les trois centres afin de favoriser l’utilisation optimale des ressources de GENCI ; elles permettent de consommer, au plus entre 125 % de l’allocation annuelle ou le montant des heures proposées par le président de CT.

Un projet ayant reçu des ressources sur un des supercalculateurs de GENCI dispose d’une allocation initiale (heures attribuées). Dès que la consommation d’un projet dépasse 125 % de son allocation initiale ou le montant des heures proposées par l'expert, ce projet est bloqué et plus aucun membre du projet ne peut soumettre de travaux.

Par ailleurs, un système de priorité permet de gérer l’exécution des travaux sur les calculateurs, de manière la plus équitable possible entre les projets. Ce système prend en compte différents paramètres, dont en particulier l’allocation initiale et la consommation passée : cette prise en compte décroit exponentiellement avec le temps, avec une demi-vie de 14 jours.

La notion de sur ou sous-consommation se fait en fonction de la consommation régulière de l'attribution. Par exemple, pour une bonne exploitation, les centres s'attendent à ce qu'un projet consomme environ 500 kh sur les derniers 15 jours si ce projet a obtenu 12 Mh sur l'année. par exple si ce même projet n'a consommé que 100 kh sur les 15 derniers jours, il sera considéré comme étant en sous-consommation. S'il a consommé plus de 500 kh, il sera considéré comme étant en sur-consommation.

• un projet ayant sous-consommé durant les derniers jours/semaines bénéficie d’une priorité augmentée pour l’exécution de ses travaux ;
• un projet ayant surconsommé durant les derniers jours/semaines peut continuer à s’exécuter mais avec une priorité plus faible ; il pourra donc bénéficier des cycles disponibles sur la machine cible en cas de faible charge (cycles qui sinon auraient été perdus), mais il n’est pas bloqué.

Ce système de priorité maximise l’utilisation effective des cycles du calculateur, en incitant les projets à utiliser leur allocation le plus régulièrement possible au cours de l’année pour pouvoir bénéficier d’un maximum de ressources avec une priorité élevée d'exécution.

En cas de sous-utilisation de la machine, il permet aux projets qui soumettent à ce moment-là, soit de rattraper leur retard, soit de prendre de l’avance en ayant une priorité d’exécution plus faible que les autres, sans autre limite que celle des 125 % leur allocation initiale de ressources ou des heures qui ont été proposées par le PCT.

Il est possible de voir la consommation d'un projet à tout moment en allant sur son espace utilisateur sur l'application web et dans le bloc lié au projet comme ci-dessous.

et en cliquant sur le lien de la consommation

Restitution par les utilisateurs des heures allouées non consommées

Les porteurs de projet (AD ou AR) ont la possibilité de restituer les heures lorsqu'ils savent qu’ils ne seront pas en capacité de consommer. En effet, les heures allouées à chaque projet sont garanties (si la consommation est régulière) car réservées. Cela bloque donc la réaffectation de ces heures à d’autres projets.

Aussi, dès que le porteur de projet a connaissance que son projet sera dans l’incapacité de consommer l’ensemble de son attribution, il peut rendre les heures directement via son interface sur eDARI, au prorata du temps restant et en tenant compte de sa future consommation sur la vie restante du projet puisque le projet ne dure qu'un an.

Par exemple, un projet de 12 Mh, qui n’a consommé que 4 Mh au milieu de sa période d’allocation et qui pense garder le même rythme de consommation (c’est-à-dire 666 kh/mois) pourrait restituer 2 Mh six mois avant la fin de son projet. En effet, les 2 millions d’heures non consommées les 6 premiers mois sont définitivement perdues, puisque réservés au projet. En revanche, si le porteur restitue les 2 Mh de la deuxième partie de la vie du projet, ces heures pourront être réattribuées à d’autres projets par le directeur de centre, pour des demandes au fil de l’eau ou même pour des Accès Dynamiques, après consolidation avec les autres restitutions d’heures.

Restitution par les centres des heures perdues en cas d’incidents fortuits

Un incident sur un calculateur peut entraîner l’arrêt brutal de travaux et par conséquent la perte des heures cœurs-CPU ou GPU consommées depuis le démarrage de ces travaux. Si l’incident est indépendant des codes et de l'action des utilisateurs, et si le volume des heures perdues s’avère conséquent par rapport à l’allocation dont dispose le projet, les utilisateurs affectés peuvent demander la restitution des heures cœurs-CPU ou GPU perdues auprès du service support du centre. Après analyse de la situation par le centre, le montant des heures de calcul perdues pourra alors être recrédité sur leur allocation courante. Cette procédure manuelle est applicable pour les trois centres de calcul nationaux.

Communication GENCI/Centres/Utilisateurs

Dans chaque centre, il existe un Comité des utilisateurs qui veille à ce que tous les projets auxquels des ressources informatiques ont été attribuées puissent être menés à bien, dans les meilleures conditions. Il transmet les observations de tous les utilisateurs sur le fonctionnement du centre et dialogue avec celui-ci pour définir les évolutions souhaitables (cela s’applique à l’ensemble des services délivrés). Vous trouverez sur le site web de chaque centre le nom des membres du Comité des utilisateurs, que vous pouvez contacter.