Calcul vectoriel
Calcul HPC et IA
Stockage HPC
Infrastructure de ressources
Logiciels d’entreprise
Désagrégation des ressources
Assurer la fiabilité et la reproductibilité des résultats de simulation HPC est devenu une exigence critique tant dans la recherche académique que dans la recherche industrielle. Pourtant, en pratique, le processus qui a produit un résultat est souvent difficile à reconstituer — l’enregistrement manuel est chronophage, incomplet et sujet aux erreurs humaines.
| Le Défi | Ce que DPS4HPC apporte |
|---|---|
| Les informations nécessaires pour reproduire les résultats computationnels sont souvent non conservées — les données d’entrée et les étapes de traitement ne peuvent pas être retracées après l’exécution | Capture automatiquement l’ensemble des relations entre les données d’entrée, les étapes de traitement et les sorties — traçabilité complète sans effort supplémentaire |
| Les flux de travail computationnels deviennent des boîtes noires avec le temps, et la gestion des données repose fortement sur un effort manuel sujet aux erreurs | Automatise l’enregistrement de la provenance — DPS4HPC capture la provenance automatiquement pendant l’exécution des tâches, réduisant les erreurs humaines et la charge administrative |
| Reproduire des expériences passées ou partager des processus computationnels avec les réviseurs et collaborateurs est difficile et chronophage | Permet une reproduction précise des flux de travail passés à l’aide de données de provenance enregistrées — supporte la revue par les pairs, la validation et le transfert de connaissances sans faille |
DPS4HPC répond aux défis les plus courants de reproductibilité et de gestion des données dans les environnements de recherche computationnelle.
| Use Case | Environnement de recherche | Ce que DPS4HPC Permet |
|---|---|---|
| Identification des données à préserver | Recherche générant un grand nombre de fichiers intermédiaires à travers plusieurs exécutions expérimentales | Le graphe de provenance montre exactement quels intrants ont contribué aux résultats finaux — ne conservez que ce qui compte |
| Reproduire des expériences | Revue par les pairs, validation et transfert de connaissances lorsque les membres de l’équipe changent | Les expériences passées peuvent être reproduites avec précision à l'aide de données de provenance enregistrées automatiquement au niveau des tâches |
| Audit et conformité | Recherche soumise aux exigences du corps de financement, à la gouvernance institutionnelle ou aux normes internationales | Enregistrement complet, visible en cas de falsification, de la façon dont les résultats ont été produits — prêt à être revu à tout moment |
DPS4HPC s’intègre dans votre flux de travail HPC existant sans aucun changement. Les utilisateurs se connectent simplement et soumettent des travaux comme d’habitude — le système capture automatiquement la provenance en arrière‑plan.
DPS4HPC capture, stocke et visualise automatiquement les informations de provenance — sans nécessiter de modification de la façon dont les chercheurs exécutent leurs travaux.
Capture de provenance sans effort
Enregistrement complet au niveau des postes
Recherche et visualisation des données de provenance
Reproductibilité et collaboration
* FAIR (Findable, Accessible, Interoperable, Reusable) est un ensemble de principes directeurs pour la gestion des données de recherche, largement adopté par les organismes de financement et les institutions de recherche dans le monde entier.
DPS4HPC se compose des éléments suivants, travaillant en collaboration avec votre planificateur de tâches pour capturer, stocker et visualiser les informations de provenance.
| Planificateur de tâches | Capture des métadonnées au niveau du travail via un script wrapper intégré au planificateur |
| Tracer | Capture les détails d’exécution de processus et l’activité d’E/S de fichiers sur les nœuds de calcul avec un impact minimal sur les performances |
| Agrégateur | Agrège et corrèle l’activité d’E/S de fichiers, les métadonnées d’exécution de processus et les métadonnées de niveau de travail pour générer des registres de provenance structurés |
| Base de données de provenance | Stocke les données de provenance et les relations pour la recherche, la récupération et l’accès à long terme |
| Interface graphique de gestion | Fournit une interface web pour la recherche, la visualisation de graphe et le partage d’informations de provenance |
Pour en savoir plus sur DPS4HPC ou discuter de la manière dont NEC peut soutenir la reproductibilité et la gouvernance des données dans votre institution, veuillez nous contacter.
Alors que les charges de travail d’inférence IA, de traitement de données et de recherche partagée continuent de croître, les organisations investissent massivement dans l’infrastructure GPU. Cependant, les architectures centrées sur le serveur conventionnelles entraînent souvent une faible utilisation des GPU, une augmentation des besoins en puissance et en refroidissement, une faible efficacité d’investissement et une flexibilité opérationnelle limitée.
À mesure que les volumes de données augmentent rapidement dans les environnements de recherche, le déplacement des données — et non la performance de calcul — est devenu le principal goulot d’étranglement. Les données de recherche, alimentées par l’observation, la simulation et l’IA, ont rapidement atteint l’échelle de TB à PB, mais l’infrastructure de transfert n’a pas suivi le rythme.
Demandez un devis : notre équipe confirme la disponibilité, la compatibilité et un plan de déploiement.
