Meta annonce la première phase achevée de son supercluster Prometheus dans l'Ohio, visant environ 1 million de GPU
D'après Engineering at Meta, la première phase du supercluster Prometheus, à New Albany dans l'Ohio, est achevée, et l'éditeur travaille à le porter à environ 1 million de GPU. L'éditeur rattache à cette phase l'entraînement de sa famille de modèles fondateurs Muse, dont Muse Wonder, et ouvre sa présentation sur la sortie récente de cette famille. Il rapporte plus de 85 % de goodput en pré-entraînement, plus de 90 % en apprentissage par renforcement, et environ 47 000 heures GPU en moyenne entre deux interruptions.
Ce que ça change pour toi
L'éditeur présente Muse comme une famille de modèles fondateurs récemment sortie, entraînée sur cette première phase. Si tu veux t'appuyer sur ces modèles, la démarche praticable consiste à te renseigner auprès de l'éditeur sur les conditions d'accès et sur les modalités d'usage qui s'y rattachent.
1 seule source : information à recouper avant de s’y fier.
Meta a annoncé l'achèvement de la première phase de son supercluster Prometheus, à New Albany, dans l'Ohio, avec l'objectif de le porter à environ 1 million de GPU. Les modèles fondateurs Muse, dont Muse Wonder, y ont été entraînés. Meta rapporte plus de 85 % de goodput en pré-entraînement, plus de 90 % en apprentissage par renforcement et environ 47 000 heures GPU en moyenne entre deux interruptions.
Ce qui reste à vérifier
Les extraits dont je dispose sont partiels, donc je ne peux pas te confirmer le nombre de GPU installés dans la première phase, le calendrier de montée en charge vers 1 million de GPU, le coût du site ni sa consommation électrique réelle. Les taux de goodput et l'intervalle moyen entre interruptions sont des mesures rapportées par l'éditeur sur ses propres charges d'entraînement : traite-les comme des valeurs déclarées et confronte-les à tes propres essais si tu obtiens un accès.