Der Beitrag
Europas öffentlich geförderte Antwort auf die US-amerikanischen und chinesischen KI-Schwergewichte nimmt konkrete Formen an. Das Konsortium EUROPA, angeführt vom Mailänder Unternehmen Domyn (vormals iGenius) gemeinsam mit den Fraunhofer-Instituten IAIS und IIS, hat erste Skalierungstests für das geplante europäische Open-Source-Modell auf dem Exascale-Supercomputer JUPITER im Forschungszentrum Jülich abgeschlossen. Die Besonderheit: Während die Europäische Kommission im Rahmen ihrer Frontier AI Grand Challenge ein Modell mit mindestens 400 Milliarden Parametern vorgegeben hatte, peilt das Konsortium in seiner aktuellen Testkonfiguration 951,9 Milliarden Parameter an - mehr als das Doppelte des geforderten Minimums.
952 Milliarden Parameter: Wie das MoE-Netzwerk aufgebaut ist
Um ein Modell dieser Größenordnung rechentechnisch handhabbar zu halten, setzt das Konsortium auf eine sogenannte Sparse-Mixture-of-Experts-Architektur (MoE). Das neuronale Netz wird dabei in 384 spezialisierte Experten-Teilnetzwerke aufgeteilt. Bei der Verarbeitung eines Textbausteins (Tokens) werden dynamisch jeweils nur die acht am besten passenden Experten herangezogen. Dadurch sind pro Token lediglich 32,8 Milliarden Parameter aktiv, was den Rechenaufwand während des Trainings und der späteren Inferenz spürbar begrenzt.
Wie Domyn und Fraunhofer in einem gemeinsamen technischen Bericht mit PyTorch darlegen, umfasst die Konfiguration 74 Schichten, eine verborgene Dimension von 6.144 Einheiten und ein Sequenzfenster von 65.536 Tokens beim Vortraining. Bemerkenswert ist auch das Zusammenspiel der Optimierungsalgorithmen: Für rund 99,5 Prozent aller Gewichtsmatrizen kommt das speichersparende Verfahren Muon zum Einsatz, während die Router- und Einbettungsschichten über AdamW optimiert werden.
Nadelöhr InfiniBand: 14-mal schneller durch PyTorch und Grace-Offloading
Die größte ingenieurtechnische Hürde lag in den Eigenheiten der öffentlichen Forschungsinfrastruktur. Modelle dieser Dimension werden in der Privatwirtschaft meist auf eigens eingerichteten Clustern mit neuester Blackwell-Hardware trainiert. JUPITER ist hingegen ein öffentlich finanzierter Supercomputer, den sich Hunderte wissenschaftliche Projekte teilen. Das Konsortium besitzt dort lediglich reguläre Nutzerrechte und kann weder das Betriebssystem noch die Speicherzuweisung der Knoten modifizieren.
Im Booster-Modul von JUPITER arbeiten Rechenknoten mit je vier NVIDIA GH200 Grace Hopper Superchips. Der entscheidende Flaschenhals: Die InfiniBand-Verbindung zwischen verschiedenen Knoten ist rund 36-mal langsamer als die interne Verbindung zwischen GPU und CPU auf einem Modul. In den ersten Testläufen erzielte jede GPU deshalb magere 90 Tokens pro Sekunde, da die Beschleuniger die meiste Zeit auf Daten aus dem Netzwerk warten mussten. Durch Anpassungen am quelloffenen Framework TorchTitan - darunter das Zwischenlagern von Aktivierungspunkten im Arbeitsspeicher der Grace-CPU und eine optimierte Schachtelung von Rechen- und Transferschritten - steigerte das Team den Durchsatz auf rund 1.300 Tokens pro Sekunde und GPU. Sämtliche dieser Softwareanpassungen wurden direkt in die offiziellen Code-Repositories von PyTorch zurückgeführt.
Der Realitäts-Check: Ein Probelauf ist noch kein fertiges Modell
Trotz der erfolgreichen Vorabmessungen ist EUROPA noch kein fertiges Sprachmodell: Der veröffentlichte Bericht dokumentiert eine technische Demonstration für das verteilte Training. Das eigentliche vollständige Vortraining steht dem Projekt noch bevor. Zudem sind zentrale Fragen nach wie vor offen. Zwar verlangt die EU-Kommission eine vollständige Abdeckung aller 24 offiziellen Amtssprachen sowie strikte Konformität mit dem EU AI Act, doch die genaue Zusammensetzung der Trainingsdaten, benchmarkbasierte Leistungswerte und das finale Erscheinungsdatum wurden bisher nicht genannt.
Auch für Unternehmen, die auf ein souveränes Open-Source-Modell hoffen, bedeutet die Architektur eine erhebliche Hürde. Selbst bei einer 4-Bit-Quantisierung dürften die Gewichte von 952 Milliarden Parametern mindestens 476 Gigabyte Speicher beanspruchen. Ein lokaler Betrieb im Mittelstand erfordert damit spezialisierte Multi-GPU-Server oder Cloud-Instanzen - eine Problemstellung, die bereits beim privaten französischen Konkurrenten Mistral Large 4 für Diskussionen sorgte. Bis EUROPA als frei nutzbares Modell bereitsteht, müssen europäische Entscheider daher zunächst den tatsächlichen Start des Trainingslaufs abwarten.
🎯 Was das für die Praxis bedeutet
1. Europäische Infrastruktur als Basis: Die Skalierungstests belegen, dass geteilte europäische Supercomputer technisch in der Lage sind, Modelle der Billionen-Klasse zu trainieren.
2. Kein Grund für Zuwarten: Da das vollständige Training noch aussteht und kein Veröffentlichungsdatum feststeht, sollten Unternehmen aktuelle KI-Projekte nicht auf EUROPA vertagen.
3. Hohe Betriebshürden einplanen: Ein Modell mit knapp einer Billion Parametern benötigt selbst komprimiert Hunderte Gigabyte Arbeitsspeicher und wird primär über spezialisierte Hosting-Dienstleister nutzbar sein.
4. Sofortiger Nutzen für Open Source: Unabhängig vom Erscheinungstermin des Gesamtmodells stehen die im Projekt entwickelten Optimierungen in PyTorch und TorchTitan bereits weltweit zur Verfügung.
Quellen
Anzeige · Buch und Angebot von Markus Kirchmair
Noch ein Tool. Oder endlich weniger Arbeit?
Prüfen Sie mit No More Tools, welche Software und Abläufe Ihr Unternehmen tatsächlich braucht. Im Workshop entsteht ein priorisierter Fahrplan.




