Expert

Ein Expert im KI-Kontext hat zwei Bedeutungen: der menschliche Fachexperte (Domain Expert), dessen Wissen für die Entwicklung von KI-Systemen unverzichtbar ist, und der technische Expert in Mixture-of-Experts-Architekturen.

Human Expert: Domänenexperten definieren, welches Problem gelöst werden soll, liefern Domain Knowledge für Feature Engineering, annotieren Trainingsdaten (oder überprüfen Annotationen) und validieren Modellergebnisse. Ein KI-System für medizinische Diagnostik ohne Ärzte am Tisch ist zum Scheitern verurteilt.

Das Knowledge Engineering der 1980er Jahre versuchte, Expertenwissen explizit in Regeln zu kodieren (Expertensysteme). Das scheiterte am Knowledge Acquisition Bottleneck — Experten können oft nicht artikulieren, warum sie eine Entscheidung treffen. Machine Learning umgeht das Problem: Das Modell lernt die Muster aus Daten, statt sie von Experten erklärt zu bekommen.

Machine Expert (MoE): In Mixture-of-Experts-Architekturen (Shazeer et al., 2017) ist ein „Expert" ein spezialisiertes Sub-Netzwerk. Ein Router-Netzwerk wählt für jede Eingabe die relevantesten Experten aus. Mixtral 8x7B (Mistral, 2023) hat 8 Experten, von denen pro Token nur 2 aktiviert werden — das Modell hat 47B Gesamtparameter, aber die Inferenzkosten entsprechen einem 13B-Modell.

GPT-4 nutzt laut Gerüchten ebenfalls eine MoE-Architektur. Die Idee: Spezialisierung statt uniformer Verarbeitung — verschiedene Experten für Code, Mathematik, Sprache und Reasoning.