Execution
Execution (Ausführung) im KI-Kontext umfasst den gesamten Prozess der Modellinferenz - vom Empfang einer Anfrage über die Berechnung bis zur Auslieferung des Ergebnisses - sowie die orchestrierte Ausführung von Multi-Step-Agent-Workflows.
Inferenz-Execution: Ein trainiertes Modell erhält eine Eingabe, führt den Forward Pass durch (Matrixmultiplikationen, Aktivierungsfunktionen, Attention-Berechnungen) und gibt das Ergebnis aus. Für ein LLM mit 70 Milliarden Parametern ist ein einzelner Forward Pass eine massive Berechnung. Die Latenz (Time to First Token, TTFT) und der Durchsatz (Tokens pro Sekunde) sind die kritischen Metriken.
Agent-Execution: Agentic-AI-Systeme führen mehrstufige Pläne aus - Tool-Aufrufe, API-Calls, Datenbankabfragen, Code-Ausführung - orchestriert durch ein LLM. Frameworks wie LangChain, CrewAI und AutoGen steuern diesen Execution Loop: Planen → Ausführen → Beobachten → Anpassen.
Die Herausforderung verteilter Execution: Wenn ein Modell auf mehrere GPUs verteilt ist (Tensor Parallelism, Pipeline Parallelism), muss die Execution zwischen den Devices koordiniert werden. vLLM, TensorRT-LLM und DeepSpeed Inference optimieren diese Orchestrierung.
Execution Environments: CUDA (Nvidia), ROCm (AMD), Metal (Apple), OpenVINO (Intel) sind die Laufzeitumgebungen, die neuronale Netze auf verschiedener Hardware ausführen. ONNX Runtime bietet eine hardwareagnostische Abstraktionsschicht.
Run
Verwandte Begriffe
Human-in-the-loopHuman-in-the-loop (HITL) ist ein Konzept, das die Kombination von maschineller Intelligenz und menschlichem …EvaluationEvaluation im ML ist der systematische Prozess, die Leistung eines Modells zu messen - und die Antwort auf d …TrainingTraining ist der Prozess, bei dem ein neuronales Netz lernt. Es bekommt Daten gezeigt, macht Vorhersagen, be …



