Zum Inhalt springen
Hardware & Infrastruktur

Engine

In einem Satz

Eine Engine ist ein Kernmodul für eine bestimmte Verarbeitung; in der KI meint der Begriff meist die Laufzeitumgebung, die ein trainiertes Modell ausführt.

Eine Engine im Software-Kontext ist ein Kernmodul, das eine spezifische Verarbeitung leistet und von übergeordneten Systemen genutzt wird. Im KI-Bereich bezeichnet „Engine" typischerweise die Inferenz-Laufzeitumgebung, die ein trainiertes Modell ausführt.

TensorRT (Nvidia) ist die prominenteste KI-Inference Engine: Sie kompiliert trainierte Modelle in optimierten Code für Nvidia-GPUs - mit Techniken wie Layer Fusion, Kernel Auto-Tuning, Quantisierung und dynamischem Batching. Die Beschleunigung gegenüber nativem PyTorch kann Faktor 2-5x betragen.

Kostenlos anmelden und weiterlesen

Mit einem kostenlosen Konto lesen Sie 356 Begriffe vollständig, sehen im Toolfinder Stärken und Schwächen und können sich Begriffe merken.

Kostenlos anmeldenNur E-Mail, Code statt Passwort
Core

Verwandte Begriffe

Werbelink · Als Amazon-Partner verdiene ich an qualifizierten Verkäufen.

Sonntags die ganze KI Woche, kostenlos auf LinkedIn Editorial, die wichtigsten Themen und was daraus folgt. Jederzeit abbestellbar. Der Plus-Newsletter für Mitglieder von KI Woche Plus startet in Kürze.
Newsletter abonnieren

Willkommen zurück

Ein Konto für die KI Woche, Ihre Downloads und die App. Ohne Passwort: Sie bekommen einen Code per E-Mail.

Buch gekauft? Ihre Unterlagen finden Sie unter Downloads. Code erhalten? Hier einlösen. Datenschutz