Engine
Eine Engine ist ein Kernmodul für eine bestimmte Verarbeitung; in der KI meint der Begriff meist die Laufzeitumgebung, die ein trainiertes Modell ausführt.
Eine Engine im Software-Kontext ist ein Kernmodul, das eine spezifische Verarbeitung leistet und von übergeordneten Systemen genutzt wird. Im KI-Bereich bezeichnet „Engine" typischerweise die Inferenz-Laufzeitumgebung, die ein trainiertes Modell ausführt.
TensorRT (Nvidia) ist die prominenteste KI-Inference Engine: Sie kompiliert trainierte Modelle in optimierten Code für Nvidia-GPUs - mit Techniken wie Layer Fusion, Kernel Auto-Tuning, Quantisierung und dynamischem Batching. Die Beschleunigung gegenüber nativem PyTorch kann Faktor 2-5x betragen.
Kostenlos anmelden und weiterlesen
Mit einem kostenlosen Konto lesen Sie 356 Begriffe vollständig, sehen im Toolfinder Stärken und Schwächen und können sich Begriffe merken.
Erklärung wird geladen …



