Edge AI

Edge AI bringt KI-Inferenz direkt auf Endgeräte — Smartphones, IoT-Sensoren, Kameras, Drohnen, Fahrzeuge — statt die Daten zur Cloud zu schicken. Das Ziel: Echtzeitverarbeitung, Datenschutz und Offline-Fähigkeit.

Die Motivation ist dreifaltig. Latenz: Cloud-Roundtrips kosten 50-200ms — inakzeptabel für autonomes Fahren, Robotik oder AR. Privatsphäre: Medizinische Bilder, Überwachungsvideos oder persönliche Daten müssen das Gerät nicht verlassen. Bandbreite: Ein Flotte von 1000 Kameras, die jeweils 4K-Video zur Cloud streamen, würde die Leitung sprengen.

Die Hardware-Landschaft: Nvidia Jetson (GPU-Modul für Robotik und Embedded), Google Coral (Edge-TPU, USB-Dongle oder Modul), Apple Neural Engine (integriert in jedem iPhone seit A11), Qualcomm AI Engine (in Snapdragon-Prozessoren), Intel Movidius (Vision Processing Unit).

Die Software-Challenge: Modelle für Edge-Devices müssen komprimiert werden — ein 70B-Parameter-LLM passt nicht auf ein Smartphone. Techniken: Quantisierung (FP32 → INT8 → INT4), Knowledge Distillation (kleines Modell ahmt großes nach), Pruning (unnötige Gewichte entfernen), Neural Architecture Search (NAS — automatisch Architekturen finden, die effizient auf Edge-Hardware laufen).

TinyML — ML auf Mikrocontrollern mit weniger als 256 KB RAM — ist die Extremform: Keyword Detection in Sprachassistenten, Vibrationserkennung für Predictive Maintenance, Gestenerkennung in Wearables. Die Modelle sind winzig (10-100 KB), aber für ihre spezifische Aufgabe ausreichend.