Device

Device im KI-Kontext bezeichnet das Endgerät oder die Hardware, auf der ein KI-Modell ausgeführt wird — von Nvidia-GPU-Clustern in der Cloud bis zu winzigen Mikrocontrollern in IoT-Sensoren.

Die Hierarchie: Cloud-GPUs (H100, A100) für das Training und die Inferenz der größten Modelle. Edge-Devices (Smartphones, Laptops, Raspberry Pi) für lokale, latenzarme Inferenz. Mikrocontroller (Arduino, ESP32) für TinyML — Modelle auf Geräten mit weniger als 256 KB RAM.

On-Device AI ist ein wachsender Trend. Apples Neural Engine führt ML-Modelle direkt auf dem iPhone aus — Gesichtserkennung, Siri-Verarbeitung, Fotooptimierung. Googles Pixel-Phones nutzen die TPU für On-Device-Sprachverarbeitng. Qualcomms Snapdragon-Chips integrieren NPUs (Neural Processing Units) für lokale KI.

Die Vorteile von On-Device AI: Keine Internetverbindung nötig, niedrige Latenz (keine Roundtrip-Zeit zum Server), Datenschutz (die Daten verlassen das Gerät nicht) und Offline-Fähigkeit. Die Nachteile: Begrenzte Rechenleistung und Speicher, Modelle müssen komprimiert werden (Quantisierung, Pruning, Knowledge Distillation).

TinyML — Machine Learning auf Mikrocontrollern — ermöglicht KI in Geräten mit wenigen Cent Stückkosten: Sprachaktivierung in Hörgeräten, Vibrationserkennung in industriellen Sensoren, Gestenerkennung in Wearables. Pete Warden und Daniel Situnayake prägten das Feld mit ihrem Buch „TinyML" (O'Reilly, 2019).