Deployment

Deployment (Bereitstellung) ist der kritische Schritt, in dem ein trainiertes KI-Modell aus der experimentellen Entwicklungsumgebung in den realen operativen Betrieb überführt wird. Ein Modell auf dem Laptop eines Data Scientists bringt keinen Geschäftswert; es muss in eine Softwarearchitektur integriert werden, wo es von Endnutzern oder anderen Systemen angesprochen werden kann.

Dies geschieht meist durch das Verpacken des Modells in eine API (Schnittstelle) oder einen Microservice (oft mittels Docker-Containern). Herausforderungen beim Deployment sind Latenz (das Modell muss schnell antworten), Skalierbarkeit (es muss tausende Anfragen gleichzeitig bedienen) und Ressourcenverbrauch. Technologien wie 'Quantisierung' (Verkleinerung des Modells) oder spezialisierte Hardware (TPUs, Inference Chips) helfen dabei.