NLP
Token
Ein Token ist die Grundeinheit, in die ein Text zerlegt wird, damit ein LLM ihn verarbeiten kann. Ein Token kann ein ganzes Wort sein ('Apple'), ein Teil eines Wortes ('ing') oder sogar ein Leerzeichen. Als Faustregel gilt: 1000 Token entsprechen etwa 750 Wörtern. LLMs haben ein 'Token-Limit' (Kontextfenster), das sie gleichzeitig verarbeiten können.
