NLP
Tokenizer
Ein Tokenizer zerlegt Text in kleinere Einheiten (Tokens), die das Modell verarbeiten kann. Ein Token kann ein Wort, ein Teilwort oder ein Zeichen sein. Ein guter Tokenizer ist wichtig, damit das Modell effizient lernt und auch seltene Wörter verstehen kann.
