ELMo
ELMo erzeugt Wortvektoren, die vom Satzkontext abhängen, sodass dasselbe Wort je nach Bedeutung unterschiedliche Vektoren erhält; es war ein Vorläufer von BERT.
ELMo (Embeddings from Language Models), 2018 von Matthew Peters et al. (Allen Institute for AI) vorgestellt, war der Vorläufer von BERT und der Startschuss für kontextualisierte Wortrepräsentationen.
Das Problem vor ELMo: Word2Vec und GloVe erzeugten statische Embeddings - das Wort „Bank" hatte immer denselben Vektor, egal ob „Sitzbank" oder „Geldbank" gemeint war. Der Kontext ging verloren.
Kostenlos anmelden und weiterlesen
Mit einem kostenlosen Konto lesen Sie 356 Begriffe vollständig, sehen im Toolfinder Stärken und Schwächen und können sich Begriffe merken.
Erklärung wird geladen …



