Self-Attention

Self-Attention ist der revolutionäre Mechanismus im Transformer. Er erlaubt dem Modell, jedes Wort im Satz mit jedem anderen in Beziehung zu setzen, um den Kontext zu verstehen. Bei 'Die Bank am Fluss' weiß das Modell durch Attention, dass 'Bank' hier keine Sparkasse ist, weil das Wort 'Fluss' hohe Aufmerksamkeit bekommt.