DPO (Direct Preference Optimization) PLUS
DPO ist ein Trainingsverfahren, das Sprachmodelle einfacher als RLHF an menschliche Präferenzen ausrichtet, indem es den Prozess in ein einziges überwachtes Lernziel fasst.
DPO (Direct Preference Optimization) ist ein Trainingsverfahren, das 2023 als elegante Alternative zu RLHF (Reinforcement Learning from Human Feedback) aufkam und die Art, wie Sprachmodelle auf menschliche Präferenzen ausgerichtet werden, vereinfacht.
Das Problem mit RLHF: Es erfordert drei separate Schritte - ein Reward Model trainieren, per RL (typischerweise PPO) das Sprachmodell optimieren und dabei ein Referenzmodell als Constraint nutzen. Jeder Schritt ist rechenintensiv und instabil. PPO-Training ist notorisch schwer zu tunen.
Mit KI Woche Plus weiterlesen
Dieser vertiefende Begriff ist Teil von KI Woche Plus. Alle anderen Begriffe lesen Sie mit einem kostenlosen Konto vollständig.
9,90 € im Monat oder 99,90 € im Jahr, inkl. USt.
Erklärung wird geladen …