Zum Inhalt springen
Training & Optimierung

DPO (Direct Preference Optimization) PLUS

In einem Satz

DPO ist ein Trainingsverfahren, das Sprachmodelle einfacher als RLHF an menschliche Präferenzen ausrichtet, indem es den Prozess in ein einziges überwachtes Lernziel fasst.

DPO (Direct Preference Optimization) ist ein Trainingsverfahren, das 2023 als elegante Alternative zu RLHF (Reinforcement Learning from Human Feedback) aufkam und die Art, wie Sprachmodelle auf menschliche Präferenzen ausgerichtet werden, vereinfacht.

Das Problem mit RLHF: Es erfordert drei separate Schritte - ein Reward Model trainieren, per RL (typischerweise PPO) das Sprachmodell optimieren und dabei ein Referenzmodell als Constraint nutzen. Jeder Schritt ist rechenintensiv und instabil. PPO-Training ist notorisch schwer zu tunen.

PLUS

Mit KI Woche Plus weiterlesen

Dieser vertiefende Begriff ist Teil von KI Woche Plus. Alle anderen Begriffe lesen Sie mit einem kostenlosen Konto vollständig.

9,90 € im Monat oder 99,90 € im Jahr, inkl. USt.

Method

Verwandte Begriffe

Sonntags die ganze KI Woche, kostenlos auf LinkedIn Editorial, die wichtigsten Themen und was daraus folgt. Jederzeit abbestellbar. Der Plus-Newsletter für Mitglieder von KI Woche Plus startet in Kürze.
Newsletter abonnieren

Willkommen zurück

Ein Konto für die KI Woche, Ihre Downloads und die App. Ohne Passwort: Sie bekommen einen Code per E-Mail.

Buch gekauft? Ihre Unterlagen finden Sie unter Downloads. Code erhalten? Hier einlösen. Datenschutz