Zum Inhalt springen
Training & Optimierung

DoRA PLUS

In einem Satz

DoRA zerlegt Modellgewichte in Betrag und Richtung und verwendet LoRA für die Anpassung der Richtung.

DoRA ist ein Verfahren zum sparsamen Nachtrainieren vortrainierter Modelle. Es zerlegt ein Gewicht in seine Größe und seine Richtung, um beide Aspekte bei der Anpassung zu berücksichtigen.

Für die Richtungsänderung nutzt DoRA die kleinen Zusatzmatrizen des LoRA-Verfahrens. Die Originalarbeit will damit Unterschiede zum vollständigen Fine-Tuning verringern und untersucht Sprachmodelle sowie Modelle, die Bilder und Sprache gemeinsam verarbeiten.

PLUS

Mit KI Woche Plus weiterlesen

Dieser vertiefende Begriff ist Teil von KI Woche Plus. Alle anderen Begriffe lesen Sie mit einem kostenlosen Konto vollständig.

9,90 € im Monat oder 99,90 € im Jahr, inkl. USt.

Verwandte Begriffe

Sonntags die ganze KI Woche, kostenlos auf LinkedIn Editorial, die wichtigsten Themen und was daraus folgt. Jederzeit abbestellbar. Der Plus-Newsletter für Mitglieder von KI Woche Plus startet in Kürze.
Newsletter abonnieren

Willkommen zurück

Ein Konto für die KI Woche, Ihre Downloads und die App. Ohne Passwort: Sie bekommen einen Code per E-Mail.

Buch gekauft? Ihre Unterlagen finden Sie unter Downloads. Code erhalten? Hier einlösen. Datenschutz