Zum Inhalt springen
Training & Optimierung

AdaLoRA PLUS

In einem Satz

AdaLoRA verteilt ein begrenztes Budget trainierbarer Parameter nach der Bedeutung einzelner Modellteile.

AdaLoRA passt große vortrainierte Modelle mit wenigen zusätzlichen Parametern an. Das Verfahren verteilt dieses knappe Budget während des Trainings gezielt auf verschiedene Gewichtsmatrizen.

Die Originalarbeit bewertet die Bedeutung der Änderungen und stellt diese in einer Form dar, die an die Singulärwertzerlegung angelehnt ist. Weniger wichtige Komponenten können entfernt werden. So erhält nicht jede Gewichtsmatrix automatisch denselben Anteil am Anpassungsbudget.

PLUS

Mit KI Woche Plus weiterlesen

Dieser vertiefende Begriff ist Teil von KI Woche Plus. Alle anderen Begriffe lesen Sie mit einem kostenlosen Konto vollständig.

9,90 € im Monat oder 99,90 € im Jahr, inkl. USt.

Verwandte Begriffe

Sonntags die ganze KI Woche, kostenlos auf LinkedIn Editorial, die wichtigsten Themen und was daraus folgt. Jederzeit abbestellbar. Der Plus-Newsletter für Mitglieder von KI Woche Plus startet in Kürze.
Newsletter abonnieren

Willkommen zurück

Ein Konto für die KI Woche, Ihre Downloads und die App. Ohne Passwort: Sie bekommen einen Code per E-Mail.

Buch gekauft? Ihre Unterlagen finden Sie unter Downloads. Code erhalten? Hier einlösen. Datenschutz