DoRA PLUS
DoRA zerlegt Modellgewichte in Betrag und Richtung und verwendet LoRA für die Anpassung der Richtung.
DoRA ist ein Verfahren zum sparsamen Nachtrainieren vortrainierter Modelle. Es zerlegt ein Gewicht in seine Größe und seine Richtung, um beide Aspekte bei der Anpassung zu berücksichtigen.
Für die Richtungsänderung nutzt DoRA die kleinen Zusatzmatrizen des LoRA-Verfahrens. Die Originalarbeit will damit Unterschiede zum vollständigen Fine-Tuning verringern und untersucht Sprachmodelle sowie Modelle, die Bilder und Sprache gemeinsam verarbeiten.
Mit KI Woche Plus weiterlesen
Dieser vertiefende Begriff ist Teil von KI Woche Plus. Alle anderen Begriffe lesen Sie mit einem kostenlosen Konto vollständig.
9,90 € im Monat oder 99,90 € im Jahr, inkl. USt.
Erklärung wird geladen …