Zum Inhalt springen
Modelle & Architekturen

Activation-aware Weight Quantization (AWQ) PLUS

In einem Satz

Activation-aware Weight Quantization (AWQ) reduziert Modellgewichte mit Rücksicht auf besonders wichtige Aktivierungen.

AWQ ist ein Verfahren, das die Zahlenpräzision der Gewichte eines Sprachmodells reduziert. Es berücksichtigt dabei, welche Gewichtskanäle für die tatsächlichen Aktivierungen besonders wichtig sind.

Aktivierungen sind die Zwischenwerte, die bei der Verarbeitung von Eingaben entstehen. AWQ sammelt deren Statistik vorab und nutzt eine äquivalente Skalierung, um empfindliche Kanäle bei der Quantisierung zu schützen. Das Verfahren benötigt dafür keine Rückwärtsrechnung durch das Netz.

PLUS

Mit KI Woche Plus weiterlesen

Dieser vertiefende Begriff ist Teil von KI Woche Plus. Alle anderen Begriffe lesen Sie mit einem kostenlosen Konto vollständig.

9,90 € im Monat oder 99,90 € im Jahr, inkl. USt.

Verwandte Begriffe

Sonntags die ganze KI Woche, kostenlos auf LinkedIn Editorial, die wichtigsten Themen und was daraus folgt. Jederzeit abbestellbar. Der Plus-Newsletter für Mitglieder von KI Woche Plus startet in Kürze.
Newsletter abonnieren

Willkommen zurück

Ein Konto für die KI Woche, Ihre Downloads und die App. Ohne Passwort: Sie bekommen einen Code per E-Mail.

Buch gekauft? Ihre Unterlagen finden Sie unter Downloads. Code erhalten? Hier einlösen. Datenschutz