Data Deduplication PLUS
DatendeduplizierungData Deduplication entfernt gleiche oder sehr ähnliche Beispiele aus einem Datenbestand.
Data Deduplication bedeutet, doppelte oder sehr ähnliche Dateneinträge zu erkennen und zu entfernen. Bei Sprachmodellen betrifft dies etwa wiederholte Textpassagen in Trainingssammlungen.
Beispiel: Derselbe Satz steht durch wiederholte Übernahme auf vielen Webseiten im Datensatz. Eine Dublettenbereinigung verhindert, dass jede Kopie als zusätzliches eigenständiges Beispiel behandelt wird. Die zitierte Studie untersucht auch lange wiederholte Textteile.
Mit KI Woche Plus weiterlesen
Dieser vertiefende Begriff ist Teil von KI Woche Plus. Alle anderen Begriffe lesen Sie mit einem kostenlosen Konto vollständig.
9,90 € im Monat oder 99,90 € im Jahr, inkl. USt.
Erklärung wird geladen …