Deutsch
 
Hilfe Datenschutzhinweis Impressum
  DetailsucheBrowse

Datensatz

DATENSATZ AKTIONENEXPORT
  Learning explanations that are hard to vary

Parascandolo, G., Neitz, A., Orvieto, A., Gresele, L., & Schölkopf, B. (2021). Learning explanations that are hard to vary. In Ninth International Conference on Learning Representations (ICLR 2021).

Item is

Basisdaten

einblenden: ausblenden:
Genre: Konferenzbeitrag

Externe Referenzen

einblenden:
ausblenden:
externe Referenz:
https://openreview.net/pdf?id=hb1sDDSLbV (Verlagsversion)
Beschreibung:
-
OA-Status:
Keine Angabe

Urheber

einblenden:
ausblenden:
 Urheber:
Parascandolo, G, Autor
Neitz, A, Autor
Orvieto, A, Autor
Gresele, L1, Autor           
Schölkopf, B, Autor           
Affiliations:
1Department High-Field Magnetic Resonance, Max Planck Institute for Biological Cybernetics, Max Planck Society, ou_1497796              

Inhalt

einblenden:
ausblenden:
Schlagwörter: -
 Zusammenfassung: In this paper, we investigate the principle that good explanations are hard to vary in the context of deep learning.
We show that averaging gradients across examples -- akin to a logical OR of patterns -- can favor memorization and `patchwork' solutions that sew together different strategies, instead of identifying invariances.
To inspect this, we first formalize a notion of consistency for minima of the loss surface, which measures to what extent a minimum appears only when examples are pooled.
We then propose and experimentally validate a simple alternative algorithm based on a logical AND, that focuses on invariances and prevents memorization in a set of real-world tasks.
Finally, using a synthetic dataset with a clear distinction between invariant and spurious mechanisms, we dissect learning signals and compare this approach to well-established regularizers.

Details

einblenden:
ausblenden:
Sprache(n):
 Datum: 2021-05
 Publikationsstatus: Online veröffentlicht
 Seiten: -
 Ort, Verlag, Ausgabe: -
 Inhaltsverzeichnis: -
 Art der Begutachtung: -
 Identifikatoren: -
 Art des Abschluß: -

Veranstaltung

einblenden:
ausblenden:
Titel: Ninth International Conference on Learning Representations (ICLR 2021)
Veranstaltungsort: Wien, Austria
Start-/Enddatum: 2021-05-03 - 2021-05-07

Entscheidung

einblenden:

Projektinformation

einblenden:

Quelle 1

einblenden:
ausblenden:
Titel: Ninth International Conference on Learning Representations (ICLR 2021)
Genre der Quelle: Konferenzband
 Urheber:
Affiliations:
Ort, Verlag, Ausgabe: -
Seiten: - Band / Heft: - Artikelnummer: - Start- / Endseite: - Identifikator: -