Bounded Rational Decision-Making in Feedforward Neural Networks

Leibfried, F; Braun, D

Bounded Rational Decision-Making in Feedforward Neural Networks

Leibfried, F., & Braun, D. (2016). Bounded Rational Decision-Making in Feedforward Neural Networks. In A., Ihler, & D., Janzing (Eds.), Uncertainty in Artificial Intelligence (pp. 407-416). Corvallis, OR, USA: AUAI Press.

Item is 公開

表示: 全項目非表示: 全項目

基本情報

表示: 非表示:

アイテムのパーマリンク: https://hdl.handle.net/21.11116/0000-0000-7A8E-8 版のパーマリンク: https://hdl.handle.net/21.11116/0000-0000-7A8F-7

資料種別: 会議論文

ファイル

表示: ファイル

作成者

表示:

非表示:

作成者:
Leibfried, F^{1, 2}, 著者
Braun, D^{1, 2, 3}, 著者

所属:
1Max Planck Institute for Biological Cybernetics, Max Planck Society, ou_1497794
2Research Group Sensorimotor Learning and Decision-Making, Max Planck Institute for Biological Cybernetics, Max Planck Society, ou_1497809
3Research Group Sensorimotor Learning and Decision-making, Max Planck Institute for Intelligent Systems, Max Planck Society, ou_1688138

内容説明

表示:

非表示:

キーワード: -

要旨: Bounded rational decision-makers transform sensory input into motor output under limited computational resources. Mathematically, such decision-makers can be modeled as information-theoretic channels with limited transmission rate. Here, we apply this formalism for the first time to multilayer feedforward neural networks. We derive synaptic weight update rules for two scenarios, where either each neuron is considered as a bounded rational decision-maker or the network as a whole. In the update rules, bounded rationality translates into information-theoretically motivated types of regularization in weight space. In experiments on the MNIST benchmark classification task for handwritten digits, we show that such information-theoretic regularization successfully prevents overfitting across different architectures and attains results that are competitive with other recent techniques like dropout, dropconnect and Bayes by backprop, for both ordinary and convolutional neural networks.

資料詳細

表示:

非表示:

言語:

日付: 出版: 2016-06

出版の状態: 出版

ページ: -

出版情報: -

目次: -

査読: -

識別子（DOI, ISBNなど）: BibTex参照ID: LeibfriedB2016

学位: -

訴訟

表示:

Project information

表示:

出版物 1

表示:

非表示:

出版物名: Uncertainty in Artificial Intelligence

種別: 会議論文集

著者・編者:
Ihler , A., 編集者
Janzing, D., 編集者

所属:
-

出版社, 出版地: Corvallis, OR, USA : AUAI Press

ページ: - 巻号: - 通巻号: - 開始・終了ページ: 407 - 416 識別子（ISBN, ISSN, DOIなど）: ISBN: 978-0-9966431-1-5

アイテム詳細

基本情報

ファイル

関連URL

作成者

内容説明

資料詳細

関連イベント

訴訟

Project information

出版物 1