Textual Explanations for Self-Driving Vehicles

Kim, Jinkyu; Rohrbach, Anna; Darrell, Trevor; Canny, John; Akata, Zeynep

doi:10.1007/978-3-030-01216-8_35

Textual Explanations for Self-Driving Vehicles

Kim, J., Rohrbach, A., Darrell, T., Canny, J., & Akata, Z. (2018). Textual Explanations for Self-Driving Vehicles. In V., Ferrari, M., Hebert, C., Sminchisescu, & Y., Weiss (Eds.), Computer Vision -- ECCV 2018 (pp. 577-593). Berlin: Springer. doi:10.1007/978-3-030-01216-8_35.

Item is 公開

表示: 全項目非表示: 全項目

基本情報

表示: 非表示:

アイテムのパーマリンク: https://hdl.handle.net/21.11116/0000-0001-DE86-E 版のパーマリンク: https://hdl.handle.net/21.11116/0000-0002-655D-5

資料種別: 会議論文

ファイル

表示: ファイル

作成者

表示:

非表示:

作成者:
Kim, Jinkyu¹, 著者
Rohrbach, Anna², 著者
Darrell, Trevor¹, 著者
Canny, John¹, 著者
Akata, Zeynep², 著者

所属:
1External Organizations, ou_persistent22
2Computer Vision and Multimodal Computing, MPI for Informatics, Max Planck Society, ou_1116547

内容説明

表示:

非表示:

キーワード: Explainable Deep Driving, BDD-X dataset

要旨: Deep neural perception and control networks have become key com-
ponents of self-driving vehicles. User acceptance is likely to benefit from easy-
to-interpret textual explanations which allow end-users to understand what trig-
gered a particular behavior. Explanations may be triggered by the neural con-
troller, namely
introspective explanations
, or informed by the neural controller’s
output, namely
rationalizations
. We propose a new approach to introspective ex-
planations which consists of two parts. First, we use a visual (spatial) attention
model to train a convolutional network end-to-end from images to the vehicle
control commands,
i
.
e
., acceleration and change of course. The controller’s at-
tention identifies image regions that potentially influence the network’s output.
Second, we use an attention-based video-to-text model to produce textual ex-
planations of model actions. The attention maps of controller and explanation
model are aligned so that explanations are grounded in the parts of the scene that
mattered to the controller. We explore two approaches to attention alignment,
strong- and weak-alignment. Finally, we explore a version of our model that
generates rationalizations, and compare with introspective explanations on the
same video segments. We evaluate these models on a novel driving dataset with
ground-truth human explanations, the Berkeley DeepDrive eXplanation (BDD-
X) dataset. Code is available at
https://github.com/JinkyuKimUCB/explainable-deep-driving

資料詳細

表示:

非表示:

言語: eng - English

日付: 受理: 2018オンライン出版: 2018-07-30出版: 2018

出版の状態: 出版

ページ: 24 p.

出版情報: -

目次: -

査読: -

識別子（DOI, ISBNなど）: BibTex参照ID: akataECCV18
DOI: 10.1007/978-3-030-01216-8_35

学位: -

訴訟

表示:

Project information

表示:

出版物 1

表示:

非表示:

出版物名: Computer Vision -- ECCV 2018

省略形 : ECCV 2018

副タイトル : 15th European Conference ; Munich, Germany, September 8-14, 2018 ; Proceedings, Part II

種別: 会議論文集

著者・編者:
Ferrari, Vittorio¹, 編集者
Hebert, Martial¹, 編集者
Sminchisescu, Cristian¹, 編集者
Weiss, Yair¹, 編集者

所属:
1 External Organizations, ou_persistent22

出版社, 出版地: Berlin : Springer

ページ: - 巻号: - 通巻号: - 開始・終了ページ: 577 - 593 識別子（ISBN, ISSN, DOIなど）: ISBN: 978-3-030-01215-1

出版物 2

表示:

非表示:

出版物名: Lecture Notes in Computer Science

省略形 : LNCS

種別: 連載記事

著者・編者:

所属:

出版社, 出版地: -

ページ: - 巻号: 11206 通巻号: - 開始・終了ページ: - 識別子（ISBN, ISSN, DOIなど）: -

アイテム詳細

基本情報

ファイル

関連URL

作成者

内容説明

資料詳細

関連イベント

訴訟

Project information

出版物 1

出版物 2