M3B Corpus

 M3B (Multi-Modal Meeting Behavior) Corpus は、グループミーティングにおける参加者の微小行動(Micro Behavior)を複数のセンサを用いて取得したセンサデータ,満足度や理解度についてのアンケートデータ,および被験者の仕草と動作(頷き,発言,笑い)をラベリングデータを含んだデータセットです。
 このとき,個人を特定するようなデータ(顔画像,音声)は加工および削除されております.

倫理規程について

本研究は奈良先端科学技術大学院大学の倫理審査機関の認証を受けています(受付番号: 2018-Ⅰ-28).
The study received ethics approval (approval no :2018-I- 28) after review by the research ethics committee at Nara Institute of Science and Technology.

実験の概要

実験の流れについては以下のようになっています.

  1. 4人の被験者は,回答が2択に絞られる簡単な議題について5分間ディスカッションを行います.この時の議題は,被験者の事前知識に依存せずに公平に議題に参加しやすいものを作成.(例:犬が好きか猫が好きか?,夏が好きか冬が好きか?)
  2. ディスカッションが終了したら,満足度や理解度についてのアンケートに回答します.
  3. 1および2を2回行い,各被験者は動画を参照し自身の仕草についてラベリング作業を行います.
ディスカッションを行なっている様子

データセットの概要

実験の詳細

実験の詳細については以下のようになっています.

  • 期間:
    2019年5月7日-6月5日
  • 被験者:
    奈良先端科学技術大学院大学ユビキタスコンピューティングシステム研究室の学生
    男性17名(うち2度実験に参加した者10名),女性4名(うち2度実験に参加した者2名)
  • 年齢:
    22歳から25歳まで
  • 母国語:
    日本語

データセットの作成には合計で120時間を要しました.そのほとんどはラベリング作業です.

使用したセンサの詳細

以下の3種類のセンサを使用しています.

RICOH THETA V

全参加者のミーティングの様子を動画として記録.

OpenFaceにより点群データおよびベクトルデータに変換済み.背景は黒画像.

スペック:
・4K動画
・360度動画
・フレームレート29.97fps

Pupil Labs Eye Tracker

各被験者の視線情報を録画.注視点の位置座標などを記録.

ワールドカメラが撮影した動画は顔画像が含まれるため除外.OpenFaceによって顔画像を点群データに変換したものを追加予定.

LPMS-B2

3軸の加速度センサおよび3軸の各加速度センサを搭載した慣性センサ(IMU).

Pupil Labsのつる部分に装着し,各被験者の頭部の加速度・角加速度などをCSVとして記録.

一部のセンサーデータは,デバイスの不調によりデータが欠損している場合があります.詳細につきましては,配布しているデータセット内に詳細を記述しています.

アンケートデータについて

各ディスカッションが終了した時に,意見の変化および満足度についてアンケートを行いました.回答は1~5の間です.

ID質問の詳細
A1ディスカッションの前,あなたの意見は前者(1)でしたか後者(5)でしたか
A2ディスカッションの後,あなたの意見は前者(1)でしたか後者(5)でしたか

1は否定,5は肯定,3はどちらでもないを表します.

質問ID質問の詳細
B1ディスカッションに満足した
B2自分の意見を発言できた
B3同じ意見を持つ他人の発言を聴けた
B4反対の意見を持つ他人の発言を聴けた
B5ディスカッションは楽しかった
B6他人から発言を中断させられた
B7もう一度このグループでディスカッションを行いたい
B8360度カメラが気になった

ラベリングデータについて

 各被験者は自身について頭部に現れる仕草や動作にラベリングを行いました.ラベリングの内容については以下の表のようになります.また,その際に仕草の理由についてもラベリングを行いました.

Label nameCategoryDetail
smileresponse特別な意味を持たない聞き手が発する笑い
agree同意を意味する笑い
interestingディスカッションが面白い時に発する笑い
sympathy同意を求める時の笑い
noddingresponse特別な意味を持たない頷き
agree同意を意味する頷き
talkdescription意見を説明する発言
objection反対意見を述べる時の発言
agree賛成意見を述べる時の発言
say発言権を他の人物に与える時の発言

利用条件

本データセットの利用は、非営利・研究用途に限ります。データセットを利用した研究成果を学会などで発表する際には、下記の論文を引用してください。

Yusuke Soneda, Yuki Matsuda, Yutaka Arakawa, Keiichi Yasumoto: “M3B Corpus: Multi-Modal Meeting Behavior Corpus for Group Meeting Assessment ”, UbiComp/ISWC ’19 Adjunct, September 9–13, 2019, London, United Kingdom.

コーパスのお問い合わせ

データ提供元

M3B Corpus は、九州大学 ヒューマノフィリックシステム研究室(荒川豊 研究室)および、奈良先端科学技術大学院大学 ユビキタスコンピューティングシステム研究室(安本慶一 研究室)の共同研究の成果です。