復習 パフォーマンス評価 主観評価 インタラクション評価 テストをどのよう

ユーザビリティテスティング・第4回
2013/10/28
ユーザビリティテスティング・第4
ユーザビリティテスティング・第4回
復習
ユーザビリティテストの進め方
パフォーマンス評価
主観評価
「使いやすさ」の評価：作業効率、エラー率など
【例】キーボードの使いやすさを評価する
「1秒あたりの文字入力数」「エラー率」で比較
する。
複数のキーボードで比較して、「どちらが効率よ
く」「より正確に」入力できたかを比較する。
「印象」の評価：安心して、気分良く、好感を持っ
て出来たかという印象
【例】キーボードの快適性を評価する
質問紙（アンケート用紙）を作成して主観的印象
を収集する。
複数のキーボードで比較して、「どちらがより好
ましいと感じるか」「どちらがより早いと感じる
か」を比較する。
3
インタラクション評価
テストをどのように進めるか
「わかりやすさ」を評価する
評価の方法
3つのテスト方法
インタフェイスを利用している被験者の行為を観
察する。
特徴的な行為について詳細を記録し、被験者間で
比較する。
社会学者など、コミュニケーションの専門家との
連携が重要。
5
(c) 2013 Jun Yamashita
4
パフォーマンス評価
主観評価
インタラクション評価
ノイズがある環境では正しいデータを取得するこ
とはできない！
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
6
1
ユーザビリティテスティング・第4回
2013/10/28
ユーザビリティテストの実施方法
ユーザビリティテストの流れ
1.
2.
3.
4.
5.
6.
ユーザビリティテストの
実施方法
テストの企画
テスト方法の検討
実験環境の準備と被験者の選定
テストのリハーサル
テストの実施
データの集計と分析、評価
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
テストの企画
8
テスト方法の検討
何を、どのようにテストするのかについて検討する
タスクの詳細決定
テストの目標を決定し、それを達成するためのタスクの
内容を決定する
目的
目標
タスク
テスト方法
評価方法
スケジュール
タスク順序の決定
どのような順番で実験を進めるか決定する
タスク指示書の作成
タスクの指示内容を明文化する
タスク時間配分の確認
各タスクに必要となる時間について確認する
教示内容の決定
タスクを開始する前に被験者に教示する内容を決定する
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
9
実験環境の準備と被験者の選定
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
10
被験者の募集
実験のスケジュールを確定する
スケジュールにあわせて被験者を集める
実験環境を整備する
被験者の属性は実験の目的に応じて依頼する。
被験者を「人材派遣会社」から調達する。
少ない被験者数で実験する工夫
実験に利用するシステム
実験を記録する機材
アンケート
指示書
被験者内配置
被験者外配置
実験によっては大学の倫理委員会の判断を仰ぐ
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
(c) 2013 Jun Yamashita
11
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
12
2
ユーザビリティテスティング・第4回
2013/10/28
被験者内配置と被験者外配置
被験者の数と信頼性
統計的な観点だと…
被験者内配置
複数の実験を同じ被験者に行ってもらう
順序効果が出ないような考慮が必要
少ない被験者で実験が行える
t検定で1水準15名
ノンパラメトリック検定で10名
場合によっては数百名
被験者外配置
複数の実験を違う被験者に行ってもらう
順序効果などの心配はない
各々の母集団に偏りが出ないような工夫が必要
重要な事は、母集団が偏らないこと
年 月 日 実世界指向インタフェイス・第7回
14
年 月 日 実世界指向インタフェイス・第7回
16
2007 2 5
被験者を「プロ」に依頼する
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
15
テストのリハーサル
テストの実施
実験計画に無理がないか、リハーサルを行い
チェックする
テストの実施手順
システムのデバッグ
実験タスクの難易度と時間配分
タスクの順番や指示の方法
記録機材の動作チェック
実施者の役割分担
問題が見つかった場合には修正し、必要に応じ
て再度リハーサルを行う
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
(c) 2013 Jun Yamashita
2007 2 5
17
1. 実験環境の整備（実験タスク、録画録音の開始、
指示書の手配）
2. 被験者の入室
3. 実験目的と実験タスクの説明（目的は場合によ
る。報酬を与える場合も）
4. 練習タスクの実施と質疑応答
5. 本番タスクの実施
6. 質問紙への記入
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
18
3
ユーザビリティテスティング・第4回
2013/10/28
データの集計と分析、評価
測定指標の例
実験で記録したデータを整理・分類する
数値データについては、適切な統計処理を用い
て分析する
初心者と上級者の比較
NEM (Novice Expert ratio Method)評価
データは出来る限り実験終了直後に整理する
テープへのラベリング(データ名の変更)
ユーザ行為の記録(ノートへのメモ)
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
19
テストを効果的に行うには
年 月 日 実世界指向インタフェイス・第7回
20
十分なリハーサルを行う
充分なリハーサルを行う
スケジュールには余裕を持たせる
アンケートはわかりやすい言葉で
アンケートは具体的に聞く
3割の被験者で一度チェックする
プロトタイピングを活用する
実験を行いながらメモを取る
2007 2 5
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
リハーサルを行わない実験は大抵失敗する。
充分にリハーサルを行って、予想される不具合は
事前に解消しておく。
システムは問題なく動くか。問題がある場合には
どのようにフォローするのか。
データは正常に取得できるか。
指示書はすらすらと読めるか。
21
スケジュールには余裕を持たせる
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
22
アンケートはわかりやすい言葉で
実験当日は何かとトラブルが発生する。
システムがうまく動かない。
実験に予想以上に時間がかかる。
被験者が遅刻してくる。
並列処理の限界を知る。
Carolyn Cnyder
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
(c) 2013 Jun Yamashita
23
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
著・ペーパープロトタイピングより
24
4
ユーザビリティテスティング・第4回
2013/10/28
アンケートの設問は具体的に
3割の被験者で一度チェックする
具体的に聞かないと、被験者は何に対して答え
るべきか悩む
悪い例
評価端末の入力インタフェイスは見やすかったで
すか？
予定した被験者数の3割あたりで一度データを
チェックする
予想外の実験データが出ていないかどうか。
必要なデータは全て取れているかどうか。
想定外のバグが出ていないかどうか。
中間集計結果が予想に反している場合には、実
験の方法やデータの取り方を再検討する。
改善例
評価端末のユーザ選択インタフェイスは使いやす
かったですか？
2007年2月5日 実世界指向インタフェイス・第7回
25
プロトタイピングを活用する
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
26
プロトタイピングの例
プロトタイプを活用することで、研究の効率を上げ
ることが可能となる。
ABSによるラピッドプロトタイピング
ペーパープロトタイピング
VisualBasicやFlashを使ったGUIプロトタイプ
その他いろいろ
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
27
任天堂からの就職案内
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
(c) 2013 Jun Yamashita
年 月 日 実世界指向インタフェイス・第7回 Carolyn Cnyder著・ペーパープロトタイピングより
2007 2 5
28
WiiFitのプロトタイプ
29
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
30
5
ユーザビリティテスティング・第4回
2013/10/28
WiiFitのプロトタイプ
実験を行いながらメモを取る
実験が終わった後では細かいことは全て忘れてし
まう。
ユーザはどのような行為をとったか。
新しい研究につながるようなヒントが見つかる場
合もある。
実験の実施において良かった点、悪かった点があ
ればそれも記録する。
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
31
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
32
インタビューを活用する
インタビューをうまく利用することで、ユーザが真
に思っていることを聞き出すことが出来る。
アンケートの自由回答の補完として
実験中に気になったことの確認として
慣れないうちは質問項目をメモしておく
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
ユーザビリティラボ
33
ユーザビリティラボ
ユーザビリティラボ
ユーザビリティ・ラボとは
ユーザビリティ評価を行うためのテスト環境
一般的には、テストを実施するための空間（テス
ティングルーム）とそれを観察する空間（モニタ
ルーム）から構成されている
ユーザビリティラボの例（日立製作所デザイン本部）
「ユーザビリティテスティング」より転載
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
(c) 2013 Jun Yamashita
35
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
36
6
ユーザビリティテスティング・第4回
2013/10/28
ユーザビリティラボ
ユーザビリティラボは必要か？
必ずしも必要ではない
インスタントラボでも実験は十分に実施可能。
ビデオカメラと三脚、モニタ、ついたて。
使用頻度、場所、手間との関係。
大学であれば、会議室を貸し切る方法もある
会議室を実験で使う分には問題ないという見解
ただし、長時間の予約については指導教員と十分
に相談し、指導教員から教員宛MLで部屋予約の承
諾を取る。
ユーザビリティラボの基本構成（顧客型自動操作機の例）
「ユーザビリティテスティング」より転載
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
37
インスタントラボ
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
38
実験を確実に行うためには
確実なユーザビリティ評価を行うためには、守らな
ければならない項目がある。
被験者の集中力を妨げないよう、静かな実験環境
を用意する
×会話、パソコンの操作音、電話の呼び出し音、第三者
の入室
実験者は被験者の行為を妨げないようにする。
×被験者を誘導するような行為
×被験者につきまとうような行為
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
39
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
40
被験者をどのようにして集めるか
研究室内で募集
割合協力的。いつでも可能。
母集団の分布として問題アリ。
ユーザビリティテストの実例
友達を経由して募集
スケジュール調整が難しいが、お礼があれば協力
してくれることが多い。
実験の意義を十分に説明する必要がある。
専門家に依頼
タスクを活発に進めるために、専門家に依頼する。
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
(c) 2013 Jun Yamashita
41
7
ユーザビリティテスティング・第4回
2013/10/28
ユーザビリティテストの実例
ユーザビリティテストの実例
企業における評価の実例
掃除機の機能評価
掃除機の機能評価
デジタルカメラのOSD(On Screen Display)の評価
評価の目的
「使いやすい」ホースの長さを決定する
実験タスク
一定面積の掃除タスク
ホースの長さが掃除作業に及ぼす影響を評価
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
43
ユーザビリティテストの実例
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
44
ユーザビリティテストの実例
デジタルカメラのOSDの評価
掃除機の機能評価
実験結果
評価の目的
使いやすいボタンの配置とメニューの階層を検討する。
実験の内容
パネルスイッチ配置位置の検討。
メニュー階層の繰り返し評価。
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
45
デジタルカメラのOSDの評価
メニュー階層の繰り返し評価
カメラを持つ手の位置を検討した。
パネル内のボタンについて、押しやすい場所を検
討した。
年 月 日 実世界指向インタフェイス・第7回
パネルスイッチの配置検討
「ユーザビリティテスティング」より
(c) 2013 Jun Yamashita
46
デジタルカメラのOSDの評価
パネルスイッチの配置位置の検討
2007 2 5
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
47
デザイン・操作性・見やすさという観点から使い
やすいメニュー階層を検討した。
実機ではなく、タッチパネル付きディスプレイを
用いたシミュレーションを行った。
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
メニュー階層の検討
「ユーザビリティテスティング」より
48
8
ユーザビリティテスティング・第4回
2013/10/28
デジタルカメラのOSDの評価
研究事例(1)
タッチパネルつきPCによる評価
小型タッチ画面における片手親指の操作特性
松浦 吉祐、郷 健太郎
ヒューマンインタフェース学会論文誌 Vol.9, No.
4, pp.455-461
PDAなどの小型画面の操作にはスタイラスの利用
が多い。
しかし実際には片手で操作することが多い。
片手操作のユーザビリティをテストした。
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
49
小型タッチ画面における片手親指の操作特性
年 月 日 実世界指向インタフェイス・第
7回
松浦義祐、郷
健太郎：小型タッチ画面における片手親指の操作特性
より引用 51
2007 2 5
研究事例(2)
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
50
小型タッチ画面における片手親指の操作特性
年 月 日 実世界指向インタフェイス・第
7回
松浦義祐、郷
健太郎：小型タッチ画面における片手親指の操作特性
より引用 52
2007 2 5
実験タスク
PDAのタッチ画面操作時における操作特性に関
する研究
飯崎裕史、山下 淳、葛岡英明、加藤 浩
電子情報通信学会教育工学研究会、ET200815,pp.57-62
正方形の一辺の長さは
3.5mm
5.0mm
7.5mm
10.0mm14.0mm
の5種類
端末の角度は
加速度センサを
利用して測定
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
(c) 2013 Jun Yamashita
53
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
54
9
ユーザビリティテスティング・第4回
2013/10/28
分析したデータ
被験者ごとの仰角
試行ごとの仰角
ボタンサイズごとの仰角
被験者ごとの仰角(累積度数分布)
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
55
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
56
受信機を傾けない場合
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
57
受信機を40°傾けた場合
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
58
赤外線受光器の改良
90％のデータが含まれる
改良前
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
(c) 2013 Jun Yamashita
59
年 月 日 実世界指向インタフェイス・第7回
2007 2 5
改良後
60
10