バイオメトリクス認証装置関連の精度測定手法の標準化に関する調査研究

経済産業省委託
平成１９年度工業標準化推進調査等委託費
（社会ニーズ対応型基準創成調査研究事業(分野横断的技術分野）)
バイオメトリクス認証装置関連の精度測定手法
の標準化に関する調査研究
成 果 報 告 書
平成２０年３月
財団法人
日本規格協会
情報技術標準化研究センター
この調査研究は、経済産業省からの委託で実施したものの成果である。
平成 19 年度バイオメトリクス認証装置関連の精度測定手法の標準化に関する調査研究報告書
目 次
はじめに···························································································································································································1
1. 調査研究の概要········································································································································································2
1.1 序文······················································································································································································2
1.2 目的······················································································································································································2
1.3 委員会構成とテーマ·························································································································································2
1.4 委員会名簿··········································································································································································2
1.5 委員会実施状況·································································································································································3
1.6 成果一覧··············································································································································································4
2. 委員会の活動報告···································································································································································5
2.1 背景と目的··········································································································································································5
2.2 活動内容··············································································································································································5
2.3 成果······················································································································································································5
2.4 今後の課題··········································································································································································5
3. WG１の活動報告····································································································································································5
3.1 背景と目的··········································································································································································5
3.2 活動内容··············································································································································································6
3.3 成果······················································································································································································6
3.4 今後の課題··········································································································································································6
4. WG2 の活動報告·····································································································································································6
4.1 背景と目的··········································································································································································6
4.2 活動内容··············································································································································································6
4.3 成果······················································································································································································6
4.4 今後の課題··········································································································································································7
5. 今後の展望と課題···································································································································································7
附属資料···························································································································································································8
1. 最終素案 情報技術－バイオメトリクス性能試験及び報告－第 1 部：原則及び枠組み
2. 最終素案 情報技術－バイオメトリクス性能試験及び報告－第 2 部：テクノロジ評価とシナリオ評価の方法
3. バイオメトリクス認証の工業標準用語案
(ⅰ)
はじめに
この報告書は、INSTAC が国の委託をうけて平成 18 年度から平成 19 年度にかけて実施した「バイオメトリクス認
証装置の精度評価方法の標準化に関する調査研究」の平成19 年度活動成果を報告するものである。
INSTAC では、平成 13 年度より「バイオメトリクス標準化調査研究委員会」を立ち上げ、平成 15 年までの 3 年間
に渡り、モダリティ毎に認証システムの精度評価方法および運用要件の導出ガイドラインなどをまとめ,、JIS-TR
として公開した。これらの成果のうち精度評価方法 JIS-TR については、2002 年 12 月より議論が開始された
ISO/IEC JTC1 SC37 (biometrics)の WG5 (Biometric Testing and Reporting)において、我が国における成果とし
て各国から注目され、最終的にはその一部が ISO/IEC 1975 規格群に盛り込まれることとなった。
この調査研究は、ISO/IEC 19795 の完成をうけてINSTAC 作成のJIS/TR のJIS 化を経済産業省に申請し、受託し、実施したも
のである。
- 1 -
1. 調査研究の概要
1.1 序文
INSTAC は日本規格協会の内部組織として、情報技術分野における標準化事業の充実及び強化の役割を担ってい
る。本報告書は、標準化調査研究の一環として平成 13 年度から平成 15 年度にかけて公開した、バイオメトリクス
認証装置の精度評価方法に関する技術報告(TR)を JIS 化することを目的とした調査研究活動の成果を報告する。
1.2 目的
バイオメトリクス認証技術に関する標準化動向は、既に平成 13 年から平成 15 年までのバイオメトリクス標準化
調査研究報告書に報告している。平成 15 年以降現在に至るまで、バイオメトリクス認証装置は社会の様々な分野
で普及が進んでいる。例えば次の動きがある。
・ バイオメトリクスを搭載したパスポートは既に運用が行われている。
・ 銀行の ATM 装置、あるいは大容量記憶装置を搭載したモバイル機器（携帯電話、ノート PC など）の不正使
用が社会的な問題になっており、この問題解決のために、バイオメトリクス認証技術を利用する動きがある。
・ バイオメトリクスには、個人の管理状態に依存せず安全性要件が確保できるという特徴があり、アクセシビリ
ティとセキュリティとを両立させるための技術としてバイオメトリクスを利用する検討がなされている。
・ 国際標準化動向の観点からは、ISO/IEC JTC1 SC37 の標準化活動の成果として、次の分野で国際標準の公開が
進んでいる。バイオメトリクス認証装置のアプリケーションプログラムインタフェース、バイオメトリクス認
証装置・アプリケーションプログラム間で交換されるデータ形式、バイオメトリクス認証装置の試験と報告。
バイオメトリクス認証技術の社会への普及が進むとともに、装置の性能評価と報告方法の標準化は一層重要な課
題となると考えられるが、INSTAC が公開した技術報告（TR）は制度上、公開から３年経過した時点で失効する
。そのため国内の標準化努力の結果が有効に維持されるためには、技術報告の内容を精査し、JIS として制定する
ことが必要となる。そのため平成 18 年度から平成 19 年度にかけて、バイオメトリクス認証装置の精度評価方法に
関する国内標準化努力の成果を JIS 化することを目的とする調査研究を実施した。平成 19 年度は JIS 原案の作成を
目的として活動した。
1.3 委員会構成とテーマ
財団法人日本規格協会 情報技術標準化研究センター
バイオメトリクス認証装置の精度評価方法標準化調査研究委員会
WG1（JIS 原案作成）
WG2（標準用語案作成）
1.4 委員会名簿
委員会構成を表１に示す。
バイオメトリクス認証装置の精度評価方法の標準化に関する調査研究（本委員会）
区分
氏 名
所 属
委員長 小松 尚久 早稲田大学
委員
三角 育生 経済産業省 商務情報産業局 情報セキュリティ政策室
委員
鈴木 晴光 経済産業省 製造産業局 産業機械課
委員
和泉 章
経済産業省 産業技術環境局 情報電子標準化推進室
委員
西垣 正勝 静岡大学
委員
中野 学
（独）情報処理推進機構
幹事
鷲見 和彦 三菱電機（株）
委員
中嶋 晴久 （社）日本自動認識システム協会
委員
溝口 正典 日本電気（株）
委員
和田 誓一 沖電気工業（株）
委員
滝沢 俊男 （財）ニューメディア開発協会
委員
内田 薫
日本電気（株）
- 2 -
委員
委員
委員
委員
関係者
事務局
事務局
事務局
坂野
新崎
池野
平山
森田
秋間
木村
田村
鋭
卓
修一
光則
信輝
升
高久
由佳里
（株）NTT ﾃﾞｰﾀ
㈱富士通研究所
セコム IS 研究所
成田国際空港（株）
経済産業省 産業技術環境局情報電子標準化推進室
（財）日本規格協会情報技術標準化研究ｾﾝﾀｰ所長
（財）日本規格協会情報技術標準化研究ｾﾝﾀｰ主任研究員
（財）日本規格協会情報技術標準化研究ｾﾝﾀｰ
バイオメトリクス認証装置の精度評価方法の標準化に関する調査研究（WG1）
区分
氏 名
所 属
主査
鷲見 和彦 三菱電機（株）
委員
宇野 和也 （株）富士通研究所
委員
内田 薫
日本電気（株）
委員
和田 誓一 沖電気工業（株）
委員
川又 武典 三菱電機（株）
委員
中野 学
(独)情報処理推進機構
委員
藤松 健
松下電器産業（株）
幹事
坂野 鋭
（株）NTT ﾃﾞｰﾀ
委員
徳永 英二 規格調整委員
関係者 森田 信輝 経済産業省 産業技術環境局 情報電子標準化推進室
事務局 木村 高久 （財）日本規格協会情報技術標準化研究ｾﾝﾀｰ主任研究員
事務局 田村 由佳里 （財）日本規格協会情報技術標準化研究ｾﾝﾀｰ
バイオメトリクス認証装置の精度評価方法の標準化に関する調査研究（WG2）
区分
氏 名
所 属
主査
西垣 正勝 静岡大学
幹事
渡辺 正規 （株）富士通研究所
委員
和田 誓一 沖電気工業（株）
委員
鷲見 和彦 三菱電機（株）
委員
溝口 正典 日本電気(株)
委員
坂野 鋭
（株）NTT ﾃﾞｰﾀ
委員
坂本 静生 日本電気(株)
関係者 森田 信輝 経済産業省 産業技術環境局 情報電子標準化推進室
事務局 木村 高久 （財）日本規格協会情報技術標準化研究ｾﾝﾀｰ主任研究員
事務局 田村 由佳里 （財）日本規格協会情報技術標準化研究ｾﾝﾀｰ
1.5 委員会実施状況
平成 19 年 5 月 30 日から平成 20 年 2 月 25 日の期間に、本委員会を 2 回、WG１を 6 回、WG２を 7 回、延べ
15 回の会議を実施した。開催日時を次に示す。
バイオメトリクス認証装置の精度評価方法の標準化に関する調査研究（本委員会）
回数
開催日時
開催場所
第1 回
2007 年 5 月 30 日(水)
規格協会赤坂エイトワンビル 8 階 801 会議室
第2 回
2008 年 2 月 25 日(月)
規格協会豊産ビル 7 階 701 会議室
バイオメトリクス認証装置の精度評価方法の標準化に関する調査研究（WG1）
第1 回
2007 年 7 月 3 日(火)
規格協会本部ビル 4 階 201 会議室
- 3 -
第2 回
第3 回
第4 回
第5 回
第6 回
2007 年 9 月 5 日(水)
2007 年 10 月 12 日(金)
2007 年 11 月 13 日(火)
2007 年 12 月 7 日(金)
2008 年 1 月 30 日(水)
規格協会本部ビル 4 階 203 会議室
規格協会赤坂エイトワンビル 8 階 801 会議室
規格協会本部ビル 4 階 201 会議室
規格協会本部ビル 4 階 201 会議室
規格協会本部ビル 4 階 203 会議室
バイオメトリクス認証装置の精度評価方法の標準化に関する調査研究（WG2）
第1 回
2007 年 7 月 3 日(火)
規格協会本部ビル 4 階 201 会議室
第2 回
2007 年 9 月 5 日(水)
規格協会本部ビル 4 階 203 会議室
第3 回
2007 年 10 月 24 日(水)
規格協会赤坂エイトワンビル 8 階 802 会議室
第4 回
2007 年 12 月 4 日(火)
規格協会赤坂エイトワンビル 8 階 801 会議室
第5 回
2007 年 12 月 11 日(火)
規格協会赤坂エイトワンビル 8 階 801 会議室
第6 回
2008 年 1 月 31 日(木)
規格協会本部ビル 4 階 203 会議室
第7 回
2008 年 2 月 6 日(水)
規格協会赤坂エイトワンビル 8 階 801 会議室
1.6 成果一覧
調査研究活動により、次の成果を得た。
a) バイオメトリクス認証装置の性能評価に関する JIS 原案作成作業を行い、最終素案をまとめた。
b) バイオメトリクス認証装置の性能評価に関する工業標準用語案を作成した。
- 4 -
2. 委員会の活動報告
2.1 背景と目的
INSTAC はすでにバイオメトリクス認証装置の精度評価方法に関する標準化活動を行い、技術報告(TR)を公開し
ている。TR は制度上３年の期間を経過した時点で原則として失効するので、標準化活動の成果を有効なものとし
て維持するために JIS 化する。
TR は、指紋、虹彩、血管パターン、顔、声、筆跡を対象として、モダリティ毎に纏められている。これらの
TR を JIS 化する場合、JIS 構成に関する選択肢として、TR ごとに JIS 化するか、バイオメトリクス認証装置とい
う一つの枠組みに取りまとめるかの二つの選択があった。
平成 18 年には、ISO/IEC JTC1 SC37WG5 から、バイオメトリクス認証装置の性能評価と報告に関する規格であ
る、ISO/IEC 19795 の第 1 部が公開されていた。INSTAC が公開した TR の内容は ISO/IEC 19795 パート 3 の策定に
使われた。ISO/IEC 19795 パート 1 からパート 3 までは平成 19 年度には完成すると予想された。そのため、
INSTAC TR の JIS 化の時期と判断した。
本委員会では TR を JIS 化するにあたり、モダリティ毎に作成された TR を TR ごとに JIS 化して、国際標準と異
なる構成とすることとはせず、ISO/IEC 19795 パート 1 からパート 3 の規定内容を使い、規定内容を変えずに翻訳
して JIS を作成することとした。平成 18 年度には、ISO/IEC 19795 パート１からパート 3 を、規定内容を変えるこ
となく翻訳を行った。平成 18 年度にはパート 2 は FDIS、パート 3 は DTR であった。翻訳原稿から JIS 原稿を作
成する作業は平成 19 年に行うこととした。
2.2 活動内容
本年度は、平成 18 年度に作成した翻訳原稿をもとに、次の作業を行った。
JIS 原案作成に関して次を行った。
・ JIS 構成を検討し、ISO/IEC TR 19795-3 の内容を独立の JIS とはせず、ISO/IEC 19795-2 に基づいて策定する JIS
に附属書として添付することとした。
・ 平成 18 年度に作成した ISO/IEC FD IS19795-2、ISO/IEC DTR 19795-3 の翻訳内容を、公開された ISO/IEC 197952、ISO/IEC TR 19795-3 と整合させた。
・ 用語、様式を調整した。
バイオメトリクス標準用語に関して次を行った。
バイオメトリクス技術用語をバイオメトリクス工業標準用語との間には若干の乖離がある。この乖離を整理し、
バイオメトリクス関連 JIS 規格の読者の便宜を図るために、JIS 化作業と並行して、注釈付き用語・定義一覧を作
成した。
2.3 成果
1) 最終素案 情報技術－バイオメトリクス性能試験及び報告－第 1 部：原則及び枠組み
2) 最終素案 情報技術－バイオメトリクス性能試験及び報告－第 2 部：テクノロジ評価とシナリオ評価の方法
3) バイオメトリクス認証の工業標準用語案
2.4 今後の課題
作成した JIS 原稿を規格調整し、原案として提出し、公表する作業を行う。JIS を運用し、利用者が要求する精
度を見合った試験コストで保障できることを確認する。必要なら早期にでも改正を行う。以上の課題がある。
3. ＷＧ１の活動報告
3.1 背景と目的
WG1 の活動の目的は、2.1 に示された委員会の目的に従い ISO/IEC 19795 パート 1、2、3 に基づく JIS 原案を作
成することである。
ISO/IEC 19795 –1、2、3 についてその概要を説明すると、次のようになっている。
Part-1 はバイオメトリクスシステムの性能評価に関する原則(Principle)と枠組み(Framework)とを記述する規格で
ある。ここでは、妥当な結果を得るための統計数学的考え方を基に、バイオメトリクスシステムの性能評価を、評
価計画、データ収集、評価尺度と分析法、報告書の作成という４段階の作業に分けて説明している。Part-2 では、
試験の種類として３種の試験、すなわち、テクノロジ評価、シナリオ評価、運用評価のうちテクノロジ評価とシナ
リオ評価について、Part-1 で説明された４段階作業の実体を説明している。テクノロジ評価とはデータベース（コ
ーパス）を収集して処理アルゴリズムの性能を評価するものであり、シナリオ評価とはセンサ（キャプチャデバイ
- 5 -
ス）とそこに生体情報を提示する人との相互作用を含めた運用を模擬した性能を評価するものである。パート 3
は、パート 1、 2 では言及されない生体部位ごと（モダリティ）に４段階の進め方、考慮すべき影響因子につい
てまとめたものであり、実際の試験を計画したり、他者の試験結果を評価したりするうえで参考になるものである
。
このうち、パート 1、2 は IS、パート 3 は TR であったため、JIS 化に当たっては、パート 1 を第１部とし、パ
ート 2 を第 2 部とし、さらにパート 3 は第 2 部の附属書とすることで、IS と JIS との整合性を保った。
3.2 活動内容
本年の活動開始時点ではパート 1 は IS として制定済みであり、パート 2、 3 はそれぞれ FDIS、 DTR 段階に
あった。それぞれ入手可能な国際文書の機械的日本語訳を出発点として、第 1 部、第 2 部、第 2 部附属書の各部に
対して、技術文書として不適切な表現、技術的に明らかに誤った表現、各部間で矛盾する表現などを抽出し、JIS
の利用者が混乱しないようにすいこうした。さらに、JIS 規格調整作業の経験のある委員によって、JIS 表現として
不適切な表現を修正し、JIS 原案としてまとめた。また、作業段階で討議対象となった専門用語・不統一だった用
語などの一覧を作成し、その説明とともに WG2 へと送致した。
3.3 成果
成果として、第 1 部、第 2 部の JIS 原案と、WG2 へ送致した用語集が完成した。
3.4 今後の課題
今後の課題として以下のものがある。
1) JIS 制定審議への対応。
2) 本活動の中で明らかになった IS の問題点（誤り、説明不良、矛盾）について、JTC1/SC37 国内対策委員会に
報告する。
3) JTC1/SC37 で現在制定作業が進められている、ISO/IEC 19795 の後続パートについての JIS 化を検討する。
4. WG2 の活動報告
4.1 背景と目的
バイオメトリクス認証装置の精度評価方法が JIS 化されるにあたり、バイオメトリクス技術用語についてもこれ
を工業標準用語として標準化していく作業が必要となった。バイオメトリクス技術に関する重要な技術用語、特有
な技術用語、あるいは結果として英語と日本語の対応が独特のものになった用語などを中心に、「標準用語（和文
）」、「用語の英原文」、「定義（用語の意味の説明）」を列記し、バイオメトリクス標準技術用語集を作成する
。特にバイオメトリクス技術においては、同義の事項をモーダルごとに異なる用語で呼ぶ場合もあるため、これに
ついても説明を与える。用語集は、規格票の記述を理解するための注釈として公開するが、一般的なバイオメトリ
クス技術用語集としても利用できるような内容となるよう努める。
4.2 活動内容
WG1 と歩調を合わせながら、9 月までに WG2 の活動内容を次のように決定した。
1) すでに昨年度までの WG1 の作業の中で作成された日英用語集及び今年度の WG1 の作業を通じて作られる日
英用語集を、WG2 が作成するバイオメトリクス標準技術用語集のソースとしてする。
2) 1)のソースをまとめ、バイオメトリクス標準技術用語集に掲載すべき「標準用語（和文）」を整理する。
3) 2)の用語すべてをチェックし、比較的自明な用語であり「用語の英原文」のみを掲載すれば足りるものと、「
用語の英原文」と「定義（用語の意味の説明）」を示すべきものに選別する。
4) 「定義（用語の意味の説明）」を掲載すべき用語については、説明文を作成する。
９月以降は、平均して月に１回のペースで WG2 ミーティングを開催し、上記の手順に従って作業を行った。こ
こで、手順４）については、WG1 が作成した用語集における定義文を参考にしつつ、WG2 が目指しているバイオ
メトリクス標準技術用語集の形態に沿った説明文を作成した。また、共通バイオメトリクス交換フォーマットフレ
ームワーク（CBEFF）に関する用語の説明文の作成に関しては、JTC1/SC37 WG2 と連携をとりながら作業を進め
た。
4.3 成果
・WG による ISO/IEC 19795 パート 1 (IS)、パート 2 (IS)、パート 3 (TR)翻訳原稿の用語・定義検討
・バイオメトリクス標準技術用語集に掲載すべき用語の選定
・バイオメトリクス標準技術用語集に掲載される用語に対する説明文案の作成
・バイオメトリクス標準技術用語集案の作成
- 6 -
4.4 今後の課題
作成したバイオメトリクス標準技術用語集案を WG1 へフィードバックし、用語集の改訂（用語の追加、説明文
の改善、等）作業を行う必要があると考える。また、用語集を関係標準化グループ及び関連産業界に公開し、広く
意見を求めていきたい。
5. 今後の展望と課題
バイオメトリクス認証装置が普及するためには、バイオメトリクス認証装置の試験に関する経験を蓄積し関係者
の間で共有することが必要となる。今回制定した JIS は、バイオメトリクス認証装置の試験方法及び報告方法を規
定する。この規定内容は、試験を行う実施者と、認証装置の評価を行う評価者とが、それぞれの間で経験を共有す
るための基本的な考え方を与えるものとして有効に活用されることが期待される。
今後は、試験を実施し報告する上で発生する様々な課題に対応し、規定内容を見直し、工業標準化法に則って
JIS を適切に管理することが課題となる。
- 7 -
6. 附属資料
本報告書には，次にしめす附属資料がある。附属資料１は情報技術－バイオメトリクス性能試験及び報告－第 1 部
の，附属資料２は情報技術―バイオメトリクス性能試験及び報告―第 2 部の原案となるものです。規格調整前の段
階のものであり，公示される JIS 規格票と完全に一致することは保障されない。公示に先立って内容を周知するた
めに添付する。附属資料３はバイオメトリクス認証装置の精度評価方法に関連する，バイオメトリクス工業標準用
語案を収録する。
附属資料 1 情報技術-バイオメトリクス性能試験及び報告-第 1 部：原則及び枠組
附属資料 2 情報技術-バイオメトリクス性能試験及び報告-第 2 部：テクノロジ評価及びシナリオ評価の試験方法
附属資料 3 バイオメトリクス認証装置の精度評価方法関連の工業標準用語案
- 8 -
附属資料１ 情報技術-バイオメトリック性能試験及び報告-第 1 部：原則及び枠組
目次
まえがき
序文
１
適用範囲
２
適合性
３
引用規格
４
用語及び定義
５
一般バイオメトリクスシステム
５．１ 一般バイオメトリクスシステムの概念図
５．２ 一般バイオメトリクスシステムの概念構成要素
５．３ 一般バイオメトリクスシステムの機能
５．４ 生体情報登録，照合および識別トランザクション
５．５ 性能評価尺度
６
評価計画
６．１ 一般的な事項
６．２ この規格群の他のパートの利用
６．３ システムに関する情報の判定
６．４ 性能に影響を与える制御要因
６．５ 被験者選定
６．６ 試験規模
６．７ 複数試験
７
データ収集
７．１ データ収集エラーの回避
７．２ 収集したデータ及びその詳細
７．３ 生体情報登録
７．４ 本物トランザクション
７．５ システムに生体情報登録されている利用者の識別トランザクション
７．６ 偽物トランザクション
７．７ システムに生体情報登録されていない利用者の識別トランザクション
８
分析
８．１ 一般的な事項
８．２ 基本性能評価尺度
８．３ 照合システム性能評価尺度
８．４ （非登録者限定）識別システム性能評価尺度
-1-
８．５ 登録者限定識別
８．６ 検出エラートレードオフ（DET）／照合精度特性（ROC）曲線
８．７ 推定値の不確実性
９
１０
記録管理
性能評価結果の報告
１０．１
基本的な尺度
１０．２
照合システム尺度
１０．３
識別システム尺度
１０．４
登録者限定識別システム尺度
１０．５
試験詳細の報告
１０．６
結果のグラフ表示
附属書Ａ（参考）評価種別による違い
附属書Ｂ（参考）試験規模と不確実性
附属書Ｃ（参考）性能に影響を与える要因
附属書Ｄ（参考）照合候補事前選択（プリセレクション）
附属書Ｅ（参考）データベースサイズの関数としての識別性能
附属書Ｆ（参考）ROC、DET、CMC を生成するアルゴリズム
-2-
まえがき
この規格は，工業標準化法に基づき，日本工業標準調査会に審議を経て，経済産業大
臣が制定した日本工業規格である。
この規格は，著作権法で保護対象となっている著作物である。
この規格の一部が，技術的性質をもつ特許権，出願公開後の特許出願，実用新案権，
又は出願公開後の実用新案登録出願に抵触する可能性があることに注意を喚起する。経済
産業大臣及び日本工業標準調査会は，このような性質をもつ特許権，出願公開後の特許出
願，実用新案権，又は出願公開後の実用新案登録出願にかかわる確認について，責任をも
たない。
JIS X xxxxx の規格群には，次に示す部編成がある。
JIS X xxxxx-1
第１部：原則及び枠組み
JIS X xxxxx-2 第２部：テクノロジー評価及びシナリオ評価の試験方法
-3-
日本工業規格（案）
JIS
X xxxx-1：2008
(ISO/IEC 19795-1：2006)
情報技術－バイオメトリクス性能試験及び報告―
第 1 部：原則及び枠組み
Information Technology-Biometric performance testing andreportingPart 1 principles and framework
序文
この規格は，2006 年に第 1 版として発行された ISO/IEC 19795 を基に，技術的内容及
び対応国際規格の構成を変更することなく作成した日本工業規格である。
なお，この規格で側線及び／又は点線の下線を施してある参考事項は，対応国際規格に
ない事項である
1
適用範囲
この規格は，次の事項を規定する。
－
バイオメトリクスシステムの性能を，性能の予測，性能の比較，及び規定性能要求
事項順守の検証を含む目的のために，誤り率及びスループットの観点で試験するため
の一般原則を確立する。
－
バイオメトリクスシステムの性能尺度を規定する。
－
試験方法，データの記録，及び結果の報告に関する要求事項を規定する。
－
不適切なデータ収集又は分析手順によるバイアスを回避する手助けをし，フィールド
性能の効率のよい最良推定をおこなう手助けをし，かつ，試験結果の適用範囲の限界
を明確にするために，試験プロトコルを開発し記述するためのフレームワークを提供
する。
この規格は，システムのアルゴリズム及び対象となる母集団における生体特徴の基本的
な分布についての詳細な知識がなくても，システムから出力されるマッチングスコア及び
判定結果を分析することによって，バイオメトリクスシステム及びアルゴリズムの実証性
能試験に適用できる。
バイオメトリクスシステムによる正しい認識を故意に逃れようとする人々（すなわち，
積極的な偽者）に対する誤り率及びスループット率の尺度は，この規格の適用範囲外とす
る。
-4-
注記
この規格の対応国際規格及びその対応の程度を表す記号を，次に示す。
ISO/IEC 19795-1: 2006, Information technology ―Biometric performance testing
and reporting―Part1: Principles and framework（IDT）
なお，対応の程度を表す記号（IDT）は，ISO/IEC Guide 21 に基づき，一致し
ていることを示す。
2
適合性
この規格に適合するためには，バイオメトリクス性能試験は，ここに規定する必す(須)
要件に従って計画し，実施し，報告しなければならない。
3
引用規格
次に掲げる引用規格は，この規格に引用されることによって，この規格の規定の一部を
構成する。
この引用規格は，その最新版（追補を含む。
）を適用する。
JIS Q17025 試験所及び校正機関の能力に関する一般要求事項
注記 対応国際規格：ISO/IEC 17025 General requirements for the competence of
testing and calibrating laboratories (IDT)
4
用語及び定義
この規格で用いる主な用語及び定義は，次による。
4.1 バイオメトリクスデータ
4.1.1
サンプル（sample)
データ取得サブシステムによる出力としての利用者のバイオメトリクス測定値。
例
指紋画像，顔画像及び虹彩画像はサンプルである。
注記
より複雑なシステムにおいてサンプルは複数の提示された特性（例えば，10 個の指
紋記録，異なる角度から取り込まれた顔画像，左右ペアの虹彩画像）から構成され
る場合もある。
4.1.2
特徴(features)
登録テンプレートを構築又は比較するために使用する，
（信号処理サブシステムによって）
サンプルから抽出した情報のデジタル表現。
例
指紋における指紋特徴点の座標及び顔画像における主成分係数などが特徴である。
4.1.3
テンプレート(template)，モデル(model)
-5-
登録サンプルから抽出した特徴に基いて登録された基準生体特徴。
注記
基準生体特徴は，利用者によって理想的に提示された生体特徴からなるテンプレー
トである。より一般的には，蓄積参照はその利用者の生態特徴の潜在的な範囲を表
すモデルになる。この規格では，
“モデル”を含む“テンプレート”を使う。
4.1.4
マッチングスコア(matching score)，類似度(similarity score)
サンプルから抽出した特徴と蓄積されたテンプレートから抽出した特徴との間の類似度，
又はそれらの特徴がいかによく利用者の参照モデルに適合しているかの尺度。
注記１
合致又は非合致は，このスコアが判定しきい値を超えるか否かで判定される。
注記２
提示されたサンプルが蓄積されたテンプレートに近づくにつれて，類似度は増加
する。
4.1.5
照合判定(verification decision)
システムにおける利用者の認証要求の推定される正当性の判定。
4.1.6
候補リスト(candidate list)
識別入力試行[又は照合候補事前選択(プリセレクション)アルゴリズム）により生成される，
ある被験者に関する可能性のある登録者の集合。
4.1.7
識別判定(identification decision)
システムにおける利用者の推定される身元に関する候補リストの判定。
4.2 バイオメトリクスシステムの操作及び応答
4.2.1
提示(presentation)
利用者による単一のバイオメトリクスサンプルの提出。
4.2.2
入力試行(attempt)
システムに対する一つ（又は一連）のバイオメトリクスサンプルの提出。
注記
入力試行は、登録テンプレート、マッチングスコア（群）又は取得失敗に帰着する。
4.2.3
トランザクション(transaction)
生体情報登録，照合又は識別を目的とした利用者による一連の入力試行。
注記
トランザクションには次の三つの種別がある。登録又は登録失敗が生じる登録シー
ケンス、照合判定結果を生じる照合シーケンス、識別判定結果を生じる識別シーケ
ンス。
4.2.4
-6-
本人入力試行(genuine attempt)
自分自身の登録テンプレートと合致させようとする利用者による使用法に忠実な単一の入
力試行。
4.2.5
意図的でない偽者入力試行(zero-effort imposter attempt)
個人があたかも自分自身のテンプレートとの照合を成功させようとするように自分自身の
生体特徴を提出して，他の利用者のテンプレートと比較する入力試行。
4.2.6
意図的な偽者入力試行(active imposter attempt)
個人が疑似又は複製バイオメトリクスサンプルを提示するか，又は自分自身の生体特徴を
意図的に部分修正することによって，他人の登録されたテンプレートと合致させようとす
る入力試行。
注記
積極的偽者入力試行の誤り率は，無作為な偽者入力試行のそれとは異なる。積極的
な偽者入力試行で用いられる方法及びスキルについては，この規格の適用範囲外と
なる。
4.2.7
提示効果(presentation effects)
利用者固有の生体特徴のセンサへの表示の仕方に影響を与える変量の種類。
例
顔認識においては，姿勢角度又は照明が含まれ，指紋においては，指の回転及び皮膚
の水分が含まれる。多くの場合，基本的な生体特徴及び提示効果の区別（例えば，顔
認識における表情又は話者照合システムにおける声の抑揚）は，明確ではない。
4.2.8
チャネル効果(channel effects)
センサ及び伝送チャネルのサンプリング，雑音，周波数応答特性による，変換及び伝送処
理中に提示された信号が受ける変化。
4.3 評価者・被験者にかかわる事項
4.3.1
利用者(user)
バイオメトリクスサンプルをシステムに提示する者。
4.3.2
被験者(test subject)
そのバイオメトリクスデータが評価の一部として登録又は比較されることになる利用者。
4.3.3
被験者集団(crew)
評価のために集めた被験者の集合。
4.3.4
-7-
対象母集団(target population)
その性能を評価中であるアプリケーションの利用者の集合。
4.3.5
管理者(administrator)
試験又は生体情報登録を実施する者。
4.3.6
オペレータ(operator)
実際のシステム操作者。
例
登録を指揮し，照合又は識別トランザクションを監視する要員
4.3.7
観測者(observer)
試験データを記録するか又は被験者集団を監視する試験要員。
4.3.8
実験者(experimenter)
試験の定義，設計及び分析に対する責任者。
4.3.9
試験機関(test organization)
その主催で試験を実施する機能主体。
4.4 評価の種別
4.4.1
テクノロジー評価(technology evaluation)
既存の又は特別に収集したサンプルのコーパスを用いた，同じバイオメトリクスモダリテ
ィの一つ以上のアルゴリズムに対するオフライン評価。
4.4.2
シナリオ評価(scenario evaluation)
包括的なシステム性能を判定するプロトタイプ又は模擬的アプリケーションに対する評価。
4.4.3
運用評価(operational evaluation)
バイオメトリクスシステム全体の性能を判定する特定の対象母集団をもつ特定のアプリケ
ーション環境に対する評価。
4.4.4
オンライン(online)
画像又は信号の提出時に実行される登録又は照合。
注記
オンライン試験は，バイオメトリクスサンプルがただちに廃棄され，蓄積及びシス
テムが通常と異なる動作をすることが必要とする欠点を補う利点がある。しかし，
できれば，画像又は信号を収集することを推奨する。
-8-
4.4.5
オフライン(offline)
画像又は信号の提出とは切り離して実行される登録及び照合。
注記１
オフラインでの登録及びマッチングスコア計算のための画像又は信号のコーパス
収集は，その入力試行を厳密な管理下で行うことが許され，そのテンプレート画
像はいかなるトランザクションにも使用することができる。
注記２
テクノロジ試験は，オフライン処理のためにデータ蓄積を必要とする。しかし，
シナリオ及び運用試験ではシステムが通常の動作であり，また、推奨されている
とはいえ画像又は信号の蓄積が必す(須)ではないために，試験者にとってはオンラ
イントランザクションがより容易なことがある。
4.5 バイオメトリクスアプリケーション
4.5.1
照合(verification)
利用者が肯定的な身元確認要求を行い，提出されたサンプルバイオメトリクス測定値から
生成した特徴を要求身元の登録テンプレートと比較し，身元確認要求に関する諾否の決定
を返すアプリケーション。
注記 要求身元は，氏名，個人識別番号(PIN)，カード，又はシステムに提供された他の一
意な識別子の形態をとることがある。
4.5.2
識別(identification)
登録データベースの検索を実行し，0 又は 1 以上の識別子の候補リストを返すアプリケーシ
ョン。
4.5.3
クローズドセット識別(closed-set identification)
すべての潜在的利用者がシステムに登録されている識別。
4.5.4
オープンセット識別(open-set identification)
何人かの潜在的利用者がシステムに登録されていないことの識別。
4.6 性能評価尺度
4.6.1
生体情報登録失敗率(failure-to-enrol rate)，FTE
システムが登録処理を完了できなかった集団の割合。
注記
実測される生体情報登録失敗率は，被験者集団の登録について測定される。計測又
は観測された生体情報登録失敗率は，対象母集団全体に適用される。
4.6.2
取得失敗率(failure-to-acquire rate)，FTA
-9-
システムが適切な品質の画像若しくは信号を取り込むか又は位置を特定することができな
かった照合。又は識別入力試行の割合。
注記
実測される取得失敗率は，予測又は期待された取得失敗率と異なる（前者は後者を
見積もるために使われる可能性がある。
）
。
4.6.3
誤非合致率(false non-match rate)，FNMR
サンプルを供給した同一利用者からの同一特徴のテンプレートに合致しないと誤判定され
た本人入力試行の割合。
注記
計測又は観測された誤非合致率は，予測誤合致率又は期待誤合致率と異なる（前者
は後者を見積もるために使われる可能性がある。
）
。
4.6.4
誤合致率(false match rate)，FMR
比較された異なるテンプレートに合致すると誤判定された無作為な偽者入力試行の割合。
注記
計測又は観測された誤合致率は，予測誤合致率又は期待誤合致率と異なる（前者は
後者を見積もるために使われる可能性がある。
）。
4.6.5
誤拒否率(false reject rate)，FRR
本人の叉は同一の身元確認要求の照合トランザクションにおいて、誤って拒否する率。
4.6.6
誤受入率(false accept rate)，FAR
他人の又は不同の身元確認要求の照合トランザクションにおいて、誤って受理する率。
4.6.7
（正受入）識別率[(true-positive) identification rate]
システムに生体情報を登録した利用者による識別トランザクションにおいて、システムの
出力が利用者の正しい識別子を含む率。
注記
識別率は，(a)登録データベースサイズと，(b)マッチングスコアとの判定しきい値若
しくは出力する識別子数又は判定しきい値及び出力する識別子数に依存する。
4.6.8
誤拒否識別率(false-negative identification-error rate)，FNIR
システムに生体情報を登録した利用者による識別トランザクションにおいて、システムの
出力が利用者の正しい識別子を含まない率。
注記
(誤拒否識別率 )＝１－(識別率 )
4.6.9
誤受入識別率(false-positive identification-error rate)，FPIR
システムに生体情報を登録していない利用者による識別トランザクションにおいて、シス
テムの出力がいずれかの識別子を含む率。
- 10 -
注記１ 誤受入識別率は，(a)登録データベースサイズと，(b)マッチングスコアとの判別し
きい値若しくは出力する識別子の数又は判別しきい値及び出力する識別子の数に
依存する。
注記２
クローズドセット識別では，すべての利用者が登録されているため，誤受入識別
はない。
4.6.10
照合候補事前選択(プリセレクション)アルゴリズム(pre-selection algorithm)
登録データベースとの識別検索において、照合しなければならないテンプレートの数を減
らすためのアルゴリズム。
4.6.11
照合候補事前選択誤り(pre-selection error)
同一利用者の同一生体特徴からサンプルが与えられたとき，対応する登録テンプレートが
事前選択候補内に含まれない（照合候補事前選択アルゴリズム）誤り。
注記
データベース分割(ビニング)法の照合候補事前選択において，登録テンプレートと同
一利用者の同一バイオメトリクス特性からのサンプルが異なるデータベース分割に
配置された場合に照合候補事前選択誤りになる。
4.6.12
絞り込み率(penetration rate)
（照合候補事前選択アルゴリズムにおいて）テンプレート総数を分割した平均事前選択テ
ンプレート数。
4.6.13
識別順位(identification rank)
利用者の正しい識別子が識別システムの出力した上位ｋ位迄の識別子の中にある場合の最
小値 k。
注記
識別順位は，登録データベースのサイズに依存し，”n 中の候補順位 k”と引用される
べきである。
4.7 報告のためのグラフ
4.7.1
検出エラートレードオフ曲線(detection error trade-off curve)，DET 曲線(DET curve)
誤り率を両軸（誤受入を x 軸，誤拒否を y 軸）にプロットした修正 ROC 曲線。
注記
DET 曲線の例を 10.6.2，図３に示す。
4.7.2
照合精度特性曲線(receiver operating characteristic curve)，ROC 曲線(ROC curve)
判定しきい値の関数として，x 軸に誤受入（受理された偽者入力試行）率を，y 軸に対応す
る正受入（すなわち，受理された本人入力試行）率をプロットした曲線。
注記 ROC 曲線の例を 10.6.3，図４に示す。
- 11 -
4.7.3
累積識別精度特性曲線(cumulative match characteristic curve)，CMC 曲線(CMC curve)
ランク値を x 軸に，そのランク以内での正しい識別率を y 軸に記入した，識別試験の結果
のグラフ。
注記 CMC 曲線の例を 10.6.4，図５に示す。
4.8 統計用語
4.8.1
分散(variance)，V
統計分布の広がりの尺度。
(
)
注記１ 確率変数 X の平均を E ( X ) とすると， V ( X ) = E ( X − μ ) ．ここで μ = E [ X ] ．
2
注記２ 分散は，既知ならば，推定結果の真値に対するばらつきを示す。
4.8.2
信頼区間(confidence interval)
パラメタ x に対して，x の真の値がＬとＵとの間にある確率が規定値（例えば，95 %）で
あるような下側推定値 L，上側推定値 U。
例
注記
[L,U ] がパラメタ x の(95%)信頼区間であるならば， 確率(x ∈ [L.U ]) = 95% である。
試験サイズが小さいほど，信頼区間は広くなる。
- 12 -
5
一般バイオメトリクスシステム
5.1 一般バイオメトリクスシステムの概念図
多様なアプリケーション及び技術を想定すると，すべてのバイオメトリクスシステムを
一般的に論じることは難しい。しかし，すべてのバイオメトリクスシステムには多くの共
通要素がある。バイオメトリクスサンプルは，センサによって被験者から収集する。セン
サ出力は処理装置に送られ，そこでサンプルに特有で再現可能な計測値（特徴）が抽出さ
れ，その他すべての情報が捨てられる。その結果生成された特徴は，一つのテンプレート
としてデータベースに蓄積するため，又は，既にデータベースに蓄積されている特定のテ
ンプレート，幾つかのテンプレート若しくはすべてのテンプレートと比較して合致するも
のがあるか否かを判定するために使われる。身元確認要求の判定は，サンプルの特徴と比
較したテンプレート又は複数テンプレートの特徴との類似性に基づいて決定される。身元
確認要求の判定は，サンプルの特徴と比較したテンプレート又は複数テンプレートの特徴
との類似性に基づいて決定される。
- 13 -
データ取得
登録
データベース
身元確認
要求
提示
テンプレート
判定
比較
データ蓄積
比較
テンプレート
比較スコア
信号処理
テンプレート
生成
バイオメトリック
特性
合致・
非合致
候補
リスト
しきい値
特徴
再取得
識別？(4)
照合？(2)
品質評価
センサ
候補？(3)
合致？(1)
特徴抽出
判定基準
対象領域抽出
サンプル
照合結果
識別結果
登録
照合
識別
注記
合致？(1)：合致しきい値を超えているか？
照合？(2)：照合判定基準による照合結果は？
候補？(3)：候補リストのしきい値を超えているか？
識別？(4)：識別判定基準による識別結果は？
図1 － 一般バイオメトリクスシステムの構成要素
図1は，データ取得，信号処理，蓄積，比較，及び判定サブシステムで構成される一般バ
イオメトリクスシステム内の情報の流れを図示したものである。この図は，登録と照合・
識別システムの動作との両方を図示している。次の細別箇条以降では，これらの各サブシ
ステムについてより詳細に説明している。これらの概念構成要素は，実際のバイオメトリ
クスシステムにおいて，存在しないか又は物理的な構成要素に直接対応しない可能性があ
ることに留意されたい。例えば，品質評価を対象領域抽出処理の前又は特徴抽出処理の前
に行うこともできる。
5.2 一般バイオメトリクスシステムの概念構成要素
5.2.1
データ取得サブシステム
データ取得サブシステムは，バイオメトリクスセンサに提示された被験者の生体特徴の
画像又は信号を集め，この画像又は信号をバイオメトリクスサンプルとして出力する。
5.2.2
伝送サブシステム（図表には描かれていない）
伝送サブシステム（バイオメトリクスシステムに常にあるとは限らず，また目に見える
- 14 -
ようにあるとは限らない。
）は，異なったサブシステム間でサンプル，特徴，テンプレート
のすべて又はこれらのいずれかを伝送する。サンプル，特徴又はテンプレートは，標準バ
イオメトリクスデータ交換フォーマットを使って伝送することもある。バイオメトリクス
サンプルは，伝送前に圧縮若しくは暗号化したり，又は圧縮及び暗号化したりして，使用
前に復元若しくは復号化したり，又は復元及び復号化してもよい。バイオメトリクスサン
プルは，圧縮・復元処理における損失だけでなく伝送チャネルの雑音によって，伝送中に
変わる可能性がある。蓄積・伝送されたバイオメトリクスデータの信頼性，完全性及び機
密性を保護するために，暗号技法を用いるのが望ましい。
5.2.3
信号処理サブシステム
信号処理サブシステムは，バイオメトリクスサンプルから識別するための特徴を抽出す
る。信号処理サブシステムには，受信したサンプルから被験者の生体特徴の信号を検出す
る（対象領域抽出処理）
，特徴抽出及び抽出した特徴が確実に識別可能な再現性のあるもの
にするための品質評価処理が含まれる。品質評価によって受信サンプル（群）が拒否され
た場合は，追加のサンプル（群）を収集するためにデータ取得サブシステムに戻る制御が
あっても構わない。
登録の場合は，信号処理サブシステムは，抽出したバイオメトリクス特徴からテンプレ
ートを生成する。登録処理では，複数回の生体特徴提示による特徴を必要とすることが多
い。テンプレートは，特徴そのものからなることもある。
5.2.4
データ蓄積サブシステム
テンプレートは，データ蓄積サブシステムに収容した登録データベース内に蓄積される。
各テンプレートは，登録被験者の詳細情報と関連付けられる。テンプレートは登録データ
ベースに蓄積する前に，バイオメトリクスデータ交換フォーマットに再フォーマットして
もよいということに留意すべきである。テンプレートはバイオメトリクス取得装置の中，IC
カードのような携帯用媒体，パソコン若しくはローカルサーバのような局所的な装置の中
又は中央データベース内に蓄積してもよい。
5.2.5
比較サブシステム
照合サブシステムにおいて，特徴は一つ以上のテンプレートと比較され，比較スコアが
判定サブシステムに送られる。比較スコアは，特徴と比較したテンプレート（群）との適
合度を示す。特徴は登録されたテンプレートとまったく同じ形態になることもある。照合
では，登録被験者の１回の特定要求は，単一の比較スコアを出力する。識別では，多くの
テンプレート又はすべてのテンプレートを特徴と比較して，比較ごとに比較スコアを出力
することがある。
5.2.6
判定サブシステム
判定サブシステムは，照合又は識別トランザクションの判定結果のために 1 回以上の入
力試行による比較スコアを利用する。
照合の場合，比較スコアが規定しきい値を超えるときに特徴と比較テンプレートとは合
- 15 -
致しているとみなす。被験者の登録に関する要求は，判定方針に基づいて，複数回の入力
試行を許容するか又は要求することができる。
識別の場合は，被登録識別子又はテンプレートは，比較スコアが規定しきい値を超える
場合，比較スコアが規定値 k に対する最高 k 位以内にある場合，又は規定しきい値を超え
てかつ規定値 k に対する最高 k 位以内にある場合，その被験者に関する潜在候補となる。
判定方針は，識別判定前に複数回の入力試行を許容するか又は要求してもよい。
注記
複合したバイオメトリクスサンプル、テンプレート、スコアを単一のバイオメトリ
クスサンプル、テンプレート、スコアのように扱い，判定サブシステムがスコアの統
合又は判定の統合を適切に処理できるならば，理論上は，マルチバイオメトリクスシ
ステムを単一バイオメトリクスシステムと同様に取り扱うことができる。
5.2.7
管理サブシステム（図表には描かれていない）
管理サブシステムは，関連する法的及び社会的な制約事項並びに要求事項に従って，バ
イオメトリクスシステムの全般方針，実装及び使用法を統治する。実例としては，次のよ
うなものがある。
－
データ取得中若しくは取得後又はその両方における対象者へのフィードバックの提供
－ 被験者からの追加情報の要求
－
バイオメトリクステンプレート若しくはバイオメトリクス互換データ又はその両方の
蓄積及びフォーマット
－
判定結果若しくはスコア又はその両方に関する最終調停の提供
－ しきい値の設定
－
バイオメトリクスシステム取得環境の設定
－
操作環境及び非生体認証データ蓄積の管理
－
末端利用者のプライバシーに関する適切な保護手段の提供
－
バイオメトリクスシステムを利用するアプリケーションとの協調
5.2.8
インタフェース（図表には描かれていない）
バイオメトリクスシステムは，アプリケーション プログラミング インタフェース，ハ
ードウェア インターフェース又はプロトコルインタフェース経由で外部のアプリケーシ
ョン又はシステムとインタフェースで接続していてもよい。
5.3 一般バイオメトリクスシステムの機能
5.3.1
登録
登録では，システムは被験者個人の登録テンプレートを生成し蓄積するために，その被
験者によるトランザクションを処理する。
登録には，一般的に次のものが含まれる。
－ サンプル収集
－ 対象領域抽出及び特徴抽出
－
品質評価（サンプル・特徴がテンプレート生成に不適当であるとして拒否してもよい
- 16 -
し，追加サンプルの収集を要求してもよい。
）
－
テンプレート生成（複数サンプルからの特徴を要求してもよい。
），バイオメトリクス
データ交換フォーマットへの変換及び蓄積してもよい。
－
登録が確実に利用できるものにするための試験照合又は試験識別
－
最初の登録が不満足であると思われる場合は，繰り返し登録入力試行を認めてもよい
（登録方針に依存する。
）
。
5.3.2
照合
照合では，システムは被験者の登録に関する肯定的な身元確認要求（例えば，
“私は，被
験者 X として登録されている”
）を検証するために，対象者によるトランザクションを処理
する。照合は，その要求を受理するか又は拒否する。照合判定結果は，正しくない要求を
受容した場合（誤受入）又は正しい要求を拒否した場合（誤拒否）に誤りと見なされる。
ある種のバイオメトリクスシステムは，1 人の末端利用者が一つ以上の生体特徴事例を登録
することを認める場合もあることに注意すること（例えば，虹彩システムは，末端利用者
が両方の虹彩画像を登録することを認めることがあり，指紋システムは，末端利用者に 1
本の指を損傷した場合のバックアップとして 2 本以上の指を登録させることもある。
）
。
照合には，一般的に次のものが含まれる。
－ サンプル収集
－ 対象領域抽出及び特徴抽出
－
品質評価（サンプル・特徴が比較には不適当であるとして拒否してもよいし，追加サ
ンプルの収集を要求してもよい。
）
－
身元請求した人物のサンプル特徴と登録されたテンプレートとを比較して，比較スコ
アを計算する。
－
比較スコアがしきい値を超えるか否かに基づき，サンプル特徴がテンプレートと合致
しているか否かの判定
－ 判定方針に従う 1 回以上の入力試行の照合結果に基づく照合判定
例
登録されたテンプレートと照合するため３回までの入力試行が許されている照合シ
ステムでは，誤拒否は取得失敗及び誤非合致による任意の組合せによる３回の入力試
行で発生する。誤受入は，３回の入力試行のいずれかでサンプルが取得され，要求身
元に登録されたテンプレートと誤合致した場合に発生する。
5.3.3
識別
識別では，システムは被験者の登録識別子を見つけるために被験者によるトランザクシ
ョンを処理する。識別は，何も入っていないこともあれば，一つの識別子だけしか入って
いないこともある候補識別子リストを提供する。被験者が登録されていて，その登録識別
子が候補リストに載っていれば，識別は正しいとみなす。登録対象者の識別子が結果とし
て出力される候補リストに載っていない（誤拒否識別誤り）場合，及び非登録被験者に対
して非空白候補リストを出力する（誤受入識別誤り）場合は，識別は誤りと見なされる。
- 17 -
識別には，一般的に次のものが含まれる。
－ サンプル収集
－ 対象領域抽出及び特徴抽出
－
品質評価（サンプル・特徴が比較には不適当であるとして拒否してもよいし，追加サ
ンプルの収集を要求してもよい。
）
－
登録データベース内の幾つか，又はすべてのテンプレートと比較して，比較ごとの比
較スコアを計算する。
－
比較スコアが，しきい値を超えているか，返ってきた最高 k 位のスコアの中にあるか
否か，又はその両方であるかに基づいて，各照合テンプレートがその利用者の潜在候
補識別子になるか否かを判定し，候補リストを作成する。
－ 判定方針に従う 1 回以上の入力試行による候補リストに基づく識別判定
注記１
完全に自動化されたシステムでは，割り当てられた識別子は，
（規定のしきい値を
超える）最高位の類似スコアであるテンプレートに相当する場合がある。オペレ
ータがいる場合，オペレータによる最終判断のために，システムは上位ｒ迄の候
補リストを示す場合がある。オペレータが有力な照合結果を検査するシステムに
おける最終的な性能評価尺度については，この規格の適用範囲外ということにな
る。
注記２
全被験者が登録された識別システムを使う場合，登録者識別誤りは発生しない。
クローズドセット識別として知られる，この縮退した場合には，性能評価の関心
は通常，出力される候補リストのサイズに関連する正確な識別率に向けられる。
5.4 生体情報登録，照合及び識別トランザクション
上記の各バイオメトリクス機能は，利用者トランザクションに依存する。トランザクシ
ョンは，対応する判定方針が許容する又は要求する 1 回以上の入力試行からなる。例えば，
判定方針が照合につき 3 回の入力試行を許容することがある。その場合は，トランザクシ
ョンは，1 回の入力試行からなることもあれば，最初の入力試行が拒否された場合は，2 回
の入力試行からなることもあり，また最初の 2 回の入力試行が拒否された場合は，3 回の入
力試行からなることもある。
各入力試行は，センサ動作，サンプル品質方針及び設定された提示回数制限若しくは 1
回の入力試行の許容時間に依存する 1 回以上の提示からなる。例えば，登録入力試行はバ
イオメトリクスサンプルの 2 回以上の送付が必要になることもある。 バイオメトリクス照
合システムは，1 回の入力試行で一連のサンプルを処理することが多い。例えば，(a)最善
の照合サンプルを見つけ出すために，ある一定期間サンプルを収集する，(b)合致するか若
しくはシステムが時間切れになるまで，サンプルを収集する，又は(c)十分な品質のものが
得られるか若しくはシステムが時間切れになるまでサンプルを収集する。
- 18 -
1 回の入力試行を構成す
るために，1 回以上の提
示が必要とするか又は
許容される。ある種のシ
ステムでは，提示と配置
とは同じことである。
システムがある一つの生
体特徴の複数サンプルを
必要とするか又は許容す
るかによって，あるトラ
ンザクションを構成す
るために，1 回以上の入
力試行が要求されるか
又は認められる。
バイオメトリックシステ
ムとの利用者相互作用
は，一連のトランザクシ
ョンから成り立つ。
提示１
入力試行１
トランザクション１
提示２
入力試行２
トランザクション２
･･･
提示Ｎ
･･･
入力試行Ｎ
･･･
トランザクションＮ
代表的な判定方針では，
N 回の提示後に入力試行
を構成するための十分な
バイオメトリックデータ
が取得できなかった場合
は，
失敗入力試行とする。
代表的な判定方針では，
N 回の入力試行後の登録
又は照合不能は，失敗ト
ランザクションとする。
図２ － 提示，入力試行およびトランザクション
5.5 性能評価尺度
5.5.1
誤り率
照合および識別判定誤りは，照合誤り（すなわち，誤合致および誤非合致誤り）又はサン
プル取得誤り（すなわち，生体情報登録失敗又は取得失敗）による。これらの基本的誤り
がどのように組み合わされると判定誤りとなるかは，要求する比較回数（例えばシステム
が複数回数の入力試行を許すか否か）
，あるいは，身元確認要求が肯定的（既登録証明）か
又は否定的（未登録証明）かという判定方針による。
注記
従来，バイオメトリクス性能は，例えば誤受入率および誤拒否率という判定誤り率
で規定されてきたが，それに関する文献中にも矛盾する記述が見受けられた。大規模
な識別システムに関する文献では，提出されたサンプルが別の利用者によって登録さ
れたテンプレートと誤って合致した時の“誤拒否”発生に言及している。アクセス制
御の文献では，提出されたサンプルが別の利用者によって登録されたテンプレートと
誤って合致した時に“誤受入”が発生すると記述されていた。誤合致率および誤非合
致率は誤受入率および誤拒否率と一般的に同義ではない。誤合致あるいは非合致率は
- 19 -
比較の回数で計算されるが，誤受入あるいは拒否率はトランザクションで計算され，
かつ，既登録確認か又は未登録確認かという規定の仮説の受理又は拒否に言及する。
さらに，誤受入又は拒否率は取得失敗を含む。
5.5.2
スループット
スループットは，計算速度および人間が装置を操作する時間の双方に基づく，単位時間
に処理できる利用者の数を示したものである。これらの尺度は，一般にすべてのバイオメ
トリクスシステムおよび装置に適用できる。適切なスループットを達成することは，どん
なバイオメトリクスシステムにとってもきわめて重要である。アクセス制御システムのよ
うな照合システムのスループットは，通常，良質なバイオメトリクスサンプル提出のプロ
セスにおける利用者の操作時間に支配される。社会サービスプログラムへの登録のような
識別システムのスループットは，登録サンプルを蓄積したテンプレートのデータベースと
比較するのに要するコンピュータ処理時間によって大いに影響を受ける可能性がある。従
って，システムのタイプによっては，利用者がシステムを操作する回数及び計算ハードウ
ェアの処理速度を測定することが適切な場合もある。コンピュータ処理速度の実効的なベ
ンチマークは，[12]の本文で扱っており，この規格の適用範囲外とする。人間対機械の相互
作用の速度測定は，相互作用の開始を示す行為ならびに相互作用を終了させる行為の厳密
な定義づけを必要とする。この定義づけは，試験を開始する前に決定し，試験報告書に注
記することが望ましい。試験報告書には，人間対機械の相互作用に含まれる利用者行為の
簡単な一覧表も入れることが望ましい。
5.5.3
性能評価の種別
バイオメトリクスシステムの試験には，登録時のテンプレート生成及び照合又は識別入
力試行のマッチングスコア計算のために使用する入力画像若しくは信号の収集が含まれる。
収集した画像・信号は，オンライン登録，照合又は識別のために直ちに使用したり，又は，
蓄積しておいて，後でオフライン登録，照合又は識別のために使用することができる。
a) テクノロジ評価は，すべてのアルゴリズムの試験は理想的に言えば“ユニバーサル”セ
ンサ（すなわち，試験するすべてのアルゴリズムに等しく適しているサンプルを集める
センサ）によって集めた，標準化したコーパスで実施する。それでもなお，このコーパ
スに対する性能は，環境及びそれを収集した母集団の両方に依存する。データ例は，試
験以前に開発又は調整のために配布されるが，実際の試験は，アルゴリズム開発者がそ
れまでに見たこともないデータに基づいて実施しなければならない。試験は，データの
オフライン処理を用いて実施する。コーパスは不変であるので，テクノロジ試験の結果
は再現可能である。
b) シナリオ評価は，試験は対象となる実在するアプリケーションをモデル化した環境にお
いてシステム全体で実施する。試験される各システムは，自前の取得センサを持ってい
るため，わずかに異なったデータを受信するはずである。それゆえに，複数のシステム
を比較する場合，試験されるシステムのすべてを横断したデータ収集は，同じ母集団を
- 20 -
もった同じ環境の中で行うように注意する必要がある。試験は，各装置のデータ蓄積能
力のいかんによって，オフライン比較とオンライン比較とを組み合わせたものになる可
能性がある。試験結果は，モデル化したシナリオによって詳細に管理できる範囲におい
てのみ再現性がある。
c) 運用評価では，運用システムのデータ蓄積能力によっては，オフライン試験ができない
場合もある。一般に，運用試験結果は，運用環境間の未知で文書化されていない相違の
ために再現可能ではない。さらに，特に運用評価が管理者，操作者又は監視者のいない
無監督状態で実施された場合，“真の情報”（すなわち，誰が実際に“善意”のバイオメ
トリクス測定値を提示したか）を確かめることは難しくなる可能性がある。
附属書 A は，様々な評価形式の様々な特性を要約したものである。
6
評価計画
6.1
一般的な事項
評価における第一歩として，実験者は，次の事柄を決めなければならない。
a) 評価すべきシステム・アプリケーション・環境
b) 測定すべき性能に関する事項
c) 性能評価用データ集合作成の方法（すなわち，次のうちのどれが適切な評価形式である
か：テクノロジ評価，シナリオ評価，又は運用評価）
これらの決定事項は，適切な環境制御，被験者選定及び試験規模の明細を規定した，適
切な試験規約を開発するための基礎を成す。
注記
評価形式の選択は，例えば，テクノロジ評価用の試験サンプルのコーパスが入手で
きるかどうか，又は運用評価用の導入システムが入手できるかどうかによって，決
定される可能性がある。3 種類全ての試験形式が順に実行され，恐らくはバイオメ
トリクス識別システムの最終配備のために検討中であるモダリティの選択肢及び
システムが徐々に絞り込まれていく環境もありうる。
6.2
この規格群の他の部の利用
例えば次の事由によってシステム及びアプリケーションが異なれば，試験方法論も違っ
たものが必要になる。
a) 環境の相違
b) 利用者母集団の相違（例えば，利用者の習熟の相違）
c) バイオメトリクスモダリティの相違（例えば，モダリティが異なれば異なった環境条件
によって影響を受けることによるもの，及び主として行動的生体認証と主として身体
的生体認証との間の相違によるもの。
）
d) 関心のある性能評価指標の相違（例えば，照合の総合的な性能，登録者非限定識別及び
登録者限定識別は，測定の方法が異なる。
）
e) 入手できるデータの相違（例えば，照合候補事前選択を用いる識別システムは，必ずし
- 21 -
もすべてのサンプル特徴の類似スコアをテンプレート比較に提供するわけではない。
しかしながら，照合候補事前選択によって欠落したデータは，未知であると処理する
ことはできない。そのサンプルは，照合候補事前選択されなかったいかなるテンプレ
ートと比較しても悪い類似スコアが付きそうである。
）
f) （利用者が要求身元を提示しない場合に）識別システムに対してグランドトルースを与
える際に追加的に生じる問題
この規格群のこの部は，性能評価を実施し報告するための基本原則を規定している。こ
の規格の後続の部で，個々の評価形式，バイオメトリクスモダリティ，対象アプリケーシ
ョン，又は評価目的に関するより具体的な手引き及び要求事項が規定される。
6.3
システムに関する情報の判定
実験者は，適切なデータ収集手順を計画するために，試験するシステム（群）に関する
次の情報を判定しなければならない。
a) システムは，トランザクション情報を記録するようになっているか。なっていない場合
は，この情報は，被験者，オペレータ又は試験監視者が手作業で記録しなければなら
ない。
b) システムは，トランザクションごとのサンプル画像又は特徴を保存するようになってい
るか。これは，比較スコアをオフラインで生成する場合に必要になる。
c) システムは，比較スコアを返すようになっているか，又はただ受入判定若しくは拒否判
定を返すだけになっているか。後者の場合は，DET 曲線（7.2.3 を参照）を作成するた
めに，種々のセキュリティ設定でデータを収集しなければならないことがある。比較
スコアが返って来る場合は，パラメータ及び尺度に関してどんな情報が入手できるよ
うになっているか。
d) ベンダーのソフトウェア開発者用キット（Software Developer’s Kit, SDK）は，入手
できるか。本人比較スコア及び他人比較スコアのオフライン生成は，次の事項をする
ために SDK のソフトウェアモジュールを使用する必要がある。
1) 生体情報登録サンプルから生体情報登録テンプレートを作成
2) 試験サンプルからサンプル特徴を抽出
3) サンプル特徴とテンプレートとの間の比較スコアを生成。オフラインコードで作り
出す比較スコアは，本物のシステムが作り出すものと等しいことが望ましい。これ
には，パラメータの調整が必要になることもある。
e) 試験のためにシステムの修正が必要となるか。必要となる修正は，システムの性能特性
を変えてしまうか。
f) システムは，(他人の情報に影響しない)独立したテンプレートを作成するようになって
いるか。ある人物を登録することによって他の人のテンプレートが影響を受ける場合
には，偽物トランザクションを収集又は作成するための正しい手順は，異なる（7.6.2.6
及び 7.6.3.2 参照）
。
- 22 -
g) システムは，照合がうまく行った後にテンプレートを再学習させるアルゴリズムを用い
ているか。そうなっている場合は，テンプレートの再学習は性能を測定する前にどれ
くらいにしておくのが望ましいかについて考慮しなければならない。また，偽物試験
はテンプレートに悪影響を与える可能性があることにも考慮しなければならない
（7.4.4 及び 7.6.1.4 参照）
。
h)
対象アプリケーションに対する推奨画像品質及び比較判定しきい値はどうなっている
か。これらの設定値は，提示サンプルの品質及び誤り率に影響を与える。
i) 期待される概算誤り率は分かっているか。この情報は，試験規模が適切であるか否かを
判定するのに役立つはずである（B.1 参照）
。
j) この形式のシステムに対して性能に影響を与える要因は，何であるか。これらの要因は，
制御されなければならない（6.4 参照）
。
k) 性能は，生体情報登録データベースの規模に依存するか。ほとんどの識別システムは，
そのようになっているが，グループ登録を実行する照合システムや 1 対多検索を照合
処理の中に組み込んだ照合システムといったいくつかの照合システムもまたそのよう
になっている。
注記
シナリオ試験及び運用試験では，
（品質しきい値及び判定しきい値を含む）最適な性
能のための装置及び環境の調整は，どれもデータ収集に先立って行われる必要があ
る。品質評価をより厳密にすると，誤合致及び誤非合致をより小さくすることがで
きるが，取得失敗率はより高くなり得る。比較結果が利用者に提示される場合には，
判定しきい値もまた適切に設定する必要がある。正又は負のフィードバックが，利
用者の行動に影響を与えるからである。最適な環境及び設定間のトレードオフに関
する情報をベンダーから入手できることもある。
6.4
性能に影響を与える制御要因
6.4.1
バイオメトリクスシステムの性能評価結果は，アプリケーション，環境及び母集団
に強く依存する。附属書 C は，バイオメトリクスシステムの性能に影響を与えることがわ
かっている，利用者要因，アプリケーション要因，及び環境・システム要因の一覧表を記
載している。これらの要因をいかに制御するかは，データ収集に先立って決定しなければ
ならない。
6.4.2
測定性能に影響を与える要因は，4 つの制御可能性クラスのうち 1 つに明示的又は
黙示的に分けられなければならない。
a) それらが及ぼす影響を観察することができるように，
（独立変数として）実験構造の中
に組み込まれた要因
b) 実験条件の一部となるように制御された要因（評価をしている間は不変）
c) 実験を通して無作為化される要因
d) ごくわずかな影響しか及ぼさないと判断される要因。この要因は無視される。この最後
の分類がなければ，実験は不必要に複雑になると思われる。
- 23 -
この分類を行うためには，どの要因が最も重要であるか及びどの要因が無視しても安全
であるかを判定するために，システムの予備試験が必要になることもある。どの要因を制
御すべきかを判定する際に，内部妥当性（すなわち，性能の相違は，研究で記録した独立
変数だけによるものである）のニーズと外部妥当性（すなわち，結果は，対象アプリケー
ションにおける性能を正確に表したものである）のニーズとの間に矛盾が起きる可能性が
ある。
例
２つのシステムの性能を比較しており，生体情報登録監督者の技能又は個人特性が性
能に影響を与えるかどうかを懸念していると仮定する。この要因を制御する上で可能
な方法は以下のものである。ａ）システム間での性能差異の測定と同じ様に，監督者
が異なった場合の性能差異測定試験を計画すること。ｂ）ただ一人の監督者を用いる
こと，又は実験を通して監督者・被験者間の相互作用が可能な限り一貫するよう気を
付けたものとすること。ｃ）生体情報登録の入力試行を全ての監督者間に無作為に割
り当てること。それによりシステム的な偏りを避ける。ｄ）生体情報登録監督者間の
差異がシステム間の差異と比べて小さいという事前の証拠がある場合，その実験では，
この要因を無視してもよい。
6.4.3
テクノロジ試験では，試験が評価するシステムにとって難し過ぎずかつ易し過ぎな
いようにするために，一般的なアプリケーション及び母集団を考えても良い。
6.4.4
シナリオ試験では，現実的な環境を代表する利用者でバイオメトリクスシステムを
試験できるようにするため，実際のアプリケーション及び母集団を特定しモデル化するの
が望ましい。
6.4.5
運用試験では，環境及び母集団は，実験者による制御はほとんど受けず，本来の状
態のままで確定される。
6.4.6
試験を計画するときに特に重要なことは，生体情報登録と照合データ・識別データ
の収集との間の時間間隔である。一般に，時間間隔が長くなればなるほど，
“テンプレート
老化”と言われる現象によってサンプルをテンプレートと合致させることがだんだん難し
くなる。これは，バイオメトリクスパターン，その提示，及びセンサの時間関連変化によ
って引き起こされる誤り率の上昇のことである。したがって，本物トランザクションデー
タの収集は，対象アプリケーションに見合った間隔で生体情報登録と時間的に分けなけれ
ばならない。この間隔が分からない場合は，時間間隔は，できる限り長くするのが望まし
い。大体の目安としては，少なくともその身体部分が回復する一般的な時間程度はサンプ
ルを分離させることである。
例
指紋では，２週間から３週間で十分とすることが望ましい。眼の構造はより早く回復
すると思われ，ほんの２，３日だけの間隔でよい。髪型が身体構造を損なうことを考
慮すると，顔画像は，恐らく１ヶ月又は２ヶ月間分離することが望ましい。
注記
（比較スコアを改善させる）利用者の習熟又は（スコアを減じさせる）テンプレー
ト老化を試験するために計画された特別な試験では，長期にわたる複数のサンプル
- 24 -
が必要とされる。テンプレート老化及び習熟が，異なった既知の時間スケールで起
こらない場合には，反対に作用するそれらの効果を別々に抽出する方法はない。
6.5
6.5.1
被験者選定
生体情報登録機能及びトランザクション機能は両方とも，入力信号又は画像を必要
とする。これらのサンプルは，試験母集団又は被験者集団からのものが望ましい。人工的
に生成したサンプル又は特徴（実際のデータの修正によって造ったものを含む）を使う必
要がある場合は，そのような使用を報告し，その正当性を証明しなければならない。また，
その生成法及び適切性に関する想定事項を記述しなければならない。合成データに対する
結果と非合成データに対する結果は，別々に報告しなければならない。また，合成データ
と非合成データとを混合したデータに対する結果は，その混合の詳細を報告しなければな
らない。
注記
人工的に生成した画像の使用は，テクノロジ評価における内部妥当性を改善する。
性能に影響する全ての独立変数を制御することができるからである。しかしながら，
外部妥当性が引き下げられる恐れがある。コーパスは，その生成に使われたものと
同じ方法でバイオメトリクス画像をモデル化するシステムに関して偏りを生じさせ
る可能性も高い。
6.5.2
被験者集団には，試験するバイオメトリクスシステムを開発又は調整するために，
バイオメトリクス特徴を以前に使ったことのある人々が含まれていてはならない。
6.5.3
被験者集団は，その性能を試験結果から予測する対象アプリケーションの被験者集
団と人口統計的に類似しているのが望ましい。このようになるのは，対象アプリケーショ
ンを使う見込みの利用者から被験者を無作為に選定した場合である。そうでない場合は，
ボランティアに頼らざるを得なくなる。
6.5.4
被験者集団をボランティアから募集することは，試験を偏らせる恐れがある。例え
ば，定常的に使用する人であるか又は肉体的にハンディのある人であるかを問わず，特異
な特徴を持った人々は，サンプル母集団では十分に代表されていない可能性がある。バイ
オメトリクス技術の利用に強固に反対する人々は，進んでは試験に参加しないであろう。
被験者集団ができる限り代表的であり，既知の問題事例を十分に代表しないことが無いよ
うにするためには，ボランティアから不均等に選定しなければならないこともある。バイ
オメトリクスシステム性能に影響を及ぼす人口統計的要因に関する現行の理解はあまりに
貧弱すぎて，対象母集団に対する近似は，常に試験予測値を制限する主要問題となる。
6.5.5
生体情報登録及び試験は，通常は，対象アプリケーションのいかんによって，何日，
何週間，何カ月又は何年も離れた別のセションで実施される。この全期間にわたって安定
した構成員を持った被験者集団は，見つけるのが困難であり，何人かの被験者が生体情報
登録と試験との間に脱落すると思ったほうが良い。
6.5.6
利用者が意識する対象アプリケーションでは，被験者集団の行動が対象アプリケー
ションに従うようにするために，適切に指導及び動機付けするのが望ましい。被験者が決
- 25 -
まりきった試験に退屈してくると，彼らは，実験をしたくなるか又はだんだん注意散漫に
なる。そのような可能性は，回避しなければならない。
6.5.7
利用者が意識しない対象アプリケーションでは，被験者は，理想的に言えば，サン
プルの取り込みが起こっている瞬間に，あたかもそれに気が付いていないかのごとく振舞
うことが望ましい。これは，長期間にわたってデータを受動的に取り込むこと，及び RFID
タグを使うことで被験者が入力しなくとも正しい識別子を得られるようにすることにより
達成できる可能性がある。
6.5.8
可能であれば，被験者は，必要となるデータ収集手順についてすべて知っており，
原データの使われ方及び頒布の仕方について承知しており，必要となるセッションの回数
及びセッションの持続時間について知らされていることが望ましい。データ使用の有無に
かかわらず，被験者集団の身元は公表しないほうが良い。各被験者がこれらの問題を了解
していることを認める同意書に署名してもらうのが望ましく，実験者は，それを内密に保
存しなければならない。
注記
例えば，利用者が意識しない識別システムにおける運用試験のような形式の試験で
は，被験者への通知は現実的でない場合がある。あるいは，通知することで被験者
の行動が変化し，それゆえ収集した結果が無効になる場合もある。
6.6
試験規模
6.6.1
一般的な事項
被験者数，実施した入力試行の回数（及び，適用できる場合は，1 人当たりの使用した指，
手又は目の数）に関して，評価の規模は，誤り率がいかに正確に測定されるかに影響を及
ぼす。試験が大規模になればなるほど，試験結果の精度が向上する可能性が高い。所定の
精度水準を得るために必要となる入力試行回数の下限を規定するために，
（B.1 に記述した）
3 の法則及び 30 の法則といった法則を用いても良い。しかしながら，これらの法則は一般
に生体認証には当てはまらない。誤り率は単一の変動性源によると仮定しているので楽観
的過ぎる。一人当たり 10 組，100 人からの生体情報登録－試験サンプルは，一人当たり一
組，1000 人からの生体情報登録－試験サンプルと統計的に同等ではなく，結果に同水準の
確実性を与えない。
注記
試験規模が増えるにつれて，推定値の分散は減ってくるが，スケール因子は変動の
原因に依存する。例えば，1/（入力試行回数）の代わりに 1/（被験者数）としてスケ
ーリングされた分散成分が与えられた場合，利用者は異なる誤り率を得るかもしれ
ない[16]。この影響は，附属書Ｂの中で詳細に論じられる。
6.6.2
6.6.2.1
利用者 1 人当たり複数のトランザクションの収集
評価では，被験者ごとに複数のトランザクションを収集しても良い。利用者ごと
に幾つかのトランザクションを収集したほうが良い状況には，次のものがある。
a) 経時変化，習熟及びその他のシステム的変化の影響に関する試験
b) テンプレート更新を用いたシステムの試験
- 26 -
c) 利用者毎に異なる個々の誤り率の範囲に関する試験
d) 試験前にトランザクションの完全な定義づけをしなかったとき，例えば，トランザクシ
ョン当たりの入力試行の回数によって，性能がいかに変化するかを判定するため。
注記
被験者集団を調達し生体情報登録する費用と労力を考慮に入れる必要がないならば，
理想的な試験は，それぞれがただ１回のトランザクションを行う多くの被験者から
成るといって差し支えない。これによりトランザクション間の独立性が備わる。し
かしながら，現実の世界では，新しい被験者を探して生体情報登録するよりも，既
に生体情報登録した者を戻す方が極めて容易である。さらには，入力試行が為され
る時はいつでも，わずかな労力をかけるだけで，同時に幾つかのさらなる入力試行
を収集することができる。そのような複数のトランザクションは，幾つかの相関関
係を示す。それにもかかわらず，少ない被験者からの複数のトランザクションを用
いた方が，同じ費用でそれよりわずかに多い被験者からの１回ずつのトランザクシ
ョンを用いた試験よりも，より小さな不確実性が試験結果として得られる場合が多
い。
6.6.2.2
被験者 1 人につき収集する試験トランザクションの回数及び頻度は，対象アプリ
ケーションと一致しているのが望ましい。トランザクションパターンの変更が誤り率に大
きな影響を及ぼさないのであれば，試験計画でこれを変えても良い。
注記
装置に対する慣れ親しみの増加又は認証結果のフィードバックにより，継続的な入
力試行に伴って利用者の行動が，変化することがある。例えば，利用者が行う最初
の入力試行は，その後に続く入力試行よりも高い失敗率になる可能性がある。結果
として，観測される誤非合致率は，試験規約によって定義された利用者毎の入力試
行のパターンに依存する。一般に，誤り率は，対象となる母集団に対する平均だけ
でなく，利用者が行うことが妥当な入力試行の種類も平均して測定される。複数の
入力試行で平均することが，この場合の助けとなりうる。しかしながら，利用者１
人当たりの入力試行の回数とパターンを変更することは，測定される誤り率に対し
て十分に大きな影響を与える程，利用者の行動に影響を与える可能性がある。
例
利用者が装置又はバイオメトリクスアプリケーションに不慣れであることが望ましい
試験においては，複数のトランザクションを使用することは，不適切である。
6.6.3
試験規模に関する推奨事項
試験精度を判定する上では，試験を受ける人数の方が，入力試行の合計回数よりも重要
である。
a) 被験者集団は，できる限り大きくなければならない。実行可能性の基準は，被験者集団
の募集及び追跡の費用となることが多い。
b) 入力試行の合計回数が 3 の法則又は 30 の法則の適切な方が要求する回数を超えるよう
に，被験者 1 人につき十分なサンプルを収集しなければならない。これらの複数サン
プルを異なった日に，又は，異なった指，目若しくは手から，収集することができ（，
- 27 -
，そうすることは，同
追加したサンプルが依然として通常の使用を代表していれば 1））
一人物によるサンプル間の従属性を減らすのに役立つはずである。
c) 一旦データが収集され分析されると，性能評価尺度の不確実性を推定して，試験が十分
な大きさであったか否かを判定しなければならない。
注記
収穫逓減の法則が当てはまる。すなわち，被験者集団の規模及び試験数を大きくし
ていくことで誤差が減っていくが，ある段階に達すると，使用環境又は被験者選定
の偏りから生じる誤差の影響の方が強くなり、規模を大きくすることによる精度に
対する効果が小さくなっていく。
注 1) 例えば，小指の使用は，恐らく指紋システムの通常の使用を代表しているものではな
く，結果として生じる誤り率は異なったものになる[17]。同様に右手用の掌形システム
において反転した左手は，代表するものではない。
6.7
複数試験
6.7.1
データ収集の費用は非常に高いので，1 回のデータ収集努力で複数の試験を実施す
るのが望ましいはずである。テクノロジ評価は，これを見込んでいる。画像標準が存在し
ているバイオメトリクス装置（指紋[18]，顔[19]，虹彩[20]及び声[21]）の場合は，複数ベ
ンダーからのパターンマッチングアルゴリズムのオフライン試験用に 1 つだけのコーパス
を集めても良い。事実上，これによって，データ収集と信号処理サブシステムとが切り離
される。しかしながら，通常これらのサブシステムは完全には独立していないので，これ
には問題がないわけではない。例えば，画像を再取得するためにデータ収集サブシステム
を必要とすることもある品質評価モジュールは，信号処理サブシステムの一部である。さ
らに，たとえ画像標準が存在していても，画像品質は，データ収集過程を誘導するベンダ
ー固有利用者インタフェースによって影響を受ける。結果として，標準化したコーパスを
用いたアルゴリズムのオフライン テクノロジ評価は，システム全体の性能を良く示してい
ない可能性もあり，またあるシステムが他のシステムよりも有利になるように偏っている
こともある。
6.7.2
複数システムのシナリオ評価も，被験者集団にセションごとにいくつかの異なる装
置又はシナリオを使用させることによって同時に実施することができる。しかしながら，
この取り組み方は，注意を要する。考えられる一つの問題は，被験者が装置から装置に移
動するにつれて慣れてくることである。この影響をすべての装置にわたって均等にするた
めに，各被験者へのそれらの提示順序を無作為化するのが望ましい。ある装置に対する理
想的な行動が別の装置に対するものと矛盾する場合，さらなる潜在的な問題が発生する。
例えば，ある装置は動画に最もよく作動するのに対して，他の装置は静止画を必要とする。
そのような矛盾は，試験中の一つ以上の装置に対する低品質試験画像という結果を生じる
可能性がある。
7
データ収集
- 28 -
7.1
データ収集誤りの回避
7.1.1
収集したバイオメトリクス画像サンプル又は特徴は，正しくはコーパスと呼ばれる。
これらの画像及びそれらを生み出した利用者に関する情報は，メタデータと呼ばれる。コ
ーパスとメタデータは両方とも，収集処理中の人的誤りによって破損される可能性がある。
収集処理での誤り率は，簡単にバイオメトリクス装置の誤り率を超えるかもしれない。こ
のため，コーパス誤り（誤取得画像）とメタデータ誤り（誤ラベル画像）との両方を回避
するように，データ収集中には細心の注意を払わなければならない。
7.1.2
典型的なコーパス誤りは，次のようなものである。
a) システムを不正確に（及び，実験制御の許容範囲外で）使用する被験者。例えば，誤っ
て指紋スキャナを逆さまに使用するような被験者。
b) 利用者が個人識別番号を入力したが，適切な画像が取り込まれる前に先に進んだ場合に，
空白又は破損した画像が取得されるような事例
7.1.3
メタデータエラーの考え得る原因には，次のようなものがある。
a) 間違った個人識別番号が発行された被験者
b) 個人識別番号入力時のタイピング誤り
c) 間違った身体部分の使用，例えば，人差し指が要求されているときに中指を使用
7.1.4
キーボード入力を必要とするデータの量を最小にするデータ収集ソフトウェア及び
入力データを二重チェックするための複数収集要員を用いなければならない，かつ，デー
タには冗長性を持たせなければならない。監督者は，システムの正しい操作及び警戒すべ
き起こり得る誤りに精通していなければならない。何が誤取得サンプルとなるかについて
の解釈が変わることを避けるために，客観的な基準を前もって定めておかなければならな
い。収集行動を取り巻くあらゆる異常な状況及び影響を受けたトランザクションは，収集
要員が記録しておかなければならない。
7.1.5
いかに注意しても，何らかのデータ収集誤りは起こりうる。そのことにより，測定
試験結果に対する不確実性が増加することになる。コーパス誤りやメタデータ誤りの事後
修正は，収集システムが内蔵している冗長性に基づいているのが望ましく，試験したバイ
オメトリクスアルゴリズムの出力だけに依存していないほうが良い。この点で，サンプル
画像，トランザクションの記録，又はその両方を保存できるシステムは，すべての詳細を
手作業で記録しなければならないシステムよりも，多くの誤り修正手段を提供する。
7.1.6
収集要員は，収集したサンプルが前もって決定され，文書化し，公表されている正
式な除外基準に適合しない限り，それらのサンプルを手動で捨ててはならないし，自動除
外機構を使ってもならない。そのようにして除外したサンプル数は，報告しなければなら
ない。
例 取得領域が 0.25cm2 未満の場合には指紋サンプルを除外する。
7.2
7.2.1
収集したデータ及びその詳細
自動的に収集できるデータは，バイオメトリクスシステムの実装によって左右され
- 29 -
る。システムは，理想的に言えば，評価のために，要求身元及びマッチングスコア・品質
スコアの詳細を含め，すべての生体情報登録，照合，又は識別の入力試行を自動的に記録
し，できればサンプル画像又は特徴も保存することが望ましい。これによって次のような
利点がもたらされる。
a) ベンダーの SDK が入手可能であれば，生体情報登録テンプレート及びマッチングスコ
アをオフラインで生成することができる―これは，サンプル特徴とテンプレートの完
全相互比較を可能とするもので，より多くの偽物スコアが与えられる。
b) 収集した画像は，アルゴリズムの改善事項を評価するため，又は（画像が適切なフォー
マットであるならば）テクノロジ評価にて他のアルゴリズムを評価するために再利用
することができる。
c) 潜在的なコーパスエラー又はメタデータエラーを，画像を視覚的に検査するか，又はト
ランザクション記録を調べることによって確認することができる。
d)
手作業で記録することが望ましいデータの量及び転記誤りの可能性が最小限に抑えら
れる。
7.2.2
多くのバイオメトリクスシステムは，通常の操作モードでは 7.2.1 で規定した理想的
な機能を提供しない。ベンダーの協力を得て，この機能を他のすべての点では標準的なシ
ステムに組み込むこともできるかもしれないが，システム性能に影響を及ぼさないように
注意したほうが良い。例えば，画像を記録するためにかかる時間は，システムの速度を低
下させ，利用者の行動に影響を及ぼすかもしれない。サンプル画像又は特徴が保存できな
い場合は，生体情報登録，本物トランザクション及び偽物トランザクションは，オンライ
ンで実施し，必要であれば結果を手作業で記録しなければならない。すべての結果が確実
に正しく記録されるようにするために，試験要員はこれを綿密に監督しなければならない。
7.2.3
システムによっては，マッチングスコアを返さないで，その時点におけるセキュリ
ティ設定での合致又は非合致の判定だけを返すものもある。そのような場合に検出エラー
トレードオフ曲線(DET 曲線)を記入するためには，本物入力試行データ及び偽物入力試行
データを多くのセキュリティ設定で収集又は生成しなければならない。ベンダーはセキュ
リティ設定の適切な範囲に関して助言してもよい。
（“低”，“中”，“高”などの）選択した
セキュリティ設定値が，判定しきい値の代わりに DET 曲線の媒介変数となる。オンライン
試験の場合は，誤り率を正しく推定するために，各利用者は，選択した各セキュリティ設
定でトランザクションを行わなければならない。
注記
利用者の本物入力試行は，徐々に緩い設定にしていき合致が得られた時点でやめ，
利用者の偽物入力試行は，徐々に厳しい設定にしていき非合致が得られた時点でや
めるといった試験規約が構築されるということもあり得る。そのような規約は，複
数入力試行の効果と判定しきい値の変化による効果とが混同されるため，この規格
には適合しない。
7.2.4
データ収集計画には，被験者がシステムから自分のサンプル及び経歴情報の削除を
- 30 -
要求できるような仕組みを入れておく必要があり得る。そうでない場合，編集作業は多大
な時間を要し，誤りが起こりがちである。
7.3
生体情報登録
7.3.1
7.3.1.1
生体情報登録トランザクション
生体情報登録は 2 つ以上のテンプレート（例えば，それぞれの指の指紋ごとのテ
ンプレート又は複数の顔ポーズのテンプレート）を生成してもよいが，各被験者は，1 度生
体情報登録するだけにしなければならない。1 個の良好な生体情報登録を獲得するために生
体情報登録時に複数回の入力試行を認めてもよい。偶発的に複数回の生体情報登録がなさ
れないように注意しなければならない。
7.3.1.2
生体情報登録サンプルが後ほど合致の結果を得るのに十分な品質であるようにす
るため，及び被験者をシステムに習熟させるために，生体情報登録時に練習試験を実施し
て差し支えない。そのような練習試験から生じるスコアは，
（生体情報登録直後の性能を測
定しているのでなければ）本物比較記録の一部として記録しておかない方が良い。
7.3.1.3
7.3.2
7.3.2.1
可能であれば，生体情報登録サンプルは，記録しておくことが望ましい。
生体情報登録条件
生体情報登録条件は，対象アプリケーションの生体情報登録をモデル化するのが
望ましい。生体情報登録環境の分類[22]が，試験結果の適用性を決定する。ベンダの推奨事
項には従ったほうが良く，環境の詳細には留意したほうが良い。雑音環境には特に注意す
る必要がある。雑音は，話者照合の場合は音響雑音であり，目，顔，指，又は手の画像処
理システムの場合は光学雑音である。特に，センサに直接当たるあらゆる光及び被写体の
身体部分からの制御されない反射などの照明“雑音”は，光学的画像処理を採用している
すべてのシステムの関心事である。照明条件は，提案されたシステム環境をできる限り厳
密に反映させるのが望ましい。ある雑音環境での試験結果は他の環境に変換できないとい
うことに留意することが，特に重要である。
7.3.2.2
あらゆる生体情報登録は，同じ一般条件下で実施しなければならない。多くのデ
ータ収集努力が，長期にわたる収集過程の間に規約又は機器が変更されたことにより台無
しになってきた 2)。目標は，提示・伝送チャネル効果がすべての被験者にわたって一様にな
るか，又は被験者全体で無作為に変わるように，それらの効果を制御することであるのが
望ましい。
注 2) 有名な例は，KING スピーチコーパスにおける“大分水界(the Great Divide)”[23]
である。収集の中ほどで，今では誰も思い出せないある理由から，録音装置を一時的
に分解しなければならなくなった。後に元の配線図に従って組み立て直されたが，そ
れでもなお周波数応答特性がわずかに変わり，データに分断が生じ，そのデータを基
にしたアルゴリズムの科学的分析を複雑にした。
7.3.2.3
試験が進むにつれて，生体情報登録監督者は，システムに関する実用的知識を追
加で獲得する可能性があり，その後の生体情報登録実施の方法に影響を及ぼす可能性があ
- 31 -
る。これを防ぐために，生体情報登録処理及び監督者の介入基準を前もって決定しておか
なければならない。また，十分な監督者訓練を施さなければならない。
7.3.3
生体情報登録失敗及び提示誤り
7.3.3.1
バイオメトリクスシステムは，ある生体情報登録入力試行を受け入れないことが
ある。生体情報登録に複数の画像を必要とするシステムの品質評価モジュールの中には，
提示と提示の間で大きく変わる画像は受け入れないものがある。一方，品質が悪い単一画
像を拒否する品質評価モジュールも存在する。これらのモジュールが受け入れ基準を調整
できる場合は，ベンダの助言に従ったほうが良い。最大入力試行回数又は最大経過時間を
前もって決めた上で，複数回の生体情報登録入力試行を認めても良い。すべての品質スコ
ア及び生体情報登録サンプルは，記録しておくことが望ましい。生体情報登録入力試行を
失敗した利用者に対して採るべき助言又は救済策は，試験計画の一部として前もって決め
ておかなければならない。
7.3.3.2
選択された基準で生体情報登録に失敗した被験者の割合は，記録し報告しなけれ
ばならない。できれば，生体情報登録失敗の理由も記録し報告することが望ましい（例え
ば，バイオメトリクス特徴を持っていない人，サンプルが取得できない，若しくは生体情
報登録アルゴリズムの失敗・例外の事例，又は練習入力試行でうまく照合することができ
なかった人）
。
7.3.3.3
すべての品質評価が，自動的になっているわけではない。提示された生体情報登
録尺度が，前もって決定したある基準に不適切である場合は，実験者による介入を必要と
してもよい。例えば，生体情報登録しようとしている利用者が，間違った指，手又は目を
提示するか，間違った生体情報登録語句を発声するか，又は間違った名前を署名する可能
性がある。このようなデータは削除することが望ましい。ただし，削除した事実の記録は
保管しておかなければならない。
7.3.3.4
適切でない方法で提示されたバイオメトリクスデータを削除するデータ編集は，
統計学でいう外れ値除去の方法に基づいてなければならないかもしれないが，こうするこ
との結果として生じる性能評価尺度への影響は，十分に注意しなければならない。生体情
報登録データは，単に生体情報登録したテンプレートが外れ値であるという理由で削除し
てはならない。
7.4
7.4.1
本物トランザクション
本物トランザクションデータは，雑音を含め，対象アプリケーションに密接に近似
した環境で収集しなければならない。この試験環境は，収集過程を通して一貫していなけ
ればならない。被験者の意欲及びシステムへの訓練・習熟水準も，対象アプリケーション
のものを反映していることが望ましい。
注記
テクノロジ評価の場合には，対象アプリケーションは，試験対象のアルゴリズムの
能力に対して難し過ぎずかつ易し過ぎないようなものが想定される。
7.4.2
収集過程は，提示及びチャネル効果がすべての利用者で一様であるようにするか，
- 32 -
又は利用者全体で無作為に変動するようにするのが望ましい。これらの効果が利用者全体
にわたって一様に保たれている場合は，生体情報登録中に実施したものと同じ提示・チャ
ネル制御を試験データの収集にも実施するのが望ましい。生体情報登録データと試験デー
タとの間の提示・チャネル効果のシステム的な変動は，これらの要因によってゆがめられ
た結果をもたらす。提示・チャネル効果を被験者全体にわたって無作為に変動させられる
場合は，すべての利用者にわたって生体情報登録セッションと試験セッションとの間でこ
れらの効果の相関関係がないようにしなければならない。
7.4.3
理想的な事例では，被験者は，生体情報登録と試験データの収集との間に，システ
ムを対象アプリケーションと同じ頻度で使用するのが望ましい。しかしながら，これは，
被験者集団の費用対効果の高い活用法ではない可能性がある。いかなる中間使用もやめて，
試験データ収集の直前に再度習熟させるための入力試行を許したほうが良い場合もある。
7.4.4
照合がうまくいった後にテンプレートを再学習するシステムについては，生体情報
登録と本物入力試行及びトランザクションデータ収集との間の何らかの中間使用が適切で
ある場合もある。中間使用の量は，データ収集前に決定しておき，結果と一緒に報告する
のが望ましい。
7.4.5
サンプリング計画は，少数の代表的でない利用者が極端な高頻度で出現するような
偏りを防ぐように設計しなくてはならない。
7.4.6
データ入力エラーを防止し，収集を取り巻くどんな異常な状況も文書化するように，
細心の注意を払わなければならない。被験者側と試験管理者側のキー入力は両者とも，最
小限にするのが望ましい。データは，偽物利用者又はシステムを意図的に誤用する本物利
用者によって改悪される可能性がある。試験要員は，こういった活動を思いとどまらせる
ようにあらゆる努力をしなければならない。しかしながら，データは，システムの誤用の
外部確認が入手できない限り，コーパスから除去してはならない。
7.4.7
利用者が使用可能なサンプルをシステムに提供できないことが，時にはある。使用
可能か否かは，試験管理者又は品質評価モジュールのいずれかによって判定される。これ
らの情報が別の方法では記録されない場合には，試験要員は，取得失敗入力試行に関する
情報を記録することが望ましい。取得失敗率は，そのような入力試行の割合を測定したも
ので，品質しきい値に依存している。品質しきい値は，生体情報登録の場合と同じように
ベンダの助言に従って設定するのが望ましい。
注記
品質いき(閾)値（及び判定いき(閾)値）の設定は利用者の行動に影響を与える可能性
がある。いき(閾)値を厳しくするとバイオメトリクスパターンのより注意深い提示が
求められ，緩いいき(閾)値だとよりぞんざいでも許される。それゆえ，コーパス自体
も想定されているほどいき(閾)値から独立したものではない可能性がある。
7.4.8
試験データは，それが生体情報登録テンプレートと合致するか否かを問わず，コー
パスに加えなければならない。ベンダのソフトウェアによっては，それが生体情報登録テ
ンプレートと合致しない限り，生体情報登録利用者からの測定を記録しないものもある。
- 33 -
そのような状況下でのデータ収集は，誤非合致率を低く見積もる方向にひどく偏ったもの
になる恐れがある。このような場合は，非合致エラーは，手作業で記録しなければならな
い。データの除去は，比較スコアから独立した前もって決まっている原因に関するものだ
けにしなければならない。
7.4.9
すべての入力試行は，取得失敗を含め，記録しなければならない。現実的であれば
原画像データを記録し，それに加えて，入手できれば各サンプルの品質尺度，及び，オン
ライン試験の場合は，マッチングスコア（群）の詳細を保管しておかなければならない。
7.5
システムに生体情報登録されている利用者の識別トランザクション
7.5.1
生体情報登録利用者の識別トランザクションは，本物照合トランザクションと同じ
一般的な方法で収集し記録しなければならない。記録された結果は，候補識別子の一覧表
からなる。マッチングスコア又は品質スコアがシステムによって作成される場合は，これ
らもまた記録することが望ましい。
7.5.2
識別トランザクションは，データベース内の各テンプレートに対する照合トランザ
クション集合として識別処理を模擬することによる生成を含め，オフラインで生成しても
良い。しかしながら，一般的な場合，マッチングアルゴリズムにより比較するテンプレー
ト数を抑えるために，識別に照合候補事前選択を使用しても良い。
注記
照合候補事前選択アルゴリズムの性能を判定するために，識別入力試行毎の照合候
補事前選択テンプレート数を記録することが望ましい（附属書 D を参照）
。
7.6
偽物トランザクション
7.6.1
7.6.1.1
一般的な事項
偽物トランザクションは，オンライン又はオフラインで生成しなければならない。
a) オンライン偽物トランザクションには，他人の生体情報登録テンプレートと比較するた
めのサンプルを提出する被験者が必要である。
b) オフライン偽物トランザクションは，本物トランザクション又は生体情報未登録被験者
による別個のトランザクション集合のどちらかで収集したサンプルから抽出した特徴
を生体情報登録テンプレートに対して比較することによって生成される。オフライン
計算は，あらゆるサンプル特徴があらゆる非自己テンプレートに対して比較される完
全相互比較を可能にする。
7.6.1.2
オンライン偽物トランザクション又はオフライン偽物トランザクションのどちら
を使用するかは，評価形式によって決まることが多い。
a) テクノロジ評価においては，偽物トランザクションは，常にオフラインで分析される。
しかし，場合によっては偽物入力試行コーパスが，相互比較偽物トランザクションの
代わり又は追加情報として分析される場合もある。
b) シナリオ評価の場合，最も適切な方法の選択は，システムが本物トランザクションから
サンプルを保存することができるか否かに恐らく左右される。保存できる場合は，相
互比較は，被験者のオンライン使用によって達成されるよりもはるかに多くの偽物入
- 34 -
力試行を生成する。
c) 運用評価について，偽物スコアの作成は簡単な仕事ではない可能性がある。運用システ
ムがサンプル画像又は抽出特徴を保存する場合は，偽物スコアはオフラインで計算で
きる。そのようになりそうであるが，このデータが保存されない場合は，偽物スコア
はオンライン試験によって取得することができる。利用者毎にデータの統計的性質が
異なるために，数人の被験者が多くの非自己テンプレートに挑むよりは，多数の偽物
被験者を使って，各人が無作為に抽出した少数の非自己テンプレートに挑むほうが好
ましい。場合によっては，偽物トランザクションのためにテンプレート間比較を用い
ることが妥当なこともある。
7.6.1.3
偽物トランザクションは，個人内の比較に基づいていてはならない。バイオメト
リクスモダリティによっては，利用者は異なった個別生体特徴－例えば，10 指までのどれ
かの指，左右のどちらかの目等を提示できる場合もある。単一被験者からの異なったサン
プルの独立性を改善するために，評価では 2 つ以上の指，手又は目の生体情報登録を異な
った（副）識別子として認めることもできる。しかしながら，個人内の比較は，個人間の
比較と同等ではないので，偽物トランザクション集合に入れてはならない。
例
同一人物からの異なった指紋は，指紋隆線のピッチが似ており，異なった人物間の指
紋よりも合致しやすい。
7.6.1.4
照合がうまく行った後にテンプレートを再学習するシステムでは，この再学習能
力は，偽物トランザクション中は無効にすることが望ましい。無効にできない場合は，す
べての本物試験トランザクションが収集されるまで，偽物トランザクションの収集は遅ら
せたほうが良い。
7.6.2
偽物トランザクションのオンライン収集
7.6.2.1
オンライン偽物トランザクションは，今までのすべての生体情報登録から（時に
は同じ人口統計群内の今までのすべての生体情報登録から）無作為に抽出した所定数の非
自己テンプレートの各々に対して，作為的でない偽物入力試行を各被験者に行わせること
によって収集される。無作為抽出は，利用者間で独立でなければならない。
注記
様々な（恐らく未知の）環境及び母集団から取得したバイオメトリクスサンプル又
はテンプレートのバックグラウンド データベースを使用することは，最良の事例だ
とは考えられていない。
7.6.2.2
結果として生じる偽物スコアは，偽物及び偽装されたテンプレート両方の本当の
身元と一緒に記録しなければならない。偽物トランザクションは本物トランザクションと
同時に行われやすいので，結果を正しいスコア集合に帰するように注意しなければならな
い。
7.6.2.3
偽物入力試行は，本物入力試行と同じ条件で実施しなければならない。
7.6.2.4
詐称者として扱われていることに被験者が気づいた場合，被験者の行動が変化し，
現実の応用に適さない結果をもたらすことがある。特に行動的特性に基づいたバイオメト
- 35 -
リクスシステムでは，この傾向が顕著である。したがって，潜在意識的な提示の変化でさ
え回避するために，理想的に言えば，被験者には現行の比較が本物トランザクションなの
か偽物トランザクションなのかについて知らせないほうが良い。
7.6.2.5
偽物トランザクションは，すべての被験者が生体情報登録を済ませる前に収集し
ても良い。最初に生体情報登録したテンプレートは，偽物比較の標的にされる確率が高く
なるが，通常そうであるように，バイオメトリクス測定値の品質に無関係な順序で被験者
が生体情報登録されている場合は，これによって偽物誤り率の計算が偏ることはない。
7.6.2.6
テンプレートが他人の情報に影響するシステムでは，
（登録者限定識別の場合を除
いて）偽物入力試行を行う被験者は，その入力試行をしているときはデータベースに登録
してはならない。このことには，システムに生体情報登録されないので偽物として利用す
ることができる被験者の部分集合を選ぶことも含まれる。
7.6.3
偽物トランザクションのオフライン生成
7.6.3.1
7.6.3.1.1
一般的な事項
オフライン偽物比較は，次の事項のうちどれかを実行することによって，オンラ
イン比較と同じ基本的な方法で実施できる。
－
非自己比較のためにサンプルとテンプレートの両方を無作為に復元抽出する
－
本物サンプルごとに，生体情報登録されたすべての非自己テンプレートの中から若干
数のものをサンプル特徴と比較するために無作為に抽出する（テンプレートの無作為
抽出はサンプルごとに独立して行う）
－
完全相互比較を実行する。すなわち，各サンプル特徴を全ての非自己テンプレートと
比較する
7.6.3.1.2
オフラインでのマッチングスコアの生成は，SDK のベンダーから入手できる形
態のソフトウェアモジュールで実施するのが望ましい。1 つのモジュールは，生体情報登録
サンプルからテンプレートを生成する。２番目のモジュールは，試験サンプルからサンプ
ル特徴を生成する。これらのモジュールは，時には同じコードの一部であることもある。
３番目のモジュールは，サンプル特徴のテンプレートへの割当てに対してマッチングスコ
アを返す。処理時間が問題でなければ，すべての本物サンプルからの特徴をすべての非自
己テンプレートと比較するのが望ましい。
（同じ被験者集団からの） T 個のテンプレートと
N 個の特徴がある場合，非自己テンプレートに対して N (T − 1) 回の比較を実行することが
できる。これらの偽物比較は，統計的には独立していないが，この方法は，統計的に不偏
であり，無作為抽出偽物比較を用いるよりも効率的な推定手法であることを表している[24]。
7.6.3.1.3
多くのバイオメトリクスシステムは，1 回の入力試行で一連のサンプルを収集し
処理する。例えば次がある。
a) ある一定時間にわたってサンプルを収集して，もっとも良く合致したサンプルにスコア
をつける。
b) 合致が得られるか又はシステムが時間切れになるまで，サンプルを収集する。
- 36 -
c) 十分な品質のものが 1 つ得られるか又はシステムが時間切れになるまで，サンプルを収
集する。
d) 最初のサンプルからのスコアが判定しきい値に非常に近いときは，もう 1 つのサンプル
を収集する。
これらのような場合，本物入力試行からの 1 つのサンプルは，偽物サンプルとしては適
切でない可能性がある。事例 a)では，保存されるサンプルは，本物テンプレートにもっと
も良く合致したものである。しかしながら，偽物入力試行は，偽装されたテンプレートに
もっとも良く合致しているサンプルに基づいたものになる。相互比較を 1 つだけの本物サ
ンプルに基づいて行うのが適切であるか否かを判定するためには，次の 2 つの質問に答え
なければならない。
－
保存したサンプルは，比較されるテンプレートに依存しているか。
－ もしそうであれば，これは，生成されるマッチングスコアに実質的な影響を与えるか。
これらの両方の質問に対する答えが“イエス”であれば，一連のサンプル全体を保存し
てオフライン分析で利用するか，偽物スコアをオンラインで生成するかしなければならな
い。
7.6.3.2
テンプレートが他人の情報に影響するときの偽物トランザクションのオフライン
生成
7.6.3.2.1
テンプレートが他人の情報に影響するシステムでは，生体情報登録テンプレート
を作成するためにジャックナイフ法を用いて，公平な偽物スコアを生成してもよい。ジャ
ックナイフ法とは，1 人の被験者を省いて被験者集団全体を生体情報登録することである。
そして，省かれたこの被験者は未知の偽物として使用され，そのサンプル特徴をすべての
生体情報登録テンプレートと比較する。この生体情報登録処理を被験者集団要員ごとに繰
り返すと，偽物スコア集合一式を生成することができる。
7.6.3.2.2
被験者集団が偽物と生体情報登録者に無作為に分割される簡略法を用いても良
い。オフライン生体情報登録は偽物被験者からのデータを無視し，一方でオフライン誤合
致スコア付けは生体情報登録者被験者からのデータを無視する。このやり方は，ジャック
ナイフ法よりもデータ使用の効率性は低い。
7.6.3.3
テンプレート同士の比較を用いた，偽物トランザクションのオフライン生成
生体情報登録テンプレートの相互比較は，時には偽物スコアを提供することがある。こ
れは，例えば，トランザクションのサンプル又は特徴が保存されない場合の運用評価にお
いて役に立つはずである。 N 個の試験（又は生体情報登録）テンプレートの各々は，残り
の ( N − 1) 回の試験（又は生体情報登録）テンプレートと比較することが可能である。テン
プレートの相互比較は，次のような場合以外は，使用してはならない。
a)
生体情報登録及び照合が，同じ利用者入力を必要とする（例えば，両方とも一つだけ
の提示を必要とする）
。
b)
生体情報登録及び照合が，サンプル特徴を抽出し符号化するために同じアルゴリズム
- 37 -
を使用する。
c)
生体情報登録に対する品質評価が，照合入力試行に対するものと同じである。
これらの要求事項が満たされなければ，テンプレート相互比較は，偽物スコアの推定に
偏った結果を生じやすい[22]。このことは，生体情報登録テンプレートが，平均化されたも
のであるか又は最善の生体情報登録サンプルから抽出されたものであるかを問わず本当で
ある。この偏りを補正する方法は，現在のところ存在しない。
7.7
システムに生体情報登録されていない利用者の識別トランザクション
7.7.1
誤受入識別率の推定には，システムに生体情報登録していない被験者による識別ト
ランザクションが必要である。これらの人は，生体情報登録に失敗した被験者であっては
ならない。
7.7.2
すべての識別入力試行は，対象者の識別子，結果として生じる候補識別子の一覧表，
及び，可能であれば，マッチングスコアと一緒に記録するのが望ましい。生体情報登録利
用者の識別トランザクション及び生体情報登録されていない利用者の識別トランザクショ
ンは，同じ条件下で実施するのが望ましい。
7.7.3
識別性能のデータベース規模依存性を調べて記録するために，識別トランザクショ
ンは，生体情報登録データベース全体のうち様々な規模の一部を選択して収集しても良い。
7.7.4
生体情報登録被験者の生体情報登録サンプル及び識別サンプルが蓄積されている場
合，生体情報登録されていない被験者の識別トランザクションは，ジャックナイフ法を用
いてオフラインで生成しても良い。被験者集団全体が，1 人の被験者を外して生体情報登録
される。そうすると，システムは，被験者集団の残りの者に対して外した被験者を識別し
ようとするので，この処理を被験者ごとに順番に繰り返す。蓄積データの偽物比較に対す
る妥当性に関する 7.6.3.1.3 の考慮事項は，この場合にも当てはまる。
8 分析
8.1 一般的な事項
8.1.1
被験者集団が対象母集団を代表していて，各被験者が一つの生体情報登録テンプレ
ートを持ち，同じ回数（及びパターン）のトランザクションを行う場合は，観測される誤
り率が，真の誤り率の最良の推定値になるはずである。
8.1.2
被験者集団が対象母集団を代表していない（例えば，既知の問題事例の，ある性質
を過度に強調してしまう代表の選び方の）場合，又は，個々の被験者の試験トランザクシ
ョンが被験者集団全体のそれらを代表していない（例えば，平均より多い，又は少ない回
数のトランザクションをそれぞれの被験者が行う）場合は，不均衡を是正するために重み
付けした計算をしてもよい。重み付けされた割合を使って誤り率を推定する場合は，その
重み付けの計算法を報告しなければならない。利用者の種別によって重み付けをするとき
は，観測される種別単位の誤り率も報告したほうが良い。
例
被験者により照合又は識別の入力試行数が異なる場合には，被験者が行った入力試行
- 38 -
数に反比例するように，個々の被験者の誤りに対して重み付けすることも可能である。
これは，
（重み付けをしない）単純な比率で計算した場合には，システムのヘビーユー
ザによる誤り率，又は受け入れられるまでに必要とする複数回の入力試行による誤り
率に引きずられる方向に，推定される誤り率が偏る可能性があるための対策である。
8.1.3
誤り率は，人ごとに，人の種別ごとに（例えば，男性と女性で別々の誤り率）
，又は
生体特徴の種類ごとに（例えば，指の位置ごとに別々の誤り率）
，測定するのが有益なこと
もある。
a)
どの様なタイプの人物が高いあるいは低い性能になるのかを調べる意味で,そのよう
な個別の尺度は本質的に重要になりうる。
b) 最良の推定値が重み付けされた割合の値であるときは，人ごと又は人の種別ごとの尺度
が必要である。
c) 個人ごとの誤り率のばらつきは，性能推定値の不確実性を推定するのに役立つこともあ
る。
8.1.4
生体情報登録誤り，サンプル取得誤り，及び照合誤り又は識別誤りを原因別，又は，
生体情報登録，取得若しくはマッチングプロセス内のステップ別に分類しておけば，異な
る原因に対する別々の誤り率，又はプロセスの異なる構成要素に対する個別の誤り率を判
定することが可能になる。
8.2 基本性能評価尺度
8.2.1 生体情報登録失敗率
8.2.1.1
生体情報登録失敗率は，生体情報登録を行うプロセスを完了できなかった集団の
割合である。生体情報登録失敗率には，次のものを含まれなければならない。
－
要求されたバイオメトリクス特徴を示すことができない人々
－
生体情報登録時に十分な品質のサンプルを提示できない人々
－
生体情報登録が有効であることを確認するための入力試行において，新たに作成され
たテンプレートとの確実な合致判定を得ることのできない人々
注記 1 例えば，親指や，人差し指等の生体情報登録失敗率を報告するように，異なる指の
ような，異なる個別生体特徴の生体情報登録失敗率を測定することも可能である。
注記 2 テクノロジ評価時は，解析は前もって集められたコーパスが基になり，サンプル画
像の入手には問題が無いと考えられる。それでも，生体情報登録失敗が含まれてい
る可能性がある。例としては，サンプル画像の品質がとても低く，特徴抽出ができ
ない場合である。
8.2.1.2
対象母集団に対する生体情報登録失敗率は，前もって決めた生体情報登録方針の
下で，生体情報登録できない被験者集団の割合（又は重み付けされた割合）として推定し
なければならない。
8.2.1.3
生体情報登録失敗率は，生体情報登録用のサンプル品質いき(閾)値，その生体情報
登録が使用可能であることを確認するための判定いき(閾)値，及び生体情報登録トランザク
- 39 -
ションで生体情報登録のために認められた入力試行回数又は時間を決定する生体情報登録
方針に依存する。生体情報登録方針は，観測された生体情報登録失敗率と一緒に記述しな
ければならない。
注記
生体情報登録で厳しい品質要求を定めることで，生体情報登録失敗率が増加する可
能性があるが，マッチング性能は向上することになる可能性がある。
8.2.1.4
システムに生体情報を登録できない利用者による入力試行は，取得失敗率又はマ
ッチング誤り率として計数してはいけない。
8.2.2 取得失敗率
8.2.2.1
取得失敗率は，システムが照合又は識別の入力試行に対して十分な品質のサンプ
ルを取り込めないか，探すことが出来ない割合である。取得失敗率には，次のものが含ま
れる。
－
バイオメトリクス特徴が（例えば，一時的な病気又は怪我のため）提示できないか，
取り込めない入力試行
－
対象領域抽出又は特徴抽出ができない入力試行
－
抽出した特徴が品質を判定するためのいき(閾)値を満たさない入力試行
注記 1 例えば，マッチングに十分な品質のサンプルを与える入力試行が無いトランザクシ
ョンの割合を測定するというように，トランザクションに対する取得失敗率を判定
することも可能である。
注記 2 テクノロジ評価時は，解析は前もって集められたコーパスが基になるため，サンプ
ルキャプチャ失敗は無いと考えられる。コーパスにおける取得失敗率が，既知の場
合もありうる。更に取得の問題として，例えば，サンプルが特徴抽出のための品質
がとても低い場合が，取得失敗率に加えられるかもしれない。
8.2.2.2
取得失敗率は，(画像が取り込めない)提示，特徴領域抽出，特徴抽出，又は品質評
価での失敗のために完了できなかった，記録された本人の入力試行（そして場合によって
は，可能な全てのオンライン詐称者試行）の割合（又は重み付けされた割合）として推定
しなければならない。
8.2.2.3
取得失敗率は，サンプル取得のために認められた所要時間又は認められた提示回
数はもちろん，サンプル品質に対するいき(閾)値にも依存する。これらの設定は，測定され
た取得失敗率と一緒に報告しなければならない。
注記
サンプル取得の品質いき(閾)値を厳しくすることで,取得失敗率は増加すると考えら
れるが,一方でマッチング性能は改善すると考えられる。
8.2.2.4
原サンプルが収集されないか，品質いき(閾)値を満たさなかった入力試行は，マッ
チングアルゴリズムによって処理されないので，マッチングスコアを求めることはない。
そのような取得失敗は，誤合致率及び誤非合致率の計算では除外しなくてはならないが，
誤受入率及び誤拒否率の計算には入れなければならない。取得失敗率，誤合致率及び誤非
合致率は，同じ品質受入れいき(閾)値設定で計算しなければならない。
- 40 -
8.2.3 誤非合致率
8.2.3.1
誤非合致率は，本人の入力試行から収集したサンプルを，同じ利用者からの同じ
特徴のテンプレートに合致しないと誤って判定されたサンプルの割合である。
8.2.3.2
誤非合致率は，出てきたその類似スコアがマッチング判定いき(閾)値より低い，マ
ッチング処理部を通して記録された本人の入力試行の割合（又は重み付けされた割合）で
推定しなければならない。
8.2.3.3
誤非合致率は，マッチング判定いき(閾)値に依存するので，同じいき(閾)値で観測
された誤合致率と一緒に記述（又は，ROC 曲線か DET 曲線に同じいき(閾)値での誤合致率
と対比させて記入）しなければならない。
8.2.3.4
被験者が複数の入力試行を行った評価においては，誤非合致率が被験者集団全体
の中でどのように変化するかを示すことは有用である。このことは，被験者それぞれの入
力試行の誤り率を計算し，被験者ごとの誤り率を示す度数分布（ヒストグラム）を誤り率
が大きくなる被験者順にプロットすることによって行われてもよい。
8.2.4 誤合致率
8.2.4.1
誤合致率は，比較した非自己テンプレートに合致していると誤った，偽者による
作為的でない入力試行から収集したサンプルの割合である。
注記
偽者による作為的でない入力試行では，個人が，まるで自身のテンプレートに対し
て照合成功を期待した入力試行のように，バイオメトリクス特徴を提示する。動的
署名照合の場合には，例えば，偽者は作為的でない入力試行として，自身の署名を
サインする。このような，要求されたバイオメトリクスの様子を偽者が容易に真似
ることが可能な場合には，偽者による作為的な入力試行を仮定した第２の偽者評価
尺度が必要となる場合がありうる。しかしながら，偽者による作為的な入力試行に
使われる技術の方法及び水準の定義は，この規格の適用範囲外とする。
8.2.4.2
誤合致率は，マッチングサブシステムに送られ記録された，偽者による作為的で
ない入力試行のうち，得られた類似スコアがマッチング判定いき(閾)値以上であったものの
割合（又は重み付けされた割合）として推定しなければならない。
8.2.4.3
誤合致率は，マッチング判定いき(閾)値に依存するので，同じいき(閾)値で観測さ
れた誤非合致率と一緒に記述[又は，ROC 曲線若しくは DET 曲線に同じいき(閾)値での誤
非合致率と対比させて記入]しなければならない。
8.2.4.4
被験者が生体情報登録されていて，そのテンプレートがシステム内の他人のテン
プレートに影響を与える場合，又は，マッチングアルゴリズムがこの（及びその他の）テ
ンプレートを使って自己修正する場合，その被験者を用いた偽者による入力試行は，偏っ
たものになるので，誤合致率の推定に使用しないほうが良い。箇条 7.6.2.6 及び箇条 7.6.3.2
は，このような場合の対処法について詳述している。
例
基底画像を生成するために全ての生体情報登録画像を使う固有顔システムや，コホー
トベースの話者認証システムは個人のテンプレートが他人の情報に影響する例である。
- 41 -
8.2.4.5
遺伝子的に同じバイオメトリクス特徴（例えば，人差し指と中指，又は一卵性双
生児）の比較は，遺伝子的に異なるバイオメトリクス特徴の比較と違ったスコア分布をも
たらす[25 – 27]。したがって，そのような遺伝子的相似物のバイオメトリクス特徴の比較
は，誤合致率を導き出す際に排除しなくてはならない。
8.2.4.6
対象者一人につき，又はテンプレート 1 枚につき，いくつかの偽者によるトラン
ザクションがある評価においては，誤合致率が被験者全体の中で又は登録されたテンプレ
ート全体の中でどのように変化するかを示すことは，有用である。このためには、対象者
ごとの偽者によるによる入力試行，及びテンプレートごとに比べた偽者による入力試行に
対する個々の誤合致率を計算する必要がある。被験者ごとの誤り率を示すために，度数分
布（ヒストグラム）を誤り率の大きい被験者順に記入してもよい。
例
顔認証システムにおいては，誤合致が主に起こる“ゴールデンフェイス”と呼ばれる
顔の組が発見されることがある。被験者を横断した誤り率のばらつきを示すヒストグ
ラムは，この脆弱性を明らかにする。
8.3 照合システム性能評価尺度
8.3.1 一般的な事項
複数の入力試行のトランザクションに対する誤受入率と誤拒否率の一次推定値は，検出
DET 曲線から導き出すことができる。しかしながら，そのような推定値は，逐次入力試行
間の相関関係並びに同じ利用者が関係している比較同志の相関関係を考慮することができ
ないので，非常に不正確なはずである。したがって，これらの性能評価尺度は，判定方針
によって規定されているように、複数の入力試行による試験トランザクションを使って，
直接導き出さなければならない。
8.3.2 誤拒否率
8.3.2.1
誤拒否率は，誤って拒否される本人照合トランザクションの割合である。1 つのト
ランザクションは，判定方針次第で 1 回以上の本人の入力試行から構成されてもよい。
8.3.2.2
誤拒否率は，誤って拒否され記録された本人トランザクションの割合（又は重み
付けされた割合）として推定しなければならない。この中には，マッチングエラーのため
に拒否されたトランザクションだけでなく，取得失敗のために拒否されたものも含まれる。
例
もし，照合トランザクションが１回の入力試行から構成される場合には，取得失敗や
誤非合致が誤拒否を引き起こす。そして，誤拒否率は次のように与えられる。
FRR = FTA + FNMR ∗ (1 − FTA)
ここで，
FRR は，誤拒否率。
FTA は，取得失敗率。
FNMR は，誤非合致率。
8.3.2.3
誤拒否率は，判定方針，マッチング判定いき(閾)値，及び全てのサンプル品質いき
(閾)値に依存する。誤拒否率は，同じ値での推定した誤受入率と一緒に，これらの詳細をつ
- 42 -
けて報告，
（又は，ROC 曲線若しくは DET 曲線に同じいき(閾)値での誤受入率と対比させ
て記入）しなければならない。
8.3.3 誤受入率
8.3.3.1
誤受入率は，誤って受け入れられる，偽者による作為的でないトランザクション
の期待比率である。一つのトランザクションは，判定方針次第で１回以上の偽者による作
為的でない入力試行から構成されてもよい。
8.3.3.2
誤受入率は，記録された、誤って受け入れた偽者による作為的でないトランザク
ションの割合（又は重み付けされた割合）として推定しなければならない。
例
もし，照合トランザクションが１回の入力試行から構成される場合には，誤受入は提
示されたサンプルが品質評価により拒否されないこと（すなわち，取得失敗無し）と，
誤合致であることを必要とする。誤受入率は次のように与えられる。
FAR = FMR ∗ (1 − FTA)
ここで，
FAR は，誤受入率。
FMR は，誤合致率。
FTA は，取得失敗率。
8.3.3.3
誤受入率は，判定方針，マッチング判定いき(閾)値，及び全てのサンプル品質いき
(閾)値に依存する。誤受入率は，同じ値での推定した誤拒否率と一緒に，これらの詳細をつ
けて報告，
（又は，ROC 曲線か DET 曲線に同じいき(閾)値での誤拒否率と対比させて記入）
しなければならない。
8.3.4 一般化誤拒否率及び一般化誤受入率
異なる生体情報登録失敗率を持ったシステムの比較には，生体情報登録誤り，サンプル
取得誤り及びマッチングエラーを合算した，一般化誤拒否率と一般化誤受入率の使用が必
要になる可能性がある。一般化の方法は，評価に適したものが望ましい。典型的な一般化
は，生体情報登録失敗を，生体情報登録は完了するが，その生体情報登録者又はそのテン
プレートに対する，その後のすべての照合又は識別トランザクションが失敗するように扱
うことである。一般化の方法は同時に報告されなければならない。
例１
生体情報未登録の被験者が，その後の評価には関与しないシナリオ評価であること
及び，照合トランザクションが 1 回の入力試行から構成されることを想定する。 (i)偽
者入力試行をする被験者と真似された被験者の両方とが生体情報登録され，(ii)提示さ
れたサンプルが品質評価により拒否されず（すなわち取得失敗無し）
，(iii) 誤合致があ
る場合に，一般化誤受入は起こる。(i)被験者が生体情報登録していない場合，又は，(ii)
提示されたサンプルが取得できなかった場合，又は，(iii) 誤非合致がある場合，一般
化誤拒否は起こる。一般化誤受入率と一般化誤拒否率は次のように与えられる。
GFAR = FMR ∗ (1 − FTA) ∗ (1 − FTE )^ 2
GFRR = FTE + (1 − FTE ) ∗ FTA + (1 − FTE ) ∗ (1 − FTA) ∗ FNMR
- 43 -
ここで，
GFAR は，一般化誤受入率。
GFRR は，一般化誤拒否率。
FMR は，誤合致率。
FNMR は，誤非合致率。
FTE は，生体情報登録失敗率。
FTA は，取得失敗率。
例２
テクノロジ評価では，生体情報登録テンプレートは，生体情報登録失敗を起こさな
い全ての登録用入力から生成され、そして，入力試行特徴は，取得失敗しない全ての
試験用入力から生成される。この場合，一般化誤受入率と一般化誤拒否率は，次のよ
うに与えられる。
GFAR = FMR ∗ (1 − FTA) ∗ (1 − FTE )
GFRR = FTE + (1 − FTE ) ∗ FTA + (1 − FTE ) ∗ (1 − FTA) ∗ FNMR
8.4（非登録者限定）識別システム性能評価尺度
8.4.1 一般的な事項
登録者限定システムの（本人）識別率，及び非登録者限定システムの誤識別率及び誤非
識別率，の一次推定値は，マッチングエラーDET 曲線から導き出すことができる。しかし
ながら，そのような推定値は，同じ利用者に関する比較において相関関係を考慮すること
ができないので，非常に不正確なはずである。したがって，少なくとも小規模のデータベ
ースについては，識別トランザクションは，これらの性能評価尺度を直接導き出すように
収集するのが望ましい。
（試験の規模を超える）大規模識別システムの性能推定値は，一次
推定値と小規模データベースの識別性能の両方を使って，外挿してもよい。そのような場
合は，性能推定の外挿に用いたモデルを報告するのが望ましい。
例
テストデータによって観測された誤識別率によって正当性が確認されることを条件と
して，N 個のデータベースに対し，一つのバイオメトリクスサンプルを使った識別性
能は以下の公式で近似できることもある。
。
FNIR = FTA + (1 − FTA) ∗ FNMR
FPIR = (1 − FTA) ∗ (1 − (1 − FMR )^ N )
ここで，
FPIR は，誤受入識別率。
FNIR は，誤拒否識別率。
FTA は，取得失敗率。
FMR は，誤合致率。
FNMR は，誤非合致率。
N は，データベース内のテンプレート数。
注記
照合候補事前選択を行う識別システムの場合は、上記の性能評価モデルは照合候補
- 44 -
事前選定アルゴリズムの性能評価尺度を用いて拡張することができる（附属書 D を
参照）
。
8.4.2 識別率
r 位の本人識別率とはシステムに登録された利用者の中からｒ位以内に利用者が正しく
同定されている割合である．固定したｒについての本人識別率を報告するときはデータベ
ースの規模とあわせて報告するのが望ましい。
例
250 人登録があるデータベースに対する，１位識別率は 95%である。
8.4.3 誤拒否識別率及び誤受入識別率
8.4.3.1
誤拒否識別率は，システムに生体情報登録された利用者による識別トランザクシ
ョンのうち，返ってきた候補リストに利用者の正しい識別子が載っていないものの割合で
ある。
8.4.3.2
誤受入識別率は，システムに生体情報登録していない利用者による識別トランザ
クションのうち，空白でない候補識別子のリストが返ってきたものの割合である。
注
誤受入識別率はシステムの生体情報登録者の数により、増加する。
8.4.3.3
登録者非限定識別性能は， ある一定のデータベース規模及び，ある一定の出力身
元数に対する ROC 曲線（識別率と誤受入識別率を対比させた曲線を描く）として，又は，
DET 曲線（誤拒否識別率と誤受入識別率を対比させた曲線を描く）として，記入すること
もできる。
データベースサイズが１の場合，それらの曲線は，
（1 対 1 の）照合性能を表す。
注記
8.4.3.4
生体情報登録データベース増加に伴う，登録者非限定システムの識別性能を総合
的に表すために，誤受入識別率を一定に保った状態で，生体情報登録データベースの規模
に対する（ランク 1 での）識別率のグラフを示してもよい。
（但し，誤受入識別率を一定に
保つには，データベースの増加につれて閾値を調整する必要がある。
）代わりに，附属書 E
の図 E.1 に示した例にあるように，異なるデータベース規模に対して，誤受入識別率と誤
拒否識別率との間の関係を示した DET 曲線で表示してもよい。
8.5 登録者限定識別
8.5.1
ランク r における識別率は，システムに生体情報登録した利用者によるトランザク
ションが，返ってきた上位 r の合致の中にその利用者の本当の識別子を含んでいる確率であ
る。一点識別ランクを報告するときは，それをデータベース規模に直接関連付けるのが望
ましい。
例
250 人登録があるデータベースに対する，１位識別率は 95%である。
8.5.2
登録者限定識別性能の主な尺度は累積識別精度特性曲線である。累積識別精度特性
曲線には、ランク r における（本人）識別率が r の関数として記入されている。
注記 CMC 曲線上のデータ点を効率的に生成するための提案アルゴリズムは，付録 F で
規定されている。
8.5.3
CMC の欠点は，システムに生体情報登録されている人数への依存性である。このた
- 45 -
め，ランク 1 における識別率を生体情報登録者数の関数として記入した図表を，結果と一
緒に付けるのが望ましい。
8.6 検出エラートレードオフ（DET）曲線及び照合精度特性（ROC）曲線
8.6.1
DET 曲線は，単一の特徴入力試行と単一の生体情報登録テンプレートとの間の比較
からの本人マッチングスコアと他人マッチングスコアを使って作らなければならない。各
入力試行は，マッチングスコアとして記録される。本人入力試行に対し作成されるスコア
は，順序を付ける。他人スコアも同様に処理する。外れ値は，ラベル付け誤りであるか否
かを判定するために調べる方が良い。試験から除外されたどんなスコアもすべて文書化し
ておくのが望ましい。このことが試験結果の公正さに関する評価を高くすることになる。
注記
本人と偽者スコア両方のヒストグラムは有益であるが，DET 曲線の作成には使えな
い。したがって，この規格では，トランザクションデータからヒストグラムを生成
することは推奨しない。とはいえ，これは，研究的興味を持続させるとても重要な
領域である。結果として生じたヒストグラムは，本人と偽者の分布の最善の測定に
そのままなる可能性もある。いかなる状態でもモデルは基礎分布から測定されたど
ちらのヒストグラムでも置き換えることはできない。
8.6.2
DET 曲線（又は ROC 曲線）は，順序付けした本人スコアと他人スコアの累積値を
用いて設定される。スコアは可能性のあるすべての値にわたって変動するので，DET 曲線
（又は ROC 曲線）は，各点(x, y)がそのスコアを判定いき(閾)値として用いた誤合致率と誤
非合致率を表している媒介変数曲線として描かれる。誤合致率は，現在値以上のスコア媒
介変数における他人類似スコアの割合で，誤非合致率は，スコア媒介変数より低い本人類
似スコアの割合である。これらの曲線は，誤合致率を横軸（x 軸）に，誤非合致率を縦軸（y
軸）に記入するのが望ましい。誤り率を表現する軸は，対数目盛を使ってもよい。
注記 DET 曲線及び ROC 曲線上のデータ点を効果的に得るための手順は，附属書 F で規
定されている。
8.6.3
DET 曲線（又は ROC 曲線）はまた，誤受入率と誤拒否率との間の関係を同様なや
り方で曲線に描くために使うこともできる。誤受入率と誤拒否率は，判定方針に依存する
形で，誤合致率，誤非合致率及び取得失敗率に依存する。複数の入力試行のトランザクシ
ョンは，構成入力試行の類似スコア（例えば，3 回の試みの中の最善のものという判定方針
で類似スコアの最大値）に基づいて新しいトランザクションスコアを生成することが必要
になることもある。DET（又は ROC）曲線は，同じく識別誤り率間の関係を示すために使
用してもよい。
8.7 推定値の不確実性
8.7.1
性能の推定値は，系統誤差及び偶然誤差の両方の影響を含む。偶然誤差には，被験
者及びサンプル提示の自然な変化に帰すべきものが含まれる。系統誤差には，試験手順の
偏り，例えば，被験者集団の中にある種の個人の代表者が少ないような場合，に帰すべき
ものが含まれる。どちらの型の誤りも完全には定量化できないので，性能評価の結果に不
- 46 -
確実性が存在することになる。とはいえ，測定した性能の不確実性は，推定しなければな
らない。附属書 B は，性能評価結果の不確実性を推定するための、いくつかの方法を規定
している。
8.7.2
確率的な事象の影響による不確実性は，試験規模が大きくなるにつれて小さくなり，
収集したデータから推定できる場合が多い。幾つかの系統誤差の影響を判定することも不
可能ではなくなる。例えば，代表者が少ない部類の個人の誤り率が全体の誤り率と一致し
ているか否かを確かめれば，適正に均衡の取れた被験者集団であれば別の誤り率を示す可
能性があるか否かということが分かるはずである。測定した誤り率が小さな環境変化に過
度に敏感でないことを確かめるために，性能評価試験の一部は，異なる環境条件で繰り返
してもよい。
9 記録管理
9.1
評価がこの規格に従って実施されたか否かを査定するために，記録方法は，JISQ
17025 の要求事項に従っていなければならない。記録には，次のものが含まれる。
a) データ容量が非現実的でなければ、原サンプル画像（収集される場合）
b) サンプル画像が収集されない場合は，
（それらが入手できる場合）生体情報登録ごとの
テンプレート及び照合又は識別入力試行ごとの特徴データを蓄積するのが望ましい
c) 可能であれば，バイオメトリクスシステムによるマッチングスコア及び判定出力
d) 性能評価尺度及び不確実性を導き出すために用いた方法
e)
生体情報登録を実施すること及びトランザクションデータの収集を監督することに責
任を負う職員の身元
f) 監査証跡とするのに十分な情報
9.2
十分な情報を，次のような目的で保管しておかなければならない。
a) 元の状態にできるだけ近い状態で評価を繰り返すことができるようにするため
b) できれば，結果の不確実性に影響を与える要因の識別を容易にするため
9.3
（書面又は電子記録を問わず）記録は，原試験データの損失又は変更を回避するよう
に保護しければならない。
9.4
（データ収集手順等に）間違いが起きた場合，記録は，元の誤ったデータ及び修正し
た値の両方を示すのが望ましい。
10 性能評価結果の報告
10.1 基本的な尺度
次の基本性能評価尺度は，すべてのバイオメトリクスシステムに適用できるので，入手
できれば報告するのが望ましい。
a) 生体情報登録失敗率
b) 取得失敗率
- 47 -
c) 誤合致率並びに対応する誤非合致率（なるべくなら，いき(閾)値変動範囲全体にわたっ
て）
d) 必要に応じて，個々の誤り率が対象者間でどのように変化するかを示したヒストグラム
10.2 照合システム尺度
照合システム性能は，次の尺度を用いて報告しなければならない。
a) 可能な場合、生体情報登録失敗率，もしそうでなければ，生体情報登録失敗率は不明で
あるという報告を添付しなくてはならない
b) 可能な場合、取得失敗率，もしそうでなければ，取得失敗率は不明であるという報告を
添付しなければならない
c) 誤受入率及び対応する誤拒否率（なるべくなら，いき(閾)値変動範囲全体にわたって）
d) 必要に応じて，一般化の方法の詳細と一緒に，一般化した誤受入率及び対応する一般化
した誤拒否率（なるべくなら，いき(閾)値変動範囲全体にわたって）
e) 必要に応じて，個々の誤り率が対象者間でどのように変化するかを示したヒストグラム
10.3 識別システム尺度
登録者非限定識別システム性能は，次の尺度を用いて報告しなければならない。
a) 可能な場合，生体情報登録失敗率，そうでなければ，生体情報登録失敗率は不明である
という報告を添付しなければならない
b) 可能な場合，取得失敗率，そうでなければ，取得失敗率は不明であるという報告を添付
しなければならない
c) 誤受入識別率，及び対応する誤拒否識別率（なるべくなら，いき(閾)値変動範囲全体に
わたって）
d) データベース規模
e) テンプレートデータベースの異なる規模，返ってきた異なる識別子数等に対応した，い
くつかの DET 曲線又は ROC 曲線を示してもよい。
f) 必要に応じて，個々の誤り率が対象者間でどのように変化するかを示したヒストグラム
10.4 登録者限定識別システム尺度
登録者限定識別システム性能は，次の尺度を用いて報告しなければならない。
a) 累積識別精度特性曲線(CMC 曲線)
b) データベース規模
10.5 試験詳細の報告
DET 曲線，生体情報登録失敗率・取得失敗率，及びデータベース分割法絞込み率並びに
誤り率の性能記述は，試験形式，アプリケーション及び母集団に依存している。これらの
尺度を正確に解釈するためには，次の追加情報を提供するのが望ましい。
a) 試験したシステムの詳細。バイオメトリクス構成要素だけでなく，利用者インタフェー
スのような性能評価に影響を及ぼす要因も含めるのが望ましい。
b) 評価形式
- 48 -
－ 技術評価：使用したコーパスの詳細
－ シナリオ評価：試験シナリオの詳細
－
運用評価：運用アプリケーションの詳細
c) 評価の規模
－ 被験者数
－
各被験者が登録する指，手又は目等の数
－ 被験者が行う訪問の回数
－
d)
各訪問時の被験者（又は被験者の指等）ごとのトランザクション数
被験者集団の人口統計（年齢，性別等）
e) 試験環境の詳細
f) 生体情報登録から試験トランザクションまでの時間経過
g) データ収集中に用いた品質・判定いき(閾)値
h) 性能に影響を与える可能性のある要因をどのように制御したかの詳細（附属書 C 参照）
i) 試験手順の詳細，例えば，生体情報登録失敗の判定方針
j)
被験者集団のシステム使用上の訓練・精通・習熟水準の詳細
k) 分析から除外した異常な事例及びデータの詳細
l) 不確実性推定値（及び推定方法）
m)
この規格の指針からの逸脱事項もまた，説明したほうが良い。別の側面を達成するた
めに一方の側面を妥協しなければならないことが時にはある。例えば，指紋装置で使
用する指の順序を無作為化すれば，利用者を混乱させ，ラベル付け誤りの数が増える。
10.6 結果のグラフ表示
10.6.1 一般的な事項
10.6.1.1
バイオメトリクスシステムの判定いき(閾)値変動範囲全体にわたるマッチング及
び判定若しくはマッチング又は判定の性能は，ROC 曲線と DET 曲線の両方ではなくどち
らか一方を使って，図表で表すのが望ましい。
10.6.1.2
軸の目盛（最小値及び最大値を表示，及び対数目盛の使用）は，表示した結果が
明快になるように選択するのが望ましく，また同じ報告書内の異なる図表間で一貫してい
るのが望ましい。明快さを維持するために尺度を変える必要がある場合は，尺度変更に関
して述べた注記を図に付けるのが望ましい。
10.6.1.3
異なるシステムの性能を比較するためには，マッチングエラー，画像取得誤り，
データベース分割法誤り，生体情報登録誤りの合算効果を表した，判定誤り DET 又は ROC
（誤拒否率対誤受入率）の方が，基本誤り率を示した図表よりも役に立つと思われる。
10.6.2DET 曲線
10.6.2.1
，判定誤り率（誤
DET 曲線は，マッチング誤り率（誤合致率に対する誤非合致率）
受入率に対する誤拒否率）
，非登録者限定識別誤り率（誤受入識別率に対する誤拒否識別率）
の曲線を描くために使用する。
- 49 -
10.6.2.2
明快さを向上させるための図表の拡大に役立つように，対数目盛を使用してもよ
い。対数図表の場合は，N 回の試験で観測される零誤りの誤り率は，0.5/N 値として，又は
誤非合致率
それよりも大きい場合は，目盛最小値として曲線を描いてもよい。
誤合致率
注記
これらの DET 曲線は，図４の ROC 曲線と同じデータをプロットする。
図 3－DET 曲線の例
10.6.3 ROC 曲線
10.6.3.1
ROC 曲線は，不完全な診断システム，検出システム，パターンマッチングシス
テムの性能を要約するための伝統的な方法である。ROC 曲線は，いき(閾)値から独立して
いるので，異なるシステムの類似の条件下での性能比較，又は単一システムの異なる条件
下での性能比較を可能にする。ROC 曲線は，非登録者限定識別システム性能（誤受入識別
率に対する（正しい）識別率）だけでなく，マッチングアルゴリズムの性能（ 誤合致率 に
対する 1 − 誤非合致率 ），包括的照合システム性能（ 誤受入率 に対する 1 − 誤拒否率 ）
の曲線を描くために使用してもよい。
10.6.3.2
明快さを向上させるための図表の拡大に役立つように，対数目盛を使って x-軸の
図表を描いてもよい。対数図表の場合は，N 回の試験で観測される零誤りの誤り率は，0.5/N
値として，又はそれよりも大きい場合は，目盛最小値として曲線を描いてもよい。
- 50 -
識別率（1-誤非合致率）
誤受入識別率（誤合致率）
注記
これらの ROC 曲線は，図３の DET 曲線と同じデータをプロットする。
図 4－ROC 曲線の例
10.6.4 CMC 曲線
登録者限定識別アプリケーションについては，性能評価結果は，累積識別精度特性曲線
を使って図示されることが多い。その曲線は，返ってきた識別子の上位 k 番目までの中に，
被験者本人の識別子が含まれているトランザクションの割合を，k の関数として曲線に描い
たものである。
- 51 -
識別率
システム１
システム２
システム３
システム４
システム５
システム６
システム７
システム８
順位
注記
この例は，FRVT2002[11，図 10]が元になっている。グラフは 37437 個の
顔テンプレートのデータベースに対する識別率を示している。
図 5－CMC 曲線の例
参照文献一覧を添付するように。
- 52 -
附属書Ａ
（参考）
評価種別による違い
序文
この附属書は，評価種別による違いを記載するものであって，規定の一部ではない。
表Ａ．１
評価対象
真の情報
テクノロジ
シナリオ
運用
バイオメトリクス要素
（照合又は抽出アルゴ
リズム）
既知，データ収集エラー
被験者及び併合データ
セットの分割点
バイオメトリクスシス
テム
バイオメトリクスシス
テム
既知，データ収集エラー
被験者及び試験者によ
る不要な被験者振る舞
いに気づき拒否
管理されている（利用者
振る舞いが変数でなけ
れば）
データが本人のものか
他人のものかを立証す
るために利用可能な管
理と器具類による
非管理
あり
あり
擬似的な再現性あり（試
験シナリオと管理され
た集団）
管理若しくは記録又は
両方なされている
再現性なし
記録されている
登録時には記録されて
いる 照合又は識別時
には記録される場合も
ある
運用環境での性能測定
試験管理者による利 試 験 中 は 適 用 外
用者振る舞い制御
入力試行結果のリア
バイ
オメトリクスデータ記
録時には管理されてい
るか，又は，非管理であ
ることが考慮されてい
る
なし
ルタイムフィードバ
ック
結果の再現性
再現性あり（同一コーパ
スの場合）
物理環境の管理
バイオメトリクスデー
タ記録時には管理され
ているか，又は，非管理
であることが考慮され
ている
試験中は適用外 バイ
オメトリクスデータ記
録時には記録されてい
る
バイオメトリクスコン
ポーネントあるいはコ
ンポーネント版数の比
較（例，照合あるいは抽
出アルゴリズムあるい
はセンサ），重要な性能
利用者相互作用の記
録
標準的な報告結果
バイオメトリクスシス
テムの比較，重要な性能
要素の結果，シミュレー
ト性能測定
- 53 -
管理されていない，記録
されることが望ましい
標準的な尺度
制約事項
試験集団
要素の結果
ほとんどの性能尺度（全
体スループット以外），
ほとんどのエラー率，多
くの被験者集団を集め
るのが困難な大規模な
識別システム性能評価
に有効
適切な試験コーパス，
例，一つ又はそれ以上の
センサをつかって集め
られている，その本人性
は既知か未知か
記録されている
予測スループット，
FMR， FNMR， FTA，
FTE，FAR，FRR
スループット，信頼性の
ある運用時の FAR およ
び FRR の試験は真の情
報についての何らかの
知識が必要
運用可能な，機器を備え
たシステム
運用可能な，機器を備え
たシステム，典型的には
判定率のみ有効
実操作
実操作
注記 ある事例では，この表中の事項に対する例外があるかもしれないが，ここでは主流
なもの，基本的な特性および区別を示す。
- 54 -
附属書 B
（参考）
試験規模及び不確実性
序文
この附属書は，試験規模及び不確実性を記載するものであって，規定の一部ではない。
B.1
互いに独立で同一の分布に従う比較を仮定した信頼区間及び試験規模
B.1.1 3 の法則
3 の法則[22，28-30]は，
“互いに独立で同一の分布に従う，与えられた数 N の比較に対し
て統計的に立証可能な最低の誤り率はいくつか”という問いに答える。この値は，N 回の
試行で全く偶然にエラーがゼロである確率が，
（例えば）5％になる誤り率 p である。この
ことは 95%の信頼水準に対して，
p ≈ 3/ N
を与える。
例
エラーを返さない 300 の独立したサンプルからなる試験では，95%の信頼で 1%以下の
誤り率であると言うことができる。
注記１
90%の信頼水準に対しては， p ≈ 2 / N である。
注記２
本物入力試行毎に異なった利用者を用い，偽物入力試行には同一利用者が一つも
含まれないならば，互いに独立で同一の分布に従う（iid）入力試行の仮定が，成り
立つと言ってもよい。n 人の被験者では，n 回の本物入力試行及び n/2 回の偽物入力
試行が存在する。しかしながら，全ての提示されたサンプル特徴及び生体情報登録
テンプレートの間での相互比較は，はるかに多くの偽物入力試行を作り出し，[24]
によれば，入力試行間の従属関係にもかかわらず，より小さな不確実性を得る。そ
れ故，恐らく運用試験の場合を除いて，iid の仮定を得るために利用者毎に 1 回の入
力試行に制限したデータに，利点はほとんど存在しない。
B.1.2
30 の法則
30 の法則は次のことを表す。真の誤り率が観測された誤り率の±30%以内にあることが
90%の信頼であるためには，少なくとも 30 の誤りがあることが望ましい[13]。従って，例
えば 3000 の独立した本物試行中に 30 の誤非合致誤りがあった場合，90%の信頼で，真の
誤り率が 0.7%と 1.3%との間に存在すると言うことが可能である。法則は，独立試行を仮定
- 55 -
した二項分布から直接導かれ，評価のための性能予測を検討することに適用される。
性能目標が誤非合致率 1%及び誤合致率 0.1%であることを考える。この法則は，3000
例
本物入力試行及び 30000 偽物入力試行を示唆する。このとき，これらの試行が独立で
あるという重要な仮定に注意すること。このことは，3000 人の生体情報登録者及び
30000 人の偽物を必要とする。代替案は，被験者のより小さい集合を再利用すること
により独立性には妥協して，統計的有意性の損失を覚悟することである。
注記
法則は，異なった比率の誤り範囲に対しても一般化される。例えば，真の誤り率が
観測された誤り率の±10%以内にあることが 90%の信頼であるためには，少なくと
も 260 のエラーが必要とされる。真の誤り率が観測された誤り率の±50%以内にあ
ることが 90%の信頼であるためには，少なくとも 11 のエラーが必要とされる。
B.1.3 主張される誤り率を保証するための比較数
B.1.3.1
主張される誤り率を保証するために必要とされる統計的に独立な比較数を図 B.1
に示す。例えば，N 回の独立した偽物比較において誤合致が無いことは，3/N と主張される
誤合致率を 95%の信頼で保証し，一方，30 のエラーは 41/N の誤合致率であるという主張
を保証する。
主張される誤り率
支持域
非支持域
棄却域
N 独立比較による観測された誤り率
注記
主張される誤り率が１％以下ならば，この図は合理的な近似を与える。
図 B.1‐N 独立比較による誤り率主張の採択（又は棄却）に対する 95％信頼決定区間
- 56 -
B.1.3.2
総計的に独立であることを保証するために，全ての比較における偽物と偽装され
たテンプレートは，別のものであり，かつ，対象母集団から無作為及び一様に選択される
必要がある。この方法は，N 回の独立な比較に対して 2N 人のボランティアが必要であるこ
とから，低い誤合致率に対して効率的でない。
B.1.3.3 統計的に独立であることを保証できないのではあるが，代替となる相互比較法が，
しばしば採用される。P 人に対して，それぞれの(非順序)対に対する入力試行とテンプレー
トとの相互比較は低い相関度を示すこともある。これらの P(P-1)/2 回の誤合致入力試行の
相関関係は，同じ数の完全に独立な比較と比べて，FMR の主張を保証する信頼水準を引き
下げる。
B.2
試験規模の関数としての性能評価尺度の分散
試験規模が大きくなるにつれて，推定値の分散は減るが，そのスケール因子は変動の原
因に依存する。
a)
被験者それぞれが，複数の本物入力試行を行う場合，観測される誤非合致率の分散は，
以下に起因する成分を持つ。
－ 被験者の変動。１/(被験者数)のスケール。
－ 本物入力試行の残差変動。1/(入力試行数)のスケール。
b)
被験者が複数の入力試行を行い，利用者の別の集合からの生体情報登録テンプレートに
対するこれらの本物入力試行の相互比較によって，偽物入力試行がオフラインで生成さ
れる場合，観測される誤合致率の分散は，以下に起因する成分を持つ。
－ 被験者の変動。１/(偽物被験者数)のスケール。
－ 偽装されたテンプレートの変動。１/(偽装されたテンプレート数)のスケール。
－ （被験者の変動により説明されるもの以外の）本物サンプルの変動。１/(本物入力
試行数)のスケール。
－
注記
生成された偽物入力試行の残差変動。1/(偽物入力試行数)のスケール。
ドジントンその他[16]は，バイオメトリクスシステムには“goats（ヤギ）
”
，
“lambs
（子羊）”
，及び“wolves（狼）”がいる可能性があることを示している。goats（ヤ
ギ）は，母集団全体のものよりも著しく高い個別の誤非合致率を持ち，lumbs（子羊）
は，誤合致の不均衡な配分を被るテンプレートを持つ者であり，一方 wolves（狼）
は，誤合致を与えることに特に成功するサンプルを持つ者である。このことは，次
のことを意味する。誤非合致率に対しては，被験者の分散成分がゼロで無く，誤合
致率に対しては，被験者及びテンプレートの分散成分がゼロで無い。
B.3
性能評価尺度の分散の推定
B.3.1 一般的な事項
この箇条では，性能評価尺度の分散を推定する式と方法が与えられる。分散は，不確実
- 57 -
性の統計的尺度であり，信頼区間などを推定する際に使用できる。これらの式の適用性は，
マッチングエラーの分布についての次の仮定に依存する。
－
被験者集団は，対象母集団を代表している。これは，例えば被験者が，対象母集団
から無作為に抽出された場合である。
－
異なった被験者による入力試行は，独立している。このことは，常に正しいとは限
らない。利用者の行動は，他の人が何をするかを見ることによって影響される。しかしな
がら，被験者間の相関関係は，一人の被験者による一連の入力試行における相関関係と比
べて，軽微であることが多い。
－ 入力試行は，いき(閾)値から独立している。さもなげれば，データ収集に使われたい
き(閾)値以外では，誤り率に対する推定に偏りが生じる可能性がある。
－
誤り率は，母集団とともに変化する。異なった被験者は，異なった個々の誤非合致
率を持ち，異なった被験者のペアは，異なった個々の誤合致率を持ち得る。
－
観測された誤りの数が，小さすぎない。観測された誤りが一つも無い場合には，式
はゼロ分散を与えるが，このときには 3 の法則を適用して正当性の検証を行う。
B.3.2 観測された誤非合致率の分散
B.3.2.1 誤非合致率 － 被験者一人につき１回の入力試行
被験者それぞれが，１回の入力試行を行う場合
1 n
∑ ai
n i =1
(B.1)
pˆ (1 − pˆ )
Vˆ ( pˆ ) =
n −1
(B.2)
pˆ =
ここで，
n ：生体情報登録された被験者数
ai ：i 番目の被験者の誤非合致数
p̂ ：観測された誤非合致率
Vˆ ( pˆ ) ：観測された誤非合致率の推定分散
注記 1 この推定法は標準的な統計学の教科書に記述されている。
（例，[31]）
注記 2 これらの式は，時に被験者が数回の入力試行を行う場合に対して誤って適用されて
きた。被験者数 n を入力試行数に置き換えることは，一般的には妥当でない。
注記 2A 同一の被験者の入力試行には高い相関があり，独立性の仮定が破られる。
注記 3 これらの式は，被験者一人につき１回の入力試行があるときの取得失敗率及び生体
情報登録失敗率の分散を推定する際にも適合する。
B.3.2.2 誤非合致率 － 被験者一人につき複数回の入力試行
- 58 -
被験者それぞれが，同一回数の複数入力試行を行う場合，適切な推定は，次の式で与え
られる[31]：
pˆ =
1 n
∑ ai
mn i =1
Vˆ ( pˆ ) =
(B.3)
1 ⎛ 1 n 2
⎞
⎜ 2 ∑ a i − pˆ 2 ⎟
(n − 1) ⎝ m n i =1
⎠
(B.4)
ここで，
n ：生体情報登録された被験者数
m ：被験者それぞれが行った入力試行数
ai ：i 番目の被験者の誤非合致数
p̂ ：観測された誤非合致率
Vˆ ( pˆ ) ：観測された誤非合致率の推定分散
注記 1
m = 1 のとき，推定は式（B.1）及び式（B.2）と同じになる。
注記 2 これらの式は，被験者一人につき複数回の入力試行があるときの取得失敗率の分散
を推定する際にも適合する。
B.3.2.3 誤非合致率 － 被験者一人当たりの回数が等しく無い入力試行
被験者一人当たりの入力試行数が変動する時がある。必要とされる入力試行数を達成で
きない被験者がいる場合があり得る。取得失敗も，入力試行が誤非合致率の計算から失わ
れている原因になる可能性がある。行われた入力試行数と個々の異なった成功率との間に
相関関係がないとしたならば，適切な式は次のようになる。
n
pˆ =
∑a
i =1
n
i
(B.5)
∑m
i =1
Vˆ ( pˆ ) =
i
n
n
i =1
i =1
n
∑ ai2 − 2 pˆ ∑ ai mi + pˆ 2 ∑ mi2
i =1
⎞
n −1 ⎛
⎜ ∑ mi ⎟
n ⎝ i =1 ⎠
n
2
ここで，
n ：生体情報登録された被験者数
mi ：i 番目の被験者が行った入力試行数
ai ：i 番目の被験者の誤非合致数
p̂ ：観測された誤非合致率
- 59 -
(B.6)
Vˆ ( pˆ ) ：観測された誤非合致率の推定分散
注記 1 （[31]からの）分散に対するこの式は，使いやすい形式を与える近似式である。
注記 2 全ての mi が等しいときには，式（B.3）及び式（B.4）と同じ推定が得られる。
注記 3 時には被験者の使用頻度が異なることは，成功率が異なることと相関関係がある。
例えば，拒否された被験者が，さらなる入力試行を行うことで認識されるかもしれ
ないし，又は，システムをより頻繁に使う者が，習熟の効果を通じてより良い性能
を得るかもしれない。そのような場合には，過剰に頻度が高いが代表的でない利用
者の小さな集団に結果が支配されるかもしれないので，式（B.5）及び式（B.6）を
直接には適用できない。
B.3.3 観測された誤合致率の分散
完全な組の相互比較が行われる場合には，観測された誤合致率及びその分散の推定は，
次のように与えられる。
qˆ =
Vˆ (qˆ ) =
≈
n
n
1
∑∑ bij
mn(n − 1) i =1 j =1
(B.7)
n
n
⎧n
⎫
1
(4n − 6) qˆ 2
2
(
)
c
d
bij2 + bij b ji ⎬ −
+
−
⎨∑ i
∑∑
i
2
m n(n − 1)(n − 2 )(n − 3) ⎩ i =1
i =1 j =1
⎭ (n − 2)(n − 3)
(
1
2
2 2
m n (n − 1)
n
∑ (c + d )
i =1
2
i
i
)
4
− qˆ 2
n
(B.8)
ここで，
n ：被験者数（及び生体情報登録テンプレート数）
m ：被験者一人当たりのサンプル数
bij：j 番目の被験者のテンプレートと誤合致した i 番目の被験者のサンプル数（及
び bii = 0 ）
n
ci ：i 番目の被験者のテンプレートに対する誤合致数の合計（ ci = ∑ bij ）
j =1
n
d i ：i 番目の被験者による誤合致数の合計（ d i = ∑ bij ）
j =1
q̂ ：観測された誤合致率
Vˆ (qˆ ) ：観測された誤合致率の推定分散
注記 （ m = 1 の場合における）この推定の 2 行目はビッケルによって与えられた式であり
[22]，実験で検証されてきた[24]。
- 60 -
B.4
信頼区間の推定
B.4.1 一般的な事項
B.4.1.1 十分多数の入力試行では，中心極限定理[31]により，観測された誤り率が，近似的
に正規分布に従うはずであることが示される。しかしながら，0%に近い比率を扱うこと，
及び尺度における分散が母集団に対して一様でないことのために，被験者数がかなり大き
くなるまでは，ある種の歪みが残りやすい。
B.4.12 正規性を仮定すると，観測された誤り率の 100(1-α)%信頼範囲は次のように与え
られる。
pˆ ± z (1 − α / 2) Vˆ ( pˆ )
(B.9)
ここで，
z ( )：標準正規累積分布の逆数 － すなわち，平均 0，分散 1 の標準正規曲線に
おける − ∞ から z ( x ) までの面積が x である。95%の信頼限界では， z (0.975) の
値は，1.96 である。
α ：信頼区間に誤り率の真の値が含まれない確率
p̂ ：観測された誤り率
Vˆ ( pˆ ) ：誤り率の推定分散
B4.1.3 上記式が適用されるときには，信頼区間が，観測された誤り率に対して負の値に達
することがよくある。が，負の誤り率ということはあり得ない。このことは，観測された
誤り率の分布が正規性を持たないことに起因する。そのような場合には，信頼区間を得る
ために，ブートストラップのようなノンパラメトリック法を使うことが可能である。[32-34]
B.4.2 分散及び信頼区間のブートストラップ推定
B.4.2.1
ブートストラップ推定は，観測された誤り率に内在する分布及び入力試行間の従
属関係についての仮定の必要性を減らす。分布と従属関係は，データそのものから推察さ
れる。元のデータから復元抽出することにより，ブートストラップ標本が作り出され，こ
の標本から代わりの誤り率の推定が作り出される。多数のこのようなブートストラップ標
本をもって，推定量の経験分布を得ることができる。これは，信頼区間，推定の不確実性，
その他を求めることにも使うことができる。
B.4.2.2
処理過程を説明するために， n 人の被験者それぞれが m 回の入力試行を行い，
(n − 1) 人分全ての非自己テンプレートと比較する相互比較一式を用いて，誤合致率を推定す
ることを想定する。 x(v, a, t ) は，テンプレート t に対する被験者 v の a 番目の入力試行との
マッチング結果を示す。誤合致率を推定するデータ集合 X は mn(n − 1) 全ての相互比較の結
果から構成される。
X = {x(v, a, t ) | t ≠ v ∈ {1,..., n}, a ∈ {1,..., m}}
- 61 -
それぞれのブートストラップ標本は，元のデータの構造及び従属関係を複製する方法で，X
から作られなければならない。その手順は次のようになる。
a)
n 人の被験者を復元抽出する： v(1), L, v(n ) 。（復元抽出は，リストには同じ項目が 2
つ以上含まれうることを意味する。
）
b)
そ れ ぞ れ の v(i ) に 対 し て ， (n − 1) の 非 自 己 テ ン プ レ ー ト を 復 元 抽 出 す る ：
c)
t (i,1), L, t (i, n − 1)
そ れ ぞれ の v(i ) に 対 して ，そ の 被験 者 によ る m 回 の入 力 試行 を 復元 抽出 する ：
a(i,1), L, a(i, m )
d)
作りだされるブートストラップ標本は
Y = {(v(i ), r (i, j ), a(i, k )) | i ∈ {1,..., n}, j ∈ {1,..., n − 1}a ∈ {1,..., m}}
である。
多くのブートストラップ標本が生成され，それぞれに対して誤合致率が得られる。誤合致
率に対するブートストラップ値の分布は，観測された誤合致率の分布の近似に用いられる。
B.4.2.3 ブートストラップ値は，100(1 − α ) %の信頼限界を求めるための直接的な方法を可
能にする。L(下限)及び U(上限)は，ブートストラップ値の 100α / 2 パーセンタイルを信頼区
間の下限 L，100(1 − α / 2 ) パーセンタイルを信頼区間の上限 U となるように選ばれる。95%
限界に対しては少なくとも 1000 のブートストラップ標本を，99%限界に対しては少なくと
も 5000 のブートストラップ標本を用いることが望ましい。
B.4.3 部分集合のサンプリング
B.4.3.1
観測された誤り率における誤差の範囲を推量するためのさらなる方法は，収集デ
ータを互いに素な利用者の部分集合に分割し，それぞれの部分集合に対して DET 曲線を生
成することである。例えば FRVT2002 の評価[11]は，誤差楕円を生成するためにこの方法
を用いた。
B.4.3.2 誤差楕円を導く基本的な方法は，以下の通りである。
a) T 人の被験者を用いた性能評価結果を集める
b) 試験母集団を規模 N = T / M である互いに素な M(例 M=10)の集団に分ける
c) それぞれの部分集合に対して DET 曲線を計算する
d) いき(閾)値 t を仮定して，
1.
i = 1, L, M となる全ての部分集合に対して，いき(閾)値での xi = (FMRi , FNMRi )
を見つける
2.
(
)
標本平均 m = sum( xi ) / M 及び標本共分散行列 Σ = sum ( xi − m )( xi − m ) / (M − 1)
T
を計算する
3.
m 及び Σ / sqrt (M ) は，いき(閾)値 t での(試験母集団全体に対して計算した) FMR 及
び FNMR の観測値の分布の推定を与え，これは正規性の仮定の下で， m の周りの
- 62 -
95%(例)信頼楕円を決定するために使われる。
e) さらなるいき(閾)値 t で繰り返す
- 63 -
附属書 C
（参考）
性能に影響を与える要因
序文
この附属書は，性能に与える要因を記載するものであって，規定の一部ではない。
C.1 一般的な事項
この附属書では、性能に影響を及ぼす幾つかの利用者や環境要因について述べる。評価
のデータ収集の段階の間に、それらの要因を制御又は記録する必要がある場合もありうる。
評価の計画の際に、評価に影響を及ぼすそれぞれの要因に対する可能性を考察する。
a) 性能への影響を最小化する（又は解明する）ために必要な制御は（もしあれば）何か？
例えば、これは、影響を均等にするために、すべての入力試行に対して条件を一定又はラ
ンダムにすることを含む。
b) 各々の要因の制御を不要にする仮定又は理由は何か？例えば、対象アプリケーションと
同じようにテストシナリオにも要因は影響を及ぼしうる。別の場合では、予備調査は、関
連機器のために各要因の影響がわずかであることを示す。
c) 評価の間にどんな情報を記録する必要があるのか？
１） どんな要因でも重要性を決められるように（又は無意味であることを示せるように）
あるいは、
２） ほかの極端に結果を偏らせる特別な場合を識別するため？
もし、問題が、識別可能な被験者のサブセットに関係する場合は、そのサブセットの誤
り率の数字を残りの被験者のものと比較することが可能な場合もある。
報告される結果にはこのようなチェックリストを含ませることができる。
記載された要因は、一般的にバイオメトリクスモダリティのサブセットのみにおける問
題の原因になる。例えば、照明の変化は、光学ベースのシステム（例えば、顔、指紋、網
膜、虹彩、静脈に基づいた）のみに影響を与え、さらに音響ノイズは音ベースのシステム
（例えば話者照合）に影響する。いくつかのバイオメトリクス機器は、どんな問題の要因
もある程度制御する働きをする。同様に、問題がリスト内に含まれないことが観測されて
もよい。
問題が発生したとき、通常その要因はサンプルの品質を下げ、その結果、生体情報登録
失敗率、取得失敗率や誤非合致率を増加させる。しかしながら、ノイズの多い、又は問題
ある画像が、誤合致率を増やす誤った合致を許すような幾つかの場合もある。
- 64 -
注記
より詳細な要因に関する分析がこの規格群の第２部附属書 JA で与えられる。
C.2 要因リスト
C.2.1 母集団の人口統計
考えられる人口統計上の要因は、次のとおり。
‐
年齢。
（急激に変化する）子供と（バイオメトリクスの小さな損傷が治るのに、おそら
く長くかかる）高齢者は平均より誤非合致と取得失敗が増加する傾向がある。
‐ 民族的出身、性別、職業。
（個々のバイオメトリクスシステムのための）個人のバイオ
メトリクスの品質は、個人の民族的出身、性別、職業に依存する場合がある。特定の
対象母集団に調整されたバイオメトリクスシステムは、異なる民族や性別構成で使用
する場合に、性能を下回ることが多い。
C.2.2 アプリケーション
考えられるアプリケーション上の要因は、次のとおり。
‐
生体情報登録と照合の間の経過時間。テンプレート老化、すなわちバイオメトリクス
パターンと提示方法の変化は、生体情報登録テンプレート生成と照合又は識別の入力
試行との間の遅れに従う点で異なる。幾つかのモダリティでは、利用者の外観や振る
舞いがほんの少ししか変わらない，生体情報登録後の短い時間の性能は，数週間や数
ヶ月後のものに比べずっと良い。
‐ 時刻。ふるまいや生理機能は 1 日の間で変化することがありえる。
‐
利用者の習熟度。利用者がシステムに慣れ親しむにつれて、正確な位置合わせや、発
生するかもしれない照合の問題を埋め合わせるための適切な行動を知る傾向が強い。
‐
利用者の自発性。利用者はバイオメトリクストランザクションの重要性に従って異な
る行動を起こす。
C.2.3 利用者の生理状態
考えられる利用者の生理機能上の要因は以下のとおり。
‐
ひげと口ひげは、顔システムに影響を及ぼす。
‐ 頭髪の有無
‐
身体上の故障、病気、又は疾患。例えば次がある。
‐ 切断。手、又は指をベースにしたシステムが使えない。
‐ 関節炎。手、又は指をベースにしたシステムを使うのが難しい。
‐
盲目。虹彩叉は網膜をベースにしたシステムを使うことが出来ない。また、その他
のシステムの位置決めに影響を及ぼす。
‐ あざ。顔、又は手の画像に一時的な影響を及ぼす。
‐ 風邪、又は喉頭炎。声に一時的な影響を及ぼす。
‐ 松葉杖。確実に立つことが難しい可能性がある。
- 65 -
‐ 腫れ。顔、又は手の画像に一時的な影響を及ぼす。
‐ 車椅子。車椅子のために、システムが誤った高さになるかもしれない。
‐ 健康状態の変化。通常の経年変化の影響よりも早い場合がある。
‐
まつげ。長いまつげは虹彩の可視領域を少なくする場合がある。
‐
指の爪の成長。手と指の位置決めに影響する。
‐ 指紋の状態。例えば、
‐ 隆線の深さと間隔。
‐ 乾燥，亀裂，湿潤
‐
身長。とても高い、又はとても小さい（又は車椅子）は正確な位置決めが難しいかも
しれない。
‐ 虹彩の色の強さ
‐ 肌の色合い。システムが顔、又は虹彩の位置を検出する正確さに影響する場合がある。
C.2.4 利用者のふるまい
考えられる利用者のふるまい上の要因は次のとおり。
‐
方言、アクセント、母国語。声のシステムに影響を与える場合がある。
‐
言い回し、抑揚、音量。声のシステムに影響を与える。
‐
表情。
‐
言語のアルファベット。筆跡署名システムに影響を与える。
‐
語句の言い間違い、又は読み違い。声のシステムに影響を及ぼす可能性がある。
‐
動き。幾つかのシステムは、被験者に静止状態を要求する、その一方、幾つかの動き
と共に機能するものもある。
‐ 姿勢と位置決め。例えば、
‐ カメラの正面、横顔、角度。
‐ 頭の傾き。顔や虹彩のシステムに影響する。
‐ ずれと回転。指紋と手のシステムに影響する。
‐ カメラまでの距離。
‐ 高すぎる、低すぎる、極端に左、極端に右。
‐ 事前の活動。例えば、
‐ 息を切らす。声のシステムに影響する。
‐ 多汗。指紋のシステムに影響する。
‐ 水泳。指の縮みが指紋のシステムに影響する。
‐
ストレス、緊張度、雰囲気、又はイライラ。
C.2.5 利用者の外観
考えられる利用者の外観上の要因は、次のとおり。
‐
包帯、又は絆創膏。手、顔、又は指紋の一部を変える、又は覆い隠す。
‐
衣服
- 66 -
‐ 帽子、イヤリング、スカーフ。顔ベースのシステムに影響する場合がある。
‐ 袖。手ベースのシステムを妨げる場合がある。
‐ かかとの高さ。利用者の見かけの高さが変わる。
‐ ズボン、スカート、靴。歩行認識に影響を及ぼす。
‐
コンタクトレンズ。模様付きコンタクトレンズは虹彩認証に影響を及ぼす。
‐
化粧品。一時的に顔の外観が変わる。
‐
眼鏡、サングラス。部分的に顔、又は虹彩を覆い隠す。
‐
付け爪。手、又は指ベースのシステムで置き位置を変えてしまう。
‐
髪型と色。一時的に顔の外観を変える。
‐
指輪
‐
刺青
C.2.6 環境の影響
考えられる環境上の要因は、次のとおり。
‐
背景
‐ 色、混雑、含まれる顔又は影。顔検出システムの性能に影響する。
‐ ノイズ、他人の声。声ベースのシステムによる記録された音声を変える場合があり、
また、利用者が指示を聞く能力に影響する場合がある。
‐
照明レベル、方向、反射光。カメラベースのシステムに影響する。
‐
天気
‐ 温度、湿度。例えば、指紋の乾燥又は湿気、静脈の鮮明度と温度画像に影響する。
‐ 雨と雪。塗れた髪が顔の外観に影響する場合がある。
C.2.7 センサとハードウェア
考えられるセンサとハードウェア上の要因は、次のとおり。
‐ 残留指紋で汚したよごれ
‐ カメラのレンズ
‐ 入力面
‐ フォーカス
‐
センサの品質。マイクの品質（音声システム）とカメラの品質（画像システム）
‐ センサの変化
‐
センサの間。同じセンサでも個体差があることがある。異なるバージョンや異なる
型では、違いは、より大きくなる。
‐ センサの磨耗。
‐ センサの交換
‐
伝送路。伝送路は、信号にノイズを含む場合がある。それは、入力試行の間でも又異
なる場合がある。例えば、電話で使われるルートとネットワークは異なり，かつ品
質は負荷に依存する。
- 67 -
C.2.8 利用者インタフェース
考えられる利用者インタフェース上の要因は、次のとおり。
‐
フィードバック。性能は利用者が受け取るフィードバックに依存する場合がある。例
えば、提示した指紋（画像）を利用者が見られる場合には，より高品質のバイオメト
リクスサンプルとなるように，その提示を変えることが可能である。
‐
指示。
‐
管理。監督者の違いや変化によって、生体情報登録、利用者のトレーニング、利用者
の入力試行に違いが生じる。
C.3 報告書の例
C.3.1 指の位置
観測に関する事項：スキャナーのガイドが、アルゴリズムの許容範囲内に指の位置を合わ
せるようにする。
制御：無し
記録：該当無し
C.3.2 照明
観測に関する事項：日光の変化による照明の変化が、例えば、生体情報登録と照合の問題
を引き起こす。
制御：自然の日光を除いた一定の照明レベルの部屋で行われる試行
記録：該当無し
観測に関する事項：虹彩上での反射を引き起こす拡散照明。
制御：外部光源からセンサを保護するように修正された装置。
記録：該当無し
C.3.3 眼鏡
観測に関する事項：顔システム X で、眼鏡をかけた人々の生体情報登録が殆ど不可能であ
ると分かった。
制御：その装置を使用するため、眼鏡をかけた人々に眼鏡を外すことをお願いした。
記録：眼鏡をかけた人々の人数。生体情報登録失敗率にその数を入れることが出来るよう
にするため。
C.3.4 入力面の汚れ
観測に関する事項：入力面の上の累積した油は、指紋システムの性能の劣化を引き起こす。
制御：定期的にシステムの掃除をする（掃除の計画を提示する）
。
記録：システムが掃除された時間
C.3.5 天気
観測に関する事項：汗ばんだ指が生体情報登録又は照合の問題を引き起こした。
制御：無し。気象条件は標準的なものだと思われる。
- 68 -
記録：試行中の気温、湿度。
- 69 -
付属書 D
（参考）
照合候補事前選択（プリセレクション）
序文
この附属書は，照合候補事前選択について記載するものであって，規定の一部ではない。
D.1 照合候補事前選択アルゴリズム性能
D.1.1
識別システムの全てのテストは、使用時の照合候補事前選択アルゴリズムの評価を
要求する。それらのアルゴリズムの目的は、識別の候補テンプレートの数を定める（減ら
す）ことである。入力サンプルが与えられて、データベース分割(ビニング)法又はデータベ
ース非分割(ビンレス)法による照合候補事前選択技術は、全体のテンプレートデータベース
のサブセットを照合候補事前選択するのに適用され、その入力サンプルは、照合候補事前
選択サブセットの中でお互いのテンプレートのみと比較される。
D.1.2 データベース分割法又は時々“exclusive classification”と呼ばれるものは、前もっ
てテンプレートデータベースをサブセットに分類する照合候補事前選択を達成するための
１つの方法であり、同様に入力サンプルが分類された後に、同様に分類されたテンプレー
ト の 一 部 分 と の み 比 較さ れ る 。 デ ー タ ベ ー ス分 割 法 以 外 で は 、 例 えば “ continuous
classification”[35-39]のようなデータベース非分割（ビンレス）照合候補事前選択として
知られている他の技術がある。
D.1.3
テンプレートデータ全体のセットからの照合候補事前選択処理は、また一方で、照
合候補事前選択誤りを導く場合がある。同じ利用者の同じバイオメトリクス特徴によるサ
ンプルが与えられて、照合候補事前選択された候補のサブセットの中に生体情報登録テン
プレートが無い場合に誤りは発生する。
（データベース分割法の場合、例えば、同じ利用者
の同じバイオメトリクス特徴による生体情報登録テンプレートとそれに続くサンプルが異
なる非可換な分類に位置する場合にこれは起こる。
）
D.1.4 照合候補事前選択アルゴリズムの性能は、次の観点で報告されるべきである。
a) 照合候補事前選択誤り率。これは、入力サンプルに対応する生体情報登録テンプレート
が照合候補事前選択された、入力サンプルと比較されたテンプレートのサブセットでない
場合の本人の入力試行の割合である。
b) 絞り込み率。これは、検索（すなわち、全体のデータベースサイズによって分けられた
照合候補事前選択サブセットの平均サイズ）又は全ての本人の入力試行により平均される
べきデータベースの割合である。
- 70 -
D.1.5 オフラインテストのために集められたコーパスは、
（平均）絞り込み誤り率と照合候
補事前選択誤り率を立証する 2 番目のテストで使われてもよい。コーパス内のそれぞれの
本人入力試行のテストサンプルのために、提案アルゴリズムを使用した全ての生体情報登
録テンプレート上で照合候補事前選択は行われ、照合候補事前選択された候補の数は記録
され、照合候補事前選択誤り（照合候補事前選択候補のセットは入力試行を行う被験者の
識別を含まない）は数えられる。照合候補事前選択誤り率は、本人入力試行のテストサン
プル数によって分類される照合候補事前選択誤りの総数として評価される。
（平均）絞り込
み誤り率は、本人入力試行のテストサンプル上の照合候補事前選択候補数の平均を生体情
報登録テンプレート数で割ることにより算定される。
D.1.6
しばしば、照合候補事前選択アルゴリズムは調節可能なパラメータを持つことがあ
る。一般的に、照合候補事前選択されたサブセットサイズの平均が小さいほど（又は、デ
ータベース分割法の場合に起きるデータベースの分類が多ければ）、（平均）絞り込み率は
低くなるが、照合候補事前選択誤りの確率が上がる。それらの競合する設計要因は照合候
補事前選択誤り率対（平均）絞り込み率の曲線として表現してもよい。
- 71 -
付属書 E
（参考）
データベースサイズの関数としての識別性能
序文
この附属書は，データベースサイズの関数としての識別性能について記載するものであっ
て，規定の一部ではない。
図E.1は、非登録者限定識別問題の上にある顔認証システムのDET曲線のプロットの例を
示している。それぞれのトレースが母集団のサイズNに対応している。誤受入識別率は1 – (1
– FMR)^Nとして大きく増えるとされるが（FMRが小さい場合、これはN * FMRで近似され
る。すなわち、およそNに対して直線的である）
、このモデルはサンプルに独立すると仮定
している。ここに見えるDET曲線は、完全に実験から得られたものであり、そのモデルは、
この場合では、ほぼ正確であることを示している。このトレースは、一定の妥当なFMRで
識別することの難しさを顕著に示している。
誤拒否識別率
誤受入識別率
図E.1 生体情報登録母集団サイズが1,4,16,62,260,1111,3000の場合の誤受入識別率の関
数、誤拒否識別率を表すDET曲線プロットの例。N=1の縮退した場合として、サイズ１の
ギャラリー内での識別は、照合となる。
- 72 -
- 73 -
附属書F
（参考）
ROC、DET、CMCを生成するアルゴリズム
序文
この附属書は，ROC、DET、CMCを生成するアルゴリズムの識別性能について記載するの
ものであって，規定の一部ではない。
F.1
ROCとDETのためのアルゴリズム
DET又はROC上のデータ点を効率的に導くための手順は次のとおりである。
a) 本人類似スコア値を増加順にソートする。s1 < s2 < s3 < … < sk
b) それぞれの本人スコア値の頻度を数える。g1, g2, g3, … , gk
c) 各区間（(–∞, s1), [s1, s2), [s2, s3), … , [sk,∞):）の他人スコアの数を数える。h0, h1, h2, … , hk
d) 順にそれぞれの本人類似スコア値(sj)を得る。
1) sj以上の他人スコアの数を数える。
2) 他人入力試行の総数で割ることでこの類似スコアのいき(閾)値における誤合致率を
与える。
3) sjより小さい本人スコアの数を数える。
4) 本人入力試行の総数で割ることでこの類似スコアのいき(閾)値における誤非合致率
を与える。
F.2 CMCを生成するためのアルゴリズム
効率的なデータ生成を行うための手順は次のとおりである（1人につきテンプレートが1
つと仮定する）
。
a) 各入力試行における識別ランクの決定は次のとおりである。
1) 入力試行に対する本人類似スコアを調べる。
2) 次の入力試行（非自己テンプレートと自己テンプレートに反対して）における類似ス
コアの数を数える。
i) 本人スコアより大きいスコアの数：x
ii) 本人スコアと等しいスコアの数：y
3) もし、(y = 1)ならば、入力試行は識別ランク(x + 1)を持ち、さもなければ、ランクは
(x + 1), …, (x + y)の範囲の値で定義される。
b) それぞれの（興味のある）ランクrに対して
1)
r以下のランクの入力試行の数を数える。ランクが一意に決まらず、ある範囲内で計
- 74 -
算される入力試行は、そのうちランクr以下にある値の割合をカウントする。
2) 入力試行の総数で割ることで、テストサンプルにとっての真のテンプレート/モデル
が生体情報登録データベース内の類似したテンプレートとして、r番目以内に見つか
る確率が得られる。この確率は、CMCグラフ上でrに対してプロットされる。
- 75 -
参照文献
[1] Fejfar, A. and Myers, J.W. The testing of three automatic identity verification techniques.
Proceedings of the International Conference on Crime Countermeasures, Oxford, July 1977.
[2] Davies, D.W. and Price, W.L. Security for computer networks, Wiley, 1984. (Sections 7.10 &
7.11 review several performance evaluations).
[3] Holmes, J.P., Wright, L.J., and Maxwell, R.L. A performance evaluation of biometric
identification devices. Sandia report SAND9I-0276, June 1991.
[4] Bouchier, F., Ahrens, J.S., and Wells, G. Laboratory evaluation of the iriscan prototype
biometric identifier. Sandia report SAND96-1033, April 1996.
[5] Rauss, P., Phillips, P.J., Hamilton, M.K. and DePersia, A.T. FERET (face recognition
technology) recognition algorithms. Proceedings of Automatic Target Recognizer System and
Technology Conference, July 1996.
[6] Roethenbaugh, G. IOSA biometric certification. Biometric industry product buyer's guide,
ICSA, 1998, 27-31.
[7] BIOIS: Comparative study of biometric identification systems: Public final report. Study by
Fraunhofer- IGD for BSI (German Information Security Agency) and BKA (German Federal Police
Agency), May 2000.
[8] Blackburn, D., Bone, M. and Phillips, J. Facial recognition vendor test 2000. February 2001.
[9] Mansfield, A.J., Kelly, G.P., Chandler, D.J. and Kane, J. Biometric product testing final report.
Report for CESG and Biometrics Working Group, March 2001.
[10] Maio, D., Maltoni, D., Cappelli, R., Wayman, J.L. and Jam, A.K. FVC2000: Fingerprint
verification competition. IEEE Trans. PAMI, 2002, 24(3), 402-412.
[11] Phillips, P.J., Grother, P., Michaels, R.J., Blackburn, D.M., Tabassi, E. and Bone, M. Face
recognition vendor test 2002 Evaluation Report. NIST IR 6965, 2003.
[12] Mansfield, A.J. and Wayman, J.L. (2002) Best Practices in Testing and Reporting Performance
of Biometric Devices, Version 2.01, NPL Report CMSC 14/02.
[13] Doddington, G.R., Przybocki, M.A., Martin, AF. and Reynolds, D.A. The NIST speaker
recognition evaluation: Overview methodology, systems, results, perspective. Speech
Communication, 2000, 31(2-3), 225-254.
[14] Phillips, P.J., Martin, A., Wilson, C.L. and Przybocki, M. An introduction to evaluating
biometric systems. Computer, (Feb 2000), 56-63.
[15] Hennessy, J.L. and Patterson, D.A. Computer Architecture: A Quantitative Approach, 2nd ed.,
Morgan Kaufman, San Francisco, 1996.
[16] Doddington, G., Liggett, W., Martin, A., Przybocki, M. and Reynolds, D. Sheep, goats, lambs
and wolves: A statistical analysis of speaker performance in the NIST 1998 speaker recognition
evaluation. ICSLP, November 1998.
[17] Wayman, J.L. Multi-finger penetration rate and ROC variability for automatic fingerprint
identification systems. National Biometric Test Center, May 1999.
[18] ISO/IEC 19794-4, Information technology-- Biometric data interchange formats-- Part 4: Finger
image data
[19] ISO/IEC 19794-5, Information technology-- Biometric data interchange formats-- Part 5. Face
image data.
- 76 -
[20] ISO/IEC 19794-6, Information technology-- Biometric data interchange formats-- Part 6: Iris
image data
[21] Cox, R. Three new speech coders from the ITU cover a range of applications. IEEE
Communications Magazine, 1997, 35(9-special issue on standardisation and characterisation of
G729), 40-47.
[23] Godfrey, J., Graff, D. and Martin, A. Public databases for speaker recognition and verification.
ESCA Workshop on Automatic Speaker Recognition, Identification and Verification, 1994.
[24] Wayman, J.L. Confidence interval and test size estimation for biometric data. Proceedings of
the IEEE AutolD Conference, 1999.
[25] Newman, H.H., Freeman, F.N. and Holzinger, J.K. Twins, Chicago University Press, 1937.
Results on fingerprint similarity between identical twins cited in [31, table 10.20.1].
[26] Daugman, J. and Downing, C. Epigenetic randomness, complexity, and singularity of human
iris patterns. Proceeding of the Royal Society Biological Sciences, 2001, 268, 1737-1 740.
[27] Jam, AK., Prabhakar, S. and Pankanti, S. On the similarity of identical twin fingerprints. Pattern
Recognition, 2002, 35(11), 2653-2663.
[28] Louis, T.A. Confidence intervals for a binomial parameter after observing no successes. The
American Statistician, 1981, 35(3), 154.
[29] Hanley, J.A. and Lippman-Hand, A. If nothing goes wrong, is everything all right? Interpreting
zero numerators. Journal of the American Medical Association, 1983, 249(13), 1743-1745.
[30] Jovanovic, B.D. and Levy, P.S. A look at the rule of three. The American Statistician, 1997,
51(2), 137-1 39.
[31] Snedecor, G.W. and Cochran, W.G. Statistical methods, Iowa State University Press, 1967
(Sixth edition).
[32] Efron, B. and Tibshirani, R.J. An introduction to the bootstrap, Chapman and Hall, 1997.
[33] Diegert, K.V. Estimating performance characteristics of biometric identifiers. Proceedings of
Biometrics Consortium Conference, San Jose, CA, June 1996.
[34] Bolle, R.M., Ratha, N.K. and Pankanti, S. Confidence interval measurement in performance
analysis of biometric systems using the bootstrap. Proceedings of Workshop on Empirical
Evaluation Methods in Computer Vision, Hawaii, December 2001.
[35] Maltoni, D. et al, Handbook of Fingerprint Recognition, Springer, 2003.
[36] Lumini, A, Maio, D. and Maltoni, D., Continuous versus exclusive classification for fingerprint
retrieval, Pattern Recognition Letters, Vol.18, No.10, pp.1027-1034, 1997.
[37] Uchida, K., Kamei, T., Mizoguchi, M. and Temma, T., Fingerprint Card Classification with
Statistical Feature Integration, Proceedings of the 14th International Conference on Pattern
Recognition, Brisbane, Australia, pp.1833-1839, August 1998.
[38] Cappelli, R. and Maio, D., The State of the Art in Fingerprint Classification, in Ratha N. and
Bolle R. (Eds.) Automatic Fingerprint Recognition, Chapter 9, pp.183-205.
[39] Kamei, T. Fingerprint Pre-selection Using Eigenfeatures for a Large-Size Database, in Ratha N.
and Bolle, R. (Eds.), Automatic Fingerprint Recognition, Chapter 13, pp. 263-282.
- 77 -
附属資料２ 情報技術-バイオメトリクス性能試験及び報告-第 2 部：テクノロジ評価及びシナリオ評価の試験方法
Page
目次
まえがき
iv
序文
v
1
適用範囲
……………………………………………………………………………….………..1
2
適合性 …………………………………………………………………………………….………..1
3
引用規格
4
用語，定義，及び略語
5
テクノロジ評価及びシナリオ評価の大要
6
テクノロジ評価 ……………………………………….………………….………………………..6
…………………………………………………………………….…………………..1
………………………………………………...……………………….1
………………………………….….………………3
6.1 試験の設計 ………………………………………….………………….…………………………..6
6.1.1
目標
…………………………………………………….…….……………………………..6
6.1.2
アプリケーションとの適合性 …………………………………….……………….…………6
6.1.3
適切な性能測定法の決定 ……………………………………………………….…………….6
6.1.4
実施の際の優先事項 …………………………………………………….…………………….6
6.1.5
サプライヤへの情報公開方針 ………………………………….….…………………………7
6.1.6
識別と認証の試行の交換不能性
6.1.7
各種モデル，近似値の利用に関する注意
6.1.8
データ使用の順序
6.1.9
事前試験の手順 ………………………………………………………………………………..8
6.1.10
一般的な実行の順序 ………………………………….……………………………….………8
…………………………….…….………………………7
…………………………………………………7
…………………………………………………………………………..8
6.2 試験コーパスの集積 ……………………………………….…………………….…………………9
6.2.1
一般的な事項
………………………………………………………….……….……………9
6.2.2
登録の一意性
……………………………………………………….….……………………9
6.2.3
データ取得の再現
6.2.4
被験者の識別
6.2.5
非バイオメトリクス情報の供給
6.2.6
コーパスの代表性
6.2.7
汚染されていないコーパス
6.2.8
コーパスの廃棄 …………………..………………………………………..…………………10
6.2.9
コーパスの検証 ………………………..…………………………………..…………………11
……………………………………………………………..……………9
……………………………………………………………..…………………9
………………………………………..…………………10
……………………….…………………….………..…………………10
……………………………………………..…………………10
6.2.10
コーパスの収集環境 ………………….……………………..…………….….………………11
6.2.11
情報源不適合
………………………………………………..………….…….……………11
6.3 性能測定
………………………………………………………………………..……….………12
6.3.1
登録
…………………………………………………………………….………..…………12
6.3.2
取得失敗
6.3.3
認証精度の尺度 …………………….……………………………….……….………………13
6.3.4
識別の評価尺度 ………………………………………………….…………..………………13
6.3.5
登録失敗及び取得失敗を含む一般化誤り率 ………………………….……………………14
6.3.6
スループット性能
6.4 報告方法
………………………………………………………….………..………………12
…………………………………………………………………………15
………………………………………………………………………….……………16
6.4.1
一般的な事項
………………………………………………………………………………16
6.4.2
システム情報
………………………………………………………………………………17
6.4.3
データ収集過程 ………………………………………………………………………………17
6.4.4
情報開示
6.4.5
報告書の構成
7
シナリオ評価
……………………………………………………………………………………18
………………………………………………………………………………19
……………………………………………………………………………………20
7.1 試験の設計 …………………………………………………………………………………………20
7.1.1
一般的な事項
………………………………………………………………………………20
7.1.2
模擬的アプリケーションの特徴
7.1.3
試験の実施 …………………………………………………………………….………………21
7.1.4
取り組み及び決定方針のレベル
7.1.5
複数回の訪問及びトランザクション
7.1.6
本人及び詐称者の試行の実施 ……………………………………..……….…………………25
7.1.7
データ収集 …………………………………………………………………………..…………25
………………………….………………………………20
…………………………………………….….…………23
………………………………………………………24
7.2 被験者集団 ………………………………………………………………………….………………25
7.2.1
一般的な事項
……………………………………………………………….………………25
7.2.2
習熟
7.2.3
被験者集団の構成
7.2.4
被験者の管理
…………………………………………….…………………………………..………25
………………………………………………….………………………26
…………………………………………………………….…………………26
7.3 性能の測定 …………………………………………………………………….……………………26
7.3.1
一般的な事項
7.3.2
登録
7.3.3
取得失敗
7.3.4
確認における測定基準
………………………………….…………………………………27
7.3.5
識別における測定基準
……………………………………………………………………28
7.3.6
生体情報登録失敗率および取得失敗率を含む一般化誤り率 ……………………………28
7.3.7
中間的な分析
7.4 報告方法
……………………………………………….………………………………26
………………………………………………………….………………………………27
…………………………………………….………………………………………27
………………………………………………………………………………28
…………………………………………………………………………………………29
7.4.1
一般的な事項
………………………………………………………………………………29
7.4.2
システム情報
………………………………………………………………………………29
7.4.3
システムの取得および実装
7.4.4
試験環境の物理的なレイアウト
7.4.5
e 報告書の構成 …………………………………………………………….…………………31
8
……………………………………..…………………………30
…………………………….…….………………………30
テクノロジ評価及びシナリオ評価に適用可能なその他の諸問題 ……………………………31
8.1 試験の各当事者 …………………………………………………………………….………………31
8.2 公平性 ……………………………………………………………………………………….………31
8.3 試験システム包含の基礎 …………………………………………………………………………32
8.4 FAQ の使用 …………………………………………………………………………….……………32
8.5 法的諸問題 …………………………………………………………………………………………32
8.6 試験ソースコードの公表 …………………………………………………………………………32
8.7 試験の報告書に関する提供者のコメント
……………………………..………………………32
附属書 A(参考) 主要なテクノロジ試験タイプに対する段階及び行為
………………………33
附属書 B（参考）提示,入力試行とトランザクションの関係 ……………………………………….41
附属書 C(参考) 取組みレベルの報告方法 …………………………………………….……………43
附属書 D（参考） クライアント-サーバ試験方法
……………………………..…………………45
附属書 E（参考） 複数のシステムの評価結果を比較する方法
………………….………………47
附属書ＪＡ(参考) モダリティに固有の試験…………………………………………………………48
まえがき
この規格は，工業標準化法に基づき，日本工業標準調査会に審議を経て，経済産業大臣が制定した日本
工業規格である。
この規格は，著作権法で保護対象となっている著作物である。
この規格の一部が，技術的性質をもつ特許権，出願公開後の特許出願，実用新案権，又は出願公開後
の実用新案登録出願に抵触する可能性があることに注意を喚起する。経済産業大臣及び日本工業標準調査
会は，このような性質をもつ特許権，出願公開後の特許出願，実用新案権，又は出願公開後の実用新案登
録出願にかかわる確認について，責任をもたない。
なお，この規格の附属書ＪＡは，対応国際規格にはない事項である。
JIS X xxxxx の規格群には，次に示す部編成がある。
JIS X xxxxx-1 第１部：原則及び枠組み
JIS X xxxxx-2 第２部：テクノロジ評価及びシナリオ評価の試験方法
日本工業規格（案）
JIS
X xxxx-2：2008
(ISO/IEC 19795-2：2007)
情報技術―バイオメトリクス性能試験及び報告―
第 2 部：テクノロジ評価及びシナリオ評価の試験方法
Information Technology— Biometric performance testing and reporting —
Part 2: Testing methodologies for technology and scenario evaluation
序文
この規格は，2007 年に第 1 版として発行された ISO/IEC 19795-2 を基に，技術的内容及び対応国際規格
の構成を変更することなく作成した日本工業規格である。
なお，この規格で側線及び／又は点線の下線を施してある参考事項は，対応国際規格にない事項である。
1
適用範囲
この規格では，データ収集，データ分析及び二つの重要な評価方法，すなわち，テクノロジ評価及びシ
ナリオ評価に特有な報告書の作成に関する要求事項及び推奨事項を規定する。
この規格では，次の分野に関する要求事項を具体的に規定する。
− テクノロジ評価及びシナリオ評価のための実施要綱の展開並びに詳細な説明
− バイオメトリクス評価種別に関連するパラメタを反映するバイオメトリクス評価の実施及び報告。
注記 この規格の対応国際規格及びその対応の程度を表す記号を，次に示す。
ISO/IEC 19795-2: 2007, Information technology — Biometric performance testing and reporting
— Part 2: Testing methodologies for technology and scenario evaluation（IDT）
なお，対応の程度を表す記号（IDT）は，ISO/IEC Guide 21 に基づき，一致していることを
示す。
２
適合性
試験は，この規格のテクノロジ評価条項又はシナリオ評価条項に適合しなければならない。
シナリオ試験に適用する一連の条項は，テクノロジ試験に適用する一連の条項とは異なる。さらに，識
別システムの試験は，認証システム試験に適用する一連の条項とは異なる条項を適用する。
シナリオ試験が従わなければならない一連の条項は，テクノロジ試験が従わなければならない一連の条
項とは異なる。加えて，識別システムの試験は，認証システム試験が従わなければならない一連の条項と
は異なる。この規格に従うために，評価は表 1 に示すこの規格の各条項を遵守しなければならない。
表１
評価方法
テクノロジ又はシナリオ
テクノロジ
テクノロジ
シナリオ
シナリオ
評価方法及び比較の種類に関する適合性
比較の種類
識別又は認証
識別
認証
識別
認証
必要とされる条項
箇条の5及び8
6.3.3を除く箇条6のすべて
6.3.4を除く箇条6のすべて
7.3.4を除く箇条7のすべて
7.3.5を除く箇条7すべて
３
引用規格
次に掲げる引用規格は，この規格に引用されることによって，この規格の規定の一部を構成する。
この引用規格は，その最新版（追補を含む。）を適用する。
JIS X xxxx-1 情報技術‐バイオメトリクス性能試験及び報告‐第 1 部：原則及び枠組み
注記
４
ISO/IEC 19795-1: 2006, Information technology ―Biometric performance testing and
reporting―Part1: Principles and framework（IDT）
用語，定義及び略語
この規格で用いる主な用語及び定義は，この規格群の第１部で定義した用語のほか，次による。
4.1 バイオメトリクスデータ
4.1.1
バイオメトリクス参照データ（テンプレート，モデル）[biometric reference (template model)]
利用者ごとに格納された登録サンプルから抽出された特徴に基づく参照基準。
4.2 バイオメトリクスシステムの構成要素
4.2.1
特徴抽出器 (feature extractor)
サンプルから特徴抽出する機構。
4.2.2
バイオメトリクス参照データ生成器(biometric reference generator)
サンプルをバイオメトリクス参照データに変換する機構。
4.3 バイオメトリクスシステムとの利用者インタラクション
4.3.1
順化(acclimatization)
サンプルを処理するセンサの能力に影響を及ぼす可能性のあるバイオメトリクス特徴の一時的条件に際し
ては，評価の過程で割り引くこと。
4.3.2
取組みレベル(effort level)
バイオメトリクスシステムに正しく登録又はマッチングするために必要な提示，入力試行，トランザク
ションの数。
4.3.3
登録の試行(enrolment attempt)
バイメトリックシステムにおいて，登録のための 1 人の被験者からの一つ以上のバイオメトリクスサン
プルの提出。
注記１
一つ以上の登録試行が，登録トランザクションを構成するために，許可又は要求される場合がある。また，
一つの登録試行は一つ以上の登録提示を含むこともある。
注記２
附属書 B に示す提示，入力試行，トランザクションの間の関係のイラストを参照のこと。
4.3.4
登録試行の限度(enrolment attempt limit)
一人の被験者が登録トランザクションの終了前に許可される最大入力試行数，又は最大所要期間。
4.3.5
登録の提示(enrolment presentation)
登録のための一人の被験者におけるバイオメトリクス特徴のインスタンスの提出。
注記
一つ以上の登録提示が登録トランザクションを構成するために許可又は要求されることもある。また，一つの
登録の提示は一つの登録試行になる場合も，ならない場合もある。
4.3.6
登録の提示限度(enrolment presentation limit)
一人の被験者が登録トランザクションの終了前に許可される最大提示数，又は最大所要期間。
4.3.7
ガイダンス(guidance)
登録又は認識の過程で管理者から被験者に示される指示。
注記
ガイダンスは，登録又は認識が終わる前にバイオメトリクスシステム又は装置によって与えられる音及び視覚的
な提示列のようなフィードバックから切り離されている。
4.3.8
習熟(habituation)
ある装置に対する被験者の精通度合い。
注記
バイオメトリクス装置を使用することによって得られる，十分な精通度合いをもつ被験者は，習熟した被験者
と呼ぶ。
4.3.9
比較の試行(comparison attempt)
バイオメトリクスシステムにおいて，比較のために，ある被験者に関する一つ以上のバイオメトリクスサ
ンプルの提出。
4.3.10
比較試行の限度(comparison attempt limit)
一人の被験者が比較処理の終了前に許可される最大入力試行数，又は最大所要期間。
4.3.11
比較の提示(comparison presentation)
比較を目的とした，１被験者当たり一つの生体特徴のインスタンスの提示。
注記
一つ以上の比較提示は比較試行を構成するために許可又は要求されることがある。一つの比較提示は，一つの
比較試行になることも，ならないこともある。
4.3.12
比較提示の限度(comparison presentation limit)
一人の被験者が比較の試行の終了前に許可される最大提示数，又は最大所要期間。
4.4 精度評価尺度
4.4.1
収集時不適合率(failure at source rate)
テクノロジ評価に使用するために，手動又は自動でバイオメトリクスデータを集めているときにコーパ
スから廃棄されるサンプルの割合。
例 顔データ収集において収集された画像の一部は，画像中の顔の欠落によって捨てられることがあり
得る。
５
テクノロジ評価及びシナリオ評価の大要
この規格は，2 種類の評価手順，すなわち，テクノロジ評価及びシナリオ評価を規定する。試験報告は，
テクノロジ評価，シナリオ評価，又はテクノロジ評価とシナリオ評価との両者の側面を併せもつ評価の結
果から生じたものか示さなければならない。
テクノロジ評価は，既存の又は特別に収集されたサンプルのコーパスを使用することによる，同一のバ
イオメトリクスモダリティにつき一つ以上のアルゴリズムのオフライン評価である。テクノロジ試験の有
用性は，人間とセンサとの間の取得インタラクション及び認識処理の分離に由来し，そのメリットには次
のようなものが含まれる。
−
完全な相互比較試験を実施する能力。テクノロジ評価は，その他のメンバのすべてを本人であると要
求する者（すなわち，偽物）として，すべての被験者を活用する可能性があり，これによって，N 人
につき１人ではなく，N２人につき１人の割合での誤合致率（FMR）の測定が可能となる。
−
予備試験を実施する能力。テクノロジ評価は，リアルタイム出力要求のない状態で実施することが可
能であり，この点で研究・開発に最適である。例えば，アルゴリズムの改善の効果，作動レベル・構
成など実行時のパラメタの変更，又は異なる画像データベースについて，本質的に，クローズドルー
プ改善サイクルで測定することができる。
−
複数インスタンス試験及び複数アルゴリズム試験を実施する能力。テクノロジ評価は，共通の試験手
順，インタフェース，及び測定基準を用いることで，複数例システム（例えば，顔の三つの面）及び
複数アルゴリズム（例えば，サプライヤ A 及びサプライヤ B）の性能，又はそれらの組合せに関する
反復可能な評価を実施する可能性を与える。
−
テクノロジ試験は，コーパスが適切なサンプルデータを含んでいる場合，人間とセンサとの間のイン
タフェースに伴って起こるすべてのモジュールを試験できる可能性がある。そこには次のものも含ま
れる。品質管理及びフィードバックモジュール，信号処理モジュール，画像ヒュージョンモジュール
（マルチモーダル又は複数インスタンスバイオメトリクスス），特徴抽出及び正規化モジュール，特
徴レベルヒュージョンモジュール，比較スコア計算及びヒュージョンモジュール，スコア正規化モジ
ュール。
−
人間とセンサとのインタラクションの非決定的な側面は，真の反復可能性を不可能にし，これが比較
可能な製品試験を複雑にする。性能測定の１要素として，このインタラクションを除去することによ
って，反復可能な試験が可能となる。このオフラインプロセスは，ほとんどコストがかからず，永久
に反復することができる。
−
サンプルデータが入手可能な場合，性能は，長年の間に取得されたサンプルを活用して，非常に大規
模な対象母集団について測定することが可能である。
注記１
注記２
オフライン登録及び比較スコアの計算のためのサンプルデータベースの収集は，サンプル及び入力試行
がどんなトランザクションにも使用されるような大きな統制の手段を与える。
テクノロジ評価は，後のオフライントランザクションのために，データストレージを常に必要とするだ
ろう。しかし，シナリオ評価では，オンライントランザクションは，試験者にとってより単純になり
得る。 通常の作法で作動しているシステムでは，サンプルの保管は推奨されるが必すではない。
シナリオ評価とは，プロトタイプ又は模擬的アプリケーションにおける包括的なシステム性能のオンラ
イン評価である。シナリオ試験の有用性は，登録及び認識処理に関連して人間とセンサとの取得インタラ
クションを含むことによるもので，そのメリットには次のようなものが含まれる。
−
被験者を登録・認識するためのシステムの能力に関する追加的な入力試行及びトランザクションの影
響を測る能力。
−
提示及びサンプル取得期間を含めた，登録及び認識のトライアルのスループットの結果を収集する能
力。
注記 3 オンライン評価では，ストレージの要求仕様を抑えるため，又は限定的なケースにおいて現実世界シス
テムの操作に忠実に保証するために，実験者はバイオメトリクスサンプルを保持しないようにするこ
ともある。しかし，オンライン試験におけるサンプルの保持は，検査のため，及びその次のオフライ
ン分析を可能にするために推奨される。
注記 4 バイオメトリクスシステムの試験では，登録時に生成するバイオメトリクス参照データ及び後の試行に
おける比較スコアの計算のために使用される入力画像又は信号の収集を含むだろう。収集された画
像・信号は，オンライン登録，認証，及び識別試行に使用されるか，又は後のオフライン登録，認証，
及び識別に使用するために格納されることがある。
テクノロジ評価とシナリオ評価との相違に関する情報は，表 2 に示す。
表2
試験の対象となるもの
t試験の目的
根拠となる原理
実験者によって管理さ
れる被験者の行動
被験者が入力試行の結
果に関するリアルタイ
ムのフィードバックを
受けている。
結果の反復可能性
物理的環境の管理
記録される被験者のイ
ンタラクション
記録される通常の結果
－テクノロジ評価とシナリオ評価との違い
テクノロジ評価
バイオメトリクスの構成要素（比較又は抽出の
アルゴリズム）。
標準化されたコーパスに関する各アルゴリズム
の性能測定。
マージされたデータセットにおけるデータ収集
誤り及び重複の存在，データサンプルとサンプ
ル出所との間の既知の関連性。
試験中は適用不能。
バイオメトリクスデータが記録されている場合
は管理されていることが知らされるが，そうで
ない場合は管理されていないとみなされる。
ノー
反復可能
バイメトリックデータが記録されている場合は
管理されていることが知らされるが，そうでな
い場合は管理されていないとみなされる。
試験中の適用は不可能。
バイメトリックデータが記録されている場合は
記録が可能。
バイオメトリクスの構成要素又は構成要素の各
バージョンの相対的安定さ
（例えば，比較又は抽出アルゴリズム）。
シナリオ評価
バイオメトリクスシステム。
模擬的アプリケーションにおけるエンド利
用者レベルの性能測定。
データ収集の誤り及び望ましくない被験者
の振る舞いについての試験者の注意ミスの
存在，システムの決定と，提示されたサン
プルとは別個に記録されたソース間の既知
の関連性。
管理されている（被験者の行動が独立変数
でない場合）。
イエス
おおむね反復可能（試験環境条件及びヒュ
ーマンファクタ変数が管理されている場
合）。
管理され，かつ，記録されている又はその
いずれか。
記録される
バイオメトリクスシステムの相対的な安定
さ。
クリティカルな性能要素の決定。
クリティカルな性能要素の決定。
通常の測定
最大の誤り率。
模擬性能の測定。
予測される利用者間のスループット
利用者間のスループットではない。
誤合致率(FMR)，誤非合致率(FNMR)
多くの被験者集団を集めるのが困難な場合の大
規模識別システムの性能に適している。
取得の失敗，登録の失敗
GFAR, GFRR.
制約
被験者母集団
適切な試験データベース，例えば，一つ以上の
センサと共に集められた，既知のもの，未知の
ものの確認。
記録される
GFAR，GFRR
操作可能な，役に立つシステム
リアルタイムの参加
注記5 場合によっては表中のエントリに対する例外が存在するが，これらは主な相違点である。
６
テクノロジ評価
6.1 試験の設計
6.1.1 目標
評価は目的とする対象アプリケーションのためのシステムへの生体情報登録，取得，及び比較機能を評
価するために設計しなければならない。
6.1.2 アプリケーションとの適合性
当該試験が，特定のアプリケーション又はそれらを代表する概念の性能を評価することを意図する場合，
評価試験はその機能（入力から出力まで）と運用形態（例えば，登録，照合過程）とを十分に模擬するよ
うに設計，実施しなければならない。
例 現実の応用シーンで登録の際に複数の登録画像が収集できる場合には，テクノロジ試験はその過程を模擬できる様
に設計することが望ましい。
試験の目的のためには可能であれば比較の試行ごとに比較スコアを返すように実施することが望ましい。
6.1.3 適切な性能測定法の決定
実験者は，6.3 に列挙されているものに加えて，どの性能測定がそれらの評価に適用可能かを決定しなけ
ればならない。
試験はすべての必要な評価尺度を確実に測定できるように設計しなければならない。
実験者は，テクノロジ試験のどの比較タイプの試験を行うかを決定し，報告しなければならない。比較
のタイプは次の一つ以上を指定しなければならない。
a) １対１認証
b) 登録者非限定識別
c) 登録者限定識別
実験者はテクノロジ試験で比較の機能の一つ以上のタイプを選択した合理的根拠を明示しなければなら
ない。ウォッチリスト識別のようなある種のタイプの比較を遂行するように設計されたシステムが適当な
タイプの結果を生成する様式で試験されるように，評価される比較機能は問題のアルゴリズムに適用可能
とするのがよい。
注記
誤り率算出のための公式は，この規格群の第１部の箇条 7 に示されている。
6.1.4 実施の際の優先事項
試験計画はバイオメトリクス認識システムの機能を実装する方法を指示するようなものであってはなら
ない。バイオメトリクス認識の機能を独自の方法で実行するように実施する責任がある。
注記
オフライン試験の際には生体認証装置の試験項目と試験方法とを分けて論じることが基本的に重要である。最
初に試験実行者と装置供給者との責任範囲を明確化する必要がある。試験の対象となる装置は可能な限り，単
に入力サンプルに対して結果を返すだけの基本機能をもったブラックボックスとみなす必要がある。装置の中
で特殊な現象が起こっていることは十分ありうるが，多くの場合，試験実行者には関係ないとみなすべきであ
る。このことによって任意のバイオメトリクスサンプルの試験が容易になる。
例1 指紋が1000 dpi で採取されており，試験装置がその半分の解像度でだけ処理するとわかっている場合，試験者
は a)自明ではない方法でダウンサンプリングせず，b）装置供給者に対して内部でダウンサンプリングするよう
に要請することが望ましい。
例2 複数の姿勢の違う顔画像が入力された場合，1）最もよい画像を選択する，2）すべての画像を統合する，3）ス
テレオアルゴリズムで3次元モデルを合成する，などの方法が考えられるが，どの方法を用いるかはバイオメト
リクスシステム又はバイオメトリクス装置が決定する。
例3
多くの自動指紋識別システム（AFIS）機械（すなわち，複数の指紋の記録を識別する機械）では何らかの基準
（最も簡単には，例えばHenryの分類）によってデータベースを分割し，利用者又は他人のサンプルと同じカテ
ゴ リと考えられるデータベースの一部だけを探索するデータベース分割（ビニング）法を実装しており，その
ために処理の高速化が図られるが，精度の低下を招く可能性はある。この速度と認識精度とのトレードオフは供
給者によって設定されるデータベース分割（ビニング）法の内部パラメタによって決まる。すべての設定につい
てすべての試験を繰り返す必要がある。
例4 認識システムでの複数の指の指紋を利用を示すことを模索する研究においては，試験者は装置を通して別々のサ
ンプルを通すこと，又は引き続いて実行するスコアレベルでの融合を実行することは望ましくなく，その代わり，
バイオメトリクス装置にその内部で融合を実行させる場合に限り，すべての画像をサンプル（例えば，米国規格
協会ANSI米国標準技術局NISTのレコード，又はISO/IEC 19794-2で規定される共通バイオメトリクス交換フォ
ーマットフレームワークCBEFF）として構成することが望ましい。CBEFFでの包含されるインスタンスに関す
るより詳しい情報はISO/IEC 19794-2参照。ANSI-NISTのレコードに関する情報はANSI/NIST-ITL 1-2000 NIST
特別刊行物500-245参照。
6.1.5 サプライヤへの情報公開方針
試験者は試験を開始する前に a)装置が設定され，出荷され，インストールされる前，及び b)実行の際に，
どの情報を提供者に公開するかについての決定方針を策定しなければならない。
6.1.6 識別と認証との試行の交換不能性
１対多の識別探索の結果得られた比較スコアは正当な根拠なしに 1 対 1 認証試行の結果として提示して
はならない。
注記1 現実の応用において有用な性能評価のため，評価は現実の入力試行(すなわち，棄却又は受け入れ)から得られ
た結果から行われなければならない。認証システムの評価は，利用者が自分であることを主張しているという
前提で行わなければならない。1対多探索がすべての候補者リストを生成する場合でさえも，候補者リストは
原子的であり，すなわち，N回の（精度検証計算に用いられる）認証の試行の結果としてみなさないほうがよ
い。
注記2 単一の識別試行と，N回の1対1認証とが異なっていることに注意する必要がある。なぜならば，後者において
は群衆正規化として知られるあらわでないサンプルを追加することで改良が可能であるためである。この方法
によって，利用者ごとに適切なしきい値を定めることでFARを減少させるように比較スコアを調整する。この
方法にも性能（訳者注：精度）とスループットとのトレードオフが存在する。その原因は追加する1:1認証の
比較は1:Mの処理を招くからである。ただし，Mはあらわでないバイオメトリクス参照データ集合の大きさで
ある。
注記3 群集正規化は，登録された母集団の中で選択された閉じた使われ方として，装置の中で適切に制御されている。
6.1.7 各種モデル及び近似値の利用に関する注意
実世界のサンプルを用いた実験の代わり，又は参考資料として認証モデル，統計モデル，近似値若しく
は予測値を用いる場合には，モデルは可能な限り実データとの関係について検証を行ったうえで用いる。
また，その特性については可能な限り適切に記述しなければならない（非専門家にはわかりにくく補足説
明が必要）。
6.1.8 データ使用の順序
試験計画においては試験データの使用の順序を定義しなければならない。この順序は想定されるアプリ
ケーションに対して適切に定義しなければならない。実施に当たっては，この順序を遵守しなければなら
ない。
注記1
トランザクションは，通常，1回ごとに分けて実行される。したがって，実施に際しては1回のトランザクシ
ョンがすべて終了してから次のトランザクションが始まるように留意しなければならない。
注記2 多くのバイオメトリクスアプリケーションは，本物の利用者の場合，事前の登録に対して，個人ごとに続けて，
バイオメトリクスシステム若しくは装置を続けて又は別々に使用する法を採用している。
注記3 ある種の識別タスクは続けて実行されない。例えば，密室のすべての人間をバッチで識別する場合はLinear
Assignment Problemに縮約することによって，より簡単になる。
6.1.9 事前試験の手順
6.1.9.1 インストール及び正常動作の確認
試験機関は，ハードウェア及びソフトウェアがインストールされ，適切に設定されるような段階を踏み，
そのシステムが正しく操作されているかどうか確認しなければならない。
注記
インストール，設定，及びシステム操作の確認は，供給者によって行ってもよい。
6.1.9.10 データの準備
データの準備の際，被験者の識別情報及び通常アプリケーションによっては利用できない（性別，年齢
などの）関連するメタデータは削除されている必要がある。そうではない場合，試験結果の正当性が保証
されない。
6.1.10 一般的な実行の順序
テクノロジ試験の実行の順序に関する一般的な事項を次に示す。
−
登録サンプルはバイオメトリクス参照データに変換され，連続的な順序で格納される。
−
識別及び認証サンプルはサンプル特徴に変換される。
−
認証の試行とはサンプル特徴とバイオメトリクス参照データとを直接比較することである。
−
登録者限定識別試行とは，利用者識別子を得ることを目標とした，登録された母集団の探索のことで
ある。
−
登録者非限定識別試行とは登録されたデータベースを探索し，結果として，
−
一つ以上の識別子を出力するか，又は，
−
被験者が登録されたデータベース内に見つからない場合は，見つからないことを出力する。
注記１
上記の機能はアプリケーション プログラム インタフェース（API と呼ぶこともある。）のレベルで実施され
ているか，スクリプトのレベルで制御可能な実行形式になっていてもよい。
注記 2 附属書 A にテクノロジ試験の具体的な試験実行順序が記述されている。
6.2 試験コーパスの集積
6.2.1 一般的な事項
テクノロジ評価の工程は，登録及び比較の性能について，一つ以上のバイオメトリクスアルゴリズムを
評価するために設計される。テクノロジ試験は，実験者が必要とするデータを得られるように計画しなけ
ればならない。
6.2.2 登録の一意性
すべてのコーパスサンプルが，実在の人間と一致することが望ましい。評価の設計にあたっては，同じ
人物から，まるでそれらが異なる個人であるかのように，意図的に異なるサンプルを登録しないほうがよ
い。試験機関は，ある個人が他の個人と一致しているような試行を行っていないことを確認するための実
施した過程を詳細に報告しなければならない。
個々人がコーパス内に複数の識別子をもつことが可能な場合，それらのコーパスは，実際には，そうし
たインスタンスと調和するように“掃除”してもよい。さもなければ，その試験は，それぞれの識別子が
異なる個人と一致しているという前提に基づいて進めるのがよい。
注記 1
バイオメトリクスシステムは個人を一意に特定することを目標にしている。個々人について，一つ以上の画
像又は信号を用いることが可能な場合には登録，比較のプロセスではそれらのデータを一つのものとして扱
うことが望ましい。
注記 2
（一つ以上のモダリティで）個々人から二つ以上のサンプルを用いる識別システムにおいて，登録が独立し
ていることを仮定することは次の理由のために行わない。
識別においては登録されたサンプルを探索し，候補リストを作成することが行われる。複数のサンプルが独立に登録
されている場合，最大限の基準を使用した各利用者サンプルのスコアレベルの融合が必要である。なぜなら，最大のス
コアのエントリが勝るためである。たとえ，一人当たりのサンプル数がすべての人々について同じであっても，その実
施を反対する。なぜなら最良と考えられる方法で，各サンプルを組み合わせることが供給者の責任だからである（技術
的に補足説明が必要）。
誤りの評価尺度は登録された母集団の数 N に依存するので，N が独立した個々人の数と一致しない場合，N は妥当な
数字とみなされない。
注記 3
被験者ごとに複数に（分けられて）登録されたバイオメトリクス参照データの効果を明らかにしようとする
評価は，試験の計画と試験の報告とで文書化するので，ここでは扱わない。
6.2.3 データ取得の再現
試験母集団にアクセスできる実験者のレベルに基づき，被験者は複数回の訪問の手順上，複数回のデー
タを提供してもよい。トランザクションと訪問の回数とは，習熟化の効果とも関連するが，バイオメトリ
クス参照データの老化効果を測定するために必要な粒度を確保することを目的に最大化される。
6.2.4 被験者の識別
実験者は，被験者の識別のための情報を報告しなければならない。そのために少なくとも次の項目を報
告する。
a) 被験者を識別するために用いられる識別子のタイプ
b) 収集された個人データの量及びタイプ
6.2.5 非バイオメトリクス情報の供給
コーパスの中で活用可能な場合，配置されたシステムに通常活用可能なメタデータを，試験中のシステ
ムに提供しなければならない。試験の報告書には，試験中のシステムに活用可能であったメタデータ変数
の名称及びタイプを書かなければならない。
例
報告書には，センサの具体的な情報（例えば，カメラのセッティング），環境（例えば，温度及び
湿度），被験者の具体的な情報（例えば，性別，年齢，見かけ，服装），又はその他かかわりのあ
る情報が含まれる。
注記
テクノロジ試験においては実世界におけるバイオメトリクス操作の複数の側面を考慮できないが，評価の設計
においてこうした実世界におけるバイオメトリクス操作の複数の側面を不必要に排除すべきではない。
6.2.6
コーパスの代表性
コーパス中のデータが試験の目標又は関連するアプリケーションと適合するように評価の設計を行い，
かつ，その旨を報告書に記述しなければならない。
試験機関の監督又は制御の下でデータが収集される場合，順化，訓練，習熟，ガイダンスなど実験者と
被験者とのインタラクションに関連した情報は記録されなければならない。
注記 1
適切なモデルの下で性能の予測を行うためにテクノロジ評価を行うことは有用である。こうした評価は試験
で使用するデータは同じフォーマットで，かつ，同じ品質で取得することが可能である場合にだけ成立する。
注記 2
理想的にはデータは異なるモダリティに関するデータも同等な習熟，順化，ガイダンスのレベルで収集する。
6.2.7 汚染されていないコーパス
コーパスは，次のような場合，多少なりとも“汚染されている”とみなされる。
a)
実施サプライヤがコーパスの所有権をもっていたことがある。
b) 実施サプライヤが，コーパスの収集又は処理に用いられる装置を提供している場合，とりわけ，この行
為がサンプルの排除を行うなど，コーパスの性質又は品質に影響を与えている場合。
c) 試験の対象となるシステムがかつて，そのコーパスを使用して試験され，調整されたことがある場合。
汚染されているコーパスの使用が避けられない場合，この事実を試験報告書に記載しなければならない。
参加している一人以上のサプライヤがそれを所有している場合，サンプルデータは評価に際して使用しな
いほうがよい。比較試験では，そうしたデータは使用すべきでない。（全体でも一部でも）この試験コー
パスを用いたシステムの事前の試験・調整は，試験報告書に記載しなければならない。
注記 1.
この項目は試験者がサンプルデータに関する何らかの不正を行うことによって見かけ上の性能向上を装うこ
とを防ぐ意味で重要である。
注記 2
一般的に再利用が禁止されているからといって，サンプルを少々変更させるだけでは不十分である。もし以
前に試験したサンプルであることが何らかの方法で識別可能であれば，不正が行われる可能性がある。
6.2.8 コーパスの廃棄
試験下にある一つ以上のシステムが，あるサンプルを用いて以前の試験で測定した性能に基づいて調整
されているならば，評価においてそのデータを用いないほうがよい。
注記 1 これは滅多に用いられたことのないデータを使用することによって容易に達成できる。
注記 2 これは暗に収集活動を追加しなければならないことを指し示しており，その点で高くつくかもしれない。
6.2.9 コーパスの検証
検証とは試験の目的に適さないデータを除去するために，被験者データを選抜することを言う。
検証は被験者が確かに実在すること，そのデータが正しいフォーマットで記述されていること，正しい
インスタンスが収集されていること，又は正解データの誤りが識別されていることのチェックを含んでも
よい。
実験者は，被験者のデータが妥当なものであるかどうかを報告しなければならない。データが妥当な場
合，実験者はデータの確認の際に適用した方法を詳しく説明しなければならない。データの除去の割合と
基準とについて報告しなければならない。
例 1 データベースの品質は被験者のデータから品質の悪いものを除去することによって制御できる。
例 2
顔認識技術の試験では顔が示されていないデータ（例えば，まったく顔が見えないか全体が身体であるよう
な）及び，指紋認識技術の試験で指紋が示されていないデータ（例えば，掌紋のデータ）は排除されることが
多い。
注記 1
一部のバイオメトリクスデータは他のタイプのものより比較的簡単に検証できるので，データの検証を行う
ことは性能の結果にバイアスをかけることが可能かもしれない。
注記 2
コーパスの検証で削除されたデータは，情報源不適合として捨て去られたものとは区別される。ときどき除
去されたデータが妥当でないと判断するのか情報源のところでの失敗とみなすのかという点に対して判断が
必要な場合があるかもしれない。
6.2.10 コーパスの収集環境
データ収集中の環境条件については，知らせてもよいし，具体的に示してもよい。そうした収集
は，通常，基準となる環境条件に合致した具体的な環境条件の下で性能を測定することを目的と
しているだろう。そうした制御は，バイオメトリクスの性能に影響を与えることが知られている
又は影響を与えると思われる温度，照明，湿度，若しくはその他について定めてもよい。
以下のように評価下のモダリティに関連する環境要因，コーパス取得時の環境要因について入手可能な情
報は明確に記載することが望ましい。
−
温度
−
露出されているもの
−
照明
タイプ，方向，強度を含む
注記
タイプとは太陽光，蛍光灯などの照明の種類のことである。
−
周囲の雑音
−
振動
実験者はこうした情報が入手不能な場合は，その旨を報告書に記載しなければならない。
注記
性能に影響を与える環境要因に関する情報については，この規格群の第 1 部附属書 C の C. 2.6 参照。
6.2.11 情報源不適合
オフライン試験では，保存されているバイオメトリクスサンプルを使用し，それは取得する過程でバイ
オメトリクスシステムによって集められてもよいし，バイオメトリクスシステムによらずに集められても
よい。試験報告書では，データが試験で使用される前の段階でどのように処理されたかに関する情報をす
べて開示しなければならない。特に，サンプルが手動か又は自動バイオメトリクスシステムの使用によっ
て，廃棄されている場合は，情報源不適合率（FAS）を報告しなければならない。
注記 1 FAS の値は，試験対象システムと異なるバイオメトリクスセンサ又は画質を評価するアルゴリズムによって
決定されるだろう。
意味不明！！！
注記 2
判定者のコールが必要になるかもしれない場合がある。例えば，幾つかのレガシーな（古い）画像サンプル
がまったく空白であるとわかったならば，FAS に数えないことは合法的であるが，真似することを意図した
試験を行うアプリケーションで定常的に生じる空白サンプルは，FAS に含めるか否か判断が必要である。
6.3 性能測定
6.3.1 登録
オフライン試験においては登録が失敗した比率(FTE)，すなわち，コーパスの中で登録が拒否された被験
者の割合を記録しなければならない。また，登録失敗と公表する基準も明記しなければならない。
注記 1 テクノロジ試験で測定される登録失敗は，実際の取得において起こりうる失敗の種類の一部に過ぎない。
注記 2
登録失敗は各システムにおいてさまざまな理由で公表されうる。よく見られる理由は，システムが（独自の
画像又は信号の検出又は処理の能力によって，及びある品質受容基準によって構成されている場合に）低品
質の基準によって必要な信号の検出に失敗したというものである。
注記 3
登録失敗が宣言されることによって，システムがよりよい比較性能を達成できる場合がある。このため，登
録失敗と誤非合致率とを結合した一般化誤拒否率（GFRR）によって，このトレードオフが説明されること
が望ましい。
実験者は，登録を成功させるために要求されるサンプルの最低数と許容されるサンプルの最大数を具体
的に示さなければならない。
試験される各バイオメトリクスシステムについて，次の試験報告が望ましい。
a) 可能であれば，登録時の品質スコアの分布
b) 異なる人口統計グループに対する，異なる環境条件に関連する，又はコーパスの他の論理セグメントに
対する登録失敗
注記 1
注記 2
これらの生体部位ごとの条件については，附属書ＪＡに詳細に記述されている。
指紋における指の損傷などによって，被験者そのものが測定対象になりえない場合がある。の
附属書ＪＡではこれらの被験者を取り除いた装置の使用可能な被験者の比率を“対応率”とい
う概念で規定している。
6.3.2 取得失敗
オフライン試験において，画像及び信号の品質などの理由によって，取得及び位置決めにシステムが失
敗した認証又は識別の試行の比率を記録しなければならない。この値は取得失敗率（FTA）と呼ばれる。
注記 1 取得失敗は比較フェーズにおける登録フェーズの登録失敗に相当するものである。6.2 の注記 1 及び注記 2 と
が同様のことを議論している（訳者注：6.2 には注 1 及び注 2 がない）。
注記 2 取得失敗は，誤合致率とともに誤受入率の算出に使用しなければならない。
注記 3 テクノロジ試験では，FTA は典型的にはエンコード又は比較の構成要素として公表され，試行の処理失敗に
属す。
実験者は，サンプル特徴を生成するために要求されるサンプルの最低数と許容されるサンプルの最大数
を具体的に示さなければならない。
FTA を計算する公式はこの規格群の第 1 部に見出すことができる。
6.3.3 認証精度の尺度
試験される各認証試験の際，実験者は次の項目を計算しなければならない。
a) 誤合致率（FMR）及び誤非合致率（FNMR）。
b) 誤拒否率（FRR）及び誤受入率（FAR）。ただし，試験設計が，誤受入率及び誤拒否率が誤合致率並び
に誤非合致率と一致しない場合。
c) 実行された本人及び他人の比較数。
d) 本物の被験者について，入手可能な場合は，サンプル特徴の登録と取得との間で経過した時間の分布。
e) 試験結果の不確実性，さらに不確実性を推定した基礎及び公式。
誤受入率と誤拒否率と同じく，誤合致率と誤非合致率とは照合精度特性（ROC）曲線又は検出エラート
レードオフ（DET）曲線の形で表してもよい。これらの率に到達するために用いられた被験者の数及びト
ランザクションの数は算出しなければならない。
注記
比較スコアを返すシステムに対して合致又は非合致の判断を返すシステムにとって，性能は ROC 又は DET 上
の単一で操作される点として報告してもよい。
認証システムでは，実験者は次の事項を算出することが望ましい。
f) 本物の被験者及び偽物の被験者に関する比較スコアの分布。
g) 異なる人口統計グループに対する認証結果若しくは異なる環境条件に関連する認証結果，又はコーパス
の他の論理セグメントに対する認証結果。
6.3.4 識別の評価尺度
すべての識別評価について，実験者は試験結果の不確実性，さらに不確実性を推定した基礎及び公式を
報告しなければならない。
登録者限定識別評価について，実験者は次の点を報告しなければならない。
a) 累積識別精度特性（CMC）
b) 実行された探索回数
開集合識別について，実験者は次の事柄を報告しなければならない。
c) 誤受入識別率（FPIR）及び対応する誤拒否識別率（FNIR）[できればいき(閾)値の範囲で]。
d) 大分類法が用いられる場合は，大分類誤り率及び（平均）絞り込み率。
識別システムについて，実験者は次の事柄を報告しなければならない。
e)異なる人口統計グループに対する識別結果，異なる環境条件に関連する識別結果，又はコーパスの
他の論理セグメントに対する識別結果。
6.3.5 登録失敗及び取得失敗を含む一般化誤り率
6.3.5.1 一般的な事項
対になった（誤合致率及び誤非合致率の）値の集合など，オフライン試験の直接的な出力は，取得失敗
及び登録失敗の測定値と組み合わせなければならない。
注記 1
低品質のサンプルを取り除く処理をおこなうことによってシステムの誤受入精度及び誤拒否性能の改良が可
能になるため，性能の最終供述を生成するために測定された誤合致率と誤非合致率とは取得失敗率と登録失
敗率と組み合わせる必要がある。
FTE と FTA とがゼロであれば，この事実は注意することが望ましい。この場合，1 回しか試行していないトランザク
ションの GFAR 及び GFRR は，FMR 及び FNMR と異ならない。FTE 又は FTA がゼロでなければ，誤受入率及び誤拒
否率が計算されることが望ましい，そのために，誤合致率及び誤非合致率と違いが出てくる。
注記 2
ある試験では，取得失敗又は登録失敗の結果をもたらすサンプルはさらなる研究のためにサプライヤに開放
してもよい。
注記 3 比較スコアを返すシステムに対して合致又は非合致の判断を返すシステムにとって，性能は ROC 又は DET
上の単一で操作される点として報告してもよい。
注記 4 非常に多くの登録失敗又は取得失敗が公表されることによって，試験下の実施が低い GFAR 値を招くかもし
れない。しかし，それゆえ，GFRR は増加するだろう。
6.3.5.2 単一試行のトランザクション
試験下の各実施に対し，実験者は，単一試行のトランザクションに対する一般化 FAR（GFAR）及び単
一試行のトランザクションに対する一般化 FRR（GFRR）を決定しなければならない。
I 一つのトランザクションが単一の試行から構成されている場合は，一般化誤受入率は GFAR を，取得され，
かつ，ある固定したいき(閾)値，t について合致した他人の割合として計算してもよい。
GFAR(t ) = (1 − FTA)FMR(t )(1 − FTE )
同様に，一般化誤拒否率は，使用中取得できなかった本人，取得できたが登録できなかった本人，又は，
登録でき取得もできたが，固定されたいき(閾)値 t について，誤って拒否された本人の割合である。
GFRR(t ) = FTA + (1 − FTA)FTE + (1 − FTA)(1 − FTE )FNMR(t )
GFAR 及び GFRR に関する上記の公式は， n = 1 という特殊なケースでだけ成立する。ここで，n はト
ランザクション中に許される試行の回数である。
注記 1 ある登録が不可能な個人を受け入れられるならば，異なった公式が必要となるかもしれない。
注記 2
明白な登録失敗と取得失敗との計測は，すべての認証比較から比較スコアを得られるように具体化すること
で回避することができる。サプライヤはこの要件を満たすために登録失敗と取得失敗との条件を内部的に記
録し，バイオメトリクス参照データが 1 対 1 比較でそのように使用されたときに示される低い値を適切に報
告すればよい。この方法によって DET 特徴において登録失敗と取得失敗とを正しく含むことになる。
注記 3 選択的に GFAR 及び GFRR は，次の事項によって決定することができる。
−
（受入及び拒否に関係なく）失敗した他人のトランザクションと他人のトランザクションの全数中の登録が失敗し
た個人に対する他人のトランザクションとを含め，
−
（受入及び拒否に関係なく）失敗した本人のトランザクションと本人のトランザクションの全数中の登録が失敗し
た個人に対する本人のトランザクションとを含め，そして，
−
（受入及び拒否に関係なく）失敗した本人のトランザクションと誤拒否として登録が失敗した個人の本人のトラン
ザクションとを数える。
6.3.5.3 複数試行トランザクション
複数の試行からなるトランザクションの場合，GFAR 及び GFRR の計算はより複雑になる。そのような
試験の公式は，試験を指向した基礎の上に生成されることが望ましい。
6.3.6 スループット性能
6.3.6.1
一般的な事項
試験機関は，試験中，実施に要したスループットを測定しなければならない。
試験で測定しようとする性能の側面がトランザクションに要する時間であるならば，実験者は試験下に
ある実施に似合ったトランザクション時間を測定する方法を具体化しなければならない。
注記 1 理想的にはすべての登録操作及び比較操作に要した処理時間を測定することが望ましい
注記 2 オフライン試験では計算に関するスループットだけが評価される。例えば，登録の際には登録処理全体の中
で，画像解析及びバイオメトリクス参照データの生成フェーズだけが獲得され，人間工学的で，かつ，トラ
ンザクションの側面である（例えば，センサの上に指を置く又は眼鏡を取るなど）人間の行動に関する時間
は無視される。したがって，テクノロジ試験において測定される登録スループットの割合は運用上のスルー
プットの割合を下限とする。
6.3.6.2 スループット性能の報告
スループットを要約する統計量が算出されるならば，平均値を報告しなければならない。要約する他の
統計量としては次の値を報告してもよい。
a) 最小値
b) 最大値
c) 中央値
d) 標準偏差
注記
6.3.6.3
（特に識別の試行で）異なるサイズの母集団が登録されたならば，例えば，O(N)，O(N2)など，生成される母
集団のサイズに機能的に依存した査定を許容する時間に関する十分な情報を報告することが望ましい。
比較性能とスループット性能の報告
スループット性能はテクノロジ評価において不可欠である。なぜならば，一般的に，認識誤りは，スル
ープットを減少させると削減できるからである。そのような場合，性能を示す詳細な記述書には，配置者
が運用上の適したポイントを選択可能とする，第 3 の軸を追加した DET 特徴，スループット率を含む。さ
らに，多くのバイオメトリクスシステムでは，本人試行の認識を成功させるための，それゆえスループッ
トに影響を与える，本人決定いき(閾)値の差し替えに必要なより多くの，又は数少ない，提示サンプルが要
求される。
6.3.6.4 バイオメトリクス参照データの生成及びサンプル特徴抽出のタイミングの測定
多くのシステムでは，異なるサンプルの種類と異なるアルゴリズムに基づく処理で行われるバイオメト
リクス参照データの生成は，認証及び識別の特徴抽出で用いられるバイオメトリクス参照データの生成と
非対称的である。したがって，バイオメトリクス参照データの生成及び特徴抽出の処理時間については，
別個に報告することが望ましい。
6.3.6.5
スループット及び認識エラー率の同時測定
スループットの測定は，認証エラー率と同じ試験中に行うことが望ましく，また統計的に評価すること
が望ましい。
6.3.6.6 偽物及び本物の利用者の試行のスループット
現実的な運用に即した評価を行うという原則に基づき，利用者あたりのスループットは，偽物及び本物
の利用者の試行の両方について測定することが望ましい。また，統計的評価は別個に報告することが望ま
しい。
6.3.6.7
登録後の後処理にかかるオーバヘッド
識別の試行では試験者は，母集団が登録された後で，登録後の後処理にかかるオーバヘッドにはまり込
むかもしれないことを認識しておくことが望ましい。ここにおける後処理とは，システムにおいて，典型
的には，よりよい性能を得るために，登録の最後に起動される，特徴ベクトルの分離のような何らかの処
理のことを意味する。
6.3.6.8 登録に関する一意性の探索
実世界で母集団の登録では，新規候補の各登録者の一意性を確認するための探索的確認計算を行うこと
が多い。この計算コストは母集団数が N であった場合 O(N2) で評価される。テクノロジ試験の場合には事
前に一意性が確認されているために登録コストは O(N)である。
実験者は 1:N 一意性の決定が登録処理の構成要素であるかどうか決定することが望ましい。これは登録
データベースのサイズの増加に伴う登録時間の測定を通して確かめられるに違いない。そのような振る舞
いが実施されるにあたって観察されるか分かっているならば，実験者はそれ相応に結果を報告することが
望ましい。定められた登録時間から一意性を決定するのに必要な時間を分離するためには，試験の設計は，
重複検出の機能が作動しないように実施することが必要になるかもしれない。
注記
何も登録されていない状況からデータベースを構築するときに行われる登録試験も実施されうる。
6.3.6.9 ハードウェア
評価がソフトウェアだけで実施され，幾つくつかの実施が比較される場合，スループットの測定は，定
められたハードウェア及び定められた実行環境で実施し，システムについては，スループット時間の試験
の実施のたびごとに再スタートさせなければならない。
注記
ここで実行環境とは，あらかじめ定められたオペレーティングシステム，あらかじめ定められたコンパイルと
リンクとのセットアップ，そして，あらかじめ定められた（I/O，CPU などの）重要な資源を消費しないよう
なバックグラウンドプロセスの存在なども含む。
6.4 報告方法
6.4.1 一般的な事項
評価の結果は試験報告書の中で示されなければならない。
試験報告書の中には，評価の結果，全体的な試験過程を文書化しなければならない。また，6.1～6.3 に
列挙されているすべての要求事項が文書化されなければならない。ある，要求事項が不要であるか，記述
不可能である場合には，要求事項が不要であること，記述不可能であることを明記しなければならない。
例 1
試験対象のバイオメトリクスシステムが，合致させるために複数回の試行又はトランザクションが可能なよ
うにできていない場合，複数回の試行レベル及びトランザクションレベルを報告できない。報告書は複数回
の取組みレベルでの性能を報告する要求に対応不可能であることを記載するだろう。
ある要求事項が，入手不能な情報のために述べられない場合，その報告書は，適用可能なデータが不明
であることを説明しなければならない。そして，その報告書はそのデータが不明な理由も説明しなければ
ならない。
例 2
機関がプライバシー保護の観点から人口統計的な情報の公開を許していない場合，試験報告書にはプライバ
シーの問題から人口統計情報が記録されない旨を報告するだろう。
報告書は，異なる予定表に従い章分けして，異なる読者に公開してもよい。
6.4.2
システム情報
6.4.2.1 仕様
試験の対象となるバイオメトリクスシステムについて，実験者は次のような製品情報を報告しなければ
ならない。
a) 取得装置について：製造者，モデル，バージョン，可能な場合はファームウエア。取得装置の中心的取
得構成要素が，指紋センサの周辺装置への組み込みの場合など，サードパーティの装置内に統合される
場合，中心的取得構成要素の製造者，モデル，バージョン，ファームウエアについて報告しなければな
らない。
b) 比較アルゴリズムについて：プロバイダ，バージョン，改訂番号。
c) それを通じて各システムが試験されたプラットフォームの仕様。プラットフォーム，OS，処理能力，メ
モリ，製造者，データベースのタイプ，データベースのサイズ，モデルなど，他に報告の必要な事項が
あればこれらに制限するものではない。
6.4.3 データ収集過程
実験者は，データ収集に関連する次の情報を報告しなければならない。
a) 各性能要素についてのデータ記録の方法。そのシステムによって記録されていないものも含む。
b) 性能にかかわるデータ収集の検査及び確認のプロセス。そのシステムによって記録されていないものも
含む。
実験者は，スクリーンショットか複製かは問わず，表及び実験記録などのデータ収集要素の例を提出し
なければならない。
6.4.3.1 構造
試験の対象となるバイオメトリクスシステムについて，実験者は次の要素を報告しなければならない。
a) バイオメトリクスデータの取得，処理，及び保管の構造
b) システム各構成要素間のデータの流れ
6.4.3.2 出力
試験の対象となる生体認証システムについて，実験者は次のそれぞれについて報告しなければならない。
a) そのシステムが報告を行う出力のタイプ。これは，比較スコア，受入・拒否の判断，候補リスト，登録
品質スコア，サンプル品質スコアが含まれるが，これらに限定されない。
b) 比較スコアシステムの範囲は，報告が可能なものであると同時に，関連するサプライヤに対して設定さ
れたいき(閾)値を含む。
c) 登録品質スコアシステムの範囲は，報告が可能なものであると同時に，関連するサプライヤに対して設
定されたいき(閾)値を含む。
d) サンプル品質スコアシステムの範囲は，報告が可能なものであると同時に，関連するサプライヤに対し
て設定されたいき(閾)値も含む。
e) それを通じてシステムから出力が提供される方法
6.4.3.3 実施の方法
試験の対象となる各バイオメトリクスシステムについて，実験者は，次のそれぞれに対応するシステム
実施情報を報告しなければならない。
a) バイオメトリクスシステム及びプラットフォームシステムの取得の方法
b) システム実施のサプライヤの関与のレベル
6.4.4
情報開示
6.4.4.1 対外的な報告
試験計画は，どの入力サンプル，中間的結果，出力結果がどのようなスケジュールで非サプライヤの誰
に入手可能となるかを開示しなければならない。
注記 1
プライバシーの観点からすべての試験が秘密裏に行われる場合も想定される。この場合にはどのような情報
も公開されない。
注記 2 .全面的に公開可能な試験の場合には，出版物の名称及びサプライヤ，連絡先，利用規約，生データ，バイオ
メトリクス参照データ，生の比較スコア，トランザクション時間の記録，異常なシステム挙動，誤り率，最
終結果などが公開される。
注記 3
比較試験は商業的に微妙な問題を引き起こす可能性がある。したがって，開示される結果が何であるかを完
全な形で正式に公表することが不可欠である。
6.4.4.2 サンプル特性の開示
試験計画は，どのサンプル関連情報がサプライヤに提供されるのか，また，どんなスケジュールで提供
されるのかを示さなければならない。これはサプライヤからの正式なコメントへの回答で修正される可能
性がある。
注記
一般的にサプライヤからの情報提供要求は運用者からは拒否される場合がある。サプライヤは合法的な方法で
ターゲットアプリケーションについて調査する必要がある。実施に当たっては，試験実施者の要求条件に適合
した調整を行う必要があるからである。例えば，登録者数，利用者数，偽物の存在確率，画像のサイズ，圧縮
率，ビデオシーケンスの長さなど様々な要素が影響する。
6.4.5 報告書の構成
試験報告書には，次の章を盛り込まなければならない。
−
実行の概要
−
コーパスデータの特性
−
具体的な試験プロセス
−
データ収集
−
データ分析
−
記録の保管方法
−
性能結果
−
試験計画の全体
7 シナリオ評価
7.1
試験の設計
7.1.1 一般的な事項
7.1.2
模擬的アプリケーションの特徴
7.1.2.1 作業方針
シナリオ試験においてはモデルとされるアプリケーションが具体的に示されなければならない。
注記
7.1.2.2
シナリオ試験においてモデルとされるアプリケーションははん（汎）用的なものから具体的なものまで範囲
があってもよい。はん（汎）用アプリケーションに対する試験では，屋内オフィス環境における 1:1 認証シ
ステムの試験のように，利用条件を限定するパラメタがあまり具体化されない。また，具体的なアプリケー
ションでは，屋内オフィス環境におけるトークンを用いた 1:1 認証システムで，かつ，アプリケーションに
習熟していない被験者が利用する場合の試験のように，利用条件を限定する多くのパラメタが具体化される。
比較機能性
認証，登録者限定識別，及び/又は登録者非限定識別をシナリオ試験に組み込むかどうかについては実験
者が判断しなければならない。
評価される比較機能性は，プロトタイプ及び模擬的なアプリケーションに適用できなければならない。
シナリオ試験において一つ以上の比較機能タイプを選択した場合，その論理的根拠が提示されなければ
ならない。
注記１
典型的なシナリオ評価では，被験者が ID を申告することを前提としたトランザクションを実行する 1 対 1 シ
ステムを評価する。シナリオ評価では識別システムがリアルタイムで動作することが要求される。また，そ
の結果は観測者がシステムの要求に対して直接的な調査を行うために十分な時間のうちに与えられなければ
ならない。
注記 2
シナリオ評価は認証及び識別システムの性能も比較してもよい。そのような試験は，結果の公正な提示を確
保するために，試験の設計及び結果の報告方法に注意深いアプローチを要求する。例えば，登録，本人とし
てのトライアル，詐称者としてのトライアルの順序はシステムが識別又は認証を実行するかどうかに依存し
て変えてもよい。
7.1.2.3 評価の環境
シナリオ評価が実施される環境は，次の項目を含めて報告しなければならない。
−
屋内又は屋外か
−
屋内の場合は，施設のタイプ
−
屋外の場合は，各要素の屋外にさらされている度合い
試験時のシステム及びアプリケーションに関連のある環境条件を測定し，報告しなければならない。
例１
温度及び湿度はある種の指紋センサの性能に影響を及ぼす可能性があると考えられるので，指紋認証技術の
シナリオ評価においては温度及び湿度が測定され報告されることも考えられる。
環境条件の測定は，一時的な環境条件を特徴づけられるよう，十分な期間を置いて実施しなければなら
ない。
注記
環境条件は評価の目的に合わせて具体的に示されるか制御してもよく，叉は何も拘束されなくてもよい。
例 2 空調設備は音声に基づく識別システムの性能に影響を及ぼす背景雑音を十二分に発生させる可能性がある。
例 3 窓からの光は顔認識システムの性能に影響を及ぼす可能性がある。
7.1.2.4
試験基盤
システムの処理能力及び仕様は，評価されているシナリオと等しいものでなければならない。
7.1.3 試験の実施
7.1.3.1 試験情報及び一般的な試験の指示
シナリオ評価に先立って被験者に提供される試験情報及び試験の指示全般が報告されなければならない。
注記 1
試験情報は評価の全般的な目的，評価される装置及びに技術の特徴，並びにターゲットとなるアプリケー
ションの特徴を含む。試験の指示全般では，試験するシステムからシステムへの移動方法など，具体的な
システムの使用法にとどまらず試験の流れ及びプロセスの全体像を含む。
注記 2
ある種のタイプの試験情報又は試験の指示全般を被験者に提供することで，被験者は装置とのやりとりを
知ることができる。例えば，被験者に詐称者としてのトライアルに相当する生体情報のある種の提示方法
を知らせれば，その被験者は異なった方法によって生体特徴を示してもよい。
7.1.3.2 訓練
シナリオ評価に先立って，被験者に提供される訓練の範囲及び方法が報告されなければならない。
注記 1
訓練によって被験者は各システムからのフィードバック又はプロンプトと同様，各装置に対する生体特徴
の提示を含め，試験中のシステムとのインタラクションをすることができるようになる。
注記 2
ターゲットのアプリケーションにとって，訓練されていない使用法が適合しているならば，被験者に訓練
させないことが適当であることがあるかもしれない。
注記 3
注記 4
訓練は文書に拠っても，口頭に拠る指示でも,双方に拠るものでもよい．
登録と認識とで生体情報の提示又はシステムのフィードバックが異なるならば，登録及び認識の訓練は
別々に行われることが必要かもしれない。
被験者に提供される手順書，指示，その他の訓練ツールがどのように利用されたか報告しなければなら
ない。
被験者に訓練が提供される比較シナリオ試験では，訓練がすべてのシステムに対して横断的に整合性の
ある様式で実施されなければならない。試験者は，被験者の訓練と装置活用との間の平均的な持続時間が，
すべての装置についておおむね一致することを確実にしなければならない。試験に先立って，被験者が幾
つかの試験で直接訓練される場合，被験者が触れる最初の装置は後の評価で使用される装置よりも有利に
なるかもしれない。
7.1.3.3
立会人試験及び非立会人試験
被験者が試験にかかわる場合には，必ずその試験環境に 1 名の管理者及び/又は操作員が立ち会うのがよ
い。
注記
管理者，操作者，又は双方が立ち会うことによって，被験者がバイオメトリクスシステムに対して誤った操作
又は反応をした場合に，これを検出又は訂正することが可能になる。
7.1.3.4
ガイダンス
登録及び認識の過程で被験者に提供される管理者のガイダンスは，試験対象のアプリケーションに対す
るガイダンスと整合していなければならない。
注記 1
シナリオ試験におけるガイダンスの度合いは，誤り率，特に生体特徴の取得失敗，登録失敗，及びスループ
ット率にそれ相当の影響を及ぼすかもしれない。評価の途中で提供されるガイダンスを増加させることは，
偽不一致率，取得失敗，登録失敗を減少させる傾向がある。過度の又は不十分なガイダンスを提供すること
は，生体特徴の取得及び登録の説明することができない失敗を引き起こすかもしれない。
例1
ターゲットアプリケーションでガイダンスが提供されないバイオメトリクスシステムを評価する場合は，シナ
リオ試験でもガイダンスを用いない。
例 2
ターゲットアプリケーションの使用と整合させるならば，被験者が認識の途中ではなく登録の途中で装置を誤
って使用した場合，管理者は被験者に訂正の指示を与える。
ガイダンスが被験者に提供されるシナリオ試験について，ガイダンスの方針は次の項目に焦点を当てて
文書化しなければならない。
−
登録又は認識の入力試行でガイダンスが許可されるポイント又はガイダンスが要求されるポイント
−
管理者が被験者に提供する具体的なガイダンス
−
ある場合は，管理者の裁量によって被験者に口頭で提供できるガイダンス
注記 2
システムが被験者に与えるガイダンスは，被験者が生体情報取得装置を誤って使ったとき，又は正しく生体
情報を提示したにもかかわらずシステムがサンプルを取得できなかったときなど，例外的な場合にだけ提供
される方針となっていることがある。管理者は，ガイダンスを提供すべき例外的な場合に該当しているか，
生体情報の提示状況又はシステムの応答を観察している必要がある。逆に言えば，管理者が各被験者にガイ
ダンスを与えるべき状況がどのような場合なのかが，ガイダンスをする方針に記載するのがよい。
ガイダンスが被験者に提供されるシナリオ試験について，ガイダンスはすべてのシステムに対して横断
的に整合性のある様式で実施されなければならない。
注記 3
試験中のすべてのシステムに対して横断的に整合するようにガイダンスの方針を改善する最大の努力をはら
っても，被験者に与えられるガイダンスの程度の差によって，システムは不注意にも過大又は過小に評価さ
れることがあるだろう。使用が簡単であること，又は使用に際した訂正の指示が自動的に提供されることに
差別化の特徴があるシステムは，使用が難しいシステム，又は使用に際して訂正指示がないシステムと同じ
ほど強くガイダンスが有益とはならないだろう。これは，与えられたモダリティに対する異なるシステムと
同様，異なるモダリティ（例えば，顔認識や指紋認証）のシステムについても同様のことが言えるだろう。
オペレータのガイダンスがターゲットのアプリケーションに整合した（事前に決定した）レベルを超え
る場合，このことは記録されなければならない。そして，そのようなケースの割合も記録されなければな
らない。
7.1.3.5 試験の順序及び順化
複数のシステム試験においては，被験者が各システムと触れ合う順序を，順化，習熟，そしてその他の
効果のバランスを考えて調整しなければならない。すなわち，各システムは，最初のポジション，２番目
のポジション，さらには最後のポジションといった具合に，おおむね等しい時間及び回数で試験すること
が望ましい。また，各システムに先行して使われる他のシステムは，おおむね等しい回数であるべきであ
る。性能に対する順序に対して観察されるいずれの効果も報告しなければならない。
注記 1
シナリオ評価で複数のシステムを評価する場合，各システムを評価する順序は考慮すべき主要な点である。
バイオメトリクスシステムの習熟度は，おそらくバイオメトリクスシステムとの少しのやりとりのうちに改
善することができ，被験者は試験のセションの過程で，評価を行うモダリティとのインタラクションを行う
最も効果的な方法を学習する。そのため，評価を行うモダリティのうちで最初に試験されるシステムは，あ
とに試験されるシステムに比べて不利になるかもしれない。同様に，被験者は，特に複数のシステムを通し
てサイン又はパスフレーズの暗唱を何度も要求する場合などを例として，試験のセションの過程の中で疲労
してしまうかもしれない。
試験は，センサの能力に影響を与える生体特徴の一時的な変化が最小になるように設計しなければなら
ない。
例
被験者は寒い屋外環境から試験室に入り，すぐ指紋認証装置とやりとりを行う。多くの指紋認証装置は，室温の
指紋より，冷たく，乾いた指紋からサンプルを取得しにくい。そのため，試験において被験者がやりとりを行う
最初の指紋認証装置は，通常の屋内の温度及び湿潤に戻ったあとの指紋で利用される後続の装置より，誤りにな
りうるかもしれない。試験の正しい設計は，被験者が試験環境に順応するのに十分な時間を与えることを確実に
するかもしれない。すなわち，これが実現されないならば，試験の順序は，順化の効果が問題の装置を通じて一
貫して平等に分配されるように設定されるかもしれない。
7.1.3.6 被験者の識別子
被験者の識別子は，次の項目で使えるように，具体化して付与しなければならない。
−
被験者の識別に用いられる識別子であること
−
認証試験で本人を申告する方法
−
識別システムにおいて被験者の真の身元が確かめられる方法
7.1.4 取組み及び決定方針のレベル
7.1.4.1 登録における取組み及び決定方針のレベル
試験の対象となる各システムについて，登録における取組み及び決定方針のレベルを具体化しなければ
ならない，例えば次による。
−
登録のために要求されかつ許容される提示，入力試行，トランザクションの最小回数及び最大回数
−
各登録の提示，入力試行，トランザクションの際に許容され，要求される最大所要時間
注記 1
システムは決められた所要時間の後に，登録の入力試行又はトランザクションを終了させてもよい。これは，
次の事項に依存させてもよい。(1) システムが取得した生体特徴のサンプルの個数が不十分であった場合の
拒否，又は(2)生体特徴サンプルの採取が不可の場合。
注記 2
システムは１回の入力試行の後に被験者を登録できるようにしても，又は登録に対して複数の試行を要求し
てもよい。
注記 3
登録処理における生体特徴の提示，入力試行，及びトランザクションの最大所要時間は，それぞれ，登録時
の生体特徴の提示の制限，登録時の試行の制限，及び登録時のトランザクションの制限に従う。
7.1.4.2 比較における取組み及び決定方針のレベル
試験の対象となる各システムについて，比較における取組み及び決定方針のレベルは，具体化されなけ
ればならない，例えば次による。
−
比較のために要求され，かつ許容される提示，入力試行，トランザクションの最小回数及び最大回数
−
各比較の提示，入力試行，トランザクションのために要求される最小所要時間及び許容される最大所
要時間
注記 1 システムは決められた所要時間の後に比較の入力試行又はトランザクションを終了させてもよい。これは，
次の事項に依存させてもよい。(1) システムが取得した生体特徴のサンプルの個数が不十分であった場合の拒否，
又は(2)生体特徴サンプルの採取が不可の場合。
注記 2
システムは１回の入力試行の後に照合を実施できるようにしても，又は照合に対して複数の試行を要求して
もよい。
注記 3
照合処理における生体特徴の提示，入力試行，及びトランザクションの最大所要時間は，それぞれ，照合時
の生体特徴の提示の制限，照合時の試行の制限，及び照合時のトランザクションの制限に従う。
7.1.4.3 参照データへの順応
実験者は，試験中のシステムが認識のトランザクションにバイオメトリクス参照データへの順応を活用
しているかどうか示すことが望ましい。システムがバイオメトリクス参照データへの順応を活用している
場合，参照データへの順応が適応されている方法が報告されることが望ましい。バイオメトリクス参照デ
ータへの順応が起こっている本人と詐称者の識別トランザクションとの割合がわかっている場合，それら
の割合が報告されることが望ましい。
7.1.4.4 取組み及び決定方針のレベルの適切さ
登録及び比較の取組み及び決定方針のレベルは，試験中のシステム及びシナリオに適したものでなけれ
ばならない。
注記
入力試行及びトランザクションの制限が試験中のすべてのシステムに対して等価となるように設定することが
望ましい。一方，システムによる生体特徴の取得プロセス，登録プロセス，及び比較プロセスは，実質上，変
化するかもしれない。
例
ある指紋認識システムでは，登録における入力試行がある回数に達すると，失敗であることを宣言するかもしれ
ないのに対して，ある顔認識システムでは，あらかじめ設定した所要時間に達したときに，失敗であることを宣
言する。
7.1.4.5 取組み及び決定方針の初期レベル及びカスタマイズされたレベルの実装
各システムについて，取組み及び決定方針の初期レベル及びカスタマイズされたレベルの実装は具体化
されなければならない。
注記
あるシステムでは，登録及び比較における入力試行回数又は所要時間が，あらかじめ定められた回数又は時間
にだけ許容されている場合，初期の，調整されていない登録又は照合機能を用いているかもしれない。それと
は二者択一的に，あるシステムでは，登録及び比較における試行回数又は所用時間が，試験者によって修正で
きるような，調整可能な登録又は照合機能を用いているかもしれない。
7.1.5 複数回の訪問及びトランザクション
複数のトランザクション及び複数の訪問は，性能推定のためのデータ量の最大化に利用してもよい。こ
れが行われるとき，繰返しトランザクションは，可能である限り，試験下のシナリオに忠実であることが
望ましい。通常これは，複数の訪問は同一の訪問での複数のトランザクションより好まれるということを
意味している。
注記
試験者の試験母集団へのアクセスのレベルに従い，各被験者は複数回の訪問のうちの１回の訪問につき，複数
回のトランザクションを実施してもよい。
登録とサンプル特徴の取得との間の経過時間の配分が計算されなければならない。
7.1.6 本人及び詐称者の試行の実施
本人及び詐称者のトランザクションの実施方法が具体的に示されなければならない。
被験者識別の試験のプロセス及びシステムの動作は，入力試行及びトランザクションが受容された場合
と拒絶された場合と違えないことが望ましい。
注記
シナリオ試験の実施に際して位置づけられる基本的な論点は，本人と他人の比較における入力試行の結果がトラ
ンザクションの原理に従って記録されるかどうかである。例えば，N 回の生体特徴の提示，入力試行，トランザ
クション，又は，各バイオメトリクス参照データ比較に基づいて求められる照合スコアに従った，合致もしくは
非合致の決定が挙げられる。シナリオ試験の規約で，エラー率が実時間ではなく事後のスコア解析を通して決定
されうるように，本人と他人の入力試行に従った照合スコアを記録することが示されているかもしれない。また，
ある規約では，本人と他人の決定が実時間で記録されるためには，本人判定の決定を下すいき(閾)値を使用する
ことが必要であることが示されているかもしれない。
7.1.7 データ収集
データ収集は，次のように具体化して行わなければならない。
−
各性能要素についてのデータ記録の方法。システムによって記録されないものも含める。
−
性能データ収集の監査及び有効化のプロセス。システムにより記録されないものも含める。
実験者は，スクリーンショットか複製かは問わず，表計算及び記録など，データ収集の各要素の例を試験
報告で提供しなければならない。
7.2 被験者集団
7.2.1 一般的な事項
被験者集団を試験システムにおける登録と認識との目的のために召集しなければならない。
7.2.2
習熟
被験者が試験中の各装置に慣れる度合いを報告しなければならない。
被験者の習熟のレベルが，試験の母集団を習熟のレベルに従って明確に区分できるような場合，誤り率
が各分類について報告することが望ましい。
注記 1
被験者集団の試験下のデバイスに対して習熟した度合いは，誤り率とスループット率とに相当な影響を及ぼ
しうる。試験中のデバイスに習熟した被験者集団による試験は，習熟していない被験者集団による試験に比
べて，誤非合致率，取得失敗，及び生体情報登録失敗が小さくなる傾向にある。
注記 2
被験者集団における習熟度はゼロ（被験者集団のすべてのメンバに対して経験なし。）から全体値（被験者
集団のすべてのメンバが甚だしい経験をもつ。）までの範囲を取ってもよい。被験者集団の習熟度に関する
被験者の報告を避けるためには，使用頻度に関する履歴のような，習熟に関する定量的データが報告される
ことが望ましい。
習熟した被験者集団を用いる評価においては，その被験者集団がどのような方法によって試験中の各装
置に習熟したかを報告しなければならない。
例
被験者集団は，雇用の際の講習会，及び試験環境における事前評価での使用又は訓練を通して，試験中のデバイ
スに対して習熟するするかもしれない。
複数の装置を評価する際，被験者集団の習熟度は, 試験対象となるすべての装置に対して等しくなければ
ならない．
注記 3
習熟は被験者が装置に慣れることに対して測定されるが，装置のタイプに関する経験は，同様の装置に対す
る被験者又は被験者集団が習熟するために十分であるかもしれない。例えば，指紋をスィープ動作で提示す
る指紋認証装置に対して習熟するは，同様の提示方法を行う他の装置に対しても拡張可能かもしれない。
注記 4
習熟の効果は試験下の異なる装置に対して横断的に等しく影響を与えないかもしれない。習熟は，生体特徴
の提示過程に，注意深い位置合わせ，又はフィードバックのループがある装置を評価するよりも，生体特徴
の提示過程が受動的な装置を評価するときの方が，性能に影響を与える要因になりにくい傾向がある。同様
に，習熟の性能に対する効果は，異なるモダリティに対して横断的に等しく性能に影響を与えない可能性も
ある。
利用者がおおむね習熟しているアプリケーションの性能を測定するシナリオ評価では，試験中の装置に
習熟した被験者集団を使用することが望ましい。その利用者があまり習熟していないアプリケーションの
性能を測定するシナリオ評価については，試験中の装置に習熟していない被験者集団を使用することが望
ましい。
注記 5
習熟した被験者集団を召集することは困難かもしれない。被験者は習熟をエミュレートする評価に先だって
訓練されてもよい。
7.2.3 被験者集団の構成
被験者集団の構成は，年齢及び性別の分布を含めて報告しなければならない。
注記 1 実質的に，被験者の教育レベル，職業，人種も報告されることが望ましい。
注記 2 ある状況においては，試験者は，被験者がある要素の報告を拒否することを許可してもよい。
注記 3
通常，シナリオ評価において，被験者集団の構成は召集を通して制御される。これはシナリオ評価を，被験
者の母集団が外部から指定されているある種のオペレーショナル評価と区別すると同様に，データが既に収
集されているある種のテクノロジ評価と区別する。
注記 4
シナリオ評価が年齢，性別，人種，教育レベル，職業，その他の関連する要因によって性能を区別するよう
試みる一方，十分な規模の被験者を募集するのは困難であるか又は費用がかかる可能性がある。
7.2.4
被験者の管理
被験者の管理プロセスについては，次の事項を含めて具体化しなければならない。
−
被験者の初期登録方法
−
被験者の一意性を確保する方法
−
収集された個人データの量及びタイプ
−
トークン及びバッジの使用
7.3
性能の測定
7.3.1
一般的な事項
実験者は，7.3.2～7.3.5 に列挙されている事柄に加えて，シナリオ試験によって生成される性能測定値の
タイプを決定しなければならない。
シナリオ試験では，次の事項を記録し又は計算しなければならない。
a) 本人被験者に対し，サンプル特徴の登録と取得との間の経過時間の配分
b) 誤り回数，誤り率，試験母集団，実施されたトランザクションの回数に基づく，試験結果の信頼性
c) 人口統計グループにより得られる結果，異なる環境の状況に関連する結果，又はその他のコーパスの論
理的なセグメントによる結果
7.3.2 登録
試験されるバイオメトリクスシステムについて，生体情報登録失敗率を計算しなければならない。
登録失敗を計算するために用いられた被験者及びトランザクションの数を計算しなければならない。
登録するために複数の提示，入力試行，又はトランザクションが許容されるか若しくは要求されるシス
テムについては，登録失敗を，観察される最低から最高までの各取組みレベルで計算しなければならない。
例
登録するために 2～5 回の入力試行が許容されるシステムに対しては，2 回，3 回，4 回及び 5 回の入力試行で登
録可能な被験者の割合（％）を計算することができる。さらに，そのシステムが登録するために 2 回のトランザ
クションが許容されるのであれば，1 回，2 回のトランザクションで登録可能な被験者の割合（％）も計算するこ
とができる。
試験される各バイオメトリクスシステムについて，次の事項を記録するか計算することが望ましい。
a) バイオメトリクス特徴が欠如しているために登録できない被験者の割合（％）
b) センサに第一の特徴を最初に提示したときから，登録に成功するまでに測定される，登録にかかる時間
の平均値，中間値，最小値，最大値，及び標準偏差
c) 登録品質のスコアの分布
7.3.3 取得失敗
シナリオ試験は，認証又は識別に対し，システムが十分な品質の画像及び信号の取得又は位置合せ付け
に失敗した入力試行の割合を記録しなければならない。これは取得失敗率（FTA）である。
この率に達したときに用いられた提示回数，及び取得失敗が公表されたポイントを計算しなければなら
ない。これらの率に達したときに用いられた被験者数及びトランザクション回数を記録しなければならな
い。
注記
シナリオ試験において，FTA は，暗号化及び比較の構成要素と同じく，センサ上のソフトウェア
又は取得ワークステーションによって公表されうる。そのような試験において，FTA は，典型的
に，取得，又は画像の位置決めの失敗に属し，処理（例えば，特徴の抽出又は参照データとの比
較）の失敗によっても引き起されるかもしれない。
FTA を計算する式は，第 1 部による 。
7.3.4
確認における測定基準
試験される各認証システムに関連して，次の項目を記録し又は計算しなければならない：
a) 入力試行レベルでの誤非合致率及び誤合致率。そのようなデータは ROC 曲線又は DET 曲線の形で表さ
なければならない。これらの誤り率を計算するために用いた被験者数及び入力試行回数を計算しなけれ
ばならない。
b) 試験の設計が，誤受入率（FAR）及び誤拒否率（FRR）と，誤非合致率及び誤合致率とが一致しない場
合は，他人受入率及び本人拒否率。それらのデータは，ROC 曲線又は DET 曲線の形で表さなければな
らない。これらの率に到達するために用いた被験者数及びトランザクションの回数を計算しなければな
らない。照合に複数の提示，入力試行，又はトランザクションを許容し若しくは要求するシステムにつ
いては，観察される最低から最高までの各取組みレベルで FRR 及び FAR を計算しなければならない。
照合において 1～3 回の試行が許容されるシステムに対しては，1 回，2 回，及び 3 回の試行で照合可能な被験者
の割合（％）を計算することができる。さらに，そのシステムが照合において 2 回のフルトランザクションが許
容されるのであれば，1 回，2 回のトランザクションで照合が成功する被験者の割合（％）も計算することがで
きる。
例
注記 1 合致スコアではなく合致又は非合致の決定の結果を返すシステムに対しては，性能は ROC 曲線又は DET 曲
線上で一つの点として計算される。
注記 2 異なる取組みのレベルでの性能の結果を報告する際の情報は附属書 C を参照せよ。
試験される各バイオメトリクスシステムについて，次の項目を記録するか計算することが望ましい。
d) 本人被験者及び他人に対する合致スコアの分布
e) センサに第一のバイオメトリクス特徴を最初に提示したときから，照合に成功するまでに測定される，
照合にかかる時間の平均値，中間値，最小値，最大値，及び標準偏差
7.3.5
識別における測定基準
閉集合識別評価については，累積識別精度特性を計算しなければならない。
開集合識別評価については，次の項目を記録するか又は計算しなければならない。
a)誤合致率及びそれに対応する誤非合致率いき（閾）値の範囲にわたることが好ましい。
b) 誤受入識別率及びそれに対応する誤拒否識別率
以上の項目は，合致に向けて複数の提示，入力試行，及びトランザクションが許容されるシステムにつ
いては，各取組みのレベルで計算しなければならない。
7.3.6
生体情報登録失敗率及び取得失敗率を含む一般化誤り率
試験下の各実装について，試験者は GFAR と GFRR とを決定しなければならない。GFAR と GFRR と
は次に従って決定しなければならない。
−
（受入も拒否も）失敗した他人トランザクション及びすべての他人トランザクションのうちの登録に
失敗した個人による他人トランザクションを含む。
−
（受入も拒否も）失敗した本人トランザクション及びすべての本人トランザクションのうちの登録に
失敗した個人の本人トランザクションを含む。
−
（受入も拒否も）失敗したトランザクション及び誤拒否によって登録が失敗した個人の本人トランザ
クションを数える。
7.3.7
中間的な分析
試験の終了に先立って，登録及び照合の性能の代表的な要素の分析を暫定的に実施しなければならない。
そうした暫定的な分析は，データ収集プロセスを有効にし，システムが試験の計画の中で具体的な方法で
機能することを確保するのに十分でなければならない。暫定的な分析へのアプローチは報告されなければ
ならない。試験実施の変更又はシステム要素の変更の結果として，これらの暫定分析の間に集められた変
則的な結果を記録しなければならない。
注記
シナリオ評価では，蓄積されたデータではなく生きた試験者が頼りであり，試験のシナリオを簡単に再生成で
きないことから，暫定的な分析が必要である。
7.4
報告方法
7.4.1
一般的な事項
評価の結果は，試験報告書の中に示さなければならない。
試験設計に関するすべての規範要素と 7.1～7.3 に示す性能測定は，試験報告書で文書化しなければなら
ない。7.1～7.3 の要求事項が適用範囲外であるか，又は適用不能な場合，その報告書は，その要求事項が
適用範囲外か，又は適用不能なことを述べなければならない。
例
試験対象のバイオメトリクスシステムが合致させるために複数回の試行又はトランザクションが可能なようにでき
ていない場合，複数回の試行レベルとトランザクションレベルとを報告できない。報告書には複数回の取組みレ
ベルでの性能を報告する要求に対応不可能であることを記載するのがよい。
ある要求事項が，入手不能な情報のために述べられない場合，その報告書は，適用可能なデータが不明
であることを説明しなければならない。その報告書はそのデータが不明な理由も説明しなければならない。
例
機関がプライバシー保護の観点から人口統計的な情報の公開を許していない場合，試験報告書にはプライバシー
の問題から人口統計情報が記録できない旨を報告するだろう。
7.4.2
7.4.2.
システム情報
一般的な事項
試験者は，試験を実行するのに十分な，システムに関する情報を収集し，かつ，試験の結果を報告しな
ければならない。
注記 1
複数の異なるコンポーネントを評価するために共通のハードウェアプラットフォームを用いるテクノロジ評
価と異なり，シナリオ評価では，スタンドアロン装置からマルチプロセッサ ワークステーションまで幅のあ
る，異なるプラットフォーム上で試験される複数のシステムを伴ってもよい。
注,記 2 シナリオ評価では，カスタマイズされていないはん（汎）用システム（ COTS システム），カスタマイズさ
れたシステム，又はそれが混合したシステムを受け入れてもよい。COTS システムだけへの要求事項，又は
カスタマイズされたシステムだけへの要求事項に要求事項を限定することには有利なこともある。COTS シ
ステムを試験するのであれば，試験組織は，装置の性能が，市場で入手可能なセンサとアルゴリズムとの組
合せを反映させることに対して高い必然性をもつ。カスタム化を許容するのであれば，試験組織は，試験の
与えられたシナリオの要求事項に合致するようにセンサとアルゴリズムとの組合せを修正することが可能で
あることに対して高い必然性をもつ。バイオメトリクスシステムのカスタム化は，試験の具体的な人口分布
に適用するように登録処理にかかるいき(閾)値を修正することが必要となる。評価のためのシステムのカス
タム化は，その結果，利用者を登録及び確認するバイオメトリクスシステムのコアな能力を反映するより，
具体的なシナリオを示すためにシステムをカスタマイズするサプライヤの能力を反映するかもしれないので，
一般的に理想的なプロセスであると考えてはいけない。しかし，このことは，ある種の試験規約に合うよう
にサプライヤがどのようにシステムを上手くカスタマイズでできるかについて根本的に興味がもたれる場合
があるので，憶えておくべきである。
7.4.2.1
仕様
試験の対象となる各システムについて，次の項目を報告しなければならない。
a) 取得装置について 製造者，モデル，バージョン，可能な場合はファームウエア。取得装置の中心的取
得構成要素が，指紋センサの周辺装置への組込みの場合など，サードパーティの装置内に統合される場
合，中心的取得構成要素の製造者，モデル，バージョン，及びファームウエアについて報告しなければ
ならない。
このバージョンとは何か？
b) 生体認証アルゴニズムについて
プロバイダ，バージョン，改版
c)シナリオ試験が，デモ用アプリケーション又は論理的アクセスインタフェースのような生体認証のアプ
リケーションを含んでいる場合 プロバイダ，タイトル，バージョン，及びアプリケーションのビルド
番号
d) パソコン（PC），個人データアシスタント（PDA），若しくはその他のコンピュータ装置上に又はそれ
らを通じて試験されるシステムに対して，プラットフォーム，OS，処理能力，メモリ，製造者，及び
コンピュータ装置のモデル番号
7.4.2.2
アーキテクチャ
試験の対象となる各システムについて，次の項目を報告しなければならない。
a) バイオメトリクスデータの取得・処理・記憶のアーキテクチャ
b) システム構成要素間のデータの流れ
7.4.2.3
出力
試験の対象となる各システムについて，次の項目を報告しなければならない。
a) 照合スコア，受入・拒否の決定判断，候補リスト，登録品質のスコア，サンプル品質のスコアなど，入
手可能なシステムの出力
b) 各システムの出力について，システムが出力可能な値の範囲
c) サプライヤの提供によるいき(閾)値及び値，又はパラメタの説明
例
システムは 0 から 100 までの比較スコアを提供する能力をもつかもしれない。0 は最も弱い一致を示し，100
は最も強い一致を示し，75 は 1:1 一致のいき(閾)値を示すかもしれない。
d) システムから出力が提供される方法
例
7.4.3
比較スコアはアプリケーションで記録されるか又はグラフィカルな利用者インタフェースを通して視覚的に示
されることもある。
システムの取得及び実装
試験の対象となる各システムについては，次の項目を報告しなければならない。
a) バイオメトリクスシステム及びプラットフォームシステムの取得の方法
b) システムの実装におけるサプライヤの関与レベル
7.4.4
試験環境の物理的なレイアウト
試験環境の物理的なレイアウトを定量的に報告しなければならない。次の項目を含めなければならない
が，次の項目に限定はしない。
a) シナリオ試験が行われた場所の見取り図
b)自然光及び人工的な照明の有無
c) バイオメトリクスデータ取得装置の配置
d) システムの概略に沿って設定された，試験環境内の各システムの相対的な位置関係
e) 試験の間の装置及び被験者の相対的な位置関係を明確に示すのに十分な試験環境の写真画像
7.4.5
e 報告書の構成
試験報告書に次の章を盛り込まなければならない。
−
試験概要
−
シナリオの説明
−
具体的な試験プロセス
−
データ収集
−
データ分析
−
記録の保管方法
−
性能結果
−
試験計画の全体
8
テクノロジ評価及びシナリオ評価に適用可能なその他の諸問題
8.1 試験の各当事者
評価は，試験者によって行われなければならない。試験中のバイオメトリクスシステムは，一つ以上の
サプライヤから提供されなければならない。試験者及びサプライヤが同じである場合，又はどこかに属し
ているか，独立していない場合は，そのことを試験報告書に記載しなければならない。
テクノロジ評価及びシナリオ評価へのサプライヤの関与は，ソフトウェア及び/又はハードウェアの提供，
設置，及び設定に限定される。試験機関は，サプライヤの関与なしに，登録，及び比較試験を実施する。
注記
評価が試験機関によって，誤りの可能性のないサプライヤ自身の最高の努力によって行われるならば，試験者
及びサプライヤが 8.1 で規定することと異なる役割となる代替種類の試験が行われる。サプライヤの自己試験
として知られているこの種の試験は，試験者が供給した材料の元で，サプライヤ自身のシステムの供給，設定，
及び操作が許される。試験者は，その結果が不完全であるという批判から逃れられる。このような評価は，ク
ライアント サーバパラダイムを使用することが望ましい。このような試験は，損失，ゲーミング及びサンプ
ルプライバシーに関して問題を含む。
8.2 公平性
競合比較のための試験は特定のサプライヤを優遇しないように設計しなければならない。
注記 1 この節は，内部の研究開発目的のためにテクノロジ評価を実行している機関には規範的に適用されない。
注記 2
評価が発表された後，見込みのあるサプライヤは一般的に多くの問題（サンプルフォーマット，属性，品質，
インタフェース，管理手順，その他）に関する情報を“得ようとする”，かつ，これらの質問に対する答え
は公表されることが望ましい。Web ベースの FAQ は，適切な手段としてよい。質問者の身元は伏せられる
べきであり，この実行そのものはＦＡＱと試験発表の序文に記されるだろう。
注記 3
テクノロジ試験では，試験者は一般的に，試験で使われるフォーマットで，すべてのサプライヤに代表的な
サンプルデータを公表する。
実験者は，試験の実施に関する設定，修正，改良，及び適合について，試験機関側の関与について文書
にしなければならない。
実験者は，評価の結果に実質的な影響を及ぼす試験機関側の知的又は物理的な入力について文書にしな
ければならない。
複数の構成要素又はシステムを試験する場合，試験者は，コンピュータシステムが同等のハードウェア
及び操作システム上で試験されているかどうか，又はその操作システムが，システム試験の方法によって
システム内で各試験セグメントに先立って再インストールされたかどうかを報告することが望ましい。
8.3 試験システムに含まれる基礎的事項
実験者は，技術評価及びシナリオ評価において，これらに含まれるアルゴリズム及びシステムについて
一定の基礎的項目について報告しなければならない。アルゴリズム及びシナリオに含まれる事項は，次の
項目とする。
a) 参加者の公開募集。
b) 試験機関による選択。その場合は選択基準を報告しなければならない。
c) 特定のシステムを試験するためのサプライヤ又はサードパーティとの契約。
技術評価及びシナリオ評価においては，単一若しくは複数のバイオメトリクスコンポーネント又はシス
テムを組み込むことができる。また，多重バイオメトリクスコンポーネント又はシステムを組み込むこと
もできる。複数のシステムを試験することによって，異なるシステムを評価する際の一定の性能基準を導
くことができる可能性がある．例えば，何らかの異常による性能の異常値は単一システムの試験からは発
見することが困難な場合がある。試験の対象となるシステムの数は，予算的な制約，適合する技術の入手
可能性，又はサンプル若しくは処理データの取得に要する時間に制約される。
8.4 FAQ の使用
競争によって決定される技術評価又はシナリオ評価において，FAQ は，試験機関とサプライヤとの間の
コミュニケーション手段として保持してもよい。それぞれの質問者の名前は伏せることが望ましい。
8.5 法的諸問題
技術及びシナリオ試験の設計，実施，及び報告作成の法的諸問題に対処する方法をもつことが望ましい。
提供者と試験機関との間で，秘密保持契約(NDA, non disclosure agreement)を取り交わすことも推奨され
る。何らかの司法機関が，被験者と試験機関との間にデータプライバシー協定を定めることが望ましい。
8.6 試験ソースコードの公表
試験のタイプ及び目的によって，サプライヤに試験ソースコードを公表することは適切な場合もある。
8.7 試験の報告書に関する提供者のコメント
試験のタイプ及び目的によって，提供者が試験機関から指示された報告書の公表前の版にコメント
することが適切な場合もある。
附属書 A
(参考)
主要なテクノロジ試験タイプに対する段階及び行為
序文
この附属書は，主要なテクノロジ試験タイプに対する段階及び行為を説明するものであって，規定の一
部ではない。
A.1
簡素な認証試験
簡易評価は，あるデータベースにおけるアルゴリズムの根本的なバイオメトリクス認識能力の最も基本
的な評価である。この試験は，コンポーネントの開発及び比較システムの評価に繰り返して使うことがで
きる。また，データセットの困難さを評価するために使うことができる。
簡易評価では，誤拒否率，誤非合致率，誤受入率，及び誤合致率が算出される。
例
ＰＤＡのようなものが，単一登録者システムの代表例である。
段階
データ抽
出
#
実行
2
1
行為
二つの区分を作成する。
１．Ｅ：登録サンプルを表す，各被験者の第1番目のサンプル
２．Ｕ：利用者サンプルを表す，Ｅ中の各被験者の第2番目のサンプル
バイオメトリクス参照データの作成
１． Ｅのすべてのサンプルでバイオメトリクス参照データ生成器を実行
２． 各操作の時間を記録し，結果を格納する。
３． 登録不能及び登録失敗が明らかとなったサンプル割合の記録
４． （登録に失敗しなかった）バイオメトリクス参照データの格納
3
サンプル特徴の抽出
１．順列を保持し，Uの要素をシャッフル（Eの要素に戻り合致するように）
２．Uのすべての原サンプルで特徴抽出器を実行
３．各操作の時間を記録し，結果を格納する。
４．使用に適さない及び取得失敗が明らかとなったサンプル割合の記録
５．（取得に失敗しなかった）サンプル特徴データの格納
4
トランザクションリストの作成
１． EとUとの同一被験者同士のN個のマッチングペアAについて，バイオメトリクス参照データ
及びサンプル特徴のリストを作る。
２． Eのある被験者とUのそれ以外のN-1個の被験者，合計でN*(N-1)の非マッチングペ
アBについて，バイオメトリクス参照データ及びサンプル特徴のリストを作る。
３． AとBとを連結してCとし，シャッフル（ランダムに並べ替えを）する。Cは合致，
又は非合致の状態を保持すること。
5
完全な相互比較を行う。
１． Cから作られる各ペアで認証器を実行
２． 各操作の時間を記録し，合致及び非合致ペアを別々に記録する。
３．合致及び非合致スコアの個々のリスト中に各比較スコアを付け加える。
報告
6
DET曲線の算出
１． 一意な比較スコアの集合Sを作る。
２． 集合Sからの各値sに対して
ａ．ｓ以下の比較スコアとなる本人の割合，すなわち，誤非合致率を算出
ｂ．5.1.8.4の式を使用することによって誤非合致率から誤拒否率を算出
ｃ．ｓ以上の比較スコアとなる他人の割合，すなわち，誤合致率を算出
ｄ．5.1.8.4の式を使用することによって誤合致率から誤受入率を算出
３．すべてのｓについて，（誤受入率，誤拒否率）を軸として，ＤＥＴ曲線をプロット
7
処理量統計の算出
１． 成功した及び（個々に）失敗したバイオメトリクス参照データの生成
２． 成功した及び失敗した本物又は偽物サンプルの特徴抽出
３． 合致及び非合致を別々に比較する。
8
結果のまとめ，報告ポリシーに基づく報告
注記 1 バイオメトリクス参照データが非対称（すなわち，f(登録,利用者) ≠ f(利用者,登録)）ならば，原サンプルセッ
トＥ及びＵは，入れ替えて再試験することができる。しかし，ターゲットアプリケーションの見本にならない
可能性がある。
注記 2 （Ｅの登録者又はＵの利用者として）偽物が以前に使用していた別のサンプルであるかどうかで決まる偽物の
試行結果の証拠がある場合には，真の偽物試験が必要とされる。これは I からのサンプルは登録者の役割とし
て決して使われないような E と組みにされる真の偽物という第 3 番目のサンプルの区分 I を伴う。
A.2
複数の登録者による認証試験
複数の登録者による認証試験は，複数ユーザのバイオメトリクスデバイスの評価として修正される部分
があるが，簡易評価と類似している。この種の試験は，群集の正規化によるような他の登録されたバイオ
メトリクス参照データを利用することが可能な改良された認証の説明をすることができる。複数登録者に
おける認証試験は線形な登録された母集団を確認することの網羅的な要求を伴っている。試験におけるア
ルゴリズムは，従属しているバイオメトリクス参照データを作成するため，又は正規化するために，他の
登録データを利用することもありうる。
誤拒否率，誤非合致率，誤受入率，及び誤合致率が算出される複数人の登録者を用いた認証試験。
例
ビルの物理的なアクセス制御をする認証
段階
#
1
データ抽
出
実行
2
行為
二つの区分を作成する。
１．Ｅ：登録サンプルを表す，各被験者の第1番目のサンプル
２．Ｕ：利用者サンプルを表す，Ｅ中の各被験者の第2番目のサンプル
登録
１．サプライヤの登録データの構造（EDS）を初期化する。
２．EからのNサンプルの各々について，バイオメトリクス参照データ生成器を実行
a. 各操作の時間を記録し，結果を格納する。
b.登録に失敗しなければEDSにバイオメトリクス参照データを付け加える
c.登録不能又は登録に失敗が明らかとなったサンプルの割合を記録する。
d.EDSをファイナライズする。
e.各操作の時間を記録し，結果を格納する。
3
サンプル特徴の抽出
１．順列を保持し，Uの要素をシャッフル（Eの要素に戻り合致するように）
２．Uのすべての原サンプルで特徴抽出器を実行
３．各操作の時間を記録し，結果を格納する。
４．使用に適さない及び取得失敗が明らかとなったサンプル割合の記録
５．（取得に失敗しなかった）サンプル特徴データの格納
4
処理リストの作成
１． 空のリストAを作成
２． U中の人物からの各サンプル特徴について，EDS中に合致するサンプルの整数インデックス
とペアにし，リストAに加える。
３． 空のリストBを作成
４． U中のM番の人物からの各サンプル特徴について，EDS中に非合致のエントリのN1個すべての整数インデックスとペアにし，リストBにそれらを加える。
５． AとBとを連結してCとし，シャッフル（ランダムに並べ替えを）する。Cは合致，
非合致の状態を保持すること。
5
完全な相互比較を行う
１．Cから作られる各ペアで認証器を実行
２．各操作の時間を記録し，合致及び非合致ペアを別々に記録する。
３．合致及び非合致スコアの個々のリスト中に各比較スコアを付け加える。
報告
6
１．一意な比較スコアの集合Sを作る
２．集合Sからの各値sに対して
ａ．ｓ以下の比較スコアとなる本人の割合，すなわち，誤非合致率を算出
ｂ．6.2.8.4の式を使用することによって，誤非合致率から誤拒否率を算出
ｃ．ｓ以上の比較スコアとなる他人の割合，すなわち，誤合致率を算出
ｄ．6.2.8.4の式を使用することによって，誤合致率から誤受入率を算出
３．すべてのｓについて，（誤受入率，誤拒否率）を軸として，ＤＥＴ曲線をプロット
7
処理量統計の算出
１．成功及び（個々に）失敗したバイオメトリクス参照データの生成
２．成功及び失敗した本物・偽物サンプルの特徴抽出
３．合致及び非合致を別々に比較する。
8
結果のまとめ，報告ポリシーに基づく報告
A.3 複数の登録者及び真の偽者を用いた認証試験
複数登録者と真の偽物とを用いた認証試験では，偽者である非登録人物を含ませることによって，バイオ
メトリクス参照データに依存する新たな変数を試験項目に加えることになる。
誤拒否率，誤非合致率，誤受入率，及び誤合致率が算出される複数人の登録者及び真の偽者を用いた認
証試験。
段階
データ抽
出
#
実行
2
1
行為
三つの区分を作成する。
１．Ｅ：登録サンプルを表す，各被験者の第1番目のサンプル
２．Ｕ：利用者サンプルを表す，Ｅ中の各被験者の第2番目のサンプル
３．Ｉ：E中に存在しない各人物からの一つのサンプル
登録
１．サプライヤの登録データの構造（EDS）を初期化する
２．EからのNサンプルの各々について，バイオメトリクス参照データ生成器を実行
a. 各操作の時間を記録し，結果を格納する。
b.登録に失敗しなければEDSにバイオメトリクス参照データを付け加える
c.登録不能又は登録に失敗が明らかとなったサンプルの割合を記録する。
d.EDSをファイナライズする。
“終了する”ではないか？？
e.各操作の時間を記録し，結果を格納する。
3
サンプル特徴抽出
１．サプライヤの登録データ構造体（EDS）を初期化。順列を保持し，UのN個の要素
をシャッフル（Eの要素に戻り合致するように）
２．UとIとからのM個の原サンプルのすべてについて特徴抽出器を実行
３．各操作の時間を記録し，結果を格納する。
４．使用に適さない及び取得失敗が明らかとなったサンプル割合の記録
５．（取得に失敗しなかった）サンプル特徴データの格納
4
処理リストの作成
１．空のリストAを作成
２．U中の人物からの各サンプル特徴について，EDS中に合致するサンプル特徴の整数のインデッ
クスと一緒にペアにし，リストAに加える。
３． 空のリストBを作成。
４．I中の人物からの各サンプル特徴について，EDS中に非合致のエントリのN-1個すべ
ての整数インデックスとともにペアとし，リストBにそれらを加える。
５．AとBとを連結してCとし，シャッフル（ランダムに並べ替えを）する。Cは合致，
又は非合致の状態を保持すること。
5
完全な相互比較を行う
１．Cから作られる各ペアで認証器を実行
２．各操作の時間を記録し，合致及び非合致ペアを別々に記録する
３．合致及び非合致スコアの個々のリスト中に各比較スコアを付け加える
6
報告
DETカーブの算出
１．一意な比較スコアの集合Sを作る。
２．集合Sからの各値sに対して，
ａ．ｓ以下の比較スコアとなる本人の割合，すなわち，誤非合致率を算出
ｂ．6.3.5の式を使用することによって誤非合致率から誤拒否率を算出
ｃ．ｓ以上の比較スコアとなる他人の割合，すなわち，誤合致率を算出
ｄ．6.3.5の式を使用することによって誤合致率から誤受入率を算出
３．すべてのｓについて，（誤受入率，誤拒否率）を軸として，ＤＥＴ曲線をプロット
A.4
7
処理量統計の算出
１．成功及び（個々に）失敗したバイオメトリクス参照データの生成
２．成功及び失敗した本物・偽物サンプルの特徴抽出
３．合致及び非合致を別々に比較する。
8
結果のまとめ，報告方針に基づく報告
YES・NO システムの認証試験
YES・No システムの認証試験は，決定を与えるアルゴリズムの試験である。この種の試験は，比較スコ
アを取得するためのソフトウェアの修正が不可能なときに適している。試験は，バッチモードでの認証試
行の反復された入出力の監視を通して実行される。
YES・NO システムの認証試験は，一つの動作条件において，誤合致率と誤非合致率との組を生成する。
FMR＝（決定が受け入れられた他人トランザクション数）／（他人トランザクション数）
FNMR＝（決定がリジェクトされた本人トランザクション数）／（本人トランザクション数）
A.5 簡易登録者限定識別試験
簡易登録者限定識別試験は，すべてのユーザが登録されている場合の識別性能を定量的に評価する。こ
の試験ではＦＭＲは測定されない。試験は基本的に 1 対多の試行で行われる。
簡易登録者限定識別試験では，累積識別精度特性が算出される。
例
利用者が乗船時に登録され，船内で識別が行われるような，顔認証をもつ巡航船
段階
データ抽
出
#
実行
2
1
行為
二つの区分を作成する。
１．Ｅ：登録サンプルを表す，各被験者の第1番目のサンプル
２．Ｕ：利用者サンプルを表す，Ｅ中の各被験者の第2番目のサンプル
登録
１．サプライヤの登録データの構造（EDS）を初期化する（EDS）
２．Eの各サンプルについて
a.バイオメトリクス参照データ生成器を実行し，バイオメトリクス参照データを
EDSに加える。
b. 各操作の時間を記録し，結果を格納する。
３．EDSをファイナライズする。各操作の時間を記録し，結果を格納する。
3
サンプル特徴抽出
１．順列を保持し，Uの要素をシャッフル（Eの要素に戻り合致するように）
２．空のリストAを作成
３．Uの原サンプルについて，特徴抽出器で実行
a.生成器が取得失敗を明らかにするならば，これらを記録する。
b.取得失敗でない場合は，サンプル特徴をAに加える。
３．各操作の時間を記録し，入手失敗及び入手が失敗しないものを分離して結果を格納
する
4
識別の実行
１． A中の各サンプル特徴について，EDS中の要素と比較するために識別器を実行する。
２． 結果の候補リストを格納する。
３．各操作の時間を記録し，結果を格納する。
報告
5
6
7
CMCカーブを算出
１． A中のサンプル特徴からの各候補リストについて，マッチングエントリの順位を見つける
２． A中に存在しなかったUの各要素は，（選択的取得の失敗のため）N位にセットする（すなわ
ち，できる限り最悪の値）。
３． １からNまでの各順位ｒは，ｒ以下の順位をもつ利用者サンプルの割合としてCMC(r)を算出
する。
スループット統計の算出
1. 成功したバイオメトリクス参照データの生成
2. 成功及び失敗した本物・偽物サンプルの特徴抽出
3. 比較（１からN全体まで）
結果のまとめ，報告方針に基づく報告
A.6 簡易登録者非限定識別試験
簡易登録者非限定識別試験は，ユーザが偽者（非登録の合致）になるかもしれないときの識別精度を定
量化する。試験は，ユーザ以上の偽非合致率の概算及び真の偽者を使用する偽合致率とともに，完全な１
対 N の試行を伴う。試験は，モデル精度のために 1 対 1 の結果を使用しない。
簡易登録者非限定識別試験では，累積識別精度特性及び実験による 1 対 N の DETｓが算出される。
監視リストでは
例
この種の試験は，ウオッチリスト及び新しいアクセスコントロールタスクにおいて，より一般的にN
人の母集団を独自に登録する，否定的な識別アプリケーションの代表例である。
#
段階
行為
1
三つの区分を作成する。
データ抽
１．Ｅ：登録サンプルを表す，各被験者の第1番目のサンプル
出
２．Ｕ：利用者サンプルを表す，Ｅ中の各被験者の第2番目のサンプル
３．Ｉ：E中に存在しない各人物からの一つのサンプル
2
登録
実行
１．サプライヤの登録データの構造（EDS）を初期化する。
２．Eの各サンプルについて
a.バイオメトリクス参照データ生成器を実行し，バイオメトリクス参照データを
EDSに加える。
b. 各操作の時間を記録し，結果を格納する。
３．EDSを終了する。各操作の時間を記録し，結果を格納する。
3
バイオメトリクス参照データの生成
１．順列を保持し，UとIを連結させたPをシャッフル
２．空のリストAを作成
３．Pのすべての原サンプルを特徴抽出器で実行
a). 生成器が，取得失敗を明らかにするならば，これらを記録する。
b) 取得失敗でない場合は，サンプル特徴をAに加える。
３．各操作の時間を記録し，結果を格納する。
4
識別の実行
１． A中の各サンプル特徴について，EDS中の要素と比較するために識別器を実行する。
２． 各操作の時間を記録し，（すなわち，UとIとから生じる）結果を合致及び非合致試行
を独立して格納する。
３． 候補リストを保持する。
報告
5
6
7
DETカーブの算出
１． 比較スコア集合Sの空リストを作成する。
２． Aからの各候補リストについて
a) 候補が，Uの要素（すなわち，登録された合致）から生じたものならば，マッチングエン
トリ見つけ，比較スコアをSに加える。
ｂ) Sをソートし，重複した要素を削除する。
c) Sからの各いき(閾)値sについて，誤非合致率を算出
３． Uから生じたAの各候補リストについて（すなわち，登録された合致）
a) マッチングエントリの比較スコアを見つける
b) スコアがｓ以上ならば，合致成功数Kを増加
c) 比較試行数Lを増加
d) FNMR（ｓ）=K/Lを計算
e) 順位をN位にセットする（例えば最悪の値）
f) Sから各いき(閾)値ｓについて誤合致率を算出
４． I中から生じるAからの各候補リストについて（すなわち登録された合致なし）
a) いずれの比較スコアもｓ以上ならば，誤合致の数Fを一つ増加
偽者の数Mを一つ増加
b) FMR＝F/Mの計算
スループット統計の算出
1.成功したバイオメトリクス参照データの生成
2.成功及び失敗した本物又は偽物サンプルの特徴抽出
3.合致及び非合致を別々に比較する。
結果のまとめ，報告方針に基づく報告
附属書 B
(参考)
提示，入力試行及びトランザクションの関係
序文
この附属書は，提示，入力試行及びトランザクションの関係をしめすものであって，規定の一部ではな
い。
B.1 提示，試行及びトランザクションの関係
図 B.1 は提示，入力試行及びトランザクションの関係を示している。このような部分的なトランザクシ
ョンを発生させる事象は，主としてシナリオ評価と関連しており，技術評価ではさほど重要ではない。
１回の試行のためには１回以
上の提示が必要である。ある
種のシステムにおいては提示
と置くこととは同じ意味であ
る。
当該システムが複数の生体特
徴を必要とするかどうかで，
トランザクションの構成のた
めには１回以上の入力試行が
必要であるか又は許容され
る。
利用者とバイオメトリクスシ
ステムとのインタラクション
はトランザクションの順序で
ある。
Presentation 1
Attempt 1
Transaction 1
Presentation 2
Attempt 2
Transaction 2
•••
•••
•••
Presentation N
Attempt N
Transaction N
典型的な考え方では1回の試
行を構成するのに十分なN回
の提示の後でもバイオメトリ
クスデータの取得に失敗して
いた場合，それは試行の失敗
に相当する。
典型的な考え方として，連続
したN回の試行で登録又は合
致しなければ，トランザクシ
ョンの失敗となる。
図B.1-サンプル提示，試行及びトランザクションの関係
附属書 C
(参考)
取組みレベルの報告方法
序文
この附属書は，取組みレベルの報告方法を記載するものであって,規定の一部ではない。
C.1 比較のための取組みレベルの報告方法
比較評価のために可能な漸次的で，かつプレゼンテーションのための取組みレベルは次のような図表で
提示することができる。次の図表の目的は，FNMR と FMR との測定の提示の取組み及び性能評価精度のバ
ランスを示すことである。理想的なシステムでは１回の提示で FNMR が 0％，最大の提示回数で FMR が
０％になる。しかし，FNMR は最小回数の提示で最高になり，FMR は提示の回数が多ければ増えていく。
図 C.1 は仮定したシステムにおける１回の提示について現れる過度の FNMR 測定の例を示したものである。
4 回以上の測定では FNMR は殆ど減少していない(そして FMR だけが増加している)。技術的にはこうした
取組みは登録から認証までの時間に対応する.。すなわち，提示の軸は経過時間と同じ効果を示している。
提示の取り組みに対する FNMR と FMR とのマッピン
提示
■FNMR ◆FMR
図C.1－提示の取組みに対する誤非合致率及び誤合致率のマッピング
C.2 登録のための取組みレベルの報告方法
同様に個々人ごとに,登録の取組みはバイオメトリクスシステムに登録できるパーセンテージとして次の
図表のように書くことができる。次の図表は仮定しているシステム A，B 及び C についての登録の取組み
と登録可能性との関係を示している。
登録率に対する登録の取組みのマッピング
Attempts
■System A ■System B ■System C
図 C.2－登録のパーセンテージに対する登録の取組みのマッピング
附属書 D
(参考)
クライアント-サーバ試験方法
序文
この附属書は，クライアント―サーバの試験方法を記述するものであって，規定の一部ではない。
D.1
一般
信頼できるスループット率を得て，かつ，連続的な使用を模倣するには，クライアント－サーバの枠組
が，サプライヤ自らが行う試験の管理においては適している。幾つかの実装が可能だが，最も簡単な実装
は，ギガビットネットワーク上で，生体情報サンプルをクライアントからサーバに送り，サーバからクラ
イアントには認証結果を返すプロトコルを用いることである。HTTP プロトコルはファイル転送をできる
ようにし，広くかつ頑健に実装され，複数のクライアントを支援でき，暗号化にも対応し，多くのシステ
ム管理者によく理解されているので，この試験の実装方法の候補として検討されることが望ましい。スル
ープットの計算は，ネットワークのバンド幅及び待ち時間の計測を含むことが必要であろう。クライアン
トに利用者の数に関する事前情報を与えてはならず，無限に実行することが望ましい。性能はそのような
すべてのサプライヤにより一般的に完成された部分集合上で評価されてもよい。本人と他人とのトランザ
クションの順序は無作為とすることが望ましい。
D.2 リアルタイム 1:N 識別試験の手順
以下は試験プロトコルの基本的な概要である。試験は小試験の連続である。小試験は P 利用者トランザ
クションの連続である。そのような小試験の一つを次に示す。
1.
2.
クライアントは登録サンプルを要求する。
サーバは同意し，時間を記録，ギャラリーイメージのクライアントへのダウンロードの初期化する。
3.
クライアントはサンプルを受信の上，処理し，登録されたデータベースを作成する。
4.
クライアントは，最初の利用者画像を要求する。
a) サーバは時間を記録，利用者の画像もしくは試験の終了を示す指示子のどちらかを送信する。
b) クライアントは試験の終了の際は，ループを抜け，又は 1:N 探索を実行し，サーバに候補者リスト
を返し，次の利用者を要求する。
c) サーバは利用者の完了カウンタを増加させる。
d) a)に戻る。
BioAPI の拡張されたバージョンをそのようなプロトコルの実行に適させてもよい。試験は，通常，事前
の告知なく，休止時間なしに，そのようなセッションの連続からなるだろう。時間をクライアントが記録
してもよい。
D.3
時間制限つき 1:1 認証のためのプロトコル
以下は試験プロトコルの基本的な概要である。試験は小試験の連続である。小試験は P 利用者トランザ
クションの連続である。そのような小試験の一つを次に示す。
1.
クライアントは登録サンプルを要求する。
2.
サーバは同意し，時間を記録，ギャラリーイメージのクライアントへのダウンロードを初期化する。
3.
クライアントは複数インスタンスを受信の上，処理し，登録されたデータベースを作成し，最初の利
用者サンプルを要求する。
a) サーバは時間を記録，利用者の画像又は試験の終了を示す指示子のどちらかを送信する。
b) クライアントは試験の終了の際はループを抜け，もしくは，1:N 探索を実行し，サーバに候補者リ
ストを返し，次の利用者を要求する。
c) サーバは利用者の完了カウンタを増加させる。
d) a)に戻る。
BioAPI の拡大されたバージョンをそのような試験規約の実行に適させてもよい。試験は，通常，事前の
告知なく，休止時間なしに，そのようなセッションの連続からなるだろう。
注記
ネットワークのオーバヘッドの見積りも含まれることが望ましい。
附属書 E
(参考)
複数のシステムの評価結果を比較する方法
序文
この附属書は， 複数のシステムの評価結果を比較する方法について説明するものであって，規定の一部
ではない。
E.1
一般
相互システムの結果は，複数のシステムを横断して被験者を登録し，合致させる能力を指し示す。複数
のシステムを横断して他人を合致させてしまうことと同じく，複数のシステムを横断して登録又は合致で
きない能力に関連する情報は，報告書の読者の興味となるだろう。そのような結果は，複数のシステムが
試験される試験においてだけあてはまる。
試験の規模及び誤り数に依存して，相互システムでのデータの登録及び比較は，行列の形式で表現して
もよい。
E.2
登録
相互システムの登録に関連する次の情報は，報告書の読者にとって有用なものである。
−
各被験者が登録できなかったシステム
−
各システムにおける他の被験者のスコアの範囲に対してプロットされる，登録に失敗した被験者の各
システムにおける登録品質スコア
E.3
本人の試行
相互システムの本人の試行に関連する次の情報は，報告書の読者にとって有用なものである。
−
各被験者が誤って拒否されたか又は合致されなかったシステム
−
識別の試行で，本人でない識別子が返されたシステム
−
本人拒否と非合致とが取得失敗に起因すると考えられるシステム
−
各システムの他の試験者のスコアの範囲に対してプロットされる，各システムの比較スコア
E.4
他人の試行
相互システムの他人の試行に関連する次の情報は，報告書の読者にとって有用なものである。
−
被験者が誤って受け入れられたか又は合致したシステム。複数のシステムで横断的に合致した特定の
ギャラリレコードの事例を含む。
−
ギャラリの被験者が誤って合致したか又はそれらに対して受け入れられシステム。複数のシステムで
横断的に合致したギャラリの被験者の特定の検査レコードを含む。
−
各システムにおける他の被験者のスコアの範囲に対してプロットされる，各システムの比較スコア
附属書ＪＡ．1
(参考)
モダリティ特定の試験
序文
この附属書は，ISO/IEC TR 19795-3 の内容を紹介するために，翻訳したものであり，規定の一部ではない。
この附属書は，本来ならばこの国際規格の第 3 部とすべく作成されていたが，合意が得られず技術報告書
（Technical Report, TR）として刊行された。このために，JIS でも規定とはせずに，第 2 部の附属書(参考)
としたものである。
JA.1
適用範囲
バイオメトリクスの性能試験及び結果報告においては，指紋，顔，又は虹彩などのそれぞれのモダリテ
ィにおける特性の違いを注意深く考慮する必要がある。これらの違いに対応するには，この規格群の第1部
に記載された一般的な方法論の範囲内で，適切に試験を実施する必要がある。
この附属書ではモダリティに依存したこのような違いに関係する方法論を記述する。この附属書の目的
は，バイオメトリクスにおけるモダリティごとの技術的な性能試験の設計法を述べることである。
JA.2
引用規格
次に掲げる引用規格は，この規格に引用されることによって，この規格の規定の一部を構成する。
この引用規格は，その最新版（追補を含む。）を適用する。
用語，概念及び説明の更なる明確化のためには，この規格群の他の部及び次の文献を参照されたい。こ
れらの参考文献によって，読者はこの文書をよりよく理解することができる。
JIS Q 17025 試験所及び校正機関の能力に関する一般要求事項
注記
この規格群の対応規格を次に示す。
この規格群の第1部の対応規格は，次のとおりである。
ISO/IEC 19795-1 – Biometric Performance Testing and Reporting –
Part 1: Principles and Framework
この規格の対応規格は，次のとおりである。
ISO/IEC 19795-2 – Biometric Performance Testing and Reporting –
Part 2: Testing Methodologies for Technology and Scenario Evaluation
JIS Q 17025の対応規格は，次のとおりである。
ISO/IEC 17025 –
General requirements for the competence of testing and calibration laboratories
JA.3
用語及び定義
この附属書で用いる主な用語及び定義は，この規格群で規定するもの以外は，次による。
JA.3.1
影響因子(influencing factors)
性能に影響を与える要因
JA.3.2
頑健性性能評価試験(robustness test)
影響因子がバイオメトリクス性能に与える影響を評価する試験
JA.3.3
意図的な偽造物攻撃(active forgery attempt)
似せたたり複製したバイオメトリクスサンプル又は故意に改変した自分のバイオメトリクス特徴を提示す
ることによって，テンプレートを保存した者と違う個人が照合されるように試みるような，他人による入
力試行
JA.3.4
偽造行為の種類(forgery type)
偽物による入力試行の方法の種類
JA.3.5
偽造行為の程度(forgery level)
偽造による入力試行の入念さの程度
JA.4
記号及び略語
この附属書では次の略語を用いる。
ROC
照合精度特性（receiver operating characteristic）
CMR
累積識別率（cumulative matching rate）
CMC
累積識別精度特性（cumulative match characteristic）
FNMR 誤非合致率（false non-match rate）
FMR
誤合致率（false match rate）
JA.5
モダリティの特性を考慮した試験設計
JA5.1
試験設計フロー
精度評価試験を設計する際は，モダリティ依存の主要な特性が考慮されるように，次の試験計画フロー
に従うべきである(図 JA.1 を参照)。
‐
‐
‐
‐
‐
ステップ１：
ステップ２：
ステップ３：
ステップ４：
ステップ５：
精度評価結果を左右する“影響因子”を特定し，その特徴を分析する。
試験の被験者に関する方針を検討し決定する。
データ収集に関する方針を検討し決定する。
詐称者の試行に関する方針を検討し決定する。
性能評価の報告法に関する方針を検討し決定する。
ここでは，性能評価の対象となるモダリティ及び試験（テクノロジー試験，シナリオ試験，及び運用試
験）が既に決定されていることを想定して，この守られるべき計画フローを提示している。
1. "影響要因"の確認及び分析
方針の検討及び決定
2. 被験者
4. 詐称者の
試行
3. データ収
集
図 JA.1‐ 試験設計のフロー
5. 結果報告
JA.5.2
精度評価結果に影響を与えるモダリティ特有の影響因子（ステップ１）
バイオメトリクス認証の性能は多様な影響因子に大きく左右されるため，試験設計フローの第１ステッ
プとして，精度評価結果に影響を与えうるモダリティ特徴の要因（“影響因子”）を特定し，その特徴を
分析する。同じバイオメトリクス装置であっても影響因子の状況が異なれば，評価結果は異なったものに
なる。再現性のある性能評価試験を実行し，また実運用時の性能を適切に予測するためには，影響因子を
制御し，その状態を記録し，報告書に含めることが必す(須)となる。
試験手順を定めるにあたっては，試験設計者はまず，当該モダリティについて精度評価結果を左右する
とされている影響因子を特定し，その特徴を分析する。影響を与えると知られているものだけでなく，影
響を与えうると想定できる要因も考慮するのが望ましい。
影響因子の特定にあたっては，最低限次の諸点について考慮すべきである（この規格群の第 1 部附属書
C 参照）。
A)
バイオメトリクスセンサの品質及び特性
B)
データ収集に関係する被験者の生物学的又は行動的特性(人物の過去及び類別に関する重要なデータ)。
例
‐
不変な特性: 性別，人種
‐
可変な特性
‐
生物学的特性: 年齢，身長，体重など身体的計測結果，機能的な障害の有無及び程度
‐
習慣及び社会的特性: 職業，喫煙習慣，髪型，化粧，メガネ，コンタクトレンズなどの有
服装
注記
C)
無，
19795-3 で職業は不変な特性に分類されている。検討のうえ，可変な特性の習慣及び社会的
特性に分類を変更した。
バイオメトリクス装置・センサ，及びアプリケーションに関係する環境因子。
例
‐
温度
‐
湿度
‐
照明
‐ 普通の白熱灯，蛍光灯，タングステンランプ，ハロゲンランプ，反射型ライト，(発光ダイオー
ド(LED)，太陽光など
‐
騒音
‐
装置と被験者との位置関係
D)
バイオメトリクス特徴の経時変化
E)
特に行動的なモダリティにおいて，能動的詐称の試みが誤受入に与える影響
F)
登録フェーズと認証・識別フェーズとで用いられるデータ入力及び信号処理のサブシステムの違
い。
JA.6 で，モダリティごとに JA5.2 C)で挙げた環境因子の影響を評価する“頑強性試験”について説明す
る。
JA.5.3 被験者に関するモダリティ特有の方針 (ステップ 2)
JA.5.3.1
被験者に関する方針
試験設計フローの第 2 ステップにおいて，被験者に関する取扱いの方針及び要件を検討し定める。この方
針は生物学的及び行動的な生体特徴のそれぞれに関係する。被験者に関係する影響因子として考慮される
べきものとして，少なくとも次がある。
‐
人物の過去及び特徴(性別，年齢など)についてのデータ
‐
身長，体重などの身体的計測データ
以下の細分箇条において，評価で保たれるべき被験者の分布に関して説明する。表 JA.1 に被験者の構成
及び評価の種別の一般的な関係を示す。次で，評価の種別ごとに守られるべき規定の詳細を述べる。
被験者に関係する影響因子の評価で必要とされる被験者分布(例えば，一般的な分布又は想定ユーザ層で
の分布など)に近いものであることを確認するために，当該因子に関し，身体計測結果の標準的な分布表の
使用も必要であれば考慮すべきである。過去及び類別についての可変な特性の分布については，国勢調査
など大規模調査の結果データも参考にすべきである。
技術評価及び運用評価において特性の分布を典型的かつ一般的であるよう保証する一つの方法として，
最低でも女性を 5%以上とし，男性を最大 95%とするという方法がある(これは因子の出現値が男性の場合
より女性で小さい場合についてである。)。この 5%及び 95%という数字は多くの場合の一般的分布を保証
すると報告されている。
シナリオ評価では，被験者群は想定ターゲットユーザ群を代表するようにして実世界のアプリケーショ
ンを模倣させることになるため，事情は更に複雑になる。
評価での被験者に関係する影響因子の分布が，対象とするアプリケーションのユーザ又は想定するアプ
リケーションのユーザの分布と合っていることを確実にするために，当該因子の分布はあらかじめ調査さ
れ，試験機関に提供するのがよい。この情報が提供されない場合には，試験機関は，評価で用いる疑似環
境における対象ユーザでの分布の範囲を要請するのが望ましい。この情報が提供されないか又はない場合
は，身体計測結果の標準的な分布表を参考にして人種・民族・年齢・職業を考慮して推定するのがよい。
過去・類別についての特性については，その分布は実社会の分布に近似するのが望ましい。
表 JA.1― 評価の種別と被験者の構成との関係
評価の種別
被験者の構成
技術評価
対象ユーザ
シナリオ評価
対応アプリケーションの対象ユーザ
運用評価
ユーザについては管理しないか又は限定的な管理 (したが
って一般的な分布になる)
JA.5.3.2
技術評価
技術評価においては，被験者群の特性の分布が，関連する影響因子について，対象ユーザでの分布(これ
は一般的な人口構成での特性の分布と一致する場合もある。)を反映しているのがよい。試験設計者は方針
及び要件を次のとおり定めるのが望ましい。
1.
被験者の特性に関連する影響因子に関し，評価に用いられる被験者の特性の分布は，一般の人口構成
でのその特性の分布を反映するのがよい。
2.
被験者の特性に関連する影響因子に関し，評価に用いられる被験者での特性の分布は，記録され，評
価報告書で報告するのがよい。
例: 立って使用する顔認証アプリケーションでは，影響因子であるユーザの身長に関して，
1.
被験者の身長の分布は，実世界での身長分布と同様に構成されるのがよい(例えば，男性 95%以下，
女性 5%以上)。
2.
実世界と同様の身長分布を用いていることを確認するために，被験者の身長の分布は記録され，評
価報告書で報告するのがよい。
JA.5.3.3
シナリオ評価
シナリオ評価においては，被験者の特性の分布が，関連する影響因子において，評価の対象とする応用
でのユーザグループでの特性の分布を反映していることが望ましい。試験設計者は次の指針に基づき，方
針及び要件を定める：
1.
被験者の特性に関連する影響因子に関し，評価に用いられる被験者での特性の分布は，評価の対象と
するアプリケーションのユーザグループでの特性の分布を反映するのが望ましい。
2.
被験者の特性に関連する影響因子に関し，評価に用いられる被験者での特性の分布は，記録され，評
価レポートで報告するのがよい。
例: 立って使用する顔認証アプリケーションで，影響因子であるユーザの身長に関し，
1.
被験者の身長の分布は，評価の対象とする実世界での応用のユーザグループでの身長分布と同様に
構成するのがよい(例えば，男性 95%以下，女性 5%以上)。
2.
実世界でのアプリケーションのユーザと同様の身長分布を用いていることを確認するために，被験
者の身長の分布は記録し，かつ，評価報告書で報告するのがよい。
JA.5.3.4
運用評価
運用評価においては，被験者は実際のフィールドでのユーザからなるため，その構成は試験設計者が制
御できるとは限らない。評価のための領域を実験的に設営する場合には，評価の依頼者の指示又は装置の
仕様上の指定がある場合は別として，領域の利用者は一般的な人口分布(例えば，男性 95%以下，女性 5%
以上など)に従うように配慮するのが望ましい。しかし，評価結果を再現性と根拠あるものとするため，関
連する影響因子の被験者での分布は，記録されまた評価報告書で報告されることが重要である。試験設計
者は次の指針に基づき，方針及び要件を定める。
1.
被験者の特性に関連する影響因子に関し，評価に用いられる被験者の特性の分布は，一般の人口構成
でのその特性の分布を反映するのがよい。
2.
被験者の特性に関連する影響因子に関し，評価に用いられる被験者の特性の分布は，記録され，かつ，
評価報告書で報告するのがよい。
例
性別が影響因子であり，かつ，ユーザ群では女性が圧倒的多数であるような運用環境での評価で，
1.
評価の性質から分るとおり，被験者の性別の分布を制御・管理することはできない。
2.
評価の再現性，他のケースへの適用可能性，妥当性の判断のために，性別の結果データを記録し，
かつ，評価報告書で報告するのがよい。これによって，評価報告書を読むことで被験者がどの程度
実世界を代表していたかを理解することができる。
JA.5.4 データ収集に関するモダリティ特有の方針（ステップ 3）
JA.5.4.1
データ収集に関する方針
試験設計フローの第 3 ステップにおいては，データ収集に関する要件を検討し定める。少なくとも次を
含む影響要因を考慮するのが望ましい。
‐
バイオメトリクスセンサの品質及び特性
‐
バイオメトリクス装置を取り巻く環境要因
‐
バイオメトリクス特徴の経時変化
‐
ユーザとバイオメトリクスセンサとの相互作用の影響
‐
能動的詐称の試みが誤受入に与える影響 (これに関しては次の JA.5.5 を参照)
方針は次のように評価の種別に依存する。
ＪＡ.5.4.2 技術評価及びシナリオ評価
技術評価及びシナリオ評価においては，多くの場合データ収集に関連する影響要因は制御可能である。
したがって，試験設計者はデータ収集に関連する影響要因について，取扱いの方針を定めるのが望ましい。
さらに，特定の仕様で試験実行時にデータ収集を行えないような場合には，関連する影響因子に関する情
報を記録し，かつ，評価報告書で報告するよう，方針を定めるべきである。
JA.5.4.3
運用評価
運用評価においては，装置は実際のフィールドのユーザが使用するため，影響要因は試験設計者が制御
できるとは限らない。しかし，評価結果を再現性と根拠とがあるものとするため，関連する影響因子の被
験者での分布は，記録し，かつ評価報告書で報告することが重要である。したがって，試験設計者は，デ
ータ収集に関連する影響因子を記録し，かつ，評価報告書で報告することを要求するのがよい。
JA.5.4.4
JA.5.4.4.1
複数のバイオメトリクス特徴の取り扱いに関する方針
一般論
幾つかのモダリティにおいては，一人の被験者から複数のバイオメトリクス特徴を収集することができ
る。例えば，一人の被験者からは通常，10 個の指紋，二つの虹彩，複数の箇所の静脈パターンと二つの掌
形とを収集することができる。テキスト依存型の音声認識のような内容依存の行動的モダリティでは，一
人の被験者から多数の“音声パターン”を収集することができる。
例えば，指紋のような幾つかのモダリティでは，被験者の異なった身体特徴から収集した特徴の間には
相関があることが知られている。そのような相関があるモダリティでは，本人入力試行又は他人による入
力試行において，このような複数の特徴を使える否かに関する方針を定めるのが望ましい。
JA.5.4.4.2
指紋の場合の例
定められる方針としては次のような例がある。ここで（A-1，B-2）は“被験者 A の指１と被験者 B の指
２との比較”を意味し，また（A-1-2）は被験者 A の指１の第２サンプルを示す。
例１ FNMR を求めるための本人試験では，同一試験者の 10 指は独立サンプルとして使用できる。つまり
（A-1-1，A-1-2）及び（A-2-1，A-2-2）は正当な比較と考えられる。
例２ FMR を求めるための他人による試験では，例えば（A-1，B-1）のような，同一被験者の異なった指
の使用は一般的には禁止される。被験者 A の指１と指２とは独立とは考えられないためである。
例３ FMR を求めるための異なる被験者の試験では，（A-1，B-1）又は（A-1，B-2）のような比較を認め
ることもできる。このようなケースの使用を許すことで，特に FMR が低く出るようなシステムを評価
する場合，評価のコスト及び必要工数を大幅に減少させることができる。
1.1.1
JA.5.4.4.3
音声及び署名の場合の例
テキスト依存型の音声及び署名のように行動特性に基づくモダリティにおいては，テキストが認証にお
いてどのように用いられるか，また詐称者がそのテキストを知っているかについて考慮する必要がある。
データ収集及び結果報告の方針は，次の例にあるように，これらの点を考慮して定めるのが望ましい。
例 1: テキスト依存型（キーワード発話方式）音声認証の技術評価の場合
FNMR を求めるための本人試験でも又は FMR を求めるための他人による試験でも，登録時と同一のテキ
ストを評価に用いのがよい。異なった発声内容がなされたサンプルは評価に用いない。他人試験において，
男性の登録データに対して女性が試したケース及びその逆のケースについては記録し，報告するのが望ま
しい。
例 2: テキスト独立型（自由発話方式）音声認証の技術評価の場合
FNMR を求めるための本人試験でも又は FMR を求めるための他人による試験でも，異なった発声内容を
用いることができる。他人試験において，男性の登録データに対して女性が試したケース及びその逆のケ
ースについては記録し，報告するのが望ましい。
例 3: テキスト指定型（会話内容指定方式）音声認証の技術評価の場合
FNMR を求めるための本人試験でも又は FMR を求めるための他人による試験でも，装置の指定に従った
発声がなされるのが望ましい。指定テキストがどのように生成され制御されるかはできる限り記録し，報
告するのが望ましい。他人試験において，男性の登録データに対して女性が試したケース及びその逆のケ
ースについては記録し，報告するのが望ましい。
JA.5.5 詐称者による試行に関するモダリティ特有の方針（ステップ 4）
JA.5.5.1
詐称者による試行に関する方針
音声及び署名など行動的なモダリティについて正確な評価を行うためには，詐称者が別の被験者の行動
をまねることによる試行の影響を考慮する必要がある。例えば，行動的モダリティによる認証の際の運用
性能は，他人に因る詐称行動の種類及び作用によって影響されることが知られている。表 JA.2 のように，
詐称者の偽造試行のレベルは少なくとも 4 種類に分けられる。
表 JA.2－ 詐称者の偽造試行のレベル
偽造の種類
内容
無作為偽造（ゼロエフォ
ートな他人による入力試
行）
偽造者は，あたかも自分の登録データに対して自分が真正な認証を求めているがごと
く，自らの生体特徴を提示する。
単純偽造
偽造者は，提示すべき生体特徴がどんなものであるかについての知識はもっているが，
格段の偽装努力は行わない。例えば，署名認証で書くべき名前は知っているが筆跡を
模倣しようとはしない場合など。
模倣偽造
偽造者は正しい生体特徴を努力してまねる。
訓練偽造
偽造者は，多くは本人の入力過程の観訓練の後，生体特徴を静的・動的に模倣・模
写する。
無作為偽造による FAR はこれより高度な偽造の場合より低い(偽造成功率が低い)と考えることができる。
音声認証の場合，詐称者があらかじめ真正なユーザの発声を聞いておくことによって，詐称成功率を高め
ることができる。発声を模倣する訓練を行えばさらに高めることができる。誤受入の可能性は，詐称者と
真正なユーザとが同性の兄弟姉妹，双子，親子であった場合には，さらに大きくなる。歩き方による認証
の場合も，他人が認証者の歩き方を見る機会があった場合，さらには認証者の歩き方を訓練した場合は，
性能評価結果は異なることになる。
行動的なモダリティに関して信頼のおける試験結果を得るためには，詐称者の偽造努力の程度を考慮に
入れる必要がある。他人からのデータの収集に関する方針は，計画の段階で決定するのがよい。データ収
集に関する判断及び決められた方針は記録され，評価報告書で報告するのが望ましい。
テクノロジー試験又はシナリオ試験では，無作為偽造を他者試行の基準にしないほうがよい。運用試験
では，他人が詐称を図る際の動作として無作為偽造が妥当な場合，これを試験で用いることもできる。性
能試験の結果は偽造試行の種類及び程度に大きく依存するため，運用試験で用いられた偽造試行の種類な
どの詳細が結果報告書で報告するのが望ましい。
JA.5.5.2
署名の場合の例
署名認証の性能試験において，詐称者による偽造試行の程度を扱う場合，表 JA.3 にある偽造のレベル分
けが参考になる。
表 JA.3‐ 署名における偽造程度のレベル分け例
レベル
説明
種類
0
無作為偽造。偽造者は適当な名前で署名する
1
偽造者は，正しい名前を知っているが正しい綴りの知識はない(Steven
か Stephen か， Jon か John かの区別を知らない。) 。1)
ブラインド偽造(詐称
者は署名の形状の知
識なし
2
偽造者は，活字などで正しい名前の綴りを見たことがあるが，署名を見
たことはない。
3
偽造者は，正しい署名を(手紙・小切手などで)一度だけ見た
4
偽造者は，正しい署名の幾つかのサンプルを見た (さらに，その他の手
書き文書サンプルなども見られる。)
5
偽造者は，正しい署名が本人によってなされる様子を１度だけ見た。
6
偽造者は，正しい署名が本人によってなされる様子を何度も見た(署名の
様子の記録テープを繰返しみることができる場合も含む。)。
7
本人支援のある偽造。本人がわざわざ署名のまね方を教授する。
8
ツール支援のある偽造。偽造者は，本人の署名プロセスのデジタルデー
タなどをもち，これを用いて署名の速度，筆圧，軌跡などを複数回訓練
できる。
注 1)
静的偽造(書かれたあ
との署名は見るが，
署名される過程は知
らない。)
観察に基づく偽造(署
名過程を観察でき
る。)
支援つき偽造(本人又
はツールによる。)
日本語の場合，祐二か勇治か，坂井か境か，など。
署名認証の性能試験では，(表 JA.2 の)訓練偽造を他者試行の基本とするのがよい。しかし，実際には他
者による訓練偽造のデータをそれぞれの被験者ごとに多数集めるのは困難である。したがって，その問題
を解決するためには，すべての被験者について同じ単語(群)を用い，各被験者から静的及び動的（例：ペン
の軌跡，ペンの傾斜角又は筆圧のかけかたなど）な署名データを集めるというのが実際的な対応となる。
この方針によって集められた一組のサンプルデータは，同じ被験者から得られたデータである場合には本
人試行の，異なる被験者から得られたデータである場合には他者試行のサンプル対として試験に用いるこ
とができる。偽造試行については，前もっての知識・訓練の程度に応じて，単純偽造，模倣偽造，又は訓
練偽造のいずれかに分類することができる。性能試験の結果は，用いる署名の形状及びデザインによって
大きく影響されるため，複数の署名デザインを用いるのがよい。
例 1: 署名認証の技術評価の場合
FNMR を求めるための本人試験でも又は FMR を求めるための他人による試験でも，他人は多くの場合，
真正な署名の内容(文字列)についてある程度の知識をもっていると考えられる。偽造試行のレベルは記録し，
報告するのが望ましい。レベル分けの例としては表 JA.2 及び表 JA.3 がある。
例 2: 署名認証の運用評価の場合
多くの場合，本人の姓名が署名の用いられることから，他人試行の被験者は本人の姓名を知ってこれを
用いるのがよい。
JA.5.5.3
例
音声の場合
テキスト依存及びテキストに従った音声認証の試験においては，同じような考え方を適用する。しかし，
発声に基づいた認証では，ランダム偽造以外の作用はあまり明確に表れないため，単純偽造を利用して偽
造に因る試みを作成するにとどめるだけで十分である。
JA.5.6 評価結果の報告法に関するモダリティ特有の方針（ステップ 5）
ユーザの身元を特定(識別)するシステム（例：監視カメラや自動指紋識別システム（AFIS））で主に用
いられるモダリティ，又は多くのケースで管理者による目視などでの結果の確認を伴うアプリケーション
で利用されるモダリティにおいては，累積識別率(CMR)がシステムの性能を評価するための重要な尺度と
なる。CMR は，ある識別システムが，同一の個人から得た二つのサンプル特徴を，与えられた類似範囲内
にあると正しく判断する確率と定義することができる。CMR は事実上，識別結果において，所定の順位以
内の候補群の中に正解が現れる確率を示す尺度として利用できる。
このような性能は，順位ごとの CMR の変化を表した累積識別精度特性（CMC）グラフで示す事ができ
る。図 JA.2 に示すように CMC グラフでは，横軸で与える順位内の候補として，ある特定の人間が識別さ
れる確率を示す CMR を縦軸にプロットする。
特定の影響因子に関する識別システムの安定性は，頑強性試験から得られた CMC の変化によって表すこ
とができる。CMC の変化は，影響因子の変化に伴って，CMR がどのように変化するかを表したものであ
る。CMC の変化は図 JA.3 のグラフのように，与えられた影響因子に関するパラメタの変化に対応するク
ラス分けを横軸にとり，それに対応する CMR を縦軸にプロットすることで表すことができる。
累積識別特性
1
評価限界値
0.95
累積識別率
0.9
0.85
0.8
0.75
0.7
0.65
被験者：200人
0.6
0
10
20
Rank
30
40
50
図 JA.2‐CMC グラフ
注記 19795-3 Figure 2 には評価限界値直線の記載がない。図 JA.2 は評価限界値曲線を記載するため
に、TRX0086:2003 から対応する図を掲載した。
1
累積識別変動特性
評価限界値
累積識別率
0.9
0.8
0.7
0.6
Rank=10以内
0.5
クラス０ クラス１ クラス２ クラス３ クラス４
パラメータ変動内容
図 JA.３‐CMC 変化
注記 19795-3 Figure 3 には評価限界値直線の記載がない。図 JA.3 は評価限界値曲線を記載するため
に、TRX0086:2003 から対応する図を掲載した。
JA.6.
JA.6.1
モダリティ特有の精度影響要因の評価
安定性能評価試験
ここでは“安定性能評価試験”について規定する。これは，精度影響要因の効果を知るための，任意で
かつモダリティ特有の評価試験である。精度影響要因の例としては，生体的要因，社会的要因，及び環境
的要因があり，これは評価計画手順のステップ１で分析されている。
一般的に，技術評価においては環境要因の効果を考慮しない。しかし，顔又は音声といった幾つかのモ
ダリティでは，非常に様々な要因の影響を強く受ける可能性がある。これらの性能への影響を定量化する
ために，“安定性能評価試験”を導入することができる。これは，各性能影響要因の効果を明らかにし，
定量化するように計画されたものである。安定性能評価試験は，技術評価やシナリオ評価と並行して行わ
れることを想定している。
安定性能評価試験はどのような種類の要因が性能に影響を与え，性能が各要因の変化に対してどれだけ
敏感かを知るために用いられる。
例えば，顔認証システムの認証精度は，次を含む様々な要因の影響を受ける。
被験者の生体的又は行動的特性:
‐ 不変な要因:
性，人種
‐ 可変な要因:
‐
生物学的特性:
‐
習慣及び社会的特性:
無，服装
注記
年齢，身長，体重など身体的計測結果，機能的な障害の有無又は程度
職業，喫煙習慣，髪型，化粧，メガネ，コンタクトレンズなどの
有
19795-3 で職業は不変な特性に分類されている。検討のうえ，可変な特性の習慣及び社会的
特性に分類を変更した。
バイオメトリクス装置又はセンサ，アプリケーションに関係する環境因子。例えば，:
‐ 照明
‐ 普通の白熱灯，蛍光灯，タングステンランプ，ハロゲンランプ，反射型ライト，(発光ダ
イオード(LED)，太陽光，など
‐ 照明光源の位置 (被験者の上方，下方，右，左，背後など)
一般的に，このような要因が精度に与える影響は，特定の“シナリオ”をそのシステムの使用法に導入
することで減らすことができる。例えば，幾つかのシステムにおいて，指の回転が指紋認証精度を劣化さ
せるのであれば，ユーザに指を適切な方法で置くように指示することで，この種の影響は多くの場合軽減
することができる。
しかし，顔認証において，ユーザにこのようなシナリオ通りに使ってもらおうとしても，常にうまくい
くとは限らない。なぜならば，顔ベースの認証システムでは，監視システムのように，被験者が必ずしも
協力的でなくて良いアプリケーションに用いられると考えられるからである。評価者，すなわち，様々な
要因の変化による精度劣化の度合いを調べることで生体認証システムの性能の安定性を評価する必要のあ
るシステム構築者が，安定性能評価試験の必要性を強く感じるという現象も，今まで多く見られてきた。
生体認証システムの安定性は，認証結果の ROC カーブの変化をもって報告することができる。この
ROC カーブの変化は，FNMR 及び FMR といった誤り率がパラメタの変化に従ってどのように変化するの
かを表すグラフ（図 JA.4）で示すことができる。
照合精度変動特性
誤合致率／非合致率
1
誤非合致率
誤合致率
しきい値T=L2
0.1
評価限界値PFNMR
評価限界値PFMR
0.01
クラス０
クラス１ クラス２ クラス３
パラメータ変動内容
クラス４
図 JA.4‐ ROC 曲線変化
注記 19795-3 Figure 4 には評価限界値直線の記載がない。図 JA.4 は評価限界値曲線を記載するため
に、TRX0086:2003 から対応する図を掲載した。
JA.6.2
基本的な例：顔の場合
すべての環境要因を評価するのは現実的ではないので，管理者は評価前に，関連のある環境要因とその
要因の範囲をシナリオから選ぶのがよい。また，管理者はデータ取得状況を記述するのが望ましい。顔認
証システムに関連する，主な性能影響要因の幾つかの例を表 JA.４に示す。
表JA.４‐主な精度影響要因の例
（顔認証システムの場合）
パラメタ
生体的要因
遺伝的要因
パラメタの説明
誤り率への影響
被験者の協力 定量化
不可能
困難
標準化の扱い
基本性能評価試験
遺伝的要因による
サンプルの条件が設
画像を取得した場
顔形状及び色の変
計・学習したものと異
所（国，都市）日
化
なるときに，誤り率増
付，刻印を明記
安定性能評価試験
基本性能評価に順ずる。
加
健康状態
病気又は怪我によ
サンプルの条件又は状
る顔形状及び色の
況が設計・学習したも
変化
のと異なるときに，誤
不可能
困難
記述の必要なし
記述の必要なし
不可能
可能
各条件における分
基本性能評価（年齢の影響は
布を明記
無視）と比較するため，各条
り率増加
年齢
年齢に起因する，
サンプルの条件が設
顔形状，皮膚の弾
計・学習したものと異
力性，しわ，色の
なるときに誤り率増
変化
加。しかし，一般的に
件における照合精度を明記
は，若年成年が良い結
果を与える
性別
サンプルの条件が設
不可能
可能
計・学習したものと異
各条件（男女）に
基本性能評価（性別の影響は
おける分布を明記
無視）と比較するため，各性
なるときに，誤り率増
別における照合精度を明記。
加。他の要因と相関が
高い場合が多い事に注
意
表情
表情変化による顔
サンプルの条件及び状
協力の有無，及び
１）表情に関する指示内容へ
形状，しわの変化
況が設計・学習したも
関連する詳細を明
の精度の依存性，又は２）管
のと異なるときに，誤
記。
理者が設定した表情カテゴリ
り率増加。無表情に近
い方が精度は良い。
可能
困難
ーへの精度の依存性を明記。
社会的要因
職業
特有の外観変化を生じ
不可能
困難
る場合に誤り率が増加
各条件における分
各職業グループにおける照合
布を明記
精度を比較のために明記。管
するが，指紋ほど顕著
理者は職業カテゴリーを任意
ではない。
髪型・ひげ/
ひげ，顔を覆う髪
サンプルの条件が登録
化粧，等
型，唇・眉等の化
粧，刺青，シャド
に設定してよい。
可能
困難
対応できないデー
管理者がカテゴリーを明確に
時の条件と異なるとき
タを除去してもよ
し，カテゴリー間の精度変化
に，誤り率増加。
いが，異なる条件
特性を明記。
ー，ハイライト，
及び対応率を明
眼帯，マスクなど
記。
の付帯物を含む。
眼鏡
眼鏡の装着率を明
眼鏡の着脱による外観上の変
時の条件と異なるとき
記する。また対応
化に対する精度特性を明記。
に，誤り率増加。誤り
できないデータを
例示画像を提供する。
率は，眼鏡の変化，そ
除外してよいが，
の結果生じる影及び反
対応率を明記。
サンプルの条件が登録
可能
困難
射の変化にも影響をう
ける。
環境的要因
姿勢
照明
カメラに対する顔
サンプルの条件が登録
固定したカメラに
カメラと顔との相対的な関係
の向き
時の条件と異なるとき
対して，ほぼ一定
を管理者が分類し，分類ごと
に，誤り率増加。正面
の姿勢で撮影す
の精度変化特性を明記
顔が普通の状況と決め
る。協力の有無，
られている。斜め，側
及び関連する詳細
面では誤り率増加。
を明記。
可能
不可能
可能
照明の方向及び光
サンプルの条件が登録
可能だが，他の
ほぼ固定。石膏球
照明条件ごとに試験を行い，
の数
時の条件と異なるとき
パラメタとの融
を用いて，照明条
石膏球の条件ごと，及び照明
に，誤り率増加
合が必要
件を明確にする。
条件ごとの精度変化特性を明
記。
背景
撮影した際の背景
解像度
時間間隔
背景の複雑度が増すと
可能だが他のパ
背景を固定。サン
背景ごとの精度変化特性及び
切り出し困難で誤り率
不可能
ラメタと融合が
プル背景を明示。
背景画像を提示。
増加。
必要
撮影時の距離，画
サンプルの条件が登録
カメラの FOV 1)，
複数のパラメタにおける精度
像解像度
時の条件と異なるとき
画素数，顔までの
変化特性を明記。
に，誤り率増加
距離
登録時から認証時
時間変化があると誤り
までの時間
率増加
不可能
不可能
可能
可能
時間間隔を固定。
登録から照合までの経過時間
登録用データ～認
をパラメタとして，照合精度
証要データの最短
をプロットする。
収集時間間隔を記
載。
歪み
注
1)
登録用データ～認
時間間隔が変化したときの精
時の条件と異なるとき
証要データの時間
度変化特性を明記。
に，誤り率増加
間隔の分布を明記
サンプルの条件が登録
不可能
可能
FOV Field of View，視野角。広い視野角で撮影した写真では，狭い視野角で写した場合と比較して，
相対的に対象物が小さく写る。
JA.6.3
他の例： 指紋，虹彩，静脈，及び音声の場合
他のモダリティに対する評価を行うときは，管理者は他の要因の効果を考えなければならない。指紋認
証を例にとると，湿度，皮膚の状態などを考えなければならない（表 JA.５参照）。虹彩認証の場合は，
照明の状況，眼鏡，コンタクトレンズ，及び眼病を考えなければならない（表 JA.６参照）。静脈認証の
場合は，起床時間，薬の効果を考慮する必要があるかもしれない（表 JA.７参照）。音声認証における主
要な影響要因の例を表 JA.８に挙げる。
表 JA.５‐主な精度影響要因の例
（指紋認証システムの場合）
パラメタ
パラメタの説明 誤り率への影響
被験者の協
力
標準化の扱い
定量化
基本性能評価試
験
安定性能評価試験
生体的
怪我（切断，
サンプルの条件
要因
健康状態
切り傷，裂
及び状況が設
）
傷，引っかき
計・学習したも
傷等）による
のと異なるとき
指外観の変化
に，誤り率増加
年齢に起因す
サンプルの条件
る，指の形，
が設計・学習し
皮膚の弾力
たものと異なる
と比較するため，
性，しわの変
ときに誤り率増
各条件における照
化
加。しかし，一
合精度を明記
年齢
不可能
不可能
困難
可能
記述の必要な
記述の必
し
要なし
各条件におけ
基本性能評価（年
る分布を明記
齢の影響は無視）
般的には，若年
成年が良い結果
を与える
肌の状態
生理学的又は
サンプルの条件
協力の有無，
１）肌の状態に関
物理的理由に
及び状況が設
可能
困難
及び関連する
する指示内容への
よる，肌の状
計・学習したも
詳細を明記。
精度の依存性，又
態，湿り又は
のと異なるとき
は２）管理者が設
乾燥の変化
に，誤り率変
定した肌の状態カ
化。状態変化が
テゴリーへの精度
少ない方が精度
の依存性を明記。
は良い。
利き手又は
スイープスキ
被験者逆手を使
使ったのが利
基本性能評価試験
逆手
ャナを使った
ったときに，誤
可能
可能
き手か逆手か
に同じ
ときの指の動
り率増加。
明記する
きの変化
指の種類
どの指を認証
例えば，指輪又
（指の大き
に利用したか
は小さな指が使
可能
可能
使われた指を
違う種類の指の照
明記する
合精度を明記する
各条件におけ
各職業グループに
る分布を明記
おける照合精度を
われたときに誤
さ等）
り率増加
社会的
職業又は生
要因
活様式
（庭いじり，
金属工芸，運
肌の状態が悪化
動，日曜大工
等の）職業や
誤り率が増加。
不可能
困難
している場合に
比較のために明
記。管理者は職業
習慣としてい
る趣味に因る
カテゴリーを任意
に設定してよい。
荒仕事，研磨
作業，角質化
又は あかぎ
れ，指の肌の
変化
環境的
時間間隔
要因
登録から認証
時間間隔を引き
時間間隔を固
登録からパラメタ
にかかる時間
伸ばすとき，誤
定する。登録
照合までの時間関
り率増加
データ取得か
係について正確に
ら認証データ
合わせた筋道を立
取得までの最
てる
不可能
可能
も短い時間を
表記する。
ゆがみ
ゆがみはスキ
サンプル条件が
登録データ取
時間間隔が変化し
ャナの特性に
登録時の条件と
不可能
可能
得から認証デ
たときの精度の変
よって生じる
異なるときに誤
ータ取得まで
化を明記
り率増加。
の時間間隔の
ゆがみを明記
スキャナ
スキャナの能
サンプルの条件
不可能
困難
状況を固定。
異なる指紋認識シ
力（照明，背
が登録時の条件
自動補正等の
ステム間の精度の
景，解像度又
と異なるとき
協力の有無を
変化を明記。
は歪曲），時
に，誤り率増
明記。
間，スキャン
加。
数
湿度及び湿
温度及び湿度
肌の状態やスキ
可能（ある 可能
度
は肌の状態及
ャン制度が割合
程度は，例
状態を明記
通常の状態変化に
よる精度の変化を
びスキャン精
により影響され
えば乾燥指
明記
度に影響する
る場合，誤り率
は布で擦
増加
る）
表 JA.６‐主な精度影響要因の例
（虹彩認証システムの場合）
パラメタ
生体的要因
パラメタの説明
誤り率への影響
被験者の協力
健康状態
病気，手術及び薬
による虹彩形状の
変化
サンプルの条件及び状
態が設計・学習したも
のと異なるときに，誤
り率増加
不可能
目の開放率
目をさらす広さの
変化
虹彩をさらす広さが小
さくなる場合，誤り率
増加。
定量化
困難
標準化の扱い
基本性能評価試験
安定性能評価試験
記述の必要なし
記述の必要なし
不可能（目の 可能
開放率の調整
が難しい人も
いる。）
各条件における分
布を明記
評価精度は目の開放率の変化
と関連して変化する
サンプルの条件が登録
時の条件と異なるとき
に，誤り率増加。コン
タクトレンズの種類
（透明度，色調，模
様）又はサングラス・
コンタクトレンズによ
る影及び反射によっ
て，誤り率は影響を受
ける。
可能
困難
眼鏡，コンタクト
レンズ又は裸眼を
明記。それぞれの
状態の結果を区別
する。
基本性能評価に順ずる
社会的要因
眼鏡・コン
タクトレン
ズ
環境的要因
照明
方向，赤外線の光
度，周囲の光源
照明や周囲の光源が適
当ではない場合，誤り
率増加
不可能
困難
システム推奨に大
枠で沿うこと
基本性能評価に順ずる
時間間隔
登録から認証にか
かる時間
時間間隔を引き伸ばす
とき，誤り率増加
不可能
可能
時間間隔を固定す
る。登録データ取
得から認証データ
取得までの最も短
い時間を表記す
る。
登録からパラメタ照合までの
時間関係について正確に合わ
せた筋道を立てる
表 JA７‐主な精度影響要因の例
静脈認証システムの場合
パラメタ
生体的要因
健康状態
パラメタの説明
誤り率への影響
運動，負荷，病気
サンプルの条件及びや
又は怪我による静
状況が設計・学習した
脈パターンの変化
ものと異なるときに，
センサに対する
サンプルの条件が登録
手・指の向き
時と異なるときに，誤
り率増加
被験者の協力 定量化
標準化の扱い
基本性能評価試験
安定性能評価試験
不可能
困難
記述の必要なし
記述の必要なし
可能
可能
固定したセンサに
センサと手・指との相対的な
対して，ほぼ一定
関係を管理者が分類し，分類
の姿勢で撮影す
ごとの精度変化特性を明記
誤り率増加
環境的要因
姿勢
る。協力の有無，
及び関連する詳細
を明記。
周囲の照明
周囲の照明の方向
サンプルの条件が登録
と強度
時の条件と異なるとき
不可能
困難
推奨装置を追記す
照明条件ごとに試験を行い，
る
通常状態及び実際の証明状態
時間間隔を固定す
登録から認証までの精度の関
る。登録情報獲得
係を合わせる。
に，誤り率増加
時間間隔
認証の為の登録時
時間間隔が長引くと誤
間
り率増加
精度変化特性を明記
不可能
可能
と認証情報獲得間
との一番短い時間
間隔を記録する。
温度
血管の状態に影響
温度によって血管の状
を与える温度
況が影響を受ける場
合，誤り率増加
不可能
可能
温度を明記する
通常の温度変化による精度の
変化を明記する。
表 JA.８‐主な精度影響要因の例
（音声認証システムの例）
パラメタ
健康状態
生体的要因
年齢
パラメタの説明
病気又は怪我による
音声特徴の変化
年齢に起因する音声
特徴の変化
誤り率への影響
被験者の協力 定量化
標準化の扱い
基本性能評価試験
安定性能評価試験
記述の必要なし
記述の必要なし
サンプルの条件が設計・
学習したものと異なると
不可能
困難
不可能
可能
きに，誤り率増加
サンプルの条件が設計・
学習したものと異なると
各条件における分布 基本性能評価（年齢の影響は無
を明記
きに，誤り率増加
視）と比較するため，各条件に
おける照合精度を明記
それぞれの特徴（男 基本性能評価（性別の影響は無
性別
周波数
特徴抽出方法に依存
不可能
可能
性又は女性）を明記 視）と比較するため，各性別に
おける照合精度を明記
各条件における分布 各職業グループにおける照合精
職業
音声状態及び安定性
特有の変化を生じる場合
の変化
に誤り率が増加
不可能
困難
を明記
度を比較のために明記。管理者
は職業カテゴリを任意に設定し
てよい。
サンプルの条件及び状況
社会的要因
仕事関連
教育，歌唱，勤務直
が設計・学習したものと
後，過労
異なるときに，誤り率増
不可能
困難
記述の必要なし
記述の必要なし
不可能
可能
記述の必要なし
記述の必要なし
不可能
可能
静寂/騒音を明記
不可能
困難
加。
サンプルの条件及び状況
が設計・学習したものが
言語
母国語，非母国語
不安定な発音であるなど
異なるときに，誤り率増
加。
騒音
歪み
反射
背景の騒音，声の重
複
騒音及び歪みによって誤
装置や伝達手段によ
り率は増加する。
環境要因
発音手段及び伝達手
段による反射
数，アナログ・デジ
タル分解，データ圧
縮，ビット長
伝達手段
時間間隔
性を明記
る歪み
サンプリング周波
機器の特性
幾つかの静寂/騒音状況の照合特
サンプルの特徴が登録し
たものと異なるときに，
反射特徴を明記
誤り率増加
サンプルの特徴が登録し
たものと異なるときに，
不可能
可能
特徴を明記
不可能
可能
使った手段を明記
不可能
可能
誤り率増加
固定電話，ゾーン方
誤り率は伝達手段の特徴
式の電話，直接会話
に依存する
登録から照合までの
時間間隔を引き伸ばす
時間
とき，誤り率増加
代表的な状況での照合特性を明
記
代表的な状況での照合特性を明
記
代表的な状況での照合特性を明
記
時間間隔を固定す
登録からパラメタ照合までの
る。登録データ取
時間関係について正確に合わ
得から認証データ
せた筋道を立てる
取得までの最も短
い時間を表記す
る。
行動的要因
発生の競合
注意深い発言，騒が
しい発言
サンプルの特徴が登録し
たものと異なるときに，
可能
困難
注意深い発言を利用
不可能
困難
通常の発言を利用
不可能
可能
平均的な値を利用
不可能
可能
不可能
可能
誤り率増加
サンプルの特徴が登録し
感情
発言の感情要因
たものと異なるときに，
誤り率増加
サンプルの特徴が登録し
発言の程度
発音速度
たものと異なるときに，
誤り率増加
（連続した数字，名
声とする言葉 前，市/町，新聞の記
発生方式
発音される言葉の種類は
行動的要因として表れ
事等）
る。
読書，自発的な発
発音方式は安定した発生
音，反復
に影響する。
代表的な状況での照合特性を明
記
代表的な状況での照合特性を明
記
代表的な状況での照合特性を明
記
発音される言葉の種 代表的な言葉の種類での照合特
類を明記する。
発音方式を表記す
る。
性を明記
代表的な発音方式を明記
標準化の扱い
安定していない発言でテ
馴化
JA.7
（例えば，最低でも
発言の安定度（しば
ンプレートを登録した
しば流暢さが影響す
後，順化して安定した発
３回等の）発言練習
る。）
言になった場合，誤り率
定した後に登録す
増加
る。
不可能
困難
をさせて，発言が安
練習量と登録前の安定度による
精度の変化を明記する。
新規モダリティに対応するための試験設計の原則
新規なモダリティに基づくバイオメトリクス技術が開発された際には，次の手順を踏んでこのモダリテ
ィに対応する試験を設計するのが望ましい。
まずは，前の箇条までに定義されたように，影響要因を特定する。
ついで，この検討結果に基づいて，試験手順を設計するのがよい。
この附属書で触れられていない要因が予想される場合には，これらの要因を考慮する必要性があるか否
か，又は考慮するとすればどのように扱うかについて検討するのがよい。
参照文献
[1] ISO/IEC JTC1/SC 37 N101, Evaluation Method for Accuracy of Fingerprint Authentication Systems
注記 TR X 0053:2002に対応する。
[2] ISO/IEC JTC1/SC 37 N99, Evaluation Method for Accuracy of Face Authentication Systems
注記 TR X 0086:2003に対応する。
[3] ISO/IEC JTC1/SC 37 N102, Evaluation Method for Accuracy of Iris Authentication Systems
注記 TR X 0072:2002に対応する。
[4] ISO/IEC JTC1/SC 37 N555, Method of Evaluating the Accuracy of Blood Vessel Pattern Authentication Systems
注記 TR X 0079:2003に対応する。
[5] ISO/IEC JTC1/SC 37 N554, Method for Evaluating the Accuracy of the Voice Authentication System
注記 TR X 0098:2004に対応する。
[6] ISO/IEC JTC1/SC 37 N553, Method for Evaluating the Accuracy of a Signature Authentication System
注記 TR X 0099:2004に対応する。
[7] ISO/IEC 19795-1, Information technology — Biometric performance testing and reporting — Part 1:
Principles and framework
注記 本規格群第1部に対応する。
[8] ISO/IEC 19795-2, Information technology — Biometric performance testing and reporting — Part 2:
Testing methodologies for technology and scenario evaluation
注記 本規格に対応する。
[9] ISO/IEC 17025, General requirements for the competence of testing and calibration laboratories
注記 JISQ17025に対応する。
[10] PHEASANT, S. Bodyspace: Anthropometry, Ergonomics, and the Design of Work. 3rd ed, ed.C. Haslegrave. 2006,
Boca Raton: Taylor and Francis. 332
附属資料３ バイオメトリクス認証装置の精度評価方法関連の工業標準用語案
バイオメトリクス工業用語案
用語
対応英語
1対多比較
one-to-many comparison
1対多検索
one-to-many search
誤り率
error rate
意図的な偽造による入力試行
active forgery attempt
意図的な偽者による入力試行
active imposter attempt
オフライン評価
オンライン評価
offline evaluation
online evaluation
カード外マッチング
off-card matching
カード内マッチング
on-card matching
偽装されたテンプレート
impersonated template
共通バイオメトリック交換フォーマッ
CBEFF
トフレームワーク
共通バイオメトリック交換フォーマッ Common biometric exchange
トフレームワーク
formats framework
誤受入識別率
biographical information
false positive identification
(error) rate
FPIR
行動に基づく生体認証
behavioural biometrics
コーパス
corpus
false negative identification
(error) rate
FNIR
biometric instance
経歴情報
誤受入識別率
誤拒否識別率
誤拒否識別率
個別部位のバイオメトリックデータ
定義
バイオメトリック入力データを登録データーベースに保存されている複数のバイオメト
リック参照データと比較すること。
バイオメトリック入力データを登録データーベースに保存されている複数のバイオメト
リック参照データと比較して合致するものを探すこと。複数の候補が選ばれることもあ
る。
判定を誤った割合。入力試行数、比較回数、運用判定回数などを単位に計算される。
似せたもしくは複製したバイオメトリックサンプルまたは故意に改変した自分のバイオ
メトリック特徴量を提示することによって、合致すべきでないバイオメトリック参照
データと合致させることを目的とした入力試行。
意図的に他人になりすまして入力試行を行うこと。
参照：意図的な偽造による入力試行（active forgery attempt）
評価試験前にバイオメトリックサンプルを取得して行う評価。
評価試験中にバイオメトリックサンプルを取得して行う評価。
カードに記録したバイオメトリック参照データをカード外へと読み出し、バイオメト
リック入力データとの比較をカード外で実行する手法。
カードに記録したバイオメトリック参照データをカード外へ出さず、バイオメトリック
入力データとの比較をカード内で実行する手法。
(略)
Common biometric exchange formats frameworkの略語。
バイオメトリック技術に基づいたアプリケーションまたはシステムの相互運用を促進す
るために、バイオメトリック情報の標準的なデータ構造を定義したもの。ヘッダー部、
バイオメトリックデータ部、セキュリティ部の3つのデータ領域により構成される。
(略)
識別処理において、本人でない者が本人であると識別される割合。
false positive identification (error) rateの略語。
行動的特徴を用いる生体認証。行動的特徴には、声紋、署名、歩き方などがある。
参照：身体的生体認証 （physiological biometrics）
収集されたバイオメトリックサンプルおよびバイオメトリック特徴量の集まり。
識別処理において、本人が本人でないと識別される割合。
false negative identification (error) rateの略語。
生体認証に用いられる個別部位ごとの生体情報。
コホート
cohort
コホート登録
cohort enrolment
参照モデル
model
試行回数限度
シナリオ評価
取得
attempt limit
scenario evaluation
acquisition
身体的生体認証
physiological biometrics
セッション
session
ツール支援のある偽造
提出
データ取得
technology assisted forgery
submission
data acquisition
データベース分割誤り
binning errors
データベース非分割(ビンレス)法
bin-less
データベース分割(ビニング)法
binning
データベース分割絞込み
binning　penetration
テキスト依存型（キーワード発話方
式）音声認証
テキスト指定型（会話内容指定方
式）音声認証
テキスト独立型（自由発話方式）音
声認証
テクノロジー評価
テンプレート
text-dependent voice
authentication
text-prompted voice
authentication
text-independent voice
authentication
technology evaluation
template
複数の人からなる集団を個人と同様に扱うタイプの生体認証における集団を指す。な
お、識別・認証処理の精度を改善するために、複数の登録者間のバイオメトリックデー
タの正規化を行うことをcohort normalizationという。
(略)
例えばニューラルネットや隠れマルコフモデルなどを用いて合致を判定する場合は、バ
イオメトリック参照データに相当する情報が回路やモデルに包含される。これらにおい
ては、回路またはモデルを「参照モデル」と呼ぶ。
参照：バイオメトリック参照データ（biometric reference）
１トランザクションあたりの試行回数の上限。
バイオメトリックシステムに対する具体的な利用を想定した評価。
センサを通じて生体情報を得ること。
身体的特徴を用いる生体認証。身体的特徴には、顔、指紋、静脈、虹彩、掌形、耳介、
体臭、DNAなどがある。
参照：行動に基づく生体認証（behavioural biometrics）
評価用バイオメトリックデータの収集の一つの期間。例えば、テスト用データを一ヵ月
後と一年後に収集する場合は異なるセッションになる。
詐称者が、本人のデジタルデータを参考に訓練した上で、他人との照合を試みること。
利用者のバイオメトリックデータの提出。
(略)
データベース分割法を用いて1対多の比較を行う際、バイオメトリック参照・入力デー
タの指標に基づいてのデータベースのグループの選択を間違うこと。
1対多の比較の際、データベース分割法を適用しない手法。
参照：データベース分割法 （binning）
1対多の比較処理の高速化手法の一つ。データベース中のバイオメトリック参照データ
を、何らかの基準に基づいて計算した指標によって、複数のグループに分割する。比較
の際には、バイオメトリック入力データの指標を同様に計算し、その指標に基づいて比
較を行うグループを選択する。
データベース分割法を用いて1対多の比較を行う際、バイオメトリック入力データの指
標に基づいてデータベースのグループを選択すること。
前もってキーワードを定めるタイプの音声認証。
認証時に発声するキーワードを指示するタイプの音声認証。
発声する内容を問わず認証を行うタイプの音声認証。
事前に収集したバイオメトリックサンプルを用いた照合アルゴリズム評価。
バイオメトリック参照データに同義。
テンプレート更新
テンプレート老化
登録，生体情報登録
登録者限定識別
登録者非限定識別
トランザクション
バイオメトリックアプリケーション
バイオメトリックアルゴリズム
バイオメトリックサブタイプ
バイオメトリックサンプル
バイオメトリック識別システム
バイオメトリックタイプ
バイオメトリックデータ
バイオメトリックテンプレート
バイオメトリック特性
バイオメトリック参照データ
バイオメトリック参照データ順応
バイオメトリック参照データ生成器
バイオメトリック特徴量
判定
比較
例えばテンプレート老化を考慮して、バイオメトリック参照データ（テンプレート）を
更新すること。
時間の経過とともに本人の生体情報が変化し、システムに登録されているバイオメト
template ageing
リック参照データ（テンプレート）が古くなること。
(略)
enrolment
全被験者が登録データベースに登録されている状態での識別。
closed-set identification
全被験者が登録データベースに含まれているとは限らない状態での識別。
open-set identification
バイオメトリックシステムにおける登録または認証の処理。１回のトランザクションあ
transaction
たり、少なくとも１回以上の試行を含む。
biometric application
(略)
biometric algorithm
(略)
生体認証に用いるモダリティの個別部位。例：指紋のうち右手人差指、虹彩のうち右目
biometric subtype
など。
biometric sample
センサを通じて取得した、その都度の生体情報。
biometric identification system (略)
生体認証に用いるモダリティ。
biometric type
参照：モダリティ （modality）
biometric data
生体認証に用いられる生体情報の総称。
バイオメトリック参照データからバイオメトリック特徴量を抽出して電子データとして
まとめたもの。単に「テンプレート」と呼ぶこともある。
Biometric template
参照：バイオメトリック特徴量（biometric feature）、テンプレート (template）
生体認証に用いられる生体情報の性質。
biometric characteristics
登録データベースに登録されているバイオメトリック特徴量または参照モデル。合致を
判定する際の基準として参照される。
biometric reference
参照：バイオメトリック特徴量（biometric feature），参照モデル（model）
バイオメトリックデータの変化に応じて、バイオメトリック参照データを更新するこ
biometric reference adaptation
と。
バイオメトリックサンプルをバイオメトリック参照データに変換する機械・機能・処
biometric reference generator
理。
biometric feature
生体認証に用いられる生体情報の特徴を数値もしくは文字列で表したもの。
比較を行った結果から、バイオメトリック入力データとバイオメトリック参照データが
同じ人物からのものであるか否かを判定すること。判定不能の判断を含める場合もあ
る。正確には、比較結果に基づく判定（comparison　decision）と、その他の要因（シス
decision
テム運用上のエラーやバイオメトリックサンプルの品質不足など）に基づく判定
（application　decision）を区別するべきである。
入力されたバイオメトリックサンプルまたはそこから抽出したバイオメトリック特徴量
comparison
と、システムに登録されているバイオメトリック参照データとの類似度（または非類似
度）を計算すること。
template updating
ブラインド偽造
blind forgery
プローブ画像
probe image
本物
genuine
マッチングスコア
マルチモダリティ
matching score
multimodality
無作為偽造
zero-effort forgery/random
forgery
モダリティ
modality
累積識別率
cumulative matching rate
類別
運用評価
影響因子
管理者
demographic data
operational evaluation
influencing factor
administrator
観察に基づく偽造
observation based forgery
頑強性試験
偽造
偽造の種類
偽造の程度
robustness test
forgery
forgery type
forgery level
偽物
訓練偽造
検出エラートレードオフ曲線
検出エラートレードオフ曲線
誤拒否率
誤拒否率
誤合致率
誤合致率
誤受入率
誤非合致率
誤非合致率
詐称者が、本人のバイオメトリック情報を知らない状態で、他人との照合を試みるこ
と。
バイオメトリック入力データの画像。
精度評価において、本人のバイオメトリック入力データのことを指す。「本人」、「同
一」と同義。
類似度に同義。
2つ以上のモダリティを組み合わせること。
利用者が自分のバイオメトリックデータを変形させることなく他人との照合を試みるこ
と。テクノロジー評価においては、他人のバイオメトリックデータを変形させることな
くそのまま用いてテストを行うこと。
生体情報の種類。顔、指紋、静脈、虹彩、掌形、耳介、体臭、DNA、声紋、署名、歩き
方など。
識別精度の評価指標の一つで、1対多の比較処理の結果、類似度の上位n位以内に合致す
べきバイオメトリック参照データが含まれる割合。
性別や年齢などの人口統計学的なデータ。
バイオメトリックシステムに対する実際の運用を想定した評価。
性能に影響を与える要因。
バイオメトリックシステムの運用または評価を行う者。
詐称者が、本人の動的なバイオメトリック情報を観察した上で、他人との照合を試みる
こと。
影響因子がバイオメトリックシステムの性能に与える影響を評価する試験。
バイオメトリクスの偽造・模倣。
偽物方法の種類。
偽造の入念さの程度。
他人に成りすます行為およびそれを行う人。精度評価においては、本人以外の人間のバ
イオメトリック入力データのことを指す。偽造物を含める場合もある。「他人」と同
義。
詐称者が、本人の入力過程を観察・訓練した上で、他人との照合を試みること。
Skilled forgery
DET curve
DET曲線，検出エラートレードオフ曲線の略語。
detection error trade-off curve 誤合致率をx軸，誤非合致率をy軸にプロットしたグラフ。
false reject rate
認証されるべき利用者が誤って認証されなかったトランザクションの割合。
false reject rateの略語。
FRR
合致してはいけないバイオメトリック参照データに誤って合致した試行の割合。
false match rate
false match rateの略語。
FMR
認証されるべきではない利用者が誤って認証されたトランザクションの割合。
false accept rate
合致すべきバイオメトリック参照データに誤って合致しなかった試行の割合。
false non-match rate
false non-match rateの略語。
FNMR
impostor
絞り込み率
合致
支援つき偽造
識別
識別順位
識別率，正受入識別率
取組みレベル
取得失敗率
取得失敗率
習熟
順化
照合
照合候補事前選択(プリセレクショ
ン)アルゴリズム
照合候補事前選択誤り
照合精度特性曲線
照合精度特性曲線
情報源不適合率
正受入識別率
請求身元
静的偽造
対象母集団
単純偽造
照合候補事前選択アルゴリズムによって選別されたバイオメトリック参照データ数の、
バイオメトリック参照データ総数に対する割合。複数のトランザクションの平均値で示
penetration rate
される。
参照：照合候補事前選択アルゴリズム（pre-selection algorithm）
照合を行った結果、バイオメトリック入力データとバイオメトリック参照データが同じ
match
人物からのものであると判定されること。
本人支援のある偽造とツール支援のある偽造を含めたもの。
参照：本人支援のある（victim assisted forgery）、偽造ツール支援のある偽造（technology
assisted forgery
assisted forgery）
複数のバイオメトリック参照データの中からバイオメトリック入力データと合致するも
identification
のを探すこと。
比較処理によって類似度の高い順に複数のバイオメトリック参照データを並べたとき
identification rank
に、合致すべきバイオメトリック参照データが現れた順位。
識別処理において、本人が本人であると識別される割合。
(true-positive) identification
effort level
登録または認証１回あたりのバイオメトリックサンプルの入力回数。
バイオメトリックサンプルまたはバイオメトリック特徴量の取得に失敗した試行の割
failure-to-acquire rate
合。
failure-to-acquire rateの略語。
FTA
バイオメトリックシステムに対する被験者の慣れ。
habituation
試験においてバイオメトリックサンプルの提示の際に被験者が特定の条件に従うこと。
acclimatization
認証要求のあったバイオメトリック参照データとバイオメトリック入力データが合致す
verification
るか否かを判定すること。
識別処理において，照合対象のバイオメトリック参照データを選別するためのアルゴリズ
pre-selection algorithm
ム。
照合候補事前選択アルゴリズムによって選別されたバイオメトリック参照データの中に、合
致すべきバイオメトリック参照データが含まれないこと。
pre-selection error
参照：照合候補事前選択アルゴリズム（pre-selection algorithm）
receiver operating characteristic 誤合致率をx軸，正しく非合致となった割合（1-誤非合致率）をy軸にプロットしたグラ
curve
フ。
ROC curve
ROC曲線，照合精度特性曲線の略語。
テクノロジー評価にて利用するコーパス中、品質が低いために評価に使用できないサン
failure at source rate
プルの割合。サンプルの品質は評価基準にともない定義される。
true-positive identification rate 識別システムにおいて登録されている利用者が正しく識別される割合。
認証要求をする際のユーザ名（身元）。認証システムにとって登録データベースに登録
claimed identity
されているデータを区別する一意な識別子。氏名、個人識別番号、カード番号など。
詐称者が、本人の静的なバイオメトリック情報のみを参考にして、他人との照合を試み
static forgery
ること。
評価対象のバイオメトリックシステムがターゲットとしてる利用者の全体。
target population
Simple forgery
詐称者が特に労力を払うことなく他人との照合を試みること。
提示
提示回数限度
提示における影響因子
登録の試行
登録失敗率
登録失敗率
特徴抽出器
入力試行
被験者集団
非合致
本人支援のある偽造
模倣偽造
累積識別精度特性曲線
累積識別精度特性曲線
累積識別率
類似度
presentation
presentation limit
バイオメトリックシステムへのバイオメトリックサンプルの提示。
１試行あたりの提示回数の上限。
バイオメトリックサンプルの提示における影響因子。
presentation effects
参照：影響因子（influencing factor）
(略)
enrolment attempt
バイオメトリック参照データの登録に失敗した割合。
failure-to-enrol rate
FTE
failure-to-enrol rateの略語。
バイオメトリクスサンプルからバイオメトリクス特徴量を抽出する機械・機能・処理。
feature extractor
バイオメトリクスシステムにおける登録または認証の試行。１回の試行あたり、少なく
attempt
とも１回以上のバイオメトリクスサンプルを提示する。
バイオメトリクスシステム評価における被験者の集合。
crew
照合を行った結果、バイオメトリクス入力データとバイオメトリクス参照データが同じ
non-match
人物からのものでないと判定されること。
詐称者に対して本人の支援がある場合の偽造。
victim assisted forgery
詐称者が労力を払って他人との照合を試みること。
Simulated forgery
CMC 曲線，累積識別精度特性曲線の略語。
CMC curve
cumulative match characteristic 識別順位をx軸、累積識別率をy軸にプロットしたグラフ。
curve
参照：識別順位（identification rank）、累積識別率（cumulative matching rate）
cumulative matching rateの略語。
CMR
バイオメトリクス入力データのバイオメトリクス特徴量とバイオメトリクス参照データのバ
similarity score
イオメトリクス特徴量との類似の度合。参照モデルにおいては適合度を意味する。
経済産業省委託
平成 19 年度工業標準化推進調査等委託費
「社会ニーズ対応型基準創成調査研究事業(分野横断的技術分野）」
「バイオメトリクス認証装置関連の精度測定手法の標準化に関する調査研究」
成果報告書
発行
印刷
平成 20 年 3 月
財団法人 日 本 規 格 協 会
情報技術標準化研究センター
〒100-0014 東京都千代田区永田町 2-13-5
電話（03）3592-1408
株式会社 スタンダード・ワークス
〒107-8440 東京都港区赤坂 4-1-24
日本規格協会ビル内
電話（03）3585-4558
－禁無断転載―