博士論文 ソフトウェア開発の超上流工程における 非機能要件の定量的

NAIST-IS-DD1061202
博士論文
ソフトウェア開発の超上流工程における
非機能要件の定量的評価
齊藤康廣
2015 年 2 月 3 日
奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻
本論文は奈良先端科学技術大学院大学情報科学研究科に
博士(工学) 授与の要件として提出した学位論文である。
齊藤康廣
審査委員：
松本健一 教授
（主指導教員）
藤川和利 教授
（副指導教員）
門田暁人 准教授
（副指導教員）
2
ソフトウェア開発の超上流工程における
非機能要件の定量的評価*
齊藤康廣
内容梗概
委託ソフトウェア開発プロジェクトの超上流工程において，ユーザ（発注企業）が作成す
る提案依頼書（Request for Proposal: RFP）の品質は，ソフトウェア開発を成功させる上
で極めて重要である．RFPは多様な情報で構成されているが，品質評価の重要な対象の
一つとなるのが，非機能要件（Non Functional Requirements: NFR）である．NFRは，
開発すべきソフトウェアのアーキテクチャや，保守・運用における制約条件となるため，
NFRが明確に記述されているか否かは，RFP品質を議論する上で特に重要な観点とな
る．
本論文では，RFPの品質を定量的に評価する3つの方法を提案する．評価対象とする
のは，RFPで示されるべき非機能要件（NFR）であり，評価の観点は，その記述の明確さ，
である．
最初の提案では，評価対象を，ユーザにとって重要度の高い「保守と運用に関する55個
の非機能要件」に限定した上で，要件記述の明確さを最大5段階で評価するためのメトリク
スを定義する．評価結果は，RFPの総合評価点と，要件毎の評価点を俯瞰するためのレ
ーダチャートとして示される．地方自治体，図書館，官公庁，独立行政法人，大学，病院の
6ドメイン29件のRFPを評価対象としたケーススタディによって，記述が不十分な要件を特
定することにより，基準値との比較を通じて特に改善が必要な特性を明らかにできることを
確認した．
2番目の提案では，評価の自動化を目的として，RFPに含まれる各NFRに関するキーワー
ド（NFRキーワード）の出現頻度に基づいて，教師あり機械学習によって各要件の記述の
＊
奈良先端科学技術大学院大学 情報科学研究科博士論文, NAIST-IS-DD1061202,
2015年2月3日.
i
明確さを評価する．提案方法では，自然言語で記述されたRFPからNFRキーワードを抽
出し，各NFRにマッピングする．そして，NFRキーワードの出現頻度とNFRの記述の明確
さとの関係をランダムフォレストによりモデル化する．70件のRFPを題材として，提案方法
によって26種類の非機能要件の記述の明確さを評価した結果，人手による評価との一致
率の平均値は69.8%であり，±1の誤差を許容した±1差一致率の平均値は97.2%となっ
た．
3番目の提案では，評価の自動化において教師データを不要とすることを目的として，
NFRキーワードの出現頻度とそれに対する重み付けのみに基づいて，関連するNFRに評
価値を与える．提案方法では，重み付けを与える方法として，単純TF-IDF，拡張TFIDF，およびトークン比の3種類を採用し，実験による比較を行った．その結果，拡張TFIDFがもっともよい結果を示し，提案方法による評価値と人手による評価値との相関係数は
0.22～0.43となった．このことから，教師データを付与することが難しい状況においても，あ
る程度の精度でNFRの自動評価を行えることが示唆された．
キーワード
提案依頼書，非機能要件，評価指標，機械学習，テキストマイニング
ii
Quantitative Evaluation of Non Functiona l
Requirements in a n Early Stage
of Software Development *
Ya s uhi r o Sa i t o
Abstract
In the beginning of a contracted based software development project, the
quality of a Request For Proposal (RFP) is extremely important for successful
development of a software system. The RFP is a document provided by a software
user company and used as an initial system requirements specification to ask
software developer companies to propose their technical plans to fulfill the
requirements. The RFP consists of various requirements information, and one of
the most important information is Non Functional Requirements (NFRs). It is
because NFRs define constraints of software architecture, and they also affect the
software maintenance cost and operation cost. Therefore, it is extremely important
to evaluate whether NFRs are written clearly enough or not.
In this thesis, three methods for quantitative evaluation of an RFP are
proposed. The goal of evaluation is clarity of description of NFRs. Firstly, we
selected a set of fifty-five important NFRs that should be written in an RFP. Then,
metrics to evaluate the clarity of NFRs was defined. The result of evaluations are
shown by total score and radar charts for the purpose to observe low clarity NFRs.
In a case study, RFPs from 29 projects were evaluated by the proposed metrics. As
a result, we confirmed that the identification of poorly-written NFRs became
easily recognizable by the proposed method.
.*Doctoral Dissertation, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-DD1061202, February 3, 2015.
iii
Secondly, for the purpose of automatic evaluation of clarify of NFR descriptions,
we proposed a machine learning approach using Random Forest and term
frequency of NFR key words extracted by text mining. An estimation model
trained from known NFRs automatically gives the clarity of NFRs in the unknown
RFPs. As a result of an evaluation of 26 NFR categories using 70 RFPs, 69.8% of
the estimation results showed identical score with human evaluation. And, 97.2%
of the estimation results matched human score if we allow plus or minus one score
difference.
Thirdly, for the purpose of automatic evaluation of without training data, we
proposed an unsupervised technique to evaluate the clarity of NFR descriptions.
The proposed method estimates the clarity based on term frequency of key words
related to NFRs. Three types of weights to key words are used, that is, TF-IDF,
extended TF-IDF and key words ratio. As a result of evaluation of the proposed
method and comparison of weight types using one hundred sixty one RFPs,
extended TF-IDF showed the best fit to human evaluation, and the correlation
coefficient between estimated clarity and human evaluation ranged from 0.22 to
0.43. The result shows that the automatic evaluation is possible to some extent
even if one cannot prepare training data for supervised machine learning.
Keywords:
Request For Proposal，Non-Functional Requirements, Machine Learning, Text Mining
iv
関連発表論文
学術論文誌
1.
齊藤康廣 ， 門 田暁人 ， 松本健一 ．“非 機能要 件に着目 した Request For
Proposal (RFP) 評価”．SEC Journal，第 38 号, September 2014, pp. 30-37.
（第 2 章に関連する）
国際会議発表
1.
Yasuhiro Saito, Akito Monden, Kenichi Matumoto. “ Evaluation of Non
Functional Requirements in a Request for Proposal (RFP)”. Proceedings of
2012 Joint Conf of 22nd Int'l Workshop on Software Measurement and 7th
Int'l Conference on Software Process and Product Measurement (IWSMMENSURA) ,
October 2012，pp.106-111.（第２章に関連する）
国内研究集会発表
1.
齊藤康廣，門田暁人，松本健一．“Request For Proposal (RFP) における保
守・運用要件指標の抽出と評価”． 情報処理学会研究報告 2012-SE-175(1) ,
March 2012，pp.1-10.（第２章に関連する）
2.
齊藤康廣，門田暁人，松本健一．“RFP における機械学習による非機能要件
の評価”．情報処理学会研究報告. 2013-SE-179(5), March 2013, pp.1-7．
（第 3 章に関連する）
v
目 次
1
第 1 章 序論
1.1 研究の背景．．．．．．．．．．．．．．．．．．．．．．．．．1
1.2 研究の目的．．．．．．．．．．．．．．．．．．．．．．．．．2
1.3 論文構成．．．．．．．．．．．．．．．．．．．．．．．．．．4
6
第 2 章 非機能要件に着目した RFP の評価
2.1 概要 ．．．．．．．．．．．．．．．．．．．．．．．．．．．6
2.2 関連研究
． ．．．．．．．．．．．．．．．．．．．．．．．7
2.2.1 非機能要件に関するガイドライン
．．．．．．．．．．7
2.2.2 RFP や非機能要件に非機能要件に関する従来研究 ．．． 8
2.3 提案方法 ．．．．．．．．．．．．．．．．．．．．．．．．．8
2.3.1 概要 ．．．．．．．．．．．．．．．．．．．．．．．．8
2.3.2 評価対象とする非機能要件
．．．．．．．．．．．．． 9
2.3.3 非機能要件評価シート．．．．．．．．．．．．．．．．．9
2.3.4 評価結果 ．． ．．．．．．．．．．．．．．．．．．．．13
2.4 ケーススタディ
．．．．．．．．．．．．．．．．．．．．．13
2.4.1
概要
2.4.2
総合評価点
2.4.3
レーダチャート ．．．．．．．．．．．．．．．．．．．15
2.4.4
ベンチマーキング ．．．．．．．．．．．．．．．．．17
2.4.5
評価者間の評価点のばらつき ．．．．．．．．．．．．．．19
．．．．．．．．．．．．．．．．．．．．．．．13
．．．．．．．．．．．．．．．．．．．．14
2.5 まとめ ．．．．．．．．．．．．．．．．．．．．．．．．． 21
2.5.1 評価結果と考察
．．．．．．．．．．．．．．．．．．．21
2.5.2 課題 ．．．．．．．．．．．．．． ．．．．．．．．．．22
第 3 章 機械学習による非機能要件の自動評価
24
3.1
概要 ．．．．．．．．．．．．．．．．．．．．．．．．．．．24
3.2
関連研究 ．．．．．．．．．．．．．．．．．．．．．．．．24
vi
3.3
非機能要件キーワードの出現頻度予備分析 ．．．．．．．．．26
3.3.1 NFR キーワードの抽出 ．．．．．．．．．．．．．．．26
3.3.2 「小項目」と NFR キーワードの関連付け ．．．．．．．28
3.3.3 「小項目」と NFR キーワード出現頻度
．．．．．．．30
3.4 提案手法 ．．．．．．．．．．．．．．．．．．．．．．．．．33
3.4.1 「小項目」の自動評価モデル構築の概要 ． ．．．．．．33
3.4.2 非機能要件評価モデルの構築 ．．．．．．．．．．．． 35
3.4.3 「NFR キーワード評価シート」の利用 ．．．．．．．．39
3.5
ランダムフォレストを用いた非機能要件評価実験 ．．．．．．39
3.5.1 実験の目的 ．．．．．．．．．．．．．．．．．．．．．39
3.5.2 実験データと実験方法
．．．．．．．．．．．．．．．40
3.5.3 実験結果の評価手法．．．．．．．．．．．．．．．．．42
3.5.4 実験結果に基づく一致の検定と考察．．．．．．．．．．44
3.5.5 手動評価と自動評価の比較．．．．．．．．．．．．．．46
3.6 まとめ ．．．．．．．．．．．．．．．．．．．．．．．．．．51
第 4 章 機械学習によらない非機能要件の自動評価
4.1
53
概要 ．．．．．．．．．．．．．．．．．．．．．．．．．．．53
4.2 関連研究 ．．．．．．．．．．．．．．．．．．．．．．．．．53
4.3
提案手法
．．．．．．．．．．．．．．．．．．．．．．．．55
4.3.1 NFR キーワードの抽出 ．．．．．．．．．．．．．．．55
4.3.2 NFR キーワードの重み ．．．．．．．．．．．．．．．55
4.3.3 単純及び拡張 TF-IDF とキーワード比
．．．．．．．．56
4.3.4 RFP の NFR 評価スコア ． ．．．．．．．．．．．．．60
4.4
評価実験
．．．．．．．．．．．．．．．．．．．．．．．．．62
4.4.1 評価実験データと「小項目」 ．．．．．．．．．．．．．63
4.4.2 評価実験と考察 ．．．．．．．．．．．．．．．．．．．63
4.5 クラスタリングによる評価スコアの段階評価．．．．．．．．．．74
vii
4.5.1 提案手法 ．．．．．．．．．．．．．．．．．．．．．74
4.5.2 クラスタリング評価実験 ．．．．．．．．．．．．．．76
4.5.3 評価実験結果と考察 ．．．．．．．．．．．．．．．．76
4.6 まとめ ．．．．．．．．．．．．．．．．．．．．．．．．．．81
第 5 章 社会的影響別の非機能要件評価
83
5.1 概要 ．．．．．．．．．．．．．．．．．．．．．．．．．．．83
5.2 社会的影響による RFP の分類と手動評価 ．．．．．．．．．．83
5.3 社会的影響カテゴリ別の評価スコア ．．．．．．．．．．．．．86
5.4 社会的影響カテゴリ別の評価比較 ．．．．．．．．．．．．．．89
5.5 まとめ．．．．．．．．．．．．．．．．．．．．．．．．．．．91
92
第 6 章 結論
謝辞
参考文献
viii
図 目 次
図1.1
委託開発ソフトウェア開発プロジェクト ．．．．．．．．．．．．．．．．．．．2
図2.1
提案するRFP評価法の概要 ．．．．．．．．．．．．．．．．．．．．．．．．12
図2.2(a) 5段階評価 明確さ評価基準の例 ．．．．．．．．．．．．．．．．．．．．12
図2.2(b) 3段階評価 明確さ評価基準の例 ．．．．．．．．．．．．．．．．．．．．12
図2.2(c) 2段階評価 明確さ評価基準の例 .. . ．．．．．．．．．．．．．．．．．．12
図2.3(a) 総合評価点 システムドメイン毎の評価点. . .．．．．．．．．．．．．．．16
図2.3(b) レーダチャート：大項目 システムドメイン毎の評価点... . ．．．．．．16
図2.3(c) レーダチャート：中項目 システムドメイン毎の評価点.. ．．．．．．．17
図2.4
ケーススタディ結果：基準値（RFPトップ３）との比較. . . . . . ．．．．．19
図3.1
NFRキーワード評価シート（抜粋）.. . . . . . ．．．．．．．．．．．．．．．．28
図3.2 「小項目」ごとのNFRキーワード出現頻度. . . ．．．. ．．．．．．．．．．．29
図3.3
RFP語数とNFRキーワード出現頻度. . . . . ．．．．．．．．．．．．．．．31
図3.4
NFRキーワード出現頻度とRFPの手動評価ポイント. . ．. ．．．．．．32
図3.5
NFRキーワード出現頻度と「小項目」の種類.. . . . . . ．．．．．．．．．．33
図3.6
機械学習によるNFRキーワード評価モデル構築手順... . . . ．．．．．35
図3.7 「小項目」の3段階評価の比較. . . ．. ．．．．．．．．．．．．．．．．．．．．45
図3.8
クロス表とκ統計量（一部）. . . . . . ．．．．．．．．．．．．．．．．．．．．．46
図3.9(a) 自動評価と手動評価の評価得点レーダチャート（3段階評価）.. . . . . 50
図3.9(b) 自動評価と手動評価の評価得点レーダチャート（5段階評価）.. . . . . 51
図4.1
単純TF-IDFとNFRキーワードの出現頻度.. . . . ．．．．．．．．．．．．59
図4.2
拡張TF-IDFとNFRキーワード出現RFP数.. . ．．．．．．．．．．．．．60
図4.3(a) 応答性のNFRキーワード評価別箱ひげ図.. . . . ．．．．．．．．．．．．66
図4.3(b) 負荷バランスのNFRキーワード評価別箱ひげ図... . . . ．．．．．．．．66
図4.3(c) リカバリ処理のNFRキーワード評価別箱ひげ図. . . .．．．．．．．．．．67
図4.3(d) アクセス管理のNFRキーワード評価別箱ひげ図. ...．．．．．．．．．．67
図4.3(e) セキュリティ管理のNFRキーワード評価別箱ひげ図. . .．．．．．．．．68
図4.3(f) 障害対策のNFRキーワード評価別箱ひげ図. . . ．．．．．．．．．．．．68
ix
図4.4(a) 手動評価点毎の拡張TF-IDF評価点の比率:応答性. ．．．．．．．．70
図4.4(b) 手動評価点毎の拡張TF-IDF評価点の比率:負荷バランス. ．．．．70
図4.4(c) 手動評価点毎の拡張TF-IDF評価点の比率:リカバリ処理. .．．．．．71
図4.4(d) 手動評価点毎の拡張TF-IDF評価点の比率:アクセス管理. .．．．．71
図4.4(e) 手動評価点毎の拡張TF-IDF評価点の比率:セキュリティ管理. .．．72
図4.4(f) 手動評価点毎の拡張TF-IDF評価点の比率:障害対策 ．．．．．．．72
図4.5
手動評価別のNFRキーワード出現回数と拡張TF-IDF評価点 ．．．73
図4.6
手動3段階評価別の拡張TF-IDF評価スコア．．．．．．．．．．．．．． 73
図4.7 「小項目」ごとのNFR評価スコア一致数．．．．．．．．．．．．．．．．．． 78
図4.8
「小項目」別の一致率および不一致率．．．．．．．．．．．．．．．．．．．81
図5.1
社会的影響カテゴリ別の「小項目」の手動評価スコア.．．．．．．．．．85
図5.2
社会的影響カテゴリ別の個別RFPの小項目評価スコア..．．．．．．．87
図5.3
社会的影響カテゴリ別の個別RFP評価 . . ．．．．．．．．．．．．．．．89
図5.4(a) 社会的影響カテゴリ別の小項目手動評価スコア . . ．．．．．．．．．．90
図5.4(b) 社会的影響カテゴリ－別の小項目拡張TF-IDF評価スコア. . .．．．．90
x
表 目 次
表2.1
各評価者の各RFPに対する総合評価点. . . . ．. ．．．．．．．．．．．．21
表 3.1
NFR キーワードの重要度と出現頻度．．．．．．．．．．．．．．．．．．．27
表 3.2
出現した RFP 数が多い上位 20 個の NFR キーワード．．．．．．．．30
表 3.3
NFR キーワードと RFP の相関関係 ．．．．．．．．．．．．．．．．．．．33
表 3.4
段階評価とポイント ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36
表 3.5
NFR キーワード評価シート（抜粋）
表 3.6
段階評価法別のκ統計量 ．．．．．．．．．．．．．．．．．．．．．．．．．46
．．．．．．．．．．．．．．．．．．．38
表 3.7(a) ランダムフォレストの評価推定（3 段階評価） ．．．．．．．．．．．．．．48
表 3.7(b) ランダムフォレストの評価推定（5 段階評価） ．．．．．．．．．．．．．．49
表 3.8
自動評価と手動評価の誤差. ．．．．．．．．．．．．．．．．．．．．．．．．50
表 4.1
３つの手法による重みと NFR キーワードの出現頻度(抜粋) . ．．．．59
表 4.2
NFR キーワード重みの例．．．．．．．．．．．．．．．．．．．．．．．．．．62
表 4.3
NFR キーワード重みと手動評価の相関係数 ． ．．．．．．．．．．．．64
表 4.4
NFR キーワードに関連する記述例 「障害対策」．．．．．．．．．．．．65
表 5.1
社会的影響カテゴリ別の手動評価（一部の NFR 評価指標） ．．．．85
付録 目 次
付録 A. 「NFR キーワード評価シート」 ．．．．．． ．．．．．．．．．．．．．．102
付録 B． 161 件の RFP による「NFR キーワード評価シート」の評価対象「小項
目」 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．108
ⅺ
第 1 章 序論
1.1
研究の背景
提 案 依 頼 書（Request For Proposal, 以 後は RFP とする）は，ソフトウェ
ア開 発 を委 託 するにあたり，委 託 元 企 業 （ユーザ）が，委 託 先 候 補 の企 業 （ベン
ダ）に対して，開 発に関 する具 体 的 な技 術 提 案 （技 術 仕 様・技 術 提 案 書の作 成 ）
を依 頼 する文 書 である．RFP には，機 能 要 件 ，非 機 能 要件 ，事 務 要 件 ，システ
ム要 件 ，ライセンス事 項 ，開 発 者 資 格 ，契 約 要 件 などが記 述 されている．ユー
ザは，提 示 された技 術 仕 様 ・技 術 提 案 書 に基 づいてベンダを選 定 し，契 約 仕
様 書 の作 成 ，契 約 の締 結 を経 て，ソフトウェアの開 発 作 業 が開 始 されることにな
る．RFP は，ソフトウェアの委 託 開 発のベースとなる，重要 な文 書 の一 つであり，
その品 質が，ソフトウェア開 発 の成 否を大きく左 右することになる[8] ．
委 託 ソフトウェア開 発 の超 上 流 工 程 では，ユーザが作 成 した RFP に記 述 さ
れている要 求 仕 様 をもとにベンダが技 術 提 案 書 を作 成 し，両 者 が技 術 協 議 を
通 じてユーザ要 求を明 確にしていく．このプロセス（図 1.1 参 照）は委 託 ソフトウ
ェアの開 発 においてユーザ要 求 を後 工 程 のソフトウェア設 計 において明 確 に反
映 するために行 われる．しかし，多 くの委 託 ソフトウェア開 発 の超 上 流 工 程 にお
いて，ユーザとベンダ間 で要 件 が十 分 に確 認 されずに契 約 が行 われ，ソフトウェ
ア開 発 以 後 の工 程 でユーザ要 件 に係 る問 題 が発 生 する．委 託 ソフトウェア開 発
では，要 件 定 義 が不 十 分 であると，「スコープ・クリープ（要 求 のなしくずし的 な
追 加 ・変 更 ）」が問 題 となり，ソフトウェア品 質 や納 期 に影 響 を与 える[50] ． 特
に非 機 能 要 件 については，後 工 程 での追 加 ・変 更 が困 難 であるが，文 献 による
と「非 機 能 要 求については，ユーザは要 求 仕 様にほとんど何も記 述 していない．
これが原 因になって，後 になってユーザとベンダ間の紛 争 の種 になる」[3]と言 わ
れている．ここで「非 機 能 要 件 」とは，「非 機 能 要 求 は，解 に対 して得 られる制 約
のことである．非 機 能 要 求 は，しばしば制 約 または品 質 要 求 という名 で知 られて
いる．「SWEBOK2004」[3]と定 義 されている非 機 能 要 求 を要 件 として記 述 され
たものと考 える．「非 機 能 要 件 」は，ユーザとベンダ双 方 にとって、ソフトウェア品
質 の物 理 的 な制 約 条 件 を合 意 することであるから，「機 能 要 件 」と比 較 してより
1
完 全 性 と網 羅 性 を契 約 前 に明 確 にしておく必 要 がある．よって，この問 題 につ
いて，ユーザとベンダ間 の技 術 協 議 にて，ユーザ要 件 の客 観 的 な評 価 を通 じて
議 論 を行 うことが重 要 である．従 来 研 究 では，ソフトウェア開 発 プロセスを通 じて
定 量 的 な手 法 を導 入 することにより，ソフトウェア開 発 プロジェクトをソフトウェアメ
トリクスの観 点 から指 標 を計 測 し，管 理 することが行 われている[46][47]．しかし，
多 くの場 合 ，実 際 のソフトウア設 計 及 び製 作 の段 階 以 後 を対 象 としており，超
上 流 工 程 での 要 件 定 義 に お けるメ トリク スに 関 する関 連 研 究 は 極 めて少 ない
[27][48]．ソフトウェアライフサイクルの最 も初 期 段 階 である超 上 流 工 程 の要 件
定 義 にソフトウェアメトリクスを導 入 することによりユーザ要 求 を計 測 することは，
ソフトウェア開 発プロセスを管 理 するためにも極 めて重 要 であると考 える．
プロポーザル
フェーズ
計画フェーズ
設計・製作フェーズ
保守・運用
フェーズ
テスト
フェーズ
企画書
ユーザ要件
RFP
提案書
要件定義
契約書
要求仕様書
契約
図 1.1
1.2
CODE
保守・運用
TEST
仕様書
ﾏﾆｭｱﾙ
運用
委 託 開 発 ソ フ ト ウェ ア 開 発 プ ロ ジ ェ クト
研究の目的
本 論 文は，ユーザが作 成した RFP に記 述 されている非 機 能 要 件 （以 後 適 宜
NFR とする）の記 述 内 容 の明 確 さを定 量 評 価 する評 価 指 標 を提 案 し，実 際 の
RFP をケーススタディとして評 価 実 験を行 うことによりその有効 性 を評 価すること
を目 的 とする．
2
ソフトウェアライフサイクルの超 上 流 工 程 で最 も重 要 な書 類 の一 つである
RFP に記 述されているユーザの非 機 能 要 求を評 価 するためには，RFP に記述
されるべき「非 機 能 要 件 」について明 らかにする必 要 がある．「非 機 能 要 件 」を
定 義 するには，まず，第 一 にユーザ要 求 の把 握 が必 要 である．ただし，ユーザ
が RFP を作 成した段 階 で，すべての非 機 能 要 求を把 握しているとは限らず，ユ
ーザが記 載 している内 容 は，ユーザのドメイン知 識 に基 づいた達 成 すべきシス
テムへの要 求 であり、そのソフトウェアシステムを実 現 するための要 件 とは限 らな
い場 合 がある．これらに対 して，ベンダはソフトウェアシステムを構 築 する上 で求
められる「非 機 能 要 件 」を提 案 する必 要がある．非 機 能 要 求 として，共 通 的 に重
視 される特 性 として，「性 能 （効 率 性 ）」，「信 頼 性 」，「セキュリティ」,「使 用 性 」お
よび「保 守 性 」が指 摘 されている[49]．しかし，これらの特 性 は「非 機 能 要 件 」と
し ての 大 きな特 性 で あり，また ， さまざ まな 語 句 が 使 用 さ れてい る[3] ．さら に ，
RFP に記 述 された「非 機 能 要 件 」を定 量 評 価 する上 で必 ずしも適 当 な特 性 で
あるとは言えない．よって，文献 や従 来 研 究 の調 査 により，RFP に記 述 されるべ
き「非 機 能 要 件」の記 述 内 容の明 確 さを評 価する特 性を選 別する必 要がある．
RFP にはユーザの機 能 要 求および非 機 能 要 求が自 然 言 語 で記 述 されてお
り，ユーザ要 件 の記 述 があいまいであることが要 因 となり後 工 程 のソフトウェア設
計 において要 求 の実 現 されたソフトウェアが構 築 できないことが問 題 となる．そこ
で，この問 題 解 決 を支 援 するモデルとして，最 初 に，文 献 や市 場 調 査 の結 果 を
参 考にした RFP の非 機 能 要 件 指 標（以 後 NFR 指 標 とする）で構 成 される「非
機 能 要 件 評 価 シート」を提 案 する．2 番 目 に，「非 機 能 要 件 」の自 動 評 価 を目
的 として，自 然 言 語 で記 述 された RFP から NFR 指 標に関 連 する NFR キーワ
ードを抽 出 して「NFR キーワード評 価 シート」を作 成 する．そして，NFR キーワ
ードの出 現 頻 度 にもとづいて算 出 した評 価 点 による自 動 評 価 モデルを提 案 す
る．自 動 評 価 モデルでは，教 師 あり機 械 学 習 によるランダムフォレストによる 70
件 の RFP について評 価 推 定 の実 験 を行 う．自 動 評 価 モデルによる実 験 結 果
は，３つの段 階 評 価 結 果 を人 手 による評 価 （以 後 手 動 評 価 とする）と比 較 し，自
動 評 価に有 効 な段 階 評 価について考 察 する．3 番 目 に，多 くの RFP を題材 と
して評 価 の自 動 化 を行 う場 合 には，手 動 評 価 による教 師 データの作 成 に時 間
3
を要 することから，教 師 なしで自 動 評 価 する 3 つの重 み付 け手 法 の有 効 性を評
価 する．TF-IDF 手 法 ，TF-IDF を拡 張した拡 張 TF-IDF およびトークン比 の
考 えによる 3 つの手 法 で NFR キーワードに重 み付 けした評 価 点 による比 較 を
行 う．評 価 実 験 により，3 つの手 法 を手 動 評 価 の結 果 と比 較 し，最 も有 効 な手
法 を提 案 する．さらに，教 師 なし機 械 学 習 による自 動 評 価 を目 的 として，評 価 ス
コアをクラスタリング手 法により 3 グルーブに分 類し，手 動 評 価による 3 段 階 評
価 との比 較 を行 う．最 後 に，「NFR キーワード評 価 シート」による評 価 が情 報 化
対 象 ドメインによらず有 効 であることを確 認 するために，情 報 化 対 象 システムを
その社 会 的 影 響により 3 つのカテゴリに分 類 した 161 件の RFP について評 価
点 を算 出し，比 較 評 価 を行う．
提 案 した評 価 モデルによる定 量 評 価 を行 い，評 価 結 果 に基 づいて技 術 協 議
を進 めることで，ソフトウェア開 発 の超 上 流 工 程 でのユーザとベンダの合 意 形 成
が促 進 され，RFP の記 述 内 容 の明 確 さを向 上 することが可 能 であると考 える．
また，ユーザ要 求 の変 化 を定 量 評 価 結 果 の時 系 列 データの推 移 として管 理 す
ることにより，さらに後 工 程 であるソフトウェア開 発 工 程 においても，ユーザ要 件
について，ユーザとベンダ間 の合 意 を支 援 する有 効 なツールとなり得 ると考 える．
1.3
論文構成
本 論 文は大 きく 4 つの章から構 成 される．第 2 章 では，RFP の非 機 能 要 件
を評 価する「非機 能 要 件 評 価 シート」を提 案 し，29 件 の RFP についてケースス
タディを行 う．「非 機 能 要 件 評 価 シート」にもとづいて手 動 評 価 した定 量 評 価 が，
非 機 能 要 件の記 述の明 確 さについて有 効 であるかどうかを確 認 する．第 3 章で
は，自 然 言 語 で記述 された 70 件の RFP から非 機 能 要 件 を記 述 した NFR キ
ーワードを抽 出する．抽 出した NFR キーワードを第 2 章で作 成 した「非 機 能 要
件 評 価 シート」と対 応 させた「NFR キーワード評 価 シート」を提 案 する．「NFR キ
ーワード評 価 シート」の NFR キーワード出 現 頻 度にもとづいて非 機 能 要 件 の記
述 内 容 の明 確 さを，教 師 あり機 械 学 習 のランダムフォレストにより推 定 する評 価
実 験 を行 う．ランダムフォレストによる評 価 推 定 と手 動 評 価 の一 致 度 合 いを評 価
4
し，自 動 評 価の有 効 性 を検 証する．第 4 章 では，教 師なし自 動 評 価の有 効 性
を確 認するために，NFR キーワードの重 み付 けとして NFR キーワード出現 頻
度 にもとづく「単 純 TF-IDF」「拡 張 TF-IDF」および「キーワード比 」の 3 つの手
法 による評 価 実 験 を行 う．手 動 評 価 との比 較 により，3 つの手 法 の中 から有 効
な手 法 を提 案 する．さらに，追 加 実 験 として，教 師 なし機 械 学 習 によるクラスタリ
ング手 法 の一つである k-means 法により自 動 評 価 された結果 と 3 段 階の手 動
評 価 との評 価 実 験 を行 い，教 師 なし機 械 学 習 による評 価 の有 効 性 を検 証 する．
第 5 章 では， 161 件 の RFP を社 会 的 影 響 で３つに分 類した情 報 化 対 象シス
テムについて，「NFR キーワード評 価 シート」を適 用 することにより，非 機 能 要 件
の記 述 内 容 の明 確 さが有 効 に評 価 されることを確 認 する．最 後 に，第 6 章で論
文 全 体 の結 論を述べ，まとめを行 う．
5
第 2 章 非機能要件に着目した RFP の評価
2.1
概要
RFP は多 様な情 報 で構 成 されているが，品 質 評 価の重 要 な対 象 の一 つとな
る の が ， 「 非 機 能 要 件 （Non Functional Requirements: NFR ） 」で あ る ．
NFR は，開 発 すべきソフトウェアのアーキテクチャに対 する制 約 条 件 となり，ア
ーキテクチャの実 現 可 能 性 に大 きく影 響 する．アーキテクチャは，ソフトウェア品
質 を決 定 する主 要 因 の一 つとされている[5]．更 に，開 発 開 始 後 のアーキテクチ
ャ変 更 が容 易でないことから，RFP に基づく技 術 仕 様・技 術 提 案 書の作 成 にお
いて，アーキテクチャの策 定 やその実 現 可 能 性 の評 価 は，ベンダにとって極 め
て重 要 な作 業 の一 つとなっている． NFR が明 確 に記 述 されているか否 かは，
RFP 品 質を議 論する上 で重 要 な観 点の一 つと言える．
本 章 では，ベンダへの提 案 依 頼 書 （RFP）提 示 に先 立 ち，RFP 作 成 者 であ
るユーザ自 身 が，RFP の品 質を定 量 的 に評 価する方 法を提 案 する．評 価 対 象
とするのは，RFP で示 されるべき非 機 能 要 件 （NFR）であり，評 価 の観 点 は，そ
の記 述の明 確 さ，である．RFP に記 述 すべき NFR を示 すガイドラインや報 告
書 ，あるいは，NFR を評 価 するためのメトリクスは，これまでにも数 多 く提 案 され
ている[1] [2] [3] [4] [6] [7] [11]．本 論 文で提 案する方 法は，それら既 存のガ
イドライン，報 告 書 ，メトリクスを基 盤 として，RFP に記 述 すべき NFR を，より委
託 元 企 業 （ユーザ）の視 点 で評 価 する手 順 を示 すものである．具 体 的 には，評
価 対 象を，ユーザにとって重 要 度の高 い「保 守 と運 用に関する 55 個の非 機 能
要 件」に限 定した上で，要 件 記 述の明 確 さを最大 5 段 階 で評 価 するためのメト
リクス（評 価 基 準 スキーム）を定 義 し，評 価 結 果 は，RFP の「総 合 評 価 点 」と要
件 毎 の評 価 点を俯 瞰 するための「レーダチャート」として示 すものとする．
以 降 ，2.2 節 では，関 連 研 究 として，NFR に関 する代 表 的 なガイドライン，報
告 書 ，メトリクスを紹 介 する．3 節では，提案 法を示し，4 節 では，WWW 上 に公
開 されていた 29 件 の RFP を対 象 としたケーススタディの結 果 を示し，提 案 法
6
の適 用 容 易 性 や有 用 性 について議 論 する．最 後 に，5 節 では，まとめと今 後 の
課 題について述 べる．
2.2
関連研究
2.2.1 非 機 能 要件 に 関 す る ガ イ ド ライ ン
日 本 ユーザ情 報 システム協 会 （JUAS）による「非 機 能 要 求 仕 様 定 義 ガイドラ
イン」[3]には，ソフトウェアライフサイクルを通 じて使 用 することが推 奨 される 200
個 を超 える非 機 能 要 件 が，ISO/IEC09126 等 に準 拠 する形 で示 されている．
ただし，ソフトウェア開 発 終 了 後 の保 守 や運 用 に関 する非 機 能 要 件 は，必 ずし
も網 羅 されていない．一 方 ，「システム構 築 のトラブルを回 避 するための IT シス
テム契 約 締 結 の手 順 とポイント」[7]，および，「情 報 システム調 達 のための技 術
参 照 モデル（TRM）」[11]は，ユーザとベンダ間 でソフトウェア開 発 契 約 を締 結
す る 上 で 重 要 と な る ， サ ー ビ ス レ ベ ル に 関 す る 合 意 （ Service Level
Agreement: SLA）に必 要 な要 件 を示 すとともに，保 守 と運 用 に関 する非 機 能
要 件も数 多 く示 されている．提 案 法 では，これら 3 つのガイドラインで示 された非
機 能 要 件を，評価 対 象の候 補 とする．
「システム／ソフトウェア製 品 の品 質 要 求 定 義 と品 質 評 価 のためのメトリクスに
関 する調 査 報 告 書 」[6]には，利 用 者 ニーズに応 えるソフトウェア品 質 の確 立 ，
および，そのために広 く利 用 可 能 なメトリクスの選 定 を目 的 とする事 例 調 査 の結
果 がまとめられている．報 告 には，非 機 能 要 件 の重 要 度 に関 するユーザ・ベン
ダ企 業 へのアンケート結 果 が含 まれている．提 案 法 では，このアンケート結 果 を，
評 価 対 象 とする非 機 能 要 件の選 定に利 用 する．
多 種 多 様 な非 機 能 要 件 間 の関 係 を明 らかにする研 究 も行 われている．日 本 情
報 システム・ユーザー協 会 （JUAS）による「ソフトウェア開 発 管 理 基 準 に関 する
調 査 報 告 書 」[4]では，品 質 目 標 （SLA 指 標 ），運 用 容 易 性 ，障 害 対 策 ，災 害
対 策 といった観 点 で，非 機 能 要 件 が整 理 されている．また，情 報 処 理 推 進 機構
ソフトウェア・エンジニアリング・センター（IPA-SEC）による「共 通 フレーム 2007」
[1]では，運 用 と保 守 のプロセスに関 する非 機 能 要 件 の整 理 がなされている．提
7
案 法では，これら２つの成 果 に基づき，評 価 対 象 とする非 機 能 要 件 55 個を 3
階 層でグループ化している．
2.2.2 RFP や 非 機 能 要 件 に 非 機 能 要 件 に 関す る 従 来 研 究
IPA-SEC による「非 機 能 要 求グレード」[2]は，情 報 システムにおけるセキュリ
ティや性 能 ，業 務 の手 順 など，機 能 以 外 に関 する要 件 （非 機 能 要 件 ）を定 義 す
ると共 に，要 件 に対 する要 求 レベルを評 価 し，ユーザ・ベンダ間 で合 意 を形 成
するための枠 組 みを与 えるものである．要 件 を階 層 的 にグループ化 し，評 価 基
準 を要 件 毎 に定 義 するというアプローチは，提 案 法 と同 じであるが，要 求 レベル
の評 価 はベンダ視 点 で行 われ，ユーザにとって重 要 な保 守 に関 する要 件 など
については言 及されていない．
RFP や要 求 仕 様 書 など，ソフトウェア開発 の初 期 に作 成される文 書の評 価 に，
自 然 言 語 処 理 技 術 を用 いる研 究 も報 告 されている．佐 藤 らは，要 求 仕 様 にお
ける品 質 要 求 の含 有 率 を，形 態 素 解 析 に基 づく重 要 語 句 の抽 出 などにより測
定 する具 体 的 な方 法 とツールを提 案 している[10]．評 価 対 象 には非 機 能 要 件
も含 まれているが，評 価 の粒 度 は，「セキュリティ」，「成 熟 性 」，「運 用 性 」などで
あり，提 案 法に比 べると大きい．
2.3
提案方法
2.3.1 概 要
提 案 法 は，ソフトウェア開 発 に向 けて作 成 される提 案 依 頼 書 （Request For
Proposal: RFP）の品 質を定 量 的 に評 価 するものである．品 質 評 価 の観 点 は，
「運 用 と保 守 に関 する非 機 能 要 件 」に関 する記 述 の有 無 ，および，明 確 さであ
る．評 価結 果 は，RFP の総 合評 価 点 （100 点 満 点），および，要 件 毎の評 価 点
を俯 瞰 するためのレーダチャートとして示 される（図 2.1 参 照 ）．
提 案 法 の主 な利 用 者 は，RFP 作 成 者 （ソフトウェア開 発 をベンダに依 頼 するユ
ーザ）である．RFP 作 成 者は，ベンダに対 する RFP の提 示 に先 立 ち，非 機 能
要 件 に関 する記 述 の明 確 さを提 案 法 により定 量 的 ・視 覚 的 に把 握 する．明 確
8
に記 述 されていない要 件があれば，必 要 な加 筆 修 正を RFP に対 して行う．
2.3.2 評 価 対 象 と す る非 機 能 要 件
評 価 対 象 とするのは，2.1 で示 した 3 つのガイドライン[3][7][11]で示 されてい
る非 機 能 要件 のうち，保 守 と運 用に関する 55 個 の非 機 能 要件 である．これは，
本 提 案 法 の主 な利 用 者 となる委 託 元 企 業 （ユーザ）が，ソフトウェアと最 も直 接
的 に関 わるのが「保 守 と運 用 」であり，それら要 件 をベンダに正 確 に伝えることが
RFP 作 成 の主 要 な目 的 のひとつと考 えられるからである．また，非 機 能 要 件 は，
セキュリティ対 策 ，冗 長 化 ，応 答 時 間 といったアーキテクチャの制 約 条 件 となる
場 合 が多 く，アーキテクチャの実 現 可 能 性 を評 価 する上 でも役 立 つ．これとは
反 対 に，ベンダによるソフトウェア開 発 管 理 に関 する要 件 ，ユーザが自 身 のため
に行 う開 発 管 理 に関 する要 件 （ベンダに伝 える必 要 性 の低 い要 件 ）は，評 価 対
象 とはしていない．
ユーザ企 業 への調 査 結 果 [6]から，実 際 にユーザが使 用 しているあるいは使
用 したいとしたメトリクスの中から，RFP に記 述すべきメトリクスを回 答 数の多 いも
のからランキング付 けし，38 個 を抽 出 した．しかし，RFP に記 述 すべき「保 守 ・
運 用 要 件 」の網 羅 性 を高 めるためにユーザ企 業 の調 査 でアンケート対 象 となっ
ていない非 機 能 要 件 については，文 献 [3][7][11]に基 づいて，サービスレベル
に関 する合 意 に必 要 な非 機 能要 件を選 定 し（17 個）55 個の要 件を評 価 対 象と
した． 55 個の要 件のうち 34 個は運 用 に関 する要 件 ，21 個 は保 守 に関 する要
件 である．また，55 個 の要 件 のうち 17 個 は，サービスレベルの合 意 に必 要 な要
件 である．残る 38 個 は，文 献 [6]で実 施 されたアンケートにおいて，3 分の 1 以
上 のユーザ企 業 が，「RFP に実 際 に記 述 している」あるいは「記 述 すべき」と回
答 した要 件 である．
2.3.3
非機能要件評価シート
非 機 能 要 件 評 価シートは，評 価対 象 とする 55 個の非 機 能 要 件 それぞれに
ついて，「評 価 メトリクス（明 確 さの評 価 基 準 スキーム）」と「重 要 度 （評 価 におけ
る重 み）」を与えるものである（図 2.1 参 照 ）．なお，評 価 対 象 とする要 件が 55 個
9
と多 数 にのぼるため，評 価 結 果 の俯 瞰 が難 しくなる可 能 性 がある．そこで，類 似
する要 件をグループ化 し，17 個 の「中 項 目 」として設 定 し，更 に，それら中 項 目
を，ソフトウェア利 用 者 の観 点 で設 定した 7 個の「大 項 目」に対 応 付 けている．
評 価 対 象 とする要 件 それぞれについての記 述 内 容は次の通 りである．
■非 機 能 要 件 i
名 称：
定義：
■評 価メトリクス（評 価 点 s i ）
明 確 さ４の評価 基 準
３の評 価 基 準
２の評 価 基 準
１の評 価 基 準
０の評 価 基 準
■重 要 度 w i
提 案 法では，各 要件 は最 大 5 段 階で評 価 される．評 価 点 の取りうる値は，0 か
ら 4 の整 数 値 である．「明 確 さ評 価 基 準」は，文 字 通り，当 該 要 件 の明 確 さを評
価 するための基 準 を示 すものである．当 該 要 件 が（十 分 に）明 確 に記 述 されて
いる場 合 の評 価 点は 4，記 述がない，もしくは，記 述の明 確 さが著 しく低 い場 合
は 0 となる．ただし，要 件によっては，記 述 の明 確 さに区 別 はなく記 述の有 無 だ
けで評 価 できる要 件 ，記 述 の明 確 さについての議 論 や検 討 が（現 時 点 では）十
分 ではなく 5 段 階 評 価が難しい要 件 ，などがある．そうした要 件については，明
確 さ 3 の評 価 基 準 ，同 2 の評 価 基 準 ，同 1 の評 価 基 準 のいずれか，もしくは，
全 てを「該 当 なし（N/A）」とできるものとする．例 として，いくつかの非 機 能 要 件 と
その明 確 さ評 価 基 準 を図 2.2 示す．図 2.3(a)に示す非 機 能 要 件 「バックアップ
方 式 」では，５つ全 ての評 価 基 準 が示 されており，5 段 階 評 価 が行 われる．図
2.3(b)に示 す非 機 能 要 件「システムソフト」では，明 確 さ 3 と 1 の評 価 基 準 評価
が「該 当 なし（N/A）」となっており，3 段 階 評 価 となる．図 2.3(c)に示 す非 機 能
10
要 件「応 答 時 間 」では，明 確さ 3 から 1 の評 価 基 準が全 て「該 当 なし（N/A）」と
なっており，2 段 階 評 価 となる．
「重 要 度 」は，RFP における当 該 要 件 の重 要 度を相 対 的に示 す数 値 である．
前 述 の通 り，要 件 の明 確 さの評 価 点 が取 り得 る値 は，全 ての要 件 において，0
から 4 の整 数 値である．そこで，RFP の総 合 評 価 点（100 点 満 点 ）の算 出 にお
いて，複 数 の要 件 の評 価 点 を加 算 するにあたって，この重 要 度 を重 みとして用
いる．要 件 の重 要 度 は，対 象 ソフトウェアのドメインや利 用 組 織 毎 に異 なり，一
律 に定 めることは出 来 ない．本 論 文 では，一 例 として，文 献 [6]で実 施 されたア
ンケートにおいて，「重 要 な要 件 であり，RFP に実 際 に記 述 している」あるいは
「記 述 すべき」と回 答 したユーザ企 業 数 に 基 づき重 要 度 を決 定 した．例 えば，
「バッチ処 理 正 常 終 了 率 」の重 要 度 は「オンラインシステム稼 働 率 」の重 要 度 の
6.2 倍 となっているが，これは，同 アンケートにおいて，上 記 のように回 答 したユ
ーザ企 業 数が 6.2 倍 あったことを意 味 する．同アンケートの対 象 外 の要 件 につ
いては，システム発 注 ・開 発 に長 年 携 わってきたエキスパートの意 見 に基 づき重
要 度を決 定した．その上 で，評 価 対 象 とする 55 個の非 機 能 要 件 全 体で，重 要
度 （重 み）の合 計が 100 となるよう正規 化を行った．その結 果 ，重 要 度が最も高
い要 件は「バッチ処 理 正 常 終 了 率」で重 要 度は 6.2，最 も低い要 件は「オンライ
ンシステム稼 働 率 」，「アクセス監 査 」など 18 個の要 件 で重 要 度は 1.0 となった．
11
非機能要件評価シート（抜粋）
大項目
運用開始
準備
システム
運用評価
中項目
非機能要件
重み
運用テスト
運用移行許容障害発生率
6.0
運用開始条件の明確化
テスト密度
2.6
テストカバレッジ
2.2
介入オペレーションの最小化
1.9
介入オペレーションの容易性
1.9
平均稼働率
5.3
オンラインシステム稼働率
1.0
バッチ処理正常終了率
6.2
応答時間
3.7
応答時間（最悪時の応答時間比率）
1.3
スループット
3.6
最大負荷スループット
1.1
運用容易性
稼働率目標
稼働品質性能
RFP
総合評価点
X点
2.5
2
1.5
1
0.5
0
大項目
レーダーチャート
3.5
3
2.5
2
1.5
1
0.5
最大停止時間
1.3
業務停止回数／年
1.0
既定時間外停止回数
1.0
ターンアラウンド時間
2.6
通常時余裕率
1.0
ピーク時余裕率
1.0
中項目
レーダーチャート
図 2.1 提 案 する RFP 評 価 法の概 要
( a） 5 段 階 評 価
(b）
図 2.2
(c) 2 段 階 評 価
12
3 段階評価
明確さ評価基準の例
2.3.4
評価結果
「非 機 能 要 件 評 価 シート」に基 づく評 価 結 果 は，RFP の「総 合 評 価 点 」と要
件 毎の評 価 点を俯 瞰 するための「レーダチャート」に大 別 される．総 合 評 価点 S
は，評 価 対 象 とする 55 個の非 機 能 要 件それぞれに対する評 価 点を，その重 要
度 で重 み付 けした加 重 和である．
S = Σw i s i /4 (i = 1, … , 55)
ここで，s i は，要 件 i の評 価 点 ，w i は要 件 i の重 要 度 である．55 個の非 機 能
要 件 全 てが明 確に記 述 されている場 合 ，総 合 評 価点 S の値 は 100 となり，記
述に明 確 さがない，あるいは，記 述 そのものがないほど，要 件の重 要 度に応 じて
減 点 されていることになる．
レーダチャートは，要 件 間 での評 価 点 の比 較 などが容 易 に行 える表 現 形 式 で
ある．ただし，提 案 法 では，評 価 対 象とする非 機 能 要 件が 55 個と多 数にのぼる
ため，それら全 ての評 価 値 をレーダチャートで表 現 することは現 実 的 ではない．
そこで，「非 機 能 要 件 評 価 シート」において設 定 した「大 項 目 」および「中 項 目 」
を単 位 としてレーダチャートを作 成 する（図 2.1 参 照 ）．「大 項 目 レーダチャート」
では，大 項 目 それぞれに属 する要 件 の評 価 点 の平 均 値 を示 す．「中 項 目 レー
ダチャート」でも，同 じく，中 項 目 それぞれに属 する要 件 の評 価 点 の平 均 値 を示
す．平 均 値 が取 り得 る値 は，いずれも，0～4 であり，要 件 が明 確 に記 述 されて
いるほど高 い値 となる．
2.4
2.4.1
ケーススタディ
概要
提 案 法 の適 用 容 易 性 や有 用 性 を評 価 するために行 ったケーススタディの結
果 について述 べる．ケーススタディでは，地 方 自 治 体 ，図 書 館 ，政 府 機 関 ，大
学 ，病 院 などが，ベンダ候 補 企 業 向 けの入 札 情 報 として WWW 上 に公 開して
いた 29 件の RFP を評 価 対 象 とした．RFP の評 価 は，各 RFP の作 成 者 では
なく，システム発 注 ・開 発 に 10 年 以 上 携 わってきたエキスパート１名 が，対 象
13
RFP 全 てに対して行 った．
RFP の評 価に要した時 間は，RFP１件 あたり最 大 1 時 間 程度 であった．評
価 者は，対 象 RFP で表 されるシステムやそのドメインに関 する知 識 を十 分 に有
していたわけではなかった．しかし，対 象 RFP を熟 読 することで，非 機 能 要 件
55 項 目それぞれの評 価 点を支 障 なく決 定 することが出 来た．RFP 作 成 者自 身
であれば，より短 い時 間 で評 価 が可 能であることは容 易に推 察 される．
また，提 案 方 法は RFP のみに基 づいて実 施 可 能であり，対 象 RFP を公 開 して
いる団 体 や RFP 作 成 者に対してインタビューを行ったり，追 加 資 料を求 めたり
する必 要 のないことも確 認 された．このことは，（RFP 作 成 者 自 身 を含 む）複 数
人 で RFP を評 価し，デルファイ法 などにより，より客 観 性 ・妥 当性 の高 い結 果を
得 ることが，比較 的 容 易 であることを意 味する．
2.4.2
総合評価点
図 2.3(a)は，29 件の RFP の総 合 評 価 点の分 布を，RFP が表 す情 報 システ
ムの 5 つのドメイン毎 に示 した箱 ひげ図 である．5 つのドメインとそれぞれの RFP
件 数 は次 のとおりである．
地 方 自 治体 6 件
図書 8 件
政 府 機関 5 件
大学 5 件
病院 5 件
箱 ひげ図 は，データ分 布 の様 相 を視 覚 的 にとらえやすく表 すために工 夫 され
た図 である．箱 の中 に引 かれた横 線 がその分 布 の中 央 値 を，箱 の下 辺 と上 辺
がそれぞれ第 一 四 分 位 数 ，第 三 四 分 位 数 を，更 に，上 下 にのびたヒゲの先 端
が，それぞれ最 大 値 と最 小 値 を表 す．なお，外 れ値 がある場 合 は，箱 やひげと
は別 に，〇印 で表 される．
図 2.3(a)より，ドメインによって総 合 評 価 点 に大 きな違 いのあることが分かる．
また，総 合 評 価 点 が 60 点 以 上 となったのは，政 府 情 報 システムと病 院 情 報 シ
ステムのそれぞれで 1 件 のみである．提 案 法 では，評 価 対 象とする 55 個 の非
14
機 能 要 件 全てが RFP において明 確に記 述 されているべき，という立 場 で評 価
が行 われている．総 合 評 価 点は，満 点 となる 100 点 にできるだけ近 いことが望 ま
れる．しかし，大 半の RFP は総 合 評 価点 が 100 点からほど遠 く，非 機 能 要件
がまだまだ明 確 には記 述 されていない，ということになる．特 に，図 書 情 報 システ
ムでは，総合 評 価 点 の中 央 値 が 10 点 未 満 であり，RFP に改 善 の余 地 が大 きく
残 されていると言える．
2.4.3
レーダチャート
大 項 目 と中 項 目 の評 価 結 果 となるレーダチャートを図 2.3(b)(c)にそれぞれ
示 す．同 図 では，5 つのドメインそれぞれにおける評 価 点の平 均 が示 されている．
図 2.3(b)を見 ると，５つのドメイン全 てにおいて大 項 目 「運 用 開 始 の準 備 」の評
価 点 が 0，「災 害 対 策 」が 0.5 以 下 ，「システム運 用の評 価」が 1.0 以 下と極 め
て低 いことが分 かる．評 価 点 が 0 となった「運 用 開 始 の準 備 」は，図 １に示 すと
おり，3 つの非 機 能 要 件「運 用 移 行 許 容 障 害 発 生 率」，「テスト密 度」，「テストカ
バレッジ」で構 成 されている．評 価 点が 0 ということは，これらが全 て RFP に一
切 記 述 されていなかったことになる．必 要 がないから記 述 されていなかったとも
考 えられるが，「非 機 能 要 件 を十 分 に提 示 している」とするユーザ企 業 が
22.6％に過 ぎないとの調 査 結 果 [4]もあることから，ここでは，「必 要 だが記 述 さ
れていなかった」との立 場 をとる．今 回 のケーススタディにおけるユーザは，地 方
自 治 体 ，政 府 機 関 ，大 学 ，病 院 等 であり，情 報 システム部 門 を持 たず，テストに
関 する知 識や経 験 が不 足していた可 能 性 がある．その結 果 ， テストに関 連 する
要 件が記 述 されず，評 価 点が 0 となったと推 察 する．
評 価 点が 1.0 以 下 となった「システム運 用 評 価」は，同 じく図 1.1 に示 すとお
り，３つの中 項 目 「運 用 容 易 性 」，「稼 働 率 目 標 」，「稼 働 品 質 性 能 」で構 成 され
ている．図 2.3(c)によれば，このうち，「稼 働 品 質 性 能 」の評 価 点 がどの分 野 に
おいても低 いことが分 かる．「稼 働 品 質 性 能 」は 11 個の非 機 能 要 件 で構 成 され
ており，更 に詳 細 な評 価 ・分 析が可 能 であるが，ここでは省 略する．詳しくは，文
献 [9]を参照 されたい．
15
60
50
40
30
20
10
0
自治体
情報システム
図書
情報システム
政府機関
情報システム
大学
情報システム
病院
情報システム
(a) 総 合 評 価 点
運用開始の準備
2.5
業務運用と
利用者支援
2
システム運用
の評価
1.5
1
0.5
0
保守生産性
運用監視
災害対策
障害対策
図書情報システム
大学情報システム
地方自治体情報システム
病院情報システム
政府機関情報システム
(b) レーダチャート：大 項 目
16
導入教育
運用テスト
3.5
運用開始条件の明確化
3
障害対応
運用容易性
2.5
2
ライセンス
保守
稼働率目標
1.5
1
0.5
サービス
提供時間
稼働品質
性能
0
保守容易性
異常検知
条件
問題点把握
及び修正 分析
セキュリティ
対策
災害対策
障害予防
冗長化
図書情報システム
大学情報システム
地方自治体情報システム
異常中断時の
処理機能
病院情報システム
政府機関情報システム
(c) レ ー ダ チ ャ ー ト ： 中 項 目
図 2.3
2.4.4
シ ス テ ム ド メ イ ン 毎の 評 価 点
ベンチマーキング
ケーススタディ結 果 のひとつとして，提 案 法 におけるベンチマーキングについ
て述べる．先にも示した通 り，提 案 法 では，評 価 対 象 とする 55 個 の非 機 能 要 件
全 てが RFP において明 確に記 述 されているべき，という立 場 で，いわゆる減 点
法 により評 価が行 われる．RFP 作 成 者の目 標は，総 合 評 価 点が 100 点 ，レー
ダチャートで示 される全 ての項 目 の評 価 点 が 4 点 ，となる RFP を作 成 すること
と言 える．
ただし，100 点 満 点 の RFP を作成 することが，（現 時 点 において）現 実 的で
あるかどうかについては議 論 の余 地 がある．提 案 法 では，既 存 のガイドライン，
および，RFP 作 成 者 となるユーザ企 業へのアンケート結 果に基 づいて，評 価 対
象 となる非 機 能 要 件 を選 定 し，記 述 の明 確 さの評 価 基 準 や重 要 度 等 を要 件 毎
に定めている．しかし，それら要 件を明 確 に記 述 することの容 易 性 については考
慮 されていない．限 られた工 数 ・期 間 の下 では，明 確 に記 述 されにくい要 件 が
存 在する可 能 性もある．目 標 としての 100 点 満 点 とは別に，標 準 値 あるいは基
17
準 値 を設 定 し，個 々の RFP 評 価 点 との比 較 を行 うベンチマーキングも必 要 で
あると考 えられる．
ここでは，一 例 として，評 価 対 象 とした 29 個 の RFP のうち，総 合 評 価 点が高
かった 3 個の RFP（RFP トップ 3）における平 均 評 価 点を，各 要 件に対 する評
価 点 の基 準 値 とした．なお，基 準 値 の設 定 においては，特 異 点 ，あるいは，例
外 的 と思 われる値 （評 価 点 ）は除 外 する必 要 がある．特 に，著 しく高 い評 価 点 は，
目 指 すべき高 い目 標 として基 準 値 に組 み入 れるべきとされる一 方 で，特 異 点 ，
あるいは，例 外 的 として基 準 値 設 定 から除 外 すべき場 合 もある．基 準 値 設 定 に
用 いた３個 の RFP のうち２個 の総 合 評 価点 はおよそ 60 点 で，他 の RFP に比
べれば著しく高 い値となっている．ただし，100 点 満点 中の 60 点 であり，要 件
によっては，他 の RFP よりも平 均 評 価 点が低 くなる場 合もあることから，現 時 点
では，特 異 点 ，あるいは，例 外 的 とは見 なさず基 準 値 設 定 に用 いた．図 2.4 は，
総 合 評 価 点が中 央 値 であった RFP（RFP M と呼 ぶこととする）における評 価 点
を基 準 値 と比較 した結 果 である．一 般 論で言 えば，RFP M の評 価 値 と基 準 値
の差 が大 きい要 件 ほど，記 述 の明 確 さに改 善 の余 地 があることになる．同 図 より，
要 件「稼 働 率 目 標」，「異 常 検 知 条 件」，「サービス提供 時 間 」などが該 当 する．
個 別 の要 件 について，もう少 し詳 しく見 ていくと，例 えば，要 件 「導 入 教 育 」の
評 価 点は，RFP M では 4 点，基 準 値 ，すなわち，RFP トップ 3 の平 均 では
2.89 点 となっている．評 価 点が満 点の 4 点 であることから，RFP M において同
要 件が相 対 的にも絶 対 的にも極 めて明 確 に記 述 されていることが分かる．
また，要 件「運 用 容 易 性」に注 目してみると，RFP M の評 価 点は 2 点 ，基 準
値 も 2.17 点 とほぼ同 じである．RFP M の評 価 点だけで判 断すると，同 要 件 は
必 ずしも明 確に記 述 されていない，ということになる．しかし，RFP トップ 3 と同
程 度 には明 確 に記 述 されており，現 時 点 では，改 善 の余 地 はそれほどないかも
しれない．一 方 ，RFP M において，評 価 点 が同 じ 2 点 となっている要 件「障 害
予 防 」について見てみると，基 準 値 は 3.20 点 となっており，より明 確に記 述 する
余 地 が残 されていることが分かる．こうした違 いは，RFP M の評 価 点だけを比 べ
ても分 からない．他 にも，要 件「冗 長 化 」について言えば，RFP M の評 価 点 は 3
点 と要 件 「運 用 容 易 性 」よりも高 い評 価 となっているが，基 準 値 は 4 点 であり，
18
要 件 「運 用 容 易 性 」よりも既 に明 確 に記 述 されてはいるが，更 に明 確 に記 述 す
る余 地 が残 されていることが分かる．
なお，RFP M において評 価 点 が 0 点 となっているのは，要 件 「運 用 テスト」，
「運 用 開 始 条 件 の明 確 化 」，「稼 働 率 目 標 」，「稼 働 品 質 性 能 」，「異 常 検 知 条
件 」，「災 害 対策 」，「ライセンス保 守 」の 7 要 件 である．このうち，要 件「運 用 テス
ト」，「運 用 開 始 条 件の明 確 化」については，基 準 値も 0 点 となっているが，いず
れもユーザ企 業に対 するアンケート[6]において重 要 であるとの回 答 数 が多 い要
件 である．特 に，高 い信 頼 性 が要 求 されるドメインでの委 託 ソフトウェア開 発 に
おいては，ベンダがシステム開 発 の完 了 を確 認 し，ユーザが運 用 を開 始 する条
件 として RFP に記 述 されるべき要 件である．一 方 ，残 りの 5 つの要 件 について
は，より明 確に記 述する余 地があり，RFP M における記 述 の不 明 確 さには，個
別 の原 因 や理 由があると考 えるべきである．
導入教育
運用テスト
4
運用開始条件の明確化
3.5
障害対応
運用容易性
3
2.5
ライセンス
保守
2
稼働率目標
1.5
1
0.5
サービス
提供時間
稼働品質
性能
0
保守容易性
異常検知
条件
問題点把握
及び修正 分析
セキュリティ対策
災害対策
障害予防
基準値
図 2.4
2.4.5
冗長化
異常中断時の
処理機能
総合評価点が中央値のプロジェクト
ケ ー ス ス タ デ ィ 結 果 ： 基 準値 （ RFP ト ッ プ３ ） と の 比 較
評 価 者 間 の 評 価 点 の ば ら つき
評 価 者 間 のばらつきを確 認 するため，評 価 者 を２名 追 加 し，エキスパートとの
19
間 で評 価 結 果を比 較 する実 験を行った．追 加した評 価 者のうち 1 名 は，ソフトウ
ェア工 学 を専 門 とする，業 務 経 験 のない大 学 教 員 （以 降 ，教 員 と記 す）である．
もう 1 名 は，エンタープライズ系のソフトウェアエンジニアとして 20 年 以 上の経 験
を有 する者 （以降 ，エンプラ系ＳＥと記 す）である．29 件の RFP のうち，各 ドメイ
ン（地 方 自 治 体 ，図 書 館 ，政 府 機 関 ，大 学 ，病 院 ）から各 １件 をランダムに選 択
し評 価 対 象 とした．
実 験 の結 果 ，まず，各 要 件 に対 する評 価 点 の評 価 者 間 での差 （絶 対 値 の平
均 ）は，１非 機 能 要 件 あたり，エキスパートと教 員 の間 で 0.367，エキスパートと
エンプラ系 ＳＥとの間 で 0.585 となり，1 未 満（5 段 階 評価 における１段 階 未 満 ）
となった．評 価 点 に有 意 差 （フリードマン検 定 ，有 意 水 準 5％）が認 められたの
は，病 院 情 報 システムの RFP に対 するエキスパートの評 価 点 とエンプラ系 ＳＥ
の評 価 点 のみであった．そのケースにおいて，評 価 点 の差 が特 に大 きかった要
件 は，「スループット」「最 大 負 荷 スループット」「最 大 停 止 時 間 」「ターンアラウン
ド時 間 」「保 証 期 間 」の 5 つであった．これらはいずれも，要 件 に関 する数 値 情
報 が記 述 されていれば 4 点 ，されていなければ 0 点 となる要 件 で，エキスパート
による評 価はいずれも 0 点 ，逆に，エンプラ系ＳＥによる評 価 はいずれも 4 点 で
あった．実 際には，これら５つの要 件 に関する数 値 情 報は RFP には記 述 されて
おらず，エンプラ系 ＳＥによる評 価 は妥 当 でないことがわかった．エンプラ系 ＳＥ
に追 加 インタビューしたところ，「数 値 情 報 は示 されていなかったが，要 件 に関
する記 述は見られたので 4 点と評 価した．数 値 情 報の有 無を厳 密に評 価 に反
映 しなかったのは少 し寛 大 なのでは，と指 摘 されてもいたしかたない．」との回 答
が得 られた．このことから，数 値 情 報 の有 無 が評 価 に直 結 する要 件 については，
そのことを評 価 者 に徹 底 することが必 要 であり，また，徹 底 することで，評 価 者
間 で評 価 のばらつきを小 さく抑えることが期 待 される．
次 に，総 合 評 価 点（100 点満 点 ，重 み付 き）については，表 2.1 に示 す結 果
となった．エンプラ系 SE による病 院 情 報 システムに対 する評 価 点 を除 くと，教
員 およびエンプラ系ＳＥによる評 価 点 とエキスパートによる 評 価 点 と の 差 は ，最
大 でも 6.09 にとどまった．
以 上 より，実 務 経 験 のない大 学 教 員 であってもエキスパートと有 意 差 のない評
20
表 2.1
各評価者の各 RFP に対する総合評価点
評価者
エンプラ
エキス
教員
ドメイン
系ＳＥ
パート
2.71
5.99
6.88
図書館
27.31
32.79
33.40
政府機関
18.91
15.16
16.91
大学
5.06
5.88
5.34
病院
42.75
44.08
64.90
地方自治体
価 を行 えること，また，数 値 情 報 の記 述 が求 められる非 機 能 要 件 については，
具 体 的 な数 値 が記 述 されていなければ評 価 点 は“0”とすべきことを徹 底 するこ
とで，評 価 のばらつきを抑 えられる可 能 性 があることが分 った．本 結 果 の信 頼 性
を増 すため，より多 くの評 価 者 を被 験 者 として評 価 実 験 を行うことが今 後 の課 題
となる．
2.5 まとめ
2.5.1
評価結果と考察
本 章 では，ベンダへの提 案 依 頼 書 （RFP）提 示 に先 立 ち，RFP 作 成 者 であ
るユーザ自 身 が，RFP の品 質を定 量 的に評 価する方 法を提 案 した．評 価 対 象
は，ユーザにとって重 要 度 の高 い「保 守 と運 用 に関 する 55 個 の非 機 能 要 件
（NFR）」であり，評 価 の観 点 は，その記 述 の明 確 さ，である．記 述 の明 確 さは，
最 大 5 段 階 で評 価 され，その結 果は，RFP の「総 合 評 価 点」と要 件 毎の評 価
点 を俯 瞰 するための「レーダチャート」として示 される．地 方 自 治 体 ，図 書 館 ，政
府 機 関 ，大 学，病 院 などが WWW 上 に公 開 していた 6 ドメイン 29 件 の RFP を
評 価 対 象 としたケーススタディによって，記 述 が不 十 分 な要 件 を特 定 したり，基
準 値 との比 較 を通 じて特 に改 善 が必 要 な特 性 を明 らかにしたりできることなどが
21
確 認 された．加 えて，ドメインや要 件 によって評 価 点 やそのばらつきに比 較 的 大
きな差 があることが，総 合 評 価 点 の比 較 やレーダチャートによる俯 瞰 により明 確
となり，提 案 法に基づく RFP ベンチマーキングの可 能 性 についても議 論 を行 っ
た．なお，評 価は RFP のみに基 づいて実 施 可 能であり，評価 に必 要 な時間 も，
RFP１件あたり最 大 1 時 間 程 度 であった．
提 案 法 は，RFP を対 象 としたものであり，ベンダへの提 示 に先 だってユーザ
のみが利 用 するものと位 置づけられている．ただし，RFP に基 づいて作 成 される
技 術 仕 様・技 術 提 案 書や契 約 仕 様 書 へと適 用 範 囲を拡げることは比 較 的 容 易
である．その場 合 ，技 術 仕 様 ・技 術 提 案 書 の作 成 においてベンダが提 案 法 を
利 用 する，また，契 約 仕 様 書 の作 成 に向 けた技 術 協 議 において，ユーザとベン
ダの双 方 が提 案 法 を利 用 し，非 機 能 要 件 に関 する合 意 形 成 を効 率 よく行 う，と
いったことも考えられる．
また，関 連 研 究 においても少 し紹 介 したが，ソフトウェア開 発 で作 成 される文
書 の評 価 に，自 然 言 語 処 理 技 術 を用 いる研 究 が盛 んに行 われている．提 案 手
法 においても，例 えば，非 機 能 要 件 記 述 に含 まれる典 型 的 な語 句 や表 現 を自
然 言 語 処 理 技 術 で抽 出 し，非 機 能 要 件 の文 例 集 を作 成 することが考 えられる．
文 例 集があれば，RFP や対 象ドメインに関 する知 識が十 分 でない者 でも，提 案
手 法 による評 価 が可 能 に，あるいは，より容 易 になる．評 価 者 による評 価 結 果 の
ばらつきが減 れば，評 価 法に基 づく RPF ベンチマーキングの信 頼 性や有 用 性
も高 まる．テキ ス トマ イ ニ ングや 機 械 学 習 といった 技 術 と組 み合 わせることで，
RFP 評 価の自 動 化にも道を開 くことになる．
2.5.2
課題
提 案 手 法を用いて超 上 流 工 程 で RFP に記 述 されている非 機 能 要 件を定 量
評 価 することにより，ユーザの満 足 度 は向 上 することが推 定 される．なぜなら，不
十 分 な記 述 のユーザ要 求 が数 値 として明 確 になり，これを明 確 化 することにより
要 件 定 義 が行 われることが期 待 されるからである．しかし，ユーザの満 足 度 を評
価 するためには，定 義 された非 機 能 要 件 についてソフトウェアライフサイクルを
通 じた「要 求 管 理 」を継 続 することにより，要 求 の変 更 を定 量 評 価 することが求
22
められる．文 献 によれば「マイクロソフトのプロジェクトでは 30％の要 求 をあらかじ
め抽 出 することはできず，開 発 工 程 の途 中 で追 加 された」[49]とされている．委
託 ソフトウェア開 発 では，ソフトウェアライフサイクルを通 じて，提 案 手 法 によるユ
ーザ要 求 の追 加 変 更 を定 量 的 に評 価 し，顧 客 満 足 度 を検 証 することが今 後 の
課 題 である．
また，RFP に記 述 された非 機 能 要 件の記 述 内 容ついて，多 くの RFP を人 手
で評 価 を行うには時 間 を必 要 とする問 題 点 については，多 くの RFP を自 動 評
価 することにより時 間 を短 縮 し，相 対 的 に比 較 評 価 できることが求 められる．自
然 言 語で記 述 された RFP の非 機 能要 件 の記 述 内 容を自 動 評価 するためには，
非 機 能 要 件 に関 連 する語 句 が RFP にどの程 度 記 述 されているかを評 価 する
することにより，明 確 さを評 価 する手 法 が有 効 であると考 えられる．そこで，次 章
以 後 では，非 機 能要 件に関 連 する NFR キーワードを，テキストマイニングを用
いて RFP テキストから抽 出し，自 動 評 価 することにより，非 機 能 要 件 の記 述 内
容 の明 確 さを評 価する手 法について述 べる．
23
第3章
3.1
機械学習による非機能要件の自動評価
概要
第 1 章で述 べた手 法 [9][15] では， RFP に記 載 されるべき 55 個 の非 機 能
要 件 （図 2.1 参 照 ）の記 述をユーザ視 点 から評 価する枠 組みを提 案し，ケース
スタディにおいてエキスパート技 術 者 による評 価 を行 った．しかし，「非 機 能 要 件
評 価 シート」に基 づいた“人 手 による評 価 ”（以 後 は手 動 評 価 と称 する）は，エキ
スパートがいることが前 提 となること，および評 価 に時 間 を要 することが問 題 とな
る．そこで，本 章 では，これらの問 題 を解 決 するために，RFP に含 まれるキーワ
ード群 から非 機 能 要 件 に関 連 するキーワード（以 後 NFR キーワードとする）を
抽 出 し，その出 現 頻 度 に基 づいた機 械学 習 による自 動 評 価 手 法 を提 案 する．
提 案 手 法 では，最初 に自 然 言 語 で記 述された複 数の RFP から NFR キーワ
ードをテキストマイニングにより抽 出 する．NFR キーワードと「中 項 目 」の関 連 付
けにおいて，より明 確 に非 機 能 要 件 の記 述 内 容 を評 価 するために「非 機 能 要
件 評 価 シート」の階 層 をさらに細 分 化 し，粗 いレベルの「中 項 目 」と抽 出 した
NFR キーワードの間 に「小 項 目 」（非機 能 要 件）を設 けることにより，「NFR キー
ワード評価 シート」を作 成した．次に，抽 出 された NFR キーワードと「小 項 目 」に
マッピングされた NFR キーワード群 の出 現 頻 度 をデータとして，教 師 あり機 械
学 習 によりモデル化 する．モデル化 手 法 としては，分 類 精 度 が最 も高 く，高 次
元 データ解 析 に向 いており，汎 化 能 力 に優 れているランダムフォレストを用 いる
[17]．評価 実 験 では，NFR キーワードによる自 動 評 価について，2 段階 ，3 段
階 及 び 5 段 階の手 動 評 価の結 果を教 師 データとした機 械 学 習を行 い，その結
果 について比 較 する．以 下 ，3.2 節 で関 連 研 究 ，3.3 節で RFP と NFR キーワ
ードの相 関 関 係 についての予 備 調 査，3.4 節 で機 械 学 習 による提 案 手 法 ，3.5
節 で機 械 学 習 による非 機 能 要 件 評 価実 験 ， 3.6 でまとめについて述 べる．
3.2
関連研究
ソフトウェア開 発 の上 流 工 程 にて，自 然 言 語 で記 述 された非 機 能 要 件 を評
24
価 する国 内 での先 行 研 究 は少 なく，特 に非 機 能 要 件 の記 述 内 容 の定 量 評 価
については示 されていない．ソフトウェア開 発 の上 流 工 程 にテキストマイニングを
応 用 する実 用 的 な研 究 として,日 本 国 内 では福 田 [19]による概 念 データモデリ
ング，SOA のサービス抽 出 及 びサービスのクラスタ化 を支 援 する試 みが提 案 さ
れているが，クラスタ分 析 及 び文 書 ・語 句 行 列 による評 価 の試 行 にとどまってお
り，定 量 評 価は行 われていない．
また，今 村 ら[12]による技 術 文 書 からの用 語 知 識 を自 動 的 に獲 得 する実 験
は，共 起 関 係 としての「係 り受 け先 」と「文 節 内 の後 方 」が体 系 的 意 味 分 類 とし
て有 効 であることを指 摘 しており，自 然 言 語 で記 述 された技 術 文 書 から語 句 を
抽 出 する場 合 に有 益 な手 法 を示 唆 している．しかし，機 械 学 習 によるモデル化
は今 後 の課題 としている．
さらに，自 然 言 語 で記 述 された文 書 の質 判 定 については，英 語 で記 述 され
た論 文を対 象 としたさまざまな手 法による質 判 定 の研 究 [13] [14]が行 われてい
る．小 林 らは，論 文 の質 が如 実 に反 映 される言 語 項 目 を素 性 として論 文 の質 を
ランダムフォレストにより 2 クラス分類 し，分 類 精 度を評 価している．本 研 究とは，
非 機 能 要 件を対 象としている点 ，および，多クラス分 類を行 う点 が異 なる．
一 方 ，海 外 の先 行 研 究 では，自 然 言 語 で記 述 された要 求 仕 様 を，ソフトウェ
ア開 発 の上 流 工 程 において評 価 する重 要 性 の視 点 から，テキストマイニング技
術 により抽 出 した語 句 にもとづいて要 求 分 析 を行 い，ソフトウェア設 計 を支 援 す
る手 法 及び評 価に関 する先 行 研 究 [19] [20] [21] [22] [23] [24]がある．本 研
究 の対 象 である自 然 言 語 で記 述 された非 機 能 要 件 に着 目 した先 行 研 究 として
は，1)サポートベクタマシーンによる非 機 能 要 件 ，特 にアーキテクチャに関 する
分 類 器 に関 する先 行 研 究 [25]，2)セキュリティ，パフォーマンス，操 作 性 などの
非 機 能 要 件 に関 する語 句 をキーワードとして，独 自 の分 類 器 を用 いて評 価 する
手 法を提 案している先 行 研 究 [26] [27]，及 び 3）コンポーネントベース開 発 を対
象 として非 機 能 要 件 メトリクスにもとづいた品 質 評 価 に関 する先 行 研 究 [28]があ
る．しかし，これらの先 行 研 究 は，非 機 能 要 件 をパフォーマンス，セキュリティ，
可 用 性 などの非 常 に大 きなカテゴリにおける評 価 にとどまっており，評 価 実 験 に
おけるデータ数 も少ない．一 方 ，本 研 究 では，より細 分 化 された非 機 能 要 件（例
25
えば，セキュリティに関 して言 えば，アクセス権 限 ，ウイルス対 策 ，セキュリティ管
理 レベル，パスワード管 理 ，暗 号 処 理 ，情 報 漏 洩 対 策 ，認 証 機 能 ，不 正 アクセ
スなど）をそれぞれ評 価することを目 的 としている．また，評 価 に用 いた 70 件の
RFP によるモデル構 築 用のデータを Web にて公 開することで，一 般 企 業にお
ける利 用を可 能 としている[16]．
3.3
非機能要件キーワードの出現頻度予備分析
本 節 では ，収 集 した RFP テキスト群 を 用 いて「小 項 目 」にマッピングされた
NFR キーワードで記 述 の明 確 さを評 価 することの妥 当 性 について予 備 分 析 を
行 う．機 械 学 習を行う前 処 理 として，収 集した RFP 群 の各 RFP を文 書 として
結 合した RFP テキストを作 成 する．RFP 群 はウェブに公 開 されている「調 達 仕
様 書」，「要 求仕 様 」などからさまざまな情 報 化 対 象ドメイン（第 1 章 と同 様 に「図
書 情 報 システム」，「大 学 情 報 システム」，「医 療 情 報 システム」，「政 府 機 関 情
報 システム」などの公 的 機 関 における情 報 化 システム）を対 象 とした．理 由 として，
RFP 情 報 が公 開されており入 手が容 易であること，および委 託 ソフトウェア開 発
による情 報 化 システムの非 機 能 要 件が記 述 されていることがあげられる．
3.3.1
NFR キ ー ワ ー ド の 抽 出
自 動 評 価を行うためにウェッブに公 開 されている 70 件 の RFP 群を対 象 とし
た．詳 細は 3.4 節を参 照のこと．
機 械 学 習 に使 用 するキーワードについては，「出 現 頻 度 で上 位 １０％の単 語
しか使 わなくても分 類 器 の性 能 は下 がらないという実 験 結 果 がある．大 多 数 の
単 語の文 書 頻 度はきわめて低 く，実 際には上 位１０％がすべての低 中 頻 度を含
んでいるからである」[32]と言 われている．ランダムフォレストでは，説 明 変 数 総
数 の平 方 根 （デフォルト値）の説 明 変 数 により決 定 木を生 成 し分 類 が行 われる．
評 価 対 象 とした RFP 群の中 で NFR キーワードの出 現 頻 度が高 い大 項 目「運
用 要 件」の「小 項 目」に関 連 付 けられた NFR キーワードについて説 明 変 数の重
要 度 と出 現 頻 度を表 3.1 に示 す．表 3.1 によると，出 現 頻 度 で上 位 10％の
26
NFR キーワードの場 合は，説 明 変 数の重 要 度 は 13.16％から 90.2％であり，
個 別 の NFR により大 きな差 がある．しかし，出 現 頻 度で上 位 10%より多 い出 現
頻 度 上 位 10 個 の NFR キーワードの場 合 は，60.2％から 100％（ただし，キー
ワード数 が 10 個 に満 たない NFR があるので 100％となっている）となることが
認 められる．「小 項 目」の NFR キーワード数 が 30 個 程 度であれば，上 位 10 個
の NFR キーワードによる説 明 変数 の重 要 度が 70％以 上であることが分 かる．
よって，表 3.1 によると，さらに多 くの NFR キーワードを採 用すれば NFR キー
ワードによる重 要 度比 率は高 くなると言 える．しかし，個 々の NFR による違 いが
あるにせよ，「小 項 目」に対 応 付 けられた 30 個 程 度 の NFR キーワードであれば
NFR キーワードの出 現 頻 度が上 位 10 個 の重 要 度 比 率が７０%以 上 であり，自
動 評 価に十 分 な分 類 精 度が得られると言える．
表３．１ NFRキーワードの重要度と出現頻度
NFR
説明変数
システム管理
NFRキーワード数＝３１
運用管理
NFRキーワード数＝２２
アクセス権限
NFRキーワード数＝２５
ウイルス対策
NFRキーワード数＝３０
セキュリティ管理レベル
NFRキーワード数＝３２
セキュリティ対応
NFRキーワード数＝３５
パスワード管理
NFRキーワード数＝２４
暗号処理
NFRキーワード数＝１３
情報漏洩対策
NFRキーワード数＝９
認証機能
NFRキーワード数＝３５
不正アクセス
NFRキーワード数＝１６
システム異常検知
NFRキーワード数＝３１
重要度
重要度比率
重要度
重要度比率
重要度
重要度比率
重要度
重要度比率
重要度
重要度比率
重要度
重要度比率
重要度
重要度比率
重要度
重要度比率
重要度
重要度比率
重要度
重要度比率
重要度
重要度比率
重要度
重要度比率
合計
16.82767
100%
24.07378
100%
18.40352
100%
16.0936
100%
16.0434
100%
19.59131
100%
12.40575
100%
12.98212
100%
10.43894
100%
13.36928
100%
22.05132
100%
16.87974
100%
27
出現頻度
10％
9.825959
58.39%
8.193873
34.04%
4.214255
22.90%
10.10849
62.81%
6.133548
38.23%
8.064515
41.16%
1.884423
15%
11.68589
90.02%
1.374139
13.16%
2.699545
20.19%
8.342224
37.83%
6.509435
38.56%
出現頻度
TOP5
10.69791
63.57%
13.74518
57.10%
6.325919
34.37%
10.91389
67.82%
7.626645
47.54%
9.119925
46.55%
6.280194
51%
12.5504
96.67%
9.076611
86.95%
5.296596
39.62%
12.83992
58.23%
8.942516
52.98%
出現頻度
TOP１０
13.4981
80.21%
18.86369
78.36%
13.60273
73.91%
11.87168
73.77%
9.657985
60.20%
13.4673
68.74%
9.17485
74%
12.5504
96.67%
10.43894
100.00%
9.078904
67.91%
22.05132
100.00%
13.71657
81.26%
3.3.2
「 小 項 目 」 と NFR キ ー ワ ード の 関 連 付 け
70 件 の RFP から抽 出した NFR キーワードについて，「非 機 能 要 件 評 価シー
ト」の「非 機 能 要 件 」項 目 と「同 意 概 念 」となる場 合 があることが分 かった．さらに，
NFR キーワード群をカテゴライズすることにより，非 機 能 要 件 としての「上 位 概 念」
が明 確 になり，非 機 能 要 件 の記 述 内 容 の明 確 さを評 価 する上 で有 効 であると
考 え，「非機 能 要 件 評 価 シート」の「中 項 目」の下 層 に「小 項 目」を追 加した 4 層
構 成 となる「NFR キーワード評 価 シート」を作 成 した．「NFR キーワード評 価 シ
ート」の概 要 を図 3.1（詳 細は付 録 A．を参 照 ）に示 す．また，各 「小 項 目」に関
連 付 けられた NFR キーワードの出 現 頻 度 の合 計を図 3.2 に示 す．
図 3.2 によると評 価 対 象 とした RFP 群の NFR キーワードの出 現 頻 度が，各
「小 項 目 」により明 確 な差 として表 されることがわかる．このことは，どの「小 項 目 」
の記 述 の明 確 さが不 足 しているか，あるいは十 分 であるかについて比 較 し，判
断 することが可 能 であることを示 唆している．次 項 3.3.3 では，「小 項 目 」と NFR
キーワード出 現 頻 度についての予 備 調 査を行った結 果を示す．
大項目
RFP
中項目
操作容易特性
稼働品質特性
小項目
オペレーション
応答性
NFRキーワード
操作性　操作マニュアル　画面遷移
平均応答　転送応答性　最小レスポンス
安定的レスポンス　最小応答　応答性
画面レスポンス　ターンアラウンド
システム性能
ネットワーク使用率　CPU使用率
ネットワーク性能　演算性能　SPEC
システム運用
CPU負荷率　システム性能　処理性能
の評価要件
負荷バランス
負荷監視　CPU負荷　回線負荷
負荷分散性能　ロードバランシング
負荷低減　ピーク時　ネットワーク負荷
稼働品質
平均稼働率　アクセス頻度　稼働率
正常稼働　稼働実績　ダウンタイム
通信速度　トラフィック量　連続運転
障害検知特性
事故派生　異常発生通知　停電信号
システム異常検知 状態監視　検知システム　障害時
システムエラー　システムダウン　故障検知
障害要因
障害発生場所　障害の切り分け　障害原因
運用監視要件
ネットワークダウン　サーバ障害　障害要因
ハードウエア障害　機器障害　ディスク障害
システム監視特性 運用管理
運用管理ソフト　運転状況　運用マニュアル
運用管理　運用状況　運用管理システム
運用ルール　運用計画　正常運用
図 3.1 NFR キーワード評 価 シート（抜 粋 ）
28
8
7
6
5
4
3
2
1
0
20
15
10
5
0
1.5
1
0.5
0
68
38
98
研修対象
研修計画
研修機材
研修内容
研修方式
保守障害対応
知的財産権
保守タイプ
同時使用ユーザ数
ライセンス契約
サービスレベル
サービス対象
サービス体制
モジュール性
システム拡張性
バージョン管理
構成管理管理
保守マニュアル
システム管理マニュアル
運用管理マニュアル
ログ管理・解析
システムログ
運用ログ
災害対策
パッチ処理
リカバリ処理
停止処理
障害管理
障害対策
バックアップシステム
バックアップ管理
RAID構成
冗長化
暗号処理
情報漏洩対策
ウイルス対策
パスワード管理
認証機能
セキュリティ対応
セキュリティ管理レベル
アクセス権限
不正アクセス
システム管理
運用管理
障害要因
システム異常検知
稼働品質
負荷バランス
システム性能
応答性
オペレーション
運用開始
運用移行テスト
総合テスト
運用テスト仕様
運用テスト計画
206
158
122
329
434
41
181
222
398
129
217
333
177
73
14
50
125
74
42
147
56
84
35
161
27
261
249
130
114
209
200
26
368
61
417
178
353
269
146
593
333
397
60
113
70
88
32
301
72
245
218
79
108
0
100
200
300
400
500
600
700
図3.2 「小項目」毎のNFRキーワード出現頻度
29
3.3.3
「 小 項 目 」 と NFR キ ー ワ ード 出 現 頻 度
NFR キーワード 776 個 の内 ，70 件 の RFP 群 に出 現 したかどうかをカウント
した RFP 出 現 頻 度が多 い 20 個 の NFR キーワードを表 3.2 示 す．表 3.2 よる
と「小 項 目 」の内 「運 用 管 理 」，「システム拡 張 性 」，および「オペレーション」が多
いことが認 められる．また，収 集した RFP の多 くは公 的 機 関が入 札を目 的にウ
ェッブ上 に公 開 したものであり，「バージョン管 理 」，「保 守 障 害 対 応 」および「障
害 要 因 」 あるいは 「障 害 対 策 」に 関 連 する NFR キ ーワード に ついて，多 くの
RFP に出 現 していることが特 徴 として考 えられる．このことは，「小 項 目 」に関 連
付 けられる NFR キーワードによる評 価 の可 能 性 を示 唆していると言 える．
表 3.2
出 現 した RFP 数 が 多い 上 位 20 個の NFR キ ー ワ ー ド
NFRキーワード
システム管理
システム運用
バージョンアップ
拡張性
障害対応
障害発生
運用管理
操作マニュアル
セキュリティ対策
障害時
保守体制
著作権
操作研修
ハードウェア構成
冗長化
ネットワーク構成
操作方法
暗号化
運用支援
運用マニュアル
RFP出現
頻度
46
43
40
40
40
39
36
36
36
34
33
29
29
28
25
25
24
23
23
23
小項目
システム管理
運用管理
バージョン管理
システム拡張性
保守障害対応
障害要因
運用管理
オペレーション
セキュリティ管理レベル
障害対策
サービス体制
知的財産権
研修内容
システム拡張性
冗長化
システム拡張性
オペレーション
暗号処理
運用管理
運用管理
次 に，RFP に記 述 されている語 数 と NFR キーワードの出現 頻 度 について図
3.3 に示 す．図 3.3 によると，2 件の RFP については RFP 総 語 数 および NFR
30
キーワードの出現 回 数 が外 れ値 となっているが，残 りについては RFP 総 語 数 と
NFR キーワード出 現 頻 度に相 関 関 係 （表 3.3 参 照）があり，RFP 総 語 数が多
い場 合には NFR キーワードの出 現 頻 度も高 いことが認 められる．また，外 れ値
の 2 件 は独 立 行 政 法 人の共 通 情 報 基 盤 システムと新 設の総 合 医 療センターに
関 する情 報 化 システムであり，評 価 対 象 とする RFP 群 の中 では相 対 的 に多 く
の非 機 能 要 件が明 確 に記 述 されている RFP と言 える．
1400
出現したNFRキーワード数
1200
1000
800
600
400
200
0
0
10000
20000
30000
40000
50000
60000
70000
80000
90000
RFPの総語数
図 3.3
RFP 総 語 数 と NFR キ ー ワ ー ド 出 現 頻 度
さらに，図 3.4 に RFP 毎 の NFR キーワード出 現 頻 度 と「小 項 目 」について，
RFP を手 動 評 価 した総 合 評 価 ポイントを示 す．図 3.4 によると， NFR キーワ
ード出 現頻 度 と RFP の手 動 評 価 の相 関 係 数 は 0.649 であり，相 関 があると言
えるが，強 い相 関があるとは言えない．これは，一 部 の RFP について NFR キー
ワード出 現 頻 度 は低 いが手 動 評 価 が高 いものがあることによると考 えられる．特
に，外 れ値 となっている RFP は医 療 情 報 システムに関 するものであり，手 動 評
価 が高 い理 由 として，システムの応 答 あるいは処 理 時 間 について数 値 情 報 で
記 述 されており，また非 機 能 要 件 に関 連 する専 門 用 語 が複 合 語 ではなく平 易
な表 現 で記 述 されている等 がある．手 動 評 価 では，記 述 内 容 の前 後 関 係 ある
31
いは明 確 な数 値で記 述 されている場 合には，評 価を高 くするが，NFR キーワー
ドとして抽 出 した場 合 には，出 現 頻 度 が低 い結 果 となっていることが考 えられる．
ＮＦＲキーワード出現頻度
250
200
150
100
50
0
0
50
100
150
200
250
RFPの手動評価ポイント
図 3.4 NFR キーワード出 現頻 度 と RFP の手 動 評 価
最 後 に，図 3.5 に NFR キーワード出 現 頻 度 と「小 項 目 」の相 関 を示 す．図
3.5 によると，これらの相 関 係 数は 0.857 で，強 い相関 があり，NFR キーワード
の出 現 頻 度 が多 ければ RFP に記 述 されている非 機 能 要 件 を「小 項 目 」により
評 価することが有 効 であることを示している．
以 上 の予 備 調査 の結 果 により，「小 項 目」にマッピングされた NFR キーワード
と RFP に相関 があり，NFR キーワードの出 現 頻 度により非 機 能 要 件の記 述 の
明 確 さを評 価 することの有 効 性 が示 されたと考 えられる． そこで，次 節 の 3.4
節 以 降では NFR キーワードの出 現 頻 度により自 動 評 価 手 法を提 案し，機 械 学
習 による評 価 実 験の結 果 と手 動 評 価 との比 較について述 べる．
32
30
「小項目」の種類
25
20
15
10
5
0
0
50
100
150
200
250
NFRキーワード出現頻度
図 3.5 NFR キーワード出 現 頻 度 と「小 項 目 」の種 類
表 3.3 NFR キーワードと RFP の相 関 関 係
相関関係データ
RFP総語数とＮＦＲキーワード出現頻度
ＮＦＲキーワード出現頻度と手動評価
RFP毎の「小項目」の種類とNFRキーワード出現頻度
3.4
相関係数
相関
0.851 強い相関あり
0.649 相関あり
0.857 強い相関あり
提案手法
本 節 では，「NFR キーワード評 価 シート」の重 要 な中 項 目 10 個 に属 する 26
個 の「小 項 目 」に絞 ってモデルを構 築 し実 験 を行 う．モデル構 築 にはエキスパ
ートの労 力 が必 要 となるが，ひとたびモデルができれば，エキスパートがいない
状 況においても，RFP の評 価を支 援 できる．また，モデル構 築 用に， 70 件の
RFP のキーワード群 ，各 キーワードの出 現 頻 度 ，教 師 信 号 をまとめたデータを
Web にて公 開しており[16]，エキスパートがいない場 合 でもモデル構 築・利 用 を
可 能 としている．
3.4.1
「 小 項 目 」 の 自 動 評 価 モ デル 構 築 の 概 要
本項で述べる自動評価モデルは，第 2 章で作成した「非機能要件評価シート」と，
テキストマイニングにより抽出した NFR キーワードをもとに作成した「NFR キーワー
ド評価シート」の「小項目」を NFR キーワードの出現頻度により自動評価するもので
33
ある．ここでは，自動評価モデル構築の前処理から評価モデル構築までの手順概要
について述べ，次項 3.4.2 でその詳細を述べる．図 3.6 に「小項目」の自動評価モ
デル構築手順の概要を示す．図中の各手順は次のとおりである．
手順１：RFP 「小項目」の手動評価
RFP に記述されている「小項目」の内容を判断し，あらかじめ評価者が「小
項目」について段階評価を行う．この評価結果は，教師信号としてモデル構
築用に用いられる．
手順２：RFP の形態素解析
RFP 群のテキストデータから形態素解析を行い，名詞および複合語を抽出
する．
手順３：NFR キーワードの抽出
形態素解析により抽出された名詞及び複合語の中から評価対象とする
「小項目」に関連する NFR キーワードを手作業で抽出し, 「小項目」とのマ
ッピングを行う．
手順４：評価モデルの構築
NFR キーワードを説明変数とし，手順１で行った手動段階評価点を教師デ
ータとした教師あり機械学習用のデータを生成する．
34
手順２
RFPの
形態素解析
NFRキーワード
NFRキーワード評価シート
応答性
キーワード
マトリクス
操作手順
RFP
負荷分散
共通要件
ネットワークに対してどのような機器が接続されたかを検知するため，接続口
グ等を保存すること。
あらかじめ登録された端末以外はネットワークに接続できないこと。
登録されている端末についても，アクセスログ及び操作ログ等を保存すること。
不正アクセス
不正アクセス防止機能要件
院内にウィルス/ワームが侵入した場合の二次感染による病院機能の停止や
患者個人情報漏洩を防ぐ対策として,以下の機能を実装すること。
あらかじめ登録された端末以外はネットワークに接続できないような対策を講じ
ること。
情報漏洩対策エージェントと連動し,病院ネットワークセキュリティポリシーに適
合する端末にはネットワークアクセスを許可し,適合しない端末についてはアク
セスを拒否すること。
不正アクセス防止機器要件
ポリシーに準拠していない端末が，ネットワークに接続することをレイヤ２また
はレイヤ３レベルで防止できるシステムであること。
不正アクセス防止機能を実現するために以下を導入すること。
ネットワーク認証サーバ
セキュリティボリシーサーバ
情報漏洩対策
情報漏洩対策機能要件
HIS系端末を保護するためHIS系の全端末に対し,以下の機能を実装すること。
ポートスキャン,バッファオーバーフロー，トロイの木馬,不正パケット,Eメール型
ワーム,キーボード入力履歴の盗聴等の攻撃を検知･防御できること。
未知のウィルス･ワームを検知･防御できること。
情報漏洩対策エージェントはセキュリティボリシーサーバと照合することによ
り，アプリケーションの動作及び認められていないアプリケーションの新規イン
ストールを制御/防止できること。
情報漏洩対策として, USBメモリやＣＤ-ＲＯＭ等の外部リソースやディレクトリの
利用(書き込み/書き出し)，プリンタでの印刷を制限できること。
情報漏洩対策は情報漏洩対策サーバと各端末にインストールされた情報漏洩
対策エージェントにより実装されること。
外部ネットワーク接続
基本的に外部ネットワーク(インターネット系ネットワークを含む)と接続しないこ
と。
位置情報検知
院内に張り巡らせたデータ通信で利用する無線アクセスポイントを利用し,無線
ネットワーク配下にあるHIS系端末の位置を把握,また操作端末の施設平面図
に位置を表示する以下の機能を有すること。
操作端末から, HIS系端末の位置が検索できること。
あらかじめ設定されたエリアを設定することで,そのエリア内にあるHIS系端末の
位置情報が表示出来ること。
オプションにて無線アクセスポイントにアソシェートせず,データ通信無線ネット
ワークに負荷を掛けないWi-Fiタグを位置検知端末として利用可能なこと。
位置情報検知対象のHIS系端末に特別なクライアントソフト等を必要としないこ
と。
位置情報検知に用いるアンテナは，データ通信や音声通信とも共用可能なこ
と。
HIS系ネットワークスイッチ仕様
HIS系ネットワークスイッチ共通要件
RFPの手動
評価
監視機能
障害原因
NFR
キーワード
フィルタリング
手順３
評価モデル
の構築
手動評価
結果
手順４
手順１
図3.6
3.4.2
機械学習によるNFRキーワード評価モデル構築手順
非 機 能 要 件 評 価 モ デ ル の 構築
手順１： 「小項目」の手動評価
エキスパートによる RFP の手 動 評 価 の結果 は， RFP の機 械 学 習によ
る自 動 評 価 において教 師 データとして使 用 し，比 較 のために「小 項 目 」ごと
に 2 段 階 評 価 ，3 段 階 評 価 及 び 5 段 階 評 価により評 価 ポイントとして与 え
られる．これらの段 階 評 価 は，RFP の「小 項 目 」の記 述 内 容 の明 確 さを評
価 するために記 述 されているか記 述 されていないかを評 価 するスケールと
して，2 段 階 評 価 ，非 機 能 要 件 の記 述 はあるが内 容 としてあいまい性 を含
む記 述を評 価 する場 合には中 間的 な評 価 スケールを追 加した 3 段 階 評 価
とする．また，両 極 端と中 間 の間 にさらに中 間 的 な評 価の場 合 には 5 段階
評 価が適 切 である．各 段 階 評 価の評 価 基 準 は下 記 の表 3.4 よる．
35
表 3.4 段 階 評 価 と評 価ポイント
評価ポイント
4
3
2
1
0
手順２：
5段階評価
明確
やや明確
やや不明確
不明確
記載なし
3段階評価
N/A
N/A
明確
不明確
記載なし
２段階評価
N/A
N/A
N/A
明確
記載なし
RFP の 形 態 素 解 析
ユーザが作 成 する RFP は様 々な形 式 （例 えば，Word 形 式 ，Excel 形
式 ，PDF 形 式 など）で作 成 されている．RFP 文 章 から NFR キーワードを
抽 出 するためには，これらの形 式 をテキスト形 式 に変 換 して処 理 を行 う必
要 がある．そこで，自 然 言 語 の文 章 として記 述 されている部 分 をテキスト形
式 に変 換 する．また，図 として記 述 されている部 分 は削 除 し，表 で記 述 さ
れている部 分 は可 能 な限 りテキストに変 換 する．以 上 の処 理 をモデル構 築
に用 いるすべての RFP について行 い，RFP テキストデータ群 R を得 る．こ
の RFP テキストデータ群 R をひとつのテキスト文 書 として形 態 素 解 析を行
うことにより，RFP テキストデータ群 R の全 体 から名 詞および複 合 語 （名 詞
語 句 の組 み合 わせ）を抽 出 する（例 えば，「操 作 」と「手 順 」の複 合 語 である
「操 作 手 順 」を抽 出する）．
手順３：
NFR キ ー ワ ー ド の 抽 出
テキストマイニングにより抽 出 された名 詞 および複 合 語 の中 から「小 項 目 」
に関 係 づけられる NFR キーワードを手 作 業 で選 択 する．この場 合 ，出 現
頻 度が２回 以 上の NFR キーワードについて採 用 し，１回 のみ出 現 する語
句は不 採 用 とするが，対 象 とした RFP 群 での出 現 頻 度 は 1 回 であっても，
ソフトウェアアーキテクチャを構 築 する上 で重 要 と考 えられる「小 項 目 」の評
価に重 要 な NFR キーワードは採 用 した．また，「小 項 目 」に関 する単 一の
名 詞だけでなく専 門 用 語を加えた NFR キーワードにより，より明 確 に非 機
能 要 件 の記 述 内 容 を評 価 することが可 能 となることから複 合 語 を採 用 した．
36
複 合 語 として 「小 項 目 」の内 容 を表 す助 詞 を含 む複 合 語 句 （例 えば，操
作 を容 易 にする，平 均 読 み出 し遅 延 ，障 害 切 り分 けなど）は平 易 な語 句 で
表 現 された「小 項 目」を特 徴 付 ける NFR キーワードと考 えられるので採 用
した．複 合 語 の選 択 にはエキスパートの知 識 が必 要 となるが，本 論 文 で抽
出 したキーワード群 を Web に公 開 している[16]．一 方 ，出 現 頻 度 は高 い
が，広 範 囲 の意 味を持 つ単 語 （オペレーションなど）は抽 象 度 が高 く，専 門
性 が低 いため「小 項 目 」の記 述 の明 確 さを評 価 するには劣 る語 句 と考 えら
れるので除 外する．
次に，抽 出した NFR キーワードと「小 項 目」とのマッピングを行 う． k 番
目 の「小 項 目」に対 応 する j 番 目の NFR キーワードを W kj （ k ＝1,2,…,m
j ＝1,2,…n）と記 す．この一 連 の手 作 業 により，「NFR キーワード評 価 シー
ト」が得られる．表 3.5 に「NFR キーワード評 価 シート」の一 部 を示 す．（詳
細 については，付 録 A．を参 照）この表 は，「大 項 目 」，「中項 目 」，「小 項 目 」
および「NFR キーワード」の 4 層 で構 成 され，構 造 化している．一 旦 作 成 さ
れた「NFR キーワード評 価 シート」は新 たな RFP を人 手 により評 価 を行う
場 合 においても役 立 つものとなる．
37
表 3.5 NFR キーワード評 価 表 （抜 粋 ）
大項目
中項目
NFRキーワード
小項目
操作容易特性 オペレーション
操作性，操作マニュアル，操作方法，画面遷移
入力ミス，操作説明，容易に操作，操作手順書
オンラインマニュアル，直感的に操作
操作説明書，操作が容易，操作ガイド，操作説明
平均応答，ハードディスク応答性能，秒以下
応答性
ネットワーク転送容量，転送応答性，最小応答
安定的レスポンス，スループット，データ量
最大スループット，平均読み出し遅延
ハードディスク容量，レスポンスタイム
システム
システム性能
ネットワーク使用率，MPU使用率，CPU使用率
運用の評
ディスクIO負荷率，アクセス速度，演算性能
価要件
ソフトウェア性能，ハードウェア性能，同時接続数
システム性能，総合演算性能，以上の性能
負荷監視，CPU負荷，回線負荷，負荷計測
負荷バランス
最大負荷時，負荷分散性能，負荷分散
ロードバランシング，負荷率，負荷低減，ピーク時
負荷低減，ネットワーク負荷，負荷予測
稼働品質
平均稼働率，アクセス量，アクセス頻度
稼働率，％以上，システム稼働率，正常稼働
システム稼働率，安定稼働，正常に稼働
24時間365日稼働，ダウンタイム，稼動安定性
障害検知特性 システム異常検知事故発生，事故発生，停電信号
イベント発生，上限値警告，状態監視
障害通知機能，状態監視機能，異常
障害監視機能，自動運転監視，システム監視
運用監視
障害要因
システム障害1次切り分け，障害発生場所
要件
プラットフォーム障害，障害発生時刻
障害の切り分け，サーバ障害，ネットワーク障害
ハード障害発生，ネットワーク障害，電源障害
機器障害，ソフトウェア障害，ハードウェア障害
手順４：
評 価モ デ ル の 構 築
「NFR キーワード評 価 シート」の各「小 項 目」にマッピングされた NFR キ
ーワード W kj のそれぞれの出 現 頻 度を算 出する．NFR キーワードの出 現
頻 度 は，評 価 する「小 項 目 」ごとに算 出 する．よって，評 価 モデルとなるデ
ータは，評 価対 象 の RFP の行 成分 と関 連 する NFR キーワード W kj の出
現 頻 度 である列 成 分 で構 成 される，「小 項 目 」ごとのマトリクスとなる．これら
のマトリクスが従 属変 数 となり，このマトリクスに手 順 1 で作 成 した手 動 評 価
結 果 を目 的 変 数 である教 師 信 号 として追 加 して，ランダムフォレスト推 定 の
ための評 価 モデルを作 成 する．
38
3.4.3
「 NFR キ ー ワ ー ド 評 価 シ ート 」 の 利 用
一 般 的な RFP 評 価 として，「NFR キーワード評価 シート」を利 用 するために
は，できる限 り「小 項 目 」の記 述 に偏 りがない，さまざまなドメインについての情 報
化 システム RFP 群をサンプルデータとして採 用 することが求 められる．これによ
り，比 較 評 価 対 象 となる RFP の非 機 能 要 件 の記 述 内 容 の明 確 さについて，隔
たりのない定 量 評 価 を行 うことが可 能 となる．また，特 定 のドメインについて
「NFR キーワード評 価 シート」モデルを利 用 する場 合には，対 象とするドメインの
RFP 群 に つ い て ， よ り 多 く の サ ン プ ル デ ー タ を 採 用 す る こ と が 求 め ら れ る ．
「NFR キーワード評 価 シート」モデルは，「小 項 目」の評 価を行 うことにより，その
上 位 階 層 である中 項 目 及 び大 項 目 も定 量 的 に評 価 することができ，階 層 的 に
RFP の記 述 内 容の明 確 さについて確 認 することができる．記 述 内 容 の明 確 さが
不 足しているケースでは，記 述 内 容を改 良した後に再 び「NFR キーワード評 価
シート」モデルを利 用 することにより，どの程 度 非 機 能 要 件 の記 述 内 容 が改 良 さ
れたかという点 について定 量 的 に把 握 するが可 能 である．さらに，一 度 ，モデル
を構 築 すれば RFP 作 成 と評 価 に多 くのエキスパートを必 要 とする作 業 を軽 減
し，少 ないコストで非 機 能 要 件 の記 述 内 容 の明 確 さについて評 価 を行 うことが
容 易 となる．次 節 では，「NFR キーワード評 価 シート」モデルにもとづく評 価 実
験について述 べる．
3.5
ランダムフォレストを用いた非機能要件評価実験
3.5.1
実験の目的
実 験 では NFR キーワードに基 づく「小 項 目」の自 動 評 価と手 動 評 価を比 較
し，教 師 あり機 械 学 習 による自 動 評 価 モデルの妥 当 性 を評 価 する．そこで，5
段 階 評 価 ，3 段 階 評 価および 2 段 階 評 価 の 3 種 類の段 階 評 価 の評 価 実 験を
行 い，RFP の多 段 階 評 価 として，どの評 価 法 が有 用 であるかについて比 較 検
証 する．
39
3.5.2
評価実験データと実験方法
（1）評価実験データの準備
評価対象とした RFP サンプルデータは，Web 上に公開されている図書情報シ
ステム（11 件），病院情報システム（10 件），大学情報システム（8 件），政府機関情
報システム（14 件），自治体基幹情報システム（10 件），地方自治体業務システム
（14 件）及びその他情報システム（3 件）の計 70 件である．これらの RFP サンプル
データの非機能要件に関する記述部分としてのデータのサイズは，37,281 行の
1,357,655 語のテキストファイルである．
（2）教師データの作成
ランダムフォレスト推定の目的変数として与える教師データは 70 件の RFP サン
プルデータについて，「小項目」ごとに評価者が RFP に記述されている内容を評
価して段階評価を行う．評価ポイントは 3.4.2 の手順１で述べた基準に基づいて，
26 個の「小項目」について 2 段階評価，3 段階評価及び 5 段階評価を行う．
（3） 評価モデル用テキストデータの前処理
評価モデル用のテキストデータをテキストマイニングするツールとして，フリーソフ
トである KH-Coder[18]を採用する．評価モデル用の各テキストデータをファイル
結合し， HTML タグによって区別された「文書」とみなす単位の集合として構成す
る．結合された評価モデル用の RFP 群 R は全体が＜h1＞</h1＞によりマーキン
グされ，各 RFP（ｒi）は＜h2＞</h2＞としてマーキングされる．マーキングした評価
モデル用テキストデータの例を以下に示す．
＜h1＞RFP 非機能要件評価用テキストデータ</h1＞
<h2>file:1_A 図書館システム.txt</h2>
RFP 本文……………………………………………………
………………………………………………………………
40
＜h2＞file:15_B 図書館システム.txt</h2>
RFP 本文……………………………………………………
………………………………………………………………
………………………………………………………………
<h2>file:20_A 病院情報システム.txt</h2>
以下略
テキストマイニングツールでは，RFP 本文内の段落や文を「文書」とみなす単位
として HTML タグ＜h1＞</h1＞から＜h5＞</h5＞までの５つの構造を使用する
ことができるが，本論文では＜h1＞</h1＞及び＜h2＞</h2＞のみを使用する．こ
れらの前処理の結果，対象としたサンプル RFP の「小項目」を含む評価モデル用
のテキストデータが得られる．RFP テキストデータの総語数は 670,125 語である．
また，各 RFP についてみると，最大語数，最小語数および平均語数はそれぞれ
79,816 語，1,153 語および 9,573 語である．
（4）キーワードの抽出
最初に，評価モデル用のテキストデータをテキストマイニングツールにより形態
素解析を行い，名詞および複合語を対象として NFR キーワードをマニュアルでフ
ィルタリングする．
次に，フィルタリングした NFR キーワードを「小項目」にマッチングする．さらに，
マッチングした NFR キーワードを指定して，「小項目」ごとに評価モデル用のテキ
ストデータについてテキストマイニングを行い，26 個の「小項目」に関する NFR キ
ーワードの出現頻度を計測する．この計測結果をもとに，70 個のプロジェクトを「行」
とし，各 NFR キーワードの出現回数を「列」とするマトリクスを得る．抽出された名
詞および複合語から選択を経て得られた NFR キーワード総数は，776 語である．
（5）評価実験データの作成
（４）で作成したマトリクスに（２）で作成した 2 段階，3 段階及び 5 段階のマニュ
41
アル評価結果を対応させて実験用データセットを作成する．評価実験を行うデー
タセットは，3.4.2 の手順４で述べた手順により作成された「小項目」ごとの 26 個の
マトリクスに３種類の段階評価である教師データを付加した計 72 個のデータセット
となる．
（6）機械学習の条件作成と実験方法
機械学習プログラムは，「R 言語」のランダムフォレストパッケージを採用する．ラ
ンダムフォレスト用プログラムは，データ全体の 2/3 を学習データとしてモデルが構
築され，構築したモデルを評価するために約 1/3 の残りのデータを取り除いておい
てテストデータとする．また，ランダムフォレストの実行にあたっては，学習データと
予測データを予測繰り返しの都度ランダムに生成し，ランダムフォレストの分類問
題として評価推定を行う．ランダムフォレストの決定木の数はデフォルト値の 500 と
する．
実験データは「小項目」ごとに生成しているので，実験回数は 3 種類（2 段階評
価，3 段階評価，及び 5 段階評価）を評価対象として，26 個の「小項目」について
行い，計 72 回のランダムフォレスト推定を実行する．
3.5.3
実験結果の評価手法
ランダムフォレスト推 定 結 果 とマニュアル評 価 の一 致 率 を検 定 する手 法 として
κ統 計 量 [31]による検 定 を行 う．κ統 計 量 は，ふたりの評 定 者 の判 定 結 果 がど
の程 度 一 致 しているかを示 す指 標 であり，ふたりの評 定 者 の判 定 が偶 然 一 致
する確 率を求 めて，偶 然によらない一 致 率を以 下の計 算 式により計 算する．
κ統 計 量 ＝（実 際の一 致 率―偶 然 の一 致 率）／（１－偶 然 の一 致 率）
２段 階 評 価 を例 にとると，手 動 評 価 とランダムフォレストの評 価 についてのクロス
表 は以 下 となる．
42
RFによる評価
評価１
評価0
人手による 評価１
評価
評価0
計
ｍ10
ｍ00
ｍ・0
ｍ11
ｍ01
ｍ・1
計
ｍ１・
ｍ０・
ｎ
ここで，ｍ 11 およびｍ 00 は手 動 評 価 とランダムフォレストの評 価 が一 致 した RFP
の数 であり，ｍ 01 およびｍ 10 は不 一 致 となった RFP の数 である．実 際の一 致 率
Pe は，Ｐo＝（ｍ 11 ＋ｍ 00 ）/ｎで計 算 され，偶 然の一 致 率 Pe は，Pe＝（（ｍ 11 ＋
ｍ 10 ）（ｍ 11 ＋ｍ 01 ）＋（ｍ 01 ＋ ｍ 00 ）（ｍ 10 ＋ｍ 00 ））/ｎ 2 で計 算 される．よって，
κ統 計 量 は下記 の式 で求められる．
κ統 計 量 ＝（Po―Pe）/（１－Pe）
また，κ統 計 量 は，ふたりの評 者 の判 定 結 果 による不 一 致 の 程 度 が多 段 階
評 価 における評 価 結 果 で異 なる（例 えば，評 定 者 A が 1 と評 定 し評 定 者 B
が 2 と評 定 した場 合 と，評 定 者 A が 1 と評 定 し評 定 者 B が 3 と評 定 し
た場 合 ）場 合 に，より不 一 致 であると考 える結 果 に対 して重 みを大 きくする「重
み付 けκ統 計 量」による検 定 がある．
本 実 験 では，評 価 者 による評 価 結 果 とランダムフォレスト推 定 評 価 結 果 により
不 一 致 がある場 合 には重 みを付 けることが適 当 と考 え，「重 み付 けκ統 計 量 」
（以 後 単 にκ統 計 量 とする）により検 定 する．また，κ統 計 量 による評 価 を行 っ
た結 果 から，3 種 類 の段 階 評 価 の中 でどの段 階 評 価 が最 も有 効 であるかにつ
いて考 察 する．以 下 はκ統 計 量 による判 定 基 準である．
κ統 計 量 による判 定 基 準
0 ～ 0.40
：低 い一 致
0.41 ～ 0.60 ：中 等 度の一 致
0.61 ～ 0.80 ：かなりの一 致
0.81 ～
：高い一 致
43
さらに，「3 段 階 評 価 」については，ランダムフォレストによるテストデータの評 価
推 定 結 果 が評 価 者 の評 価 と一 致 しているかどうかを下 記 の一 致 判 定 基 準 につ
いても考 察する．
一 致 率＝一 致 ケース/全 テストデータケース
±1 差 一 致 率＝（（一 致 ケース）＋（±1 差 一 致 ケース））/全 テストデータケース
ここで，
一 致 ケース：データセットをランダムサンプリングして 1/3 をテストデータとした場
合 にランダムフォレストによる予 測 と教 師 データが一 致 したケース数 とする．
全 テストデータケース：70 件のデータセットをランダムサンプリングした 1/3 のテ
ストデータ数 とする．
±1 差 一 致ケース：データセットをランダムサンプリングして 1/3 をテストデータと
した場 合 にランダムフォレストによる予 測 と教 師 データが一 致 した場 合 とその評
価 の差 が±1 差であったケースの合 計 数 とする．
3.5.4
実 験 結 果 に 基 づ く 一 致 の 検定 と 考 察
3 段 階 評 価について算 出した「小 項目 」のκ統 計 量 による検 定 と一 致 率の結
果 を，図 3.7 にレーダチャートで示 す．図 3.7 によると，κ統計 量 は一 致 率 と比
較 して各 「小 項 目 」の評 価 に差 が大 きく表 れることが分 かる．そこで，より階 層 の
高 い「中 項 目 」の評 価 をκ統 計 量 により比 較 して，平 均 化 されたκ統 計 量 をもと
に 3 種 類の段 階 評 価 の内 どの段 階 評 価 の一 致 率が高 いかについて考 察 する．
「中 項 目 」の一 致 率 は，各 「中 項 目 」に属 するすべての「小 項 目 」について算 出
したκ統 計 量の平 均 値 としている．「中 項 目 」についての 3 種 類 の段 階 評 価 の
κ統 計 量を表 3.6 示 す．表 3.6 よると，2 段 階 評 価のκ統計 量 0.3591 は，こ
れ以 外 の多 段 階 評 価 と比 較 して，「冗 長 化 特 性 」と「セキュリティ対 策 特 性 」は
比 較 的 高 い一 致 と言 えるが，高 い一 致 （稼 働 品 質 特 性 ，データバックアップ特
性 ，冗 長 化 特 性 など）と低 い一 致 （障 害 検 知 ，障 害 予 防 ，障 害 復 旧 など）の差
が大 きく，安 定 していないことが認 められる．5 段 階 評 価 も同 様 に高 い一 致 と低
44
い一 致 率 の差 が大 きく，安 定 しているとは言 えない． 3 段 階 評 価 の「中 項 目 」
全 体 のκ統 計 量は 0.4063 であり，2 段階 評 価と 5 段 階 評 価 と比 較して個 々の
「中 項 目 」についての一 致 差 も少 なく，全 体 のκ統 計 量 として最 も高 い数 値 を
示している．さらに，3 段 階 評 価の個 々の「中 項 目 」で見 ると，最も高 い一 致を示
した「システム監 視 」（κ統 計 量 が 0.6487）と最も低 い一 致を示した「障 害 復 旧 」
（κ統 計 量が 0.2026）があり，それぞれの「中 項 目」で大 きい差 があることが認 め
られる．これは，κ統 計 量 の計 算 において一 致 の隔 たり（クロス表 の対 角 部 分 の
隔 たり）があれば一 致 が低 くなり，κ統 計 量 が小 さくなることが要 因 と考 えられる．
そこで，例 として「システム監 視 」の小 項 目 である「運 用 管 理 」および「システム管
理 」と「障 害 復 旧 」の「小 項 目 」である「リカバリ処 理 」および「パッチ処 理 」のクロ
ス表 とκ統 計量 を図 3.8 に示 す．図 3.8 によるとクロス表 で一 致 の隔たりがある
「リカバリ処 理」および「パッチ処 理 」のκ統 計 量 が低 いことが認 められる．
よって，「小 項 目 」の個 々の一 致 については，実 験 結 果 によるκ統 計 量 に差
はあるが，3 種 類の段 階 評 価の内 ，3 段 階 評 価が最も高 い一 致 を示すことが分
かった．次 項 3.5.5 では，ランダムフォレストによる 3 段 階評 価 と 5 段 階 評 価に
ついての自 動 評 価 と手 動 評 価 の結 果を比 較 検 証する．
κ統計量
一致率
オペレーション
冗長化
RAID構成
停止処理
障害対策
障害管理
リカバリ処理
稼働品質
応答性
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
負荷バランス
システム性能
システム管理
運用管理
パッチ処理
障害要因
バックアップ管理
アクセス権限
バックアップシステム
ウイルス対策
不正アクセス
セキュリティ管理レベル
認証機能
情報漏洩対策
セキュリティ対応
パスワード管理
暗号処理
図 3.7 「小 項 目」の３段 階 評 価 の比 較
45
リカバリ処理
κ＝
RFによる評価
評価２ 評価１ 評価0 計
0.2931
手動評価 評価２
0
0
0
評価１
2
4
0
評価0
1
8
8
計
3
12
8
運用管理
κ＝
RFによる評価
0.7333
評価２ 評価１ 評価0 計
手動評価 評価２
1
1
0
評価１
5
11
0
評価0
0
0
6
計
6
12
6
0
6
17
23
パッチ処理
κ＝
RFによる評価
0.2780
評価２ 評価１ 評価0 計
手動評価 評価２
0
0
0
評価１
2
0
0
評価0
1
4
16
計
16
1
6
0
2
21
23
2
16
6
24
システム管理
κ＝
RFによる評価
0.6308
評価２ 評価１ 評価0 計
手動評価 評価２
0
0
0
評価１
4
11
0
評価0
0
2
7
計
4
13
7
0
15
9
24
図3.8 クロス表とκ統計量（一部）
表 3.6 段 階 評 価 方 法 別の κ 統 計 量
非機能要件　中項目
オペレーション
稼働品質
障害検知
システム監視
セキュリティ対策
冗長化
データバックアップ
障害予防
障害復旧
平均
3.5.5
2段階評価 3段階評価
κ統計量
κ統計量
0.2727273
0.352601
0.538645
0.632996
0.225141
0.416683
0.343091
0.648718
0.472326
0.414079
0.628205
0.486667
0.51875
0.268439
0
0.234274
0.233333
0.20265
0.3591
0.4063
5段階評価
κ統計量
0.2814371
0.5681375
0.18433735
0.467636
0.294958
0.4251353
0.3625605
0.10996563
0.07539316
0.3077
手動評価と自動評価の比較
ランダムフォレストによる 1/3 のテストデータの推 定 評 価 結 果 について，手 動
評 価 との一 致 率 および±1 差 一 致 率を計 算 （3.5.3 項 参 照 ）した 3 段 階 評 価 の
結 果 を表 3.7(a)に示 す．また，5 段 階 評 価 については表 3.7（ｂ）に示 す．
3 段 階 評 価による 26 個の「小 項 目」についての一 致 率 及び±1 差の一 致 率
の平 均 値 は，それぞれ，69.8%及 び 97.2%で高い一 致 であった．また，一 致 率
が 70%を超 えたものは「小 項 目」26 個 の内 の 13 個であり，全 体の約 1/2 であ
った．更に，±1 差 一 致 率 では，25 個 が 90%を超 えている．このことは，評 価 が
46
全 く異なる評 価 点の差 が“２”である RFP が少 ないことによる．ただし，すべての
RFP について「小 項 目」26 個の評 価 点が“3”と評 価 された高 評 価 の RFP は，
手 動 評 価 全 体の 9.8%とその比率 が少 ない．一 方 ，κ統 計 量の平 均 は 0.43 で
あり，ランダムフォレストによる推 定 評 価 と評 価 者 による評 価 との正 答 率 は約
43％であった．「小 特 性」ごとにκ統 計 量の一 致 基 準で見 ると，「小 項 目」26 個
の内 ，「高い一 致 」が 2 個（「応 答 性」および「暗 号 処 理 」），「かなりの一 致 」が 4
個 （「稼 働 品 質 」，「運 用 管 理 」，「システム管 理 」および「RAID 構 成 」）および
「中 程 度 の一 致」が 8 個 であり，「中 程 度の一 致」以 上 と判 定 される「小 特 性 」の
比 率 は 54%である．これは，RFP サンプルデータの非 機 能 要 件 の記 述 内 容 が，
明 確 に書 かれているものが少 なく，評 価 点 が“１”および“２”のデータが多 く，ク
ロス表 の対 角 部 分 の隔 たりが大 きいことが要 因 のひとつと考 えられる．この結 果 ，
κ統 計 量 によってランダムフォレストの推 定 結 果 と手 動 評 価 との一 致 を評 価 す
ると低 い一 致 となることが考 えられる．よって，「小 項 目 」の記 述 内 容 の明 確 さが
高 いプロジェクトの RFP をサンプルデータとして収 集 し，評 価 点が“3”の高 い評
価 の RFP サンプルを含 めた学 習データによる自 動 評 価を行 うことによりκ統 計
量 による一 致の評 価も高 くなることが期 待 される．
一 方 ，5 段 階 評価 の一 致 率は 61.96％であり，3 段 階 評 価の一 致 率である
69.84％との差 は 7.88％となり，一 致 率 が低 いと言 える．また，±1 差 一 致 率の
場 合 は 12.11％となり，その差はさらに大 きいことが認 められる．3 段 階 評 価の±
1 差 一 致 率が 5 段 階 評 価より高 くなっている要 因 として，多 段 階 評 価 における
3 段 階 評 価 の中 心 性 向が高 いことが考えられる．さらに，5 段 階 評 価では，ラン
ダムフォレストの分 類 精 度（3 段 階 評 価の平 均 OOB 誤 差は 28.91％であり 5 段
階 評 価の平 均 OOB 誤 差 は 38.71％）が低 いために一 致 率が低 くなっているも
のと考 えられる．
次 に，3 段 階評 価 の場 合のランダムフォレストによる「自 動 評 価 」と「手 動 評 価 」
平 均 値ついて，誤 差 および有 意 水準 5％でｔ検 定を行った結 果 を表 3.8 に示
す．表 3.8 によると「小 項 目」は 26 個の内 15 個に有 意 差があり，評 価が一 致
していると判 定 される「小 項 目」は全体 の約 42％の 11 個 であった．これらの結
果 から，ランダムフォレストによる「自 動 評 価 」においては，3 段 階 評 価が 5 段階
47
評 価より「手 動 評 価」と一 致していると言える．
さらに，各 「小 項 目 」のランダムフォレストによる 1/3 のテストデータについての
「 自 動 評 価 」 の 平 均 値 と 対 応 す る 「 手 動 評 価 」 の 平 均 値 を 図 3.9(a) お よ び
3.9(b)のレーダチャートに示 す．段 階 評 価 による評 価 結 果 をわかりやすくするた
めに，評 価 点を“1”，“2”，および“3”の 3 段 階 と“１”，“2”，“3”，“4”および“5”
の 5 段 階 評 価としている．図 3.9 によると，「応 答 性 」，「運 用 管 理」，「アクセス
権 限 」及 び「バックアップ管 理 」については，ランダムフォレストモデル推 定 評 価
と評 価 者 による評 価 がほぼ一 致 しているが，その他 の「小 項 目 」ではいずれも評
価 者 による評 価が高 い結 果となっていることが認 められる．さらに，5 段 階 評 価 と
3 段 階 評 価 との比 較 においては，5 段 階 評 価は「自 動 評価 」と「手 動 評 価」の評
価 差 がより大きいことが認 められる．
表 3.7（a） ランダムフォレストの評 価 推 定 結 果（3 段 階 評 価）
小項目
オペレーション
稼働品質
応答性
負荷バランス
システム性能
システム管理
運用管理
障害要因
アクセス権限
ウイルス対策
セキュリティ管理レベル
セキュリティ対応
パスワード管理
暗号処理
情報漏洩対策
認証機能
不正アクセス
バックアップシステム
バックアップ管理
パッチ処理
リカバリ処理
障害管理
障害対策
停止処理
RAID構成
冗長化
全体
一致数
12
20
21
20
14
18
19
16
13
17
15
17
18
22
19
16
17
15
12
18
13
18
15
16
18
16
435
±１差 不一致
一致数
数
11
1
2
2
3
0
3
1
10
0
6
0
5
0
7
1
11
0
7
0
7
2
7
0
3
3
2
0
5
0
8
0
7
0
9
0
11
1
5
1
10
1
5
0
9
0
8
0
6
0
8
0
175
13
48
一致率
±１差　一
致率
κ統計量
50.00%
83.33%
87.50%
83.33%
58.33%
75.00%
79.17%
66.67%
54.17%
70.83%
62.50%
70.83%
75.00%
91.67%
79.17%
66.67%
70.83%
62.50%
50.00%
75.00%
54.17%
78.26%
62.50%
66.67%
75.00%
66.67%
95.83%
91.67%
100.00%
95.83%
100.00%
100.00%
100.00%
95.83%
100.00%
100.00%
91.67%
100.00%
87.50%
100.00%
100.00%
100.00%
100.00%
100.00%
95.83%
95.83%
95.83%
100.00%
100.00%
100.00%
100.00%
100.00%
0.353
0.619
0.909
0.505
0.381
0.631
0.733
0.415
0.120
0.556
0.204
0.219
0.163
0.848
0.500
0.467
0.495
0.455
0.120
0.373
0.307
0.000
0.301
0.392
0.640
0.467
69.84%
97.92%
0.430
表 3.7（ｂ） ランダムフォレストの評 価 推 定 結 果（5 段 階 評 価）
小項目
オペレーション
稼働品質
応答性
負荷バランス
システム性能
システム管理
運用管理
障害要因
アクセス権限
ウイルス対策
セキュリティ管理レベル
セキュリティ対応
パスワード管理
暗号処理
情報漏洩対策
認証機能
不正アクセス
バックアップシステム
パッチ処理
リカバリ処理
障害管理
障害対策
停止処理
RAID構成
冗長化
システム異常検知　全体
一致数
13
19
23
21
12
17
14
10
9
14
11
10
14
20
17
15
16
9
17
10
22
13
14
16
14
14
384
±１差
一致数
4
3
0
0
7
4
5
9
10
8
8
11
4
2
7
5
6
14
3
8
0
9
7
6
6
2
148
49
不一致数 OOB誤差 一致率
6
1
1
3
5
3
4
5
5
1
5
3
6
2
0
4
2
1
4
6
2
2
3
2
4
8
88
58.70%
34.78%
0.00%
19.57%
47.83%
32.61%
65.22%
52.17%
60.87%
32.61%
50.00%
50.00%
47.83%
4.35%
15.22%
50.00%
34.78%
52.17%
39.13%
41.30%
17.39%
45.65%
34.78%
32.61%
39.13%
47.83%
38.71%
56.52%
82.61%
95.83%
87.50%
50.00%
70.83%
60.87%
41.67%
37.50%
60.87%
45.83%
41.67%
58.33%
83.33%
70.83%
62.50%
66.67%
37.50%
70.83%
41.67%
91.67%
54.17%
58.33%
66.67%
58.33%
58.33%
61.96%
±１差
一致率
73.91%
95.65%
95.83%
87.50%
79.17%
87.50%
82.61%
79.17%
79.17%
95.65%
79.17%
87.50%
75.00%
91.67%
100.00%
83.33%
91.67%
95.83%
83.33%
75.00%
91.67%
91.67%
87.50%
91.67%
83.33%
66.67%
85.81%
表 3.8
自 動 評 価 と手 動評 価 の誤 差
小項目
RF評価得点
オペレーション
応答性
システム性能
負荷バランス
稼働品質
障害要因
運用管理
システム管理
不正アクセス
アクセス権限
セキュリティ管理レベル
セキュリティ対応
認証機能
パスワード管理
ウイルス対策
情報漏洩対策
暗号処理
冗長化
RAID構成
バックアップ管理
バックアップシステム
障害対策
障害管理
停止処理
リカバリ処理
パッチ処理
平均
手動評価
得点
1.33
1.88
1.21
1.17
1.17
1.42
1.88
1.63
1.38
2.04
1.17
1.04
1.50
1.04
1.38
1.17
1.38
1.38
1.33
2.00
1.50
1.38
1.00
1.17
1.25
1.13
1.38
1.71
1.92
1.63
1.29
1.42
1.71
2.00
1.88
1.58
1.92
1.63
1.92
1.75
1.42
1.67
1.38
1.46
1.54
1.58
1.96
1.79
1.42
1.21
1.50
1.75
1.42
1.63
ランダムフォレスト評価点
誤差（手動
評価ーRF評
価）
0.38
0.04
0.42
0.13
0.25
0.29
0.13
0.25
0.21
0.13
0.46
0.88
0.25
0.38
0.29
0.21
0.08
0.17
0.25
0.04
0.29
0.04
0.21
0.33
0.50
0.29
0.26
P(T<=t)
両側
0.017
0.575
0.000
0.266
0.056
0.056
0.185
0.011
0.057
0.377
0.002
0.000
0.031
0.017
0.005
0.022
0.162
0.162
0.011
0.802
0.016
0.747
0.022
0.003
0.000
0.016
手動評価点
オペレーション
パッチ処理 2.50
応答性
リカバリ処理
システム性能
停止処理
障害管理
2.00
負荷バランス
稼働品質
1.50
障害対策
システム異常検知
1.00
0.50
バックアップシステム
障害要因
0.00
バックアップ管理
運用管理
RAID構成
システム管理
冗長化
不正アクセス
暗号処理
アクセス権限
情報漏洩対策
セキュリティ管理レベル
ウイルス対策
パスワード管理
図3.9(a）
セキュリティ対応
認証機能指標
自動評価と手動評価の評価得点レーダチャート（３段階評価）
50
ランダムフォレスト評価点
手動評価得点
オペレーション
パッチ処理指標 3.00
応答性
リカバリ処理
システム性能
停止処理
2.50
負荷バランス
2.00
障害管理
稼働品質
1.50
障害対策
システム異常検知
1.00
バックアップシステム
障害要因
0.50
0.00
バックアップ管理
運用管理
RAID構成
システム管理
冗長化
不正アクセス
暗号処理
アクセス権限
情報漏洩対策
セキュリティ管理レベル
ウイルス対策
パスワード管理
図3.9(b)
図 3.9
3.6
セキュリティ対応
認証機能
自動評価と手動評価の評価得点レーダチャート（5段階評価）
自 動 評 価 と手 動評 価 の評 価 得 点レーダチャート
まとめ
本 章 では，NFR キーワードを RFP からテキストマイニングにより抽 出 し，「非
機 能 要 件 評 価 シート」に追 加 した「小 項 目 」とマッピングすることにより，「非 機 能
要 件 評 価 シート」の改 良 を行 い，「NFR キーワード評 価 シート」を作 成 した．次
に，RFP の「小 項 目」の記 述 内 容 の明 確 さを NFR キーワードにより自 動 評 価 す
ることを目 的 として，「NFR キーワード評 価 シート」の重 要な「小 項 目」を教 師 あり
機 械 学 習 の手 法 であるランダムフォレストによる評 価 推 定 モデルを構 築 した．ラ
ンダムフォレストによる評 価 結 果については，2 段 階 ，3 段 階 及 び 5 段 階の多 段
階 評 価 の中 でどの評 価 手 法 が有 効 であるかについて「小 項 目 」ごとに評 価 を行
い，「中 項 目 」を対 象 に有 効 性 の評 価 を行 った．評 価 結 果 の検 証 については，
ランダムフォレストによる自 動 推 定 評 価 と評 価 者 による手 動 評 価 を一 致 率 の計
算 と統 計 的手 法 であるκ統 計 量 の計 算により一 致の考 察 を行 った．
実 験の結 果 ，3 段 階 評 価が他 の段階 評 価 と比 較して高 い一 致を示した．
3 段 階 評 価 について，ランダムフォレストによる推 定 結 果 と評 価 者 による評 価 が
51
一 致 しているかどうかについて計 算 した一 致 率 は，69.8%であった．ただし，一
致 率 が 70%を超えたものは「小 項 目 」26 個 の内 の 13 個 であり，「小 項 目 」につ
いての評 価が高 い評 価 対 象 とした RFP が少 ないという問 題があった．一 方 ，κ
統 計 量 の判 定 基 準 では「中 程 度 の一 致 」以 上 が 54%であった．これらの実 験
結 果 は，NFR キーワードによる RFP の非 機 能 要 件 の記 述 内 容 の明 確 さを評
価 することは可 能 であり有 用 であることを示 している．ただし，「小 項 目 」の評 価
が高 い RFP をさらに追 加して，評 価対 象 の RFP の評価 結 果 の隔たりを減少 さ
せることが今 後 の課 題 である．
次 に，自 動 評 価 モデルの誤 差 について評 価 を行 った結 果 ，自 動 評 価 と手 動
評 価が一 致 すると判 断 される「小 項 目」は 26 個 の内 の 11 個 であり，全 体 の約
42％であった．これらの結 果から，「小 項目 」を NFR キーワードで自 動 評 価する
モデルは有 効であると言えるが，NFR キーワードの選 定 や数 を変 えてモデルの
チューニングを行 い，ランダムフォレストの精 度 を高 めることが今 後 の課 題 である．
本 章で提 案 した自 動 評 価モデルは，NFR キーワードによる RFP の非 機 能
要 件 を評 価することの可 能 性を示すものであり，RFP に記 述 された非 機 能 要 件
の記 述 が明 確 であるかどうかを自 動 評 価 した結 果 を利 用 することにより，ユーザ
とベンダの技 術 討 論 を通 じて委 託 ソフトウェア開 発 プロセスの上 流 工 程 で RFP
の品 質 向 上 に貢 献 できる有 効 なモデルであると考 える．
52
第4章
4.1
機械学習によらない非機能要件の自動評価
概要
第 3 章 では，「NFR キーワード評 価 シート」を作 成し，NFR キーワードによる
「小 項 目 」の自 動 評 価 モデルを提 案 [43]し，RFP に記 述 された非 機 能 要 件 の
明 確 さの評 価 について有 効 性 を確 認 した．しかし，教 師 あり機 械 学 習 による自
動 評 価モデルでは，学 習データの隔 たりおよび RFP サンプル数 が多 い場 合 の
教 師データ作 成 にかかる工 数について課 題 があった．
そこで，本 章ではウェッブから収 集 した 161 件 の RFP サンプルデータ群 より
抽 出 した NFR キーワードを「小 項 目」に関 連 付 け，RFP の隔たりを減 少 させた
評 価 データを対 象とした．（評 価 対 象 とした「小 項 目」と関 連づけした NFR キー
ワードについては付 録 B を参照 のこと） そして，RFP サンプル数を多 くした場
合 でも，RFP に記 述 された「小 項 目 」を教 師 なしで評 価 する機 械 学 習 によらな
い 3 つの重み付 け手 法について提 案 し，比 較 評 価 する．そこで，3 つの手 法 の
比 較 を行うために，161 件 の RFP について手 動 評 価を行い，手 動 評 価 との比
較 により有 効 な手 法 を検 証 する．また，追 加 実 験 として教 師 なし機 械 学 習 の一
つであるクラスタリングによる評 価 実 験 を行 う．３つの手 法 は，シンプル TF-IDF
法 によるもの，TF-IDF 法 の考 えを拡 張 したものおよびトークン比 の考 え方 を応
用 したキーワード比 によるものである．それぞれの手 法 では，NFR キーワードの
出 現 頻 度による重みを計 算した「NFR キーワード指 数」により評 価 スコアを算 出
して評 価する．以 下 ， 4.2 節で関 連 研 究 について述べる．4.3 節 では提 案 手 法
の詳 細を述 べ，4.4 節 では実 験 結 果による３つの手 法 の比 較 評 価 を行 う．さらに，
4.5 節では拡 張 TF-IDF とキーワード比 を用 いた RFP 評 価 のクラスタリングに
ついての追 加 実 験について述べ，4.6 節 でまとめを述 べる．
4.2
関連研究
機 械 学 習 によらないで，自 然 言 語 で記 述 された非 機 能 要 求 内 容 の品 質を評
53
価 する先 行 研 究 は，（１）自 然 言 語 で記 述 された要 求 の品 質 を構 文 解 析 あるい
は言 語 としての欠 陥 評 価をするモデルに関 する研 究 [34] [35]，（２）オントロジを
用 いた要 求 抽 出 と分 析 [36] [41] [44]，（３）コーパスに基 づく要 求 分 析 [37]，
（４）パターンモデルにもとづく分 類 による要 求 分 析 モデルの研 究 [26] [28]など
がある．しかし，（１）はソフトウェア開 発 段 階 でソフトウェア要 求 仕 様 書 の評 価 を
エンジニアが行うためのツールであり，本 研 究 が対 象 としている超 上 流 工 程 での
ユーザ要 求 の評 価 モデルとしては適 当 ではない．（２）はオントロジを用 いて欠
落 や矛 盾 のないソフトウェア仕 様 書 を作 成 することを目 的 としており，要 求 品 質
を評 価 してソフトウェア設 計 に反 映 させることに有 効 であるが，評 価 に時 間 を要
する．（３）は要 求 文 書 を分 析 することを目 的 としており，要 求 品 質 の定 量 的 評
価 に言 及していない．（４）は抽 出 語 句を NFR 分 類 器 により分 類し，NFR に関
連 付 けを自 動 的に行うが，プロジェクトの定 量 評 価 は行 っていない．
また，IPA SEC では，「ドキュメント品 質 評 価 指 標」として，NFR の記 述 十分
性を要 求 仕 様 書 内の各パートのページ数 と要 求 仕 様 書ページ数 の総 和 の比 を
用 いた“非 機 能 要 件 記 述バランス”を提 案 している[45]．
ドキュメント品 質 評 価 指 標：要 求 仕 様 書バランス
＝（要 求 仕 様 書 内の各パートのページ数）/（要 求 仕 様 書 ページ数の総 和 ）
これを NFR キーワードで置き換 えて表 現 すると
非 機 能 要 件 記 述十 分 性 評 価 指 標：NFR キーワード記 述 バランス
＝（各 RFP の NFR キーワード出 現 回 数の合 計）/（RFP テキスト全 体 の NFR
キーワード出 現 回 数）
となるが，個 別 の NFR 記 述 内 容 について評 価することはできない．
また，「非 機 能 要 求 グレード評 価 」による非 機 能 要 求 グレード抽 出 項 目 は筆 者
らによる先 行 研 究 の「非 機 能 要 件 評 価 シート」に該 当 し，非 機 能 要 件 を決 定 す
るプロセスを支 援 するが，非 機 能 要 件 の記 述 内 容 について具 体 的 なレベルで
の定 量 評 価は行っていない．また，RFP から非 機 能 要 求グレードを抽 出するプ
ロセスに多 くの時 間をかける必 要がある．
本 章 で提 案 する評 価 モデルは，「小 項 目 」ごとに自 動 的 に定 量 的 評 価 するこ
とが可 能 であり，より具 体 的 な NFR について記 述 内 容 をさらに明 確 にするべき
54
かどうかを定 量 的に把 握することが可 能 である点 において優 位 性 がある．
4 .3
提案手法
本 節 では，161 件 の RFP から抽 出 した NFR キーワードの出 現 頻 度を用い
て算 出 する 3 つの提 案 手 法の NFR キーワードの重 み付 けを示 し，NFR 評 価
スコアの算 出 方 法について述 べる．
4.3.1
NFR キ ー ワ ー ド の 抽 出
収 集 した 161 件 の RFP テキストを結 合 し，各 RFP を文 書 単 位 としたテキス
トデータを対 象 として，テキストマイニングにより NFR キーワードを抽 出 する．抽
出 した NFR キーワードは，「小 項 目」の内 ，第 3 章 で述 べたランダムフォレスト
の予 測 結 果 とマニュアル評 価 の結 果 が「低 い一 致 」であった「負 荷 バランス」，
「アクセス管 理 」，「セキュリティ管 理 」，「障 害 対 策 」および「リカバリ」と「高 い一 致 」
を示した「応 答 性」について見 直 しを行 い，マッピングした．NFR キーワードの追
加 に当 たっては，出 現 頻 度 が少 ない場 合 でも，長 くて難 しい複 合 語 であれば意
味 の重 要 性 が高 いとする「語 彙 の意 味 重 要 性 」（たとえば，「ロードバランシング
構 成 」，「情 報 セキュリティマネジメントシステム」，「情 報 システムダウン対 策 マニ
ュア ル 」な ど ）の 考 え に 基 づ い て ，NFR に 関 する 複 合 語 を 追 加 し た ． 次 項 で
NFR キーワードへの重み付 け手 法 である「NFR キーワード指 数 」について述 べ
る．
4.3.2
NFR キ ー ワ ー ド の 重 み
「小 項 目 」にマッピングされた多種 の NFR キーワードについての出 現 頻 度が
高 い RFP は，「小 項 目」の記 述 内 容の明 確 さについて評 価が高 いことが推 定さ
れる．しかし，特 定の NFR キーワードが同 一の RFP に集 中して出 現する場 合
は，その出 現 の偏 りが大 きく，重 要 な NFR キーワードとは限 らない．また，出 現
頻 度が少 ない NFR キーワードであっても，長 く難しい複 合 語としての専 門 用 語
55
であれば重 要 性 があり，「小 項 目 」の記 述 内 容 の明 確 さが高 いことが考 えられる．
そこで，対 象 とした RFP の中 で，個 々の NFR キーワードがどの程 度 重 要であ
るかを示 す指 数 である「NFR キーワード指 数 」を「小 項 目 」にマッピングされた
NFR キーワードの出 現 頻 度から（算 出 方 法 は 4.3.3 項を参 照）求 めることが必
要 となる．
一 般 的 に，文 章 における語 彙 の重 要 度 を重 みとして数 量 的 に示 す方 法 とし
て，TF-IDF 法 が広 く用 いられている．TF-IDF 法は経 験 的な方 法 であり，さま
ざまな拡 張 が提 案 されている．TF-IDF 法 は文 章 から特 徴 的 なキーワードを抽
出 し，文 章 に記 述 されている内 容 を定 量 的 に特 徴 づける手 法 として適 用 される
ケースが多 い．しかし，TF-IDF 法の問 題 点 として必ずしも文 章を特 徴づける語
句 が高 いスコアになるとは限らない．
次 項では，3 つの手 法 である単 純 TF-IDF，拡 張 TF-IDF およびキーワード
比の定 義 と，これらにより算 出 した重 みとしての「NFR キーワード指 数 」について
述 べる．
4.3.3
単 純 及 び 拡 張 TF-IDF と キ ー ワ ー ド 比
最も一般的な TF-IDF 法は文書ｄ内の単語ｗに以下の重みを与えると定義されて
いる[32]．
TF-IDF_Weight(w,d)＝TermFreq(w,d)＊log（N/DocFreq(w)）
こ こ で ,TermFreq(w,d) は 文 書 ｄ 内 で の 単 語 ｗ の 出 現 頻 度 ， N は 全 文 書 数 ，
DocFreq(w)は単語ｗを含む文書数である．
TF は文書 d における語ｗの頻度であり，頻度が高いほど大きな値をとる．一方，
IDF は語ｗが多くの文書に表れるほど小さくなり，特定の文書に表れるほど大きくな
る．
しかし，シンプルな TF-IDF 手法では NFR キーワードの出現頻度が重みとして
極めて大きく影響する．提案手法は，複数の文章の集合である RFP に対して「小項
目」による個別評価を目的としており，同一の NFR キーワードが特定の RFP に集
中して出現する場合の極端な重み付けによる評価差を避ける必要がある．また，多
56
数の RFP に出現する NFR キーワードは重要性が高いと考えられる．そこで，2 番
目の手法として各「小項目」にマッピングした NFR キーワードの極端な重み付をなく
すための手法としてシンプルな TF-IDF を拡張した手法を提案している．
TF-IDF の拡張については様々な方法が提案されているが，「Log および文書中
のタームにより正規化する」方法を採用し，下記の式により拡張 TF-IDF である
Ex_TF-IDF_ Weight(wsub,drfp)を算出する．対数の底は２としている．この手法によ
り，出現頻度が極めて高い NFR キーワードの評価を出現頻度が極めて低い NFR
キーワードに対してその差を平準化することができる．
Ex_TF-IDF_Weight(wsub,drfp)＝Ex_TermFreq(wsub,drfp)＊Ex_IDF(wrfp)
ここで，
Ex_TermFreq（𝑤𝑤𝑠𝑠𝑠𝑠𝑠𝑠 , 𝑑𝑑𝑟𝑟𝑟𝑟𝑟𝑟 ）＝
１＋ log ２ 𝑤𝑤𝑠𝑠𝑠𝑠𝑠𝑠
log 2 𝑤𝑤𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠
Ex_IDF（𝑤𝑤𝑟𝑟𝑟𝑟𝑟𝑟 ）＝ log ２ （ 𝑁𝑁𝑟𝑟𝑟𝑟𝑟𝑟 /𝑤𝑤𝑟𝑟𝑟𝑟𝑟𝑟 )
ここで，
Ex_TermFreq : RFP テキスト全体における NFR キーワード出現頻度
ｗsub：RFP テキスト全体における各「小項目」に属する NFR キーワードの出現頻度
ｗsubn：各「小項目」に属する NFR キーワード種類の総数
Ex_IDF ：RFP テキスト全体における NFR キーワードが出現する RFP 数
Nrfp ：評価対象とした RFP の総数（定数：本実験では 161）
ｗrfp ：各「小項目」に属する NFR キーワードが出現した RFP の総数
3 番目の手法としてトークン比の考え方に基づいた語彙の豊富さによる重み付け
について述べる．ここで，トークン比[39]とは語彙の豊富さを示す最も簡単な指標で
あり，延べ語数 N に対する異なり語数 V の比率（Type-Token Ratio） TTR ＝
V/N で示される．本手法のキーワード比は以下の式で算出する．
TKR＝Vk/Nsub
ここで，
57
TKR：キーワード比（Type-KeyWord Ratio）
Vk：RFP 中に出現する「小項目」に関する NFR キーワードの種類数
Nsub：「小項目」に属する NFR キーワードの総数
161 件の RFP より抽出し，「応答性」にマッピングされた NFR キーワードの出現
頻度により算出した拡張 TF-IDF，単純 TF-DF およびキーワード比の 3 つの手法
による重みと NFR キーワード出現頻度の一部を表 4.1 に示す．表 4.1 によると，単
純 TF-IDF やキーワード比については，たとえば「スループット」という NFR キーワ
ードの場合のように出現頻度が高い場合には，NFR キーワードの出現頻度の影響
が大きく，重みは極めて大きな値をとるが，拡張 TF-IDF は相対的に極めて低い値
に抑えられることがわかる．このことは，拡張 TF-IDF の場合には，多くの RFP に頻
繁に出現する NFR キーワードの極端な重み付けによる評価点を低く抑えることがわ
かる． 一方，単純 TF-IDF やキーワード比は多くの RFP に頻繁に出現する NFR
キーワードの極端な重み付けによる評価差が大きくなる．また，キーワード比につい
ては特定の RFP に集中して出現する NFR キーワードの重み付けについては，そ
の他の手法と比較して低く抑えられている．
図 4.1 に単純 TF-IDF と NFR キーワード出現頻度を出現数の多い NFR キー
ワード順に並べた場合の関係を示し，図 4.2 に拡張 TF-IDF と NFR キーワードが
出現する RFP 数を出現 RFP 数が多い NFR キーワード順に並べた場合の関係を
示す．図 4.1 によると，NFR キーワードの出現頻度が高い場合において単純 TFIDF は極めて変動が大きいことが認められ，拡張 TF-IDF は NFR キーワードが出
現する RFP 数が中位の領域において相対的に高い値となり，NFR キーワード出現
数に大きく影響されないことを示している．このことは，拡張 TF-IDF による「NFR キ
ーワード指数」が，特定 RFP に集中して出現する一般性に乏しい NFR キーワード
が極端に高い評価ポイントとなることを低減するフィルタとして働き，比較的多くの
RFP に出現するキーワードの重要性を上げる働きを持っていることがわかる． 次項
では，「NFR キーワード指数」による RFP の評価スコア算出の方法について述べる．
58
表4.1
3つの手法による重み とNFRキーワードの出現頻度（抜粋）
NFRキーワード
応答性
最小応答
キーワード 平均応答
語数：33 最小レスポンス
応答速度確保
安定的レスポンス
転送応答性
端末レスポンス
ネットワーク応答
画面レスポンス
ハードディスク応答性能
平均読み出し遅延
システム応答速度
スループット
スループット目標値
最大スループット
VPNスループット
応答時間
オンライン応答時間
レスポンスタイム
レスポンス目標値
ターンアラウンド
秒程度
秒以内
秒以下
タイムラグ
平均処理応答
フォワーディングレート
メモリ使用率
主記憶容量
ハードディスク容量
ネットワーク転送容量
データ量
応答性
拡張TF-IDF 単純TF-IDF キーワード比 出現頻度 出現RFP数
4.066
47.460
0.182
10
6
2.944
17.238
0.091
3
3
2.510
12.662
0.061
2
2
1.453
7.331
0.030
1
1
2.907
14.662
0.030
2
1
2.907
14.662
0.030
2
1
2.907
14.662
0.030
2
1
2.510
12.662
0.061
2
2
1.453
7.331
0.030
1
1
4.169
31.655
0.061
5
2
1.453
7.331
0.030
1
1
2.510
12.662
0.061
2
2
1.453
7.331
0.030
1
1
4.040
257.958
0.758
96
25
6.493
149.395
0.091
26
3
2.510
12.662
0.061
2
2
2.510
12.662
0.061
2
2
3.568
129.060
0.727
47
24
3.560
30.054
0.152
6
5
3.662
145.536
0.727
53
24
8.584
219.928
0.030
30
1
4.687
95.280
0.242
22
8
3.467
68.113
0.515
21
17
2.650
259.685
1.606
162
53
4.315
140.385
0.455
41
15
3.511
26.655
0.121
5
4
2.907
14.662
0.030
2
1
4.828
36.655
0.030
5
1
3.440
37.449
0.273
9
9
6.081
248.796
0.212
55
7
4.838
136.306
0.303
34
10
3.757
21.993
0.030
3
1
2.292
197.940
1.818
139
60
1200
1000
800
NFRキーワード出現頻度
単純TF-IDF
600
400
200
1
9
17
25
33
41
49
57
65
73
81
89
97
105
113
121
129
137
145
153
161
169
177
185
193
201
209
217
225
233
241
249
257
265
273
281
289
297
305
313
321
0
NFRキーワード出現頻度ランキング順
図 4.1 単 純 TF-IDF と NFR キーワード出 現 頻 度
59
120
100
80
出現RFP数
拡張TF-IDF
60
40
20
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
0
NFRキーワード出現RFP数ランキング順
図 4.2 拡 張 TF-IDF と NFR キーワード出 現 RFP
4.3.4
RFP の NFR 評 価 ス コ ア
提 案 する手 法 のもとになった TF-IDF 手 法 は，対 象 とする文 書 全 体 において
語 句 が特 徴 的 に多 く出 現 することを評 価 する指 標 である．本 研 究 の目 的 は，多
くの RFP に特 徴 的 に表 れる NFR キーワードにより非 機 能 要 件である「小 特 性」
の評 価 スコアを求 め，個々の RFP を定 量 的 に評 価 することである．したがって，
NFR キーワードの出 現 頻 度をそのまま用いると，一 つの RFP に繰り返 し記述 さ
れ出 現 する NFR キーワードにより，その RFP の評 価 スコアが高 い結 果 となる．
しかし，一 つの NFR キーワードの出現 頻 度 が高 い場 合 に，その RFP の非 機
能 要 件 の記 述 内 容が明 確 であるとは限らない．そこで，個 々の RFP を文 書 単
位 として，評 価 対 象 としたすべての RFP から NFR キーワード抽 出 し「小項 目 」
にマッピングする．そして，各 手 法 により算 出 した「NFR キーワード指 数 」による
重 み付 けを行 い，「小 項 目」ごとに RFP の評 価スコアを算 出している．こうするこ
とにより，特 定 の RFP のみに集 中 的に出 現 した NFR キーワードがこの特 定 の
RFP の評 価 スコアを高 くすることを避 けることが可 能 となる．
「小項目」ごとの評価スコア算出に当たっては，最初に，テキストマイニングを行い，
各 NFR キーワードの出現頻度を列とし，各 RFP を行としたマトリクスを生成する．次
60
に，このマトリクスにおいて各 NFR キーワードが出現したかどうかについて NFR キ
ーワードが該当 RFP に出現した場合を“1”とし，出現しなかった場合を“0”としたマ
トリクスに変換する．したがって， RFP ごとの NFR 評価スコアは，これらの重みを合
計して算出される．以下に NFR 評価スコア算出式を示す．
ここで，
RFP𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑒𝑒(𝑖𝑖) = � 𝑅𝑅𝑅𝑅𝑅𝑅(𝑖𝑖)[1,1,0, ⋯ ,0,1,0] ∗ 𝐾𝐾𝐾𝐾(𝑖𝑖, 𝑗𝑗)
RFP𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠(𝑖𝑖): 「小項目」i の NFR 評価スコア
𝑅𝑅𝑅𝑅𝑅𝑅(𝑖𝑖)[1,1,0, ⋯ ,0,1,0]：「小項目」i の NFR キーワード出現行列
𝐾𝐾𝐾𝐾(𝑖𝑖, 𝑗𝑗)：「小項目」指標 i に属する j の「NFR キーワード指数」
表 4.2 に拡張 TF-IDF により算出した「小項目」ごとの NFR キーワード数，及び
「NFR キーワード重み」の例を示す．表 4.2 によると拡張 TF-IDF の場合に，「小項
目」にマッピングされた NFR キーワード種類にかかわらず NFR キーワードの重み付
けされていることが分かる．
61
表4.2 NFRキーワード重みの例
小項目
応答性　NFRキーワード種類
IKn=３３
リカバリ処理　NFRキーワード種類IKn=53
アクセス管理
NFRキーワード種類IKn=134
負荷バランス
NFRキーワード種類
IKn＝41
セキュリティ管理
NFRキーワード種類
IKn＝102
障害対策
NFRキーワード種類
IKn＝76
4.4
NFRキーワードの例
応答性
最小レスポンス
画面レスポンス
スループット目標値
レスポンスタイム
復旧対応
障害リカバリ手順
データリカバリ
リカバリプロセス
リカバリログ
回復時間
不正なアクセス
侵入監視
不正ログイン
不正アクセス防止
アクセス制限
アカウントロック
負荷分散
負荷分散装置
ロードバランシング
ネットワーク負荷
負荷率
セキュリティ管理
情報セキュリティ対策基準
セキュリティ管理機能
セキュリティレベル
インシデント管理機能
障害対策
システム障害対応
計画停電対応
ホットスワップ
障害検知ソフトウェア
障害発生頻度
NFRキーワード
重み
4.06623136
1.453279959
4.169152954
6.493240967
3.662394767
3.774860382
1.279856614
5.997211406
3.024930495
4.588237967
3.158955849
2.470947366
1.037478679
1.79191536
2.800739317
2.36330307
3.750156452
3.7144558
4.509926791
4.494587614
3.473900711
3.054600816
2.240994328
3.004146602
2.846453825
3.044960861
3.40147674
2.451364807
3.464907252
3.897737079
3.276547471
3.033028982
3.520007328
評価実験
本 節 では，「NFR キーワード指 数 」により重 み付 けされた NFR キーワードに
よる，RFP の記 述 内 容 の明 確 さを評 価 する実 験 について述 べる．評 価 実 験 で
は 161 件のサンプル RFP を入 力 データとしてテキストマイニングにより NFR キ
62
ーワードを抽 出 した後 に，この NFR キーワードを指 定 してその出 現 頻 度 から
「NFR キーワード指 数 」を生 成し，RFP ごとに各 「小項 目 」の評 価 スコアを求め
て評 価 する．次の各 項 で，評 価 実 験 の結果 および考 察 について述 べる．
4.4.1
評 価 実 験 デ ー タ と 「 小 項 目」
評 価 実 験では，サンプルデータとしてウェッブから収 集した RFP は text 形式
に変 換 し，データクリーニングを行 った後 に，各 RFP を一 つの文 章 単 位 として
すべてのサンプルを含 む一 つのテキスト文 書 を作 成 する．RFP テキストデータの
総 語 数は 4,611,476 語 である．また，評 価 対 象 とした「小 項 目 」である「応 答 性」，
「負 荷 バランス」，「リカバリ」，「アクセス管 理 」，「セキュリティ管 理 」および「障 害
対 策 」に出 現 した NFR キーワード数 はそれぞれ 398 個 ，467 個 ，653 個 ，
1,471 個 ，2,580 個 および 823 個 であった．
4.4.2
評価実験結果と考察
表 4.3 に各 「NFR キーワード指 数」による 3 種 類 の評 価手 法 と「手 動 評 価 」
との相 関 係 数を示す．表 4.3 によると，相 関 の強 さについてはすべての「小 項 目 」
指 標 について「弱 い相 関 あり」と認 められるが，「拡 張 TF-IDF」がすべての「小
項 目 」について相 関 が相 対 的 に強 いことがわかる．「小 項 目 」別 にみると，「セキ
ュリティ管 理 」，「障 害 対 策 」，「アクセス管 理 」，「応 答 性 」，「リカバリ処 理 」および
「負 荷 バランス」の順に相 関が強 い．上 位 3 つの「小 項 目 」については下 位 ３つ
の「小 項 目 」と比 較 して NFR キーワードの種 類 数 が多 いことから，語 彙 の豊 富
さが相 関 の強 さに影 響 していることが考 えられる．「拡 張 TF-IDF」手 法は，対 応
する「小 項 目 」の各 NFR キーワードの出 現 頻 度 が高 ければ評 価 点 は高 くなる
が，同 一 の NFR キーワードの出 現 頻 度が高 くても評 価 点は高 くならず，異 なる
キーワードの種 類 が多 いほど評 価 スコアが高 くなると言 える．しかし，「拡 張 TFIDF」手 法 の評 価 スコアが高 い場 合 でも必 ずしも「手 動 評 価 」が高 くないケース
がある．（図 4.3 参 照）
63
表4.3
NFRキーワード重みと手動評価の相関係数
手動評価との相関係数
アクセス管理
セキュリティ管理
リカバリ処理
応答性
障害対策
負荷バランス
単純TF-IDF
拡張TF-IDF
キーワード比
0.3267
0.3684
0.3444
0.3344
0.4296
0.4051
0.2419
0.2666
0.1869
0.3352
0.3625
0.325
0.3855
0.4113
0.3125
0.1444
0.2239
0.1451
そこで，161 件 の RFP について，個 別 の「小 項 目」に関する３つの手 法 により
算 出 された評 価ポイントと 3 段 階の手 動 評 価 結 果 と対 応 させた結 果 を図 4.3(a)，
(b)，(c)，(d)，(e)，(f) の箱 ひげ図 に示 す．図 4.3 によると，手 動 による 3 段 階
評 価 との比 較 において「応 答 性 」および「負 荷 バランス」の２つの「小 項 目 」以 外
は「拡 張 TF-IDF」のばらつきが小 さいことが認 められる．また，「応 答 性 」および
「負 荷 バランス」については「キーワード比 」のばらつきが小 さいことも認 められる
が，3 つの手 法 の内 「拡 張 TF-IDF」手 法 が最 も有 効 であることを示 していると
考 えられる．ただし，「拡 張 TF-IDF」手 法 の場 合 であってもすべての「小 項 目 」
に外 れ値 があり，手 動 評 価 と NFR キーワードによる評 価 の判 定 に大 きな差 が
認 められる．人 による評 価 と自 動 評 価 に大 きな差 があるケースとして，「手 動 評
価 」が“0”であっても「教 師 なし自 動 評 価 」で高 い評 価 点 となっている場 合 がある．
特 に，「障 害 対 策 」の「拡 張 TF-IDF」による評 価 点 は“22.7”であるが「手 動 評
価」は“0”となっている．この場 合 の NFR キーワードに関 連 する RFP の記 述 内
容 を，表 4.4 に示 す．表 4.4 によると「障害 対 策」という語 句についての記 述 内
容 には具 体 的 な表 現 がなく，ただ「提 案 依 頼 」を求 める内 容 であることが認 めら
れる．また，専 門 用 語 としての「ホットスワップ」や「リンクアグリゲーション」につい
ては，具 体 的 な記 述 も認 められる．人 による RFP の評 価 の場 合 には，非 機 能
要 件 である「小 項 目 」の語 句 の記 述 は認 めるが，ユーザとしての要 求 が明 確 に
記 述 されずに提 案 依 頼 を行 っていることが，低 い評 価 につながったことが考 えら
れる．さらに，専 門 用 語 についての記 述については，より具 体 的 な記 述 が求 めら
れるにもかかわらず，簡 単 な記 述 であれば評 価 が低 いことが考 えられる．人 によ
る 3 段階 評 価 の場 合 には，「選 択 バイアス」や，NFR キーワードの出 現 頻 度だ
64
けに依 存しないことが推 定 される．「手 動 評 価 」は，評 価 者 が文 章 の前 後 関 係を
見 て判 断 し，評 価 していることが考 えられる．よって，自 動 評 価 と手 動 評 価 との
評 価 結 果 の極 端 な一 致 の違 いをなくすためには， NFR キーワードの前 後 関
係 や文 脈を考 慮した NFR キーワード指 数 を生 成し，「拡 張 TF-IDF」手 法を改
良 することが今 後の課 題 である．
表 4.4 NFR キーワードに関 連 する記 述 例 「障 害 対 策」
NFRキーワード
アクシデントレポート作成機能
ホットスワップ
リンクアグリゲーション
計画停電
障害切り分けマニュアル
障害対策
障害対応
耐障害性
出現回数 記述内容
インシデントレポート・アクシデントレポート作成機能があ
1
ること。
以下の条件でインシデントレポート・アクシデントレポート
作成機能があること。
各ディスク装置は、RAID構成及びホットスワップ対応等
3
で障害対策が十分に施されていること。
装置内で電源ユニット、ファンモジュールがホットスワップ
可能なこと。
装置内で電源ユニット、ファンモジュールがホットスワップ
可能なこと。
上記インタフェースについては、2ポート以上を仮想的に1
3
ポートとする機能　(一般的に、リンクアグリゲーション）
IEEE　802.3ad　リンクアグリゲーション機能　(LACP及び
スタティック)　を有すること。
スタック接続された装置間でリンクアグリゲーション接続
が可能なこと。
計画停電時にタイマーによる自動安全停止及び正常起
1
動を考慮した設計を行うこと。
1 障害切り分けマニュアル
1 障害対策
基幹システムは機能単位での分割・分散化を図り、一つ
の機能の停止が全体システムの停止に波及しないよう
に障害の局所化を図れるものを提案すること。
3 想定する障害対応策及び回避策
仕様を満たし、障害原因の追及および障害対応を顧客確
認が容易にできるシステム提案であること。
夜間や休日を含む24時間の障害対応について、優れた
提案がされていること。
さらに耐障害性、性能確保についても十分考慮して総
1
ディスク容量を見積ること。
65
図4.3 (a) 応答性のNFRキーワード評価別箱ひげ図
図4.3(b) 負荷バランスのNFRキーワード評価法別箱ひげ図
66
図4.3(c) リカバリ処理のNFRキーワード評価法別箱ひげ図
図4.3(d) アクセス管理のNFRキーワード評価法別箱ひげ図
67
図4.3(e) セキュリティ管理のNFRキーワード評価別箱ひげ図
図4.3(f) 障害対策のNFRキーワード評価法別箱ひげ図
図 4.3
NFR キ ー ワ ー ド 重 み 付 け 手法 別 評 価 結 果 の 箱 ひげ 図
68
次 に，6 つの「小 項 目 」について，教 師なし自 動 評 価 手 法の拡 張 TF-IDF に
よる評 価 点を「5 点 未 満」，「5 点 以 上 10 点 未 満 」および「10 点 以 上」の 3 区 分
として，3 段 階 手 動 評 価の「0 点 」，「1 点 」および「2 点」の各 評 価 に占 める比 率
を算 出 した結 果を図 4.4(a)，(b)，(c)，(d)，(e)および(f)に示 す．図 4.4(a)，(b)，
(c)，(d)，(e)および(f)によると「手 動 評 価 」が高 い場 合には，拡 張 TF-IDF の評
価 点 も高 いことが認 められる．このことは，拡 張 TF-IDF による教 師 なし自 動評
価 が多 段 階 評 価 による「手 動 評 価 」の代 替 となる可 能 性 を示 していると言 える．
しかし，「手 動 評価 」が“2”の場 合 でも「自動 評 価 」が「5 点 未 満」の評 価 となる比
率 が高 い「小 項 目 」がある．特 に，「負 荷 バランス」については，自 動 評 価 による
「5 点 未 満」の評 価が 6５％程 度 ある．（図 4.4(b)参 照） これは，「負 荷 バランス」
の NFR キーワード数 が比 較 的 少 ない 41 個 であること，および出 現 頻 度が少 な
いために教 師 なし自 動 評 価の評 価 点が低 くなったと考えられる．
一 方 ，「応 答 性」については，NFR キーワード数 が 33 個 と「負 荷 バランス」よ
り少 ないが，出 現 頻 度 が高 いので，自 動 評 価 の評 価 点 は比 較 的 高 く，「手 動 評
価」が“2”の場 合の「10 点 以 上」の比 率が 35％程 度 となっている．これは，人 に
よる「手 動 評 価」では「小 項 目」毎 に 3 段 階 評 価を行 い，NFR キーワードの出 現
頻 度 にかかわらず記 述 が明 確 であれば高 評 価 していることによることが考 えられ
る．また，図 4.5 に 56 件の RFP について，例 として，「アクセス管 理 」の「教 師
なし自 動 評 価」と「手 動 評 価」の NFR キーワードの出 現 回 数の結 果を示す．図
4.5 によると，「教 師 なし自 動 評 価」と「手 動 評 価」の不 一 致については以 下のよ
うなケースがあることが認 められる．
①NFR キーワードの出 現 頻 度が 20 を超 え評 価 が高い場 合 であっても，「手 動
評 価」では“0”評 価 のケース
②NFR キーワードの出 現 頻 度は 10 を超 え，評 価 点が中 程 度 の場 合 であって
も，「手動 評 価 」では“0”のケース
③NFR キーワードの出 現 頻 度が 10 以 下 で低く，評 価 点も 10 以 下で低 い場
合 であっても，「手動 評 価」では“2”のケース
69
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
O評価
１評価
5点未満
5点以上10点未満
２評価
10点以上
図4.4(a) 手動評価点毎の拡張TF-IDF評価点の比率：応答性
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
O評価
１評価
5点未満
5点以上10点未満
２評価
10点以上
図4.4(b) 手動評価点毎の拡張TF-IDF評価点の比率：負荷バランス
70
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
O評価
１評価
5点未満
5点以上10点未満
２評価
10点以上
図4.4(c) 手動評価点毎の拡張TF-IDF評価点の比率：リカバリ処理
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
O評価
１評価
5点未満
5点以上10点未満
２評価
10点以上
図4.4(d) 手動評価点毎の拡張TF-IDF評価点の比率：アクセス管理
71
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
O評価
１評価
5点未満
5点以上10点未満
２評価
10点以上
図4.4(e) 手動評価点毎の拡張TF-IDF評価点の比率：セキュリティ管理
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
O評価
１評価
5点未満
5点以上10点未満
２評価
10点以上
図4.4(ｆ) 手動評価点毎の拡張TF-IDF評価点の比率：障害対策
図 4.４
手 動 評 価 点 毎 の 拡張 TF-IDF 評 価 点 の 比 率
さ ら に，一 部 の「 小 項 目 」（ ア ク セ ス 管 理 ，リカ バ リ 処 理 お よ び 障 害
対 策 ）に つ い て は マ ニ ュ ア ル 評 価 が“ 0”で あ っ て も 拡張 TF-IDF の 評 価
点 が 「 20 点 以 上 」 の 高 評 価 の RFP も あ る ． し か し ，図 4.6 に 示 す よう
に 手 動 3 段 階 評 価 別 の 拡張 TF-IDF の 評 価 ス コ ア 平 均 値は 段 階 評 価 と の
72
結 果 を 明 確 に 示し て い る こ と が 認 めら れ る ．こ れ らの 結 果 は ，非 機 能 要
件 の 記 述 の 明 確さ を 評 価 す る 手 法 とし て ，教 師な し 自 動 評 価 手 法 を 手 動
評 価 の 代 替 と して 使 用 す る こ と は 難し い が ，「 手動 評 価 」と の 補 完 的 な
使 用 と し て 有 効で あ る と 考 え ら れ る．今 後 は，NFR キ ー ワ ー ド の 前 後 関
係 を 含 め た 文 脈を「 教 師 な し 自 動 評価 手 法 」に 反 映 さ せ る 等 に よ り，「 手
動 評 価 」 と の 一致 率 を 高 め る こ と が課 題 で あ る ．
3
90
80
70
60
2
50
40
1
30
20
10
0
1
3
5
7
9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55
NFRキーワード出現回数
拡張TF-IDF評価点
手動評価
図4.5 手動評価別のNFRキーワード出現回数と拡張TF-IDF評価点
手動評価０
障害対策
手動評価１
応答性
14
12
10
8
6
4
2
0
セキュリティ管理
手動評価２
負荷バランス
リカバリ処理
アクセス管理
図4.6 手動3段階評価別の拡張TF-IDF評価スコア
73
0
4.5
クラスタリングによる評価スコアの段階評価
段 階 評 価により，RFP の非 機 能 要 件の記 述 内 容が個 々の「大 項 目」，「中 項
目 」および「小 項 目 」についてどの程 度 明 確 であるかを相 対 的 に把 握 することが
可 能 であり ，超 上 流 工 程 に お いて ユーザ に とっ て有 用 な 指 標 となる．し か し ，
RFP の評 価 スコアを算 出し，前 節で提 案した 3 つの手 法 により，段 階 評 価によ
る分 類 を自 動 評 価 することには課 題 がある．そこで，追 加 実 験 として，教 師 なし
機 械 学 習の一 手 法 であるクラスタリングにより，評 価 スコアに応じて 3 段 階 評価
に分 類 する実 験を行 った．クラスタリング手 法 を用 いることにより，RFP から抽 出
した NFR キーワードと関 連 付けた「小 項 目 」について，定 量的 に評 価した結 果
が類 似 性 により分 類 されることが推 定 される．
クラスタリングについては，文 献 [32]によると「互 いに関 連 する文 書 同 士 は，
関 連 しないものよりも類 似 している」というクラスタ仮 説 （cluster hypothesis）
に基 づいている．前 節 では「拡 張 TF-IDF」が手 動 評 価 との比 較 において，３つ
の手 法 の中 では相 関 が高 く，評 価 も類 似 していると考 えられる．また，「キーワー
ド比 」は NFR キーワードの豊 富 さを示す指 標 であることから，3 グループへのク
ラスタリング実 験 では，「拡 張 TF-IDF」と「キーワード比」の 2 次 元 データによる
k-means 法を用 いた．「小 項 目 」の 3 段 階 評 価に対 応して評 価 するために，３
グループにクラスタリングされた結 果 と，評 価 者が各 RFP について「手 動 評 価」
した結 果 との一 致 率 について検 証 を行 う．次 項 では提 案 手 法 の詳 細 について
述 べる．
4.5.1
提案手法
「小 項 目 」ごとに「拡 張 TF-IDF」により算 出 した NFR 評価スコアと「キーワード
比」のペアを列とし，各 RFP を行として，k-means 法を適用する．
K-means アルゴリズムは「非階層的クラスタ分析であり，クラスタ数を指定してその
個数のクラスタを構成する手法」である．文献[40]では，「k-means アルゴリズムは，
ベクトル集合｛ｘ1，x2，----，xn｝を一連のクラスタ｛C1，C2，----，Ck｝に分割する．こ
74
のアルゴリズムは，はじめにシードと呼ぶ k 個の初期クラスタ要素を必要とする．これ
らは外部から与えられるか，またはベクトルの中からランダムに選択される．」とされて
いる．また，「k-means アルゴリズムはシンプルかつ効率的なため，頻繁に用いられ
る．各々の反復処理においては O（kn）回の類似度比較を行えば良く，通常，収束
するまでの反復処理の回数は非常に少ない．」と言われている．しかし，「k-means
アルゴリズムにおける大きな問題点は，得られる結果が最初のシードの選択に依存
すること」であり，この問題を解決するために，クラスタリングを複数回実行し，その都
度異なったシードを選ぶ方法をとっている．本項では，クラスタ数 3 を指定してクラス
タリングを複数回実行することにより，RFP 群の評価結果を 3 つのクラスタとして構成
し，「小項目」ごとに 3 段階評価との対応付けを行っている．
クラスタリングの評価[40]には 4 種類あるが，最も一般的な尺度は，ある正解のク
ラスタのデータを，どの程度含むかという純度(purity)である．人によって分類された
正解となるクラスタを｛A1，A2，----，An｝とし，｛C1,C2，---，Cm｝をクラスタリング手
法によって得られたクラスタとすると，純度は以下の式で定義される．純度は 0 から 1
の値をとり，値の結果が高いほどクラスタリングの結果が良いとされている．
Purity𝑖𝑖＝
１
𝐶𝐶𝐶𝐶
Maxℎ �𝐶𝐶𝐶𝐶 � 𝐴𝐴ℎ�
また，もう一つの一般的な尺度として以下に示すエントロピー尺度がある．エントロ
ピーは 0 から 1 の値をとり，値が低いほどクラスタリング結果が良いとされている．
𝐾𝐾
𝑘𝑘
𝑖𝑖=1
𝑖𝑖=1
∑𝐾𝐾
|𝐶𝐶𝐶𝐶|
𝑗𝑗=1 𝑥𝑥𝑥𝑥𝑥𝑥
�
E𝑖𝑖 = − �
𝐸𝐸𝐸𝐸
𝑁𝑁
𝑁𝑁
ここで，N はクラスタリング対象のデータ数，また Ei は以下で定義される.
𝐾𝐾
E𝑖𝑖 = − � 𝑃𝑃(𝐴𝐴ℎ| 𝐶𝐶𝐶𝐶)𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙(𝐴𝐴ℎ|𝐶𝐶𝐶𝐶)
ℎ=1
また，確率P(Aℎ|C𝑖𝑖)は|𝐴𝐴ℎ ∩ 𝐶𝐶𝐶𝐶|�|𝐶𝐶𝐶𝐶| = 𝑥𝑥𝑥𝑥ℎ�∑𝐾𝐾 𝑥𝑥𝑥𝑥𝑥𝑥 によって推定される.
𝑗𝑗=1
75
4.5.2
クラスタリング評価実験
NFR キーワードを抽 出 した後 ，クラスタリングによる評 価 実 験 を行 う手 順を以
下に述 べる．
手 順 １： 「拡 張 TF-IDF」による「NFR キーワード指 数」で算 出 した NFR 評
価スコアと RFP 群のキーワード比 とのペア数 値 をクラスタリング対 象デ
ータとして，クラスタ数 3 を指 定 して非 階 層クラスタ分 析 手 法 である kmeans を実 行 する．k-means 法 によるクラスタリングは最 初 にランダム
に選 択 されたシードに依 存することから，試 行 回 数 50 回を指 定 して実
行する．
手 順 2： 3 グループにクラスタにクラスタリングされた結 果 から，マニュアルに
より NFR 評 価 スコアの大 小 関 係をもとにスコアの高いクラスタの評 価を
“2”，スコアが中 間 のクラスタの評 価 を“1”およびスコアが低 いクラスタ
の評 価を“0”に対 応づける．
手 順 3： クラスタ分 析 による評 価 結 果 と手 動 評 価 結 果 の一 致 率 について
分 析 を行 う．クラスタリングの評 価 結 果 とマニュアル評 価 のクロス表 を作
成し，クラスタリング評 価 尺 度を求 める．
4.5.3
評価実験結果と考察
「小 項 目 」ごとのクラスタリング結 果 と手 動 評 価 との比 較 を図 4.6 に示 す．図
4.6 によると，すべての RFP について，「小 項 目」のクラスタリング結 果と手 動 評
価 における一 致 率 （3 段 階 評 価 の結 果 が“2”，“”および“0”で一 致 している比
率 ）は「小 項 目 」の平 均 値 で 60.7％であった．また，不 一 致 率 は「小 項 目 」の平
均 値 で 38.5％であった．一 致 率 60.7％の内 訳 は，評 価 スコア“ 2”で一 致 が
10.2%，評 価 スコア“1”で一 致が 24.7%および評 価 スコア“0”で一 致 が 65.0%
となっている．一 方 ，不 一 致 率 38.5％の内 訳 をみると評 価 スコアの“２”を“１”あ
76
るいは“１”を“２”とした評 価が 32.7％であり，評 価 スコアの“１”を“0”あるいは“0”
を“1”とした評 価 が 67.3％であた．評 価 が一 致 した場 合 および不 一 致 であった
場 合 のいずれも，「小 項 目 」の評 価 スコアが低 い“0”が多 かったことが，これらの
要 因 と推 定 される．また， RFP の「小 項 目 」にもとづく非 機 能 要 件 の記 述 内 容
の明 確 さの評 価 において，「該 当 する指 標 に関 する記 述 がない，あるいは記 述
はあるがその内 容 が極 めてあいまいな表 現 である」RFP が多 いことも示 している．
しかし，評 価 スコアの“2”を“0”あるいは“0”を“2”とした評 価 は 10 個 であり，161
件 の RFP を 6 種 類 の「小 項 目 」で評 価 した 966 ケースの 0.9％であったことは，
クラスタリングによる 3 段 階 評 価の精 度 向 上 の可 能 性 を示 していると言 える．
一 方 ，クラスタリング評 価 の「小 項 目 」全 体 について，評 価 尺 度 であるエントロ
ピー及 び純 度で見 ると，それぞれ 0.737 と 0.606 であった．クラスタリングの結
果 はエントロピーが高 く，純 度 も低 いため良 いとは言 えないが，委 託 ソフトウェア
開 発の超 上 流 工 程において，評 価スコアを大 まかに 3 段 階 に分 類し，どの程 度
の評 価 にあるかを直 観 的 に把 握 することに効 果 があると考 えられる．そこで，不
一 致 となった要 因を個 別に考 察 することにより，今 後 の課 題を明 らかにする．
「小項目」ごとの一致率および不一致率を図 4.7 に示す．図 4.7 によると，「負荷
バランス」の一致率が最も高く，「応答性」の一致率が最も低い結果が認められる．
「負荷バランス」について一致率が高いことの一つの要因として，評価スコアの“0-0”
及び“1-1”の一致数が多いことが考えられる．「応答性」について一致率が低い要因
の一つとして，レスポンスの記述と具体的数値が記述されている RFP について，手
動評価は“2”であるがクラスタリングでは“0”評価となっていることが一つの要因と考
えられる．この例では，「応答性」についての定量的要求が明確であれば手動評価と
しての評価スコアが高いが，NFR キーワードの出現頻度が少ないため評価スコアが
低くなり，k-means 法によるクラスタリングでは“0”評価となっていることが推定される．
そこで，手動評価とクラスタリング結果の一致率に差異が生じる要因および解決策に
ついて以下に考察する.
77
80
70
評価スコア一致数
60
50
40
30
障害対策
セキュリティ管理
負荷バランス
アクセス管理
リカバリ処理
応答性
20
10
0
応答性
"2-2"
7
"0-0"
66
"1-1"
16
2-0差
0
2-1差
4
1-2差
22
1-0差
7
0-1差
37
0-2差
2
リカバリ処理
8
65
24
0
3
14
17
29
1
アクセス管理
13
60
29
0
9
11
19
20
0
負荷バランス
7
73
32
0
4
7
16
21
1
セキュリティ管理
9
63
23
0
9
14
16
22
5
障害対策
16
54
21
1
12
12
21
24
0
図 4.7 小 項 目ごとの NFR 評 価 スコア一 致 数
A) 手 動 評 価が高 く，クラスタリング評 価 が低いケース
複 合 語 としての専 門 用 語 が記 述 されていないが，平 易 な語 句 で該 当
する指 標 の要 求 を記 述 しているケースが考 えられる．例 として，「リカバリ
処 理 」にて，「システムに障 害 が発 生 した場 合 は 2 時 間 以 内 に対 応 し、
障 害 箇 所 の究 明を行 ったうえで、応 急 的 措 置 」と記 述 されているものがあ
る．ここでは「システム障 害 」としての複 合 語 ではなく「システムに障 害 」と
記 述 されており NFR キーワードとしていないため評 価 されない．また，手
動 評 価 では「2 時 間 以 内 に対 応 」を定 量 的 記 述 として評 価 するが NFR
キーワードではないので評 価 ポイントがなく，評 価 スコアは低 いためクラス
タリングでの評 価は低 くなる．さらに，RFP に記 述 されている単 語 表 現に
問 題 があり，テキストマイニングによる形 態 素 解 析 で抽 出 できない場 合 が
あった．例 として，「レスポンス」を「リスポンス」と記 述 ，「画 面 応 答 」を「画
面 レスポンス」と記 述 しているなどである．これらの問 題 点 に対 して，文 脈
78
解 析および意 味 解 析 の手 法を取 り入 れること，あるいは評 価 する NFR キ
ーワード表 現の多 様 性を許 容することが考 えられる．
B) 手 動 評 価が低 く，クラスタリング評 価 が高いケース
複 合 語 としての多 様 な専 門 用 語 が記 述 されているが，該 当 指 標 に対
する体 系 的 な記 述がないケースがある．これは，RFP の記 述 として NFR
と FR を明 確に区 分 せずに FR の中 に NFR を部 分 的に記 述している場
合 である．さらに，同 一 フレーズを繰 り返 して記 述 している場 合 に，該 当
プロジェクトでの複 数 の特 定 ＮＦＲキーワードの出 現 頻 度 が極 めて大 きく
なり，「NFR 評 価 指 数 」による評 価 スコアが高 くなる場 合 である．これは，
NFR キーワードが文 節の表 題 とされている場 合 ，あるいは RFP の記 述
において文 章 の繰 り返 しを多 用 している場 合 である．これらの問 題 点 に
対して，サンプルデータである RFP 原 文を加 工して NFR 記 述 部 分をま
とめること，あるいは繰 り返 されている NFR キーワードを減 少 させる手 法
が必 要 となる．また，“±1”の評 価 差 が生 じる要 因 として以 下 のケースが
考えられる．
C) クラスタリングと手 動 評 価 が“0-1”となるケース
NFR 評 価 スコアが比 較 的 低 い RFP 群 のクラスタリングは“0”となった
が，手 動 評 価 では，特 定 の NFR キーワードの重 要 性 を判 断 し評 価 を
“1”としているケースである．これに対 しては，NFR キーワードの多 様 性
を高 め NFR キーワード数を増 加 することにより評 価 スコアを上 げる方 法
が考 えられる．しかし，「出 現 頻 度 で上 位 10%の単 語 しか使 わなくても，
分 類 器 の性 能 は下 がらないという実 験 の結 果 がある」[32]とされており，
少 ない NFR キーワードで分 類 を可 能 とすることが課 題 となる．
D) クラスタリングと手 動 評 価 が“1-2”となるケース
評 価 スコアが極 めて高 いプロジェクトが少 数 あり，これに影 響 されて少
数 のプロジェクトのみが“２”に分 類 され，手 動 評 価 では“2”と判 断 されるケ
79
ースで，クラスタリングでは中 間 評 価 の“１”となるケースである．これに対 し
ては，「小 項 目 」の評 価スコアが極 めて高 い RFP を外れ値 として処 理する
ことにより NFR 評 価 に差 異 が少ないサンプルデータを対 象 とすることによ
り問 題 点 を避 けることができる．ただし，「小 項 目 」の評 価 スコアが高 い
RFP を対 象 外 とすることは，非 機 能 要 件 の明 確 さを評 価 するためには問
題 であり，外 れ値 の取 り扱 いは今後 の課 題 である．
E) クラスタリングと手 動 評 価 が“1-0”となるケース
NFR キーワードではないにもかかわらず，NFR キーワードとして評 価 ポ
イントとなった場 合 である．たとえば，「負 荷 検 査 」は医 療 機 関 における検
査 項 目 として使 用 されるケースがあり，「病 院 情 報 システム」に記 述 される，
あるいは“ピーク時 ”は業 務 そのもののピーク時 間 帯 を意 味 する語 句 として
使 用 されるなどである．これは，NFR キーワードが，実 際 は非 機 能 要 件 と
は異 なる意 味 のために，手 動 評 価 では評 価 されないことが考 えられる．こ
れに対 しては，自 然 言 語 処 理 の手 法 による語 義 のあいまい性 解 消 やキー
ワードのコロケーション統 計（コロケーションは一 般に語 の習 慣 的 な共 起 関
係 と説 明 されている）を評 価 手 法 に組 み込 むことなどが対 策 として考 えら
れる．
F) クラスタリングと手 動 評 価が“2-1”となるケース
重みが大きい NFR キーワードが記 述 されているが，その記 述 内 容 が簡
単 であり，手 動 評 価 ではあまり評 価 されないケースである．たとえば，「障
害 管 理 」指 標 としての「障 害 管 理 」，「障 害 復 旧 」あるいは「障 害 対 策 」は
比 較 的 「NFR キーワード指 数 」の評 価 が高 いが，「障 害 が発 生 した場 合
は、障 害 の復 旧 作 業 を行 うこと」などと平 易 に記 述 されているなどである．
これは，あまり専 門 的 ではない NFR キーワードであるが RFP サンプル群
での出 現 頻 度が高 いため「NFR キーワード指 数」が比 較 的高 いことによる
ことが考えられる．これに対 しては，専 門 性 が高 い NFR キーワードについ
ては「NFR キーワード指 数 」の重 みを大 きくする手 法 ，あるいは一 般 的 な
80
NFR キーワードをフィルタリングすることなどが対 策 として考 えられる．
一致率
不一致率
応答性
0.552795031
0.447204969
障害対策
リカバリ処理
0.565217391
0.428571429
0.391304348
0.602484472
0.366459627
0.378881988
セキュリティ管理
0.590062112
0.633540373
アクセス管理
0.298136646
0.695652174
負荷バランス
図4.8 「小項目」別の一致率および不一致率
4.6
まとめ
本 章では，機 械 学習 によらない非 機 能 要 件 の評 価 手 法 として提 案 した 3 つ
の手 法 を比 較 した．実 験 結 果 では，「手 動 評 価 」との各 「小 項 目 」についての比
較 で，「拡 張 TF-IDF」手 法 の相 関 係数 が 0.2239 から 0.4296 となり，「弱 い相
関」であるが，最も有 効 であることがわかった．しかし，「拡 張 TF-IDF」手 法 の評
価 スコアが高 い場 合 でも必 ずしも「手 動 評 価 」が高 くないケースもあり，教 師 なし
自 動 評 価 手 法 を手 動 評 価 の代 替 として使 用 することは難 しく，「手 動 評 価 」との
補 完 的に使 用 することが考 えられることがわかった．また，「拡 張 TF-IDF」と「手
動 評 価 」との比 較 において，各 「小 項 目」に外 れ値 となった RFP があり，NFR キ
ーワードによる評 価 に文 章 の前 後 関 係 や文 脈 も含 めて評 価 することが必 要 であ
り，今 後 の課 題であることもわかった．
81
一 方 ，追 加 実 験 で行 った「手 動 評 価 」とクラスタリングについては，その一 致
率 は 60.5%であった．さらに，不 一 致 率 は 0.9%であった．提 案 手 法 の精 度 評
価 において，クラスタリングの評 価 尺 度 であるエントロピー及 び純 度 はそれぞれ
0.737 と 0.606 であった．エントロピーを高 めている要 因 としては，評 価 差の違
いが±1 であるケースが 38.2%と比 較 的 多 いことが考えられる．この点 について
は，RFP サンプルデータとして実 験 を行 った 161 件 の RFP データ群 の「小 項
目 」における評 価 が低 いデータが多 いことも要 因 のひとつでであり，今 後 は，こ
の±1 差 の評 価 を減 少 させる手 法 を組 み込 むことが課 題 である．また，手 動 評
価 を正 解 集 合 としてクラスタリングの結 果 と一 致 率 の評 価 比 較 を行 ったが，手
動 評 価 の客 観 性 を高 めることも必 要 であり，多 数 の評 価 者 による評 価 を行 った
結 果を採 用 した実 験 を行 い，検証 する必 要 がある．
82
第５章
5.1
社会的影響別の非機能要件評価
概要
非 機 能 要 件 は，情 報 化 対 象 となっているシステムのカテゴリ，あるいは規 模 に
より重 視 される非 機 能 要 件 とそれほど重 視 されない非 機 能 要 件 があると推 定 さ
れる．しかし，委 託 開 発 を行 う情 報 化 システムの規 模 や対 象 領 域 は様 々である
が，社 会 的 影 響 が同 じカテゴリの中 での比 較 ，あるいは，異 なるカテゴリとの比
較 を行 い，どの「非 機 能 要 件 」の記 述 が明 確 でないかを定 量 的 に把 握 し，確 認
できることは有 効 である．そこで，本 章 では，社 会 的 影 響の違 いによる 3 つのカ
テゴリに分 類した RFP 群 について，前 章 で述べた「拡 張 TF-IDF」手 法 による
評 価 を行 い，「NFR キーワード評 価 シート」による非 機 能 要 件 の記 述 内 容 の明
確 さを評 価することの有 効 性 について述 べる．
「社 会 的 影 響 によるシステム分 類 の判 定 基 準 」については，IPA-SEC の「非
機 能 要 求グレード」 [2]で以 下 のように定 義 されている．
社 会 的 影 響によるシステム分 類 の判 定 基準
A） 社 会 的 影 響 が極 めて大 きいシステム： 常 時 サービスの提 供 が前 提 となる
ため，基 本 的に停 止 は不 可 ．
このカテゴリの NFR 評 価 指 標による評 価 が最 も高いことが推 定 される．
B） 社 会 的 影 響 が限 定 されるシステム： 24 時 間 無 停 止 でのサービス提 供 は
必 要 ないが，極力 稼 働は継 続 させる．
このカテゴリの NFR 評 価 指 標による評 価 は中 間 であることが推 定 される．
C） 社 会 的 影 響 がほとんど無 いシステム： 業 務 時 間 内 のみのサービス提 供 で
あり，夜 間の稼 働 は無 い．
5.2
社会的影響による RFP の分類と手動評価
本 章で対 象 とした 161 件 の RFP サンプルを「社 会 的 影 響 によるシステム分
83
類 の判 定 基 準 」により「社 会 的 影 響 が極 めて大 きいシステム」，「社 会 的 影 響 が
限 定 的 なシステム」および「社 会 的 影 響 が少 ないシステム」3 つのカテゴリに分
類 した． RFP サンプル群 は，社 会的 影 響 別にそれぞれ 56 件 ，56 件 および 49
件 に分 類 された．
これらについて人 手 による評 価 を行 った「小 項 目 」ごとの評 価 スコアを図 5.1
に示 す．図 5.1 によると「社 会 的 影 響が極 めて大 きいシステム」の評 価は「社 会
的 影 響 が低 いシステム」との比 較 では，すべての「小 項 目 」において高 い評 価 と
なっており，「社 会 的 影 響 が限 定 的 システム」との比 較 においては，「ウイルス対
策 」，「RAID 構 成」および「障 害 対 策」が低 い評 価 であるが，その他 の「小 項 目 」
においては，すべて高 い評 価となっていることが認 められる．このことは「NFR キ
ーワード評 価 シート」の「小 項 目 」の手 動 評 価 において，社 会 的 影 響 カテゴリの
特 徴 を評 価 できることを示 していると考 えられる．社 会 的 影 響 カテゴリに分 類 さ
れた個 別の RFP についての 3 段 階 での手 動 評 価 結 果の一 部 を表 5.1 に示
す．表 5.1 によると，3 段 階 評 価において特 に「セキュリティ管理 」と「障 害 対 策 」
の“0”評 価 がその他 の「小 項 目 」と比 較して多 く，非 機 能 要 件 の記 述 においてさ
らに明 確 にする必 要 があることが認 められる．また「リカバリ処 理 」，「応 答 性 」お
よび「負 荷バランス」については“2”評 価 の RFP が相 対 的に多 いことから，「社
会 的 影 響 が大 きいシステム」ではこれらの「小 特 性 」についての非 機 能 要 件 が
重 視 されていると言 える．一 方 ，「社 会 的 影 響 が少 ないシステム」では“0”評 価
の RFP が相 対 的に多 く，非 機 能要 件 について明 確 に記 述されていないことが
認 められる．ただし，これらについては評 価対 象 とした 161 件の RFP を分 類 し
た評 価 結 果 であり，複 数 評 価 者 によるより多 くの RFP について分 析し，評 価す
ることが求 められる．次 節 では，4 章 で述 べた「拡 張 TF-IDF」を用 いた評 価 に
ついて述 べる．
84
社会的影響極めて大
社会的影響限定的
社会的影響少
オペレーション
パッチ処理
リカバリ処理
停止処理
応答性
1.6
システム性能
1.4
負荷バランス
1.2
1
障害管理
稼働品質
0.8
障害対策
システム異常…
0.6
0.4
バックアップシ…
障害要因
0.2
0
バックアップ管理
運用管理
RAID構成
システム管理
冗長化
不正アクセス
暗号処理
アクセス権限
セキュリティ管…
情報漏洩対策
ウイルス対策
パスワード管理
セキュリティ対応
認証機能
図 5.1 社 会 的 影 響 別の「小 項目 」の手 動 評 価スコア
表 5.1 社会的影響カテゴリ別の手動評価（一部の NFR 評価指標）
アクセス管理
０評価
1評価
2評価
影響大 影響限定
14
25
22
25
20
6
影響少
27
19
3
セキュリティ管理
０評価
1評価
2評価
影響大 影響限定
21
21
16
18
19
17
影響少
25
10
10
リカバリ処理
０評価
1評価
2評価
影響大 影響限定
14
11
4
25
38
20
影響少
32
15
2
障害対策
０評価
1評価
2評価
影響大 影響限定
37
33
14
18
5
5
影響少
45
4
0
応答性
０評価
1評価
2評価
影響大 影響限定
10
19
14
26
31
11
影響少
13
27
9
負荷バランス
０評価
1評価
2評価
影響大
影響少
16
21
12
85
8
23
25
影響限定
9
23
24
5.3
社会的影響カテゴリ別の評価スコア
4 章 で提 案 した「拡 張 TF-IDF」法 を用 いて，６つの「小 項 目 」について社 会
的 影 響 カテゴリ別 に分 類 された個 別の RFP の評 価を行った結 果を図 5.2（一
部 抜 粋 ）に示 す．図 5.2 によると，どの「小 項 目 」の評 価 スコアが高 く，またどの
「小 項 目」の評 価スコアが低 いかについては，社 会 的 影 響カテゴリ別に分 類 され
た個 別 の RFP で大きく異 なることが認 められる．「社 会 的 影 響が極 めて高 い」カ
テゴリの RFP についても，RFP 個 別 にみると評 価スコアが低い RFP（たとえば
「アクセス管 理」についての 3，4，42 番 目 の RFP など）があり，その「小 項 目 」に
ついての非 機 能 要 件 が明 確 に記 述 されていないことが認 められる．また，「社 会
的 影 響が限 定 的 」なカテゴリにおいても，非 常に高 い評 価 スコアの RFP（たとえ
ば RFP「アクセス管 理 」および「セキュリティ管 理 」の 49 や 52 番 目の RFP）が
ある．一 方 ，「社 会 的 影 響 が少 ない」システムであっても「アクセス管 理 」や「応 答
性 」および「負 荷 分 散 」について高 い評 価 スコアとなっている RFP（47 番 目）が
あることが認 められる．これらのことは，社 会 的 影 響 によらず一 部 の非 機 能 要 件
である「小 項 目 」については個 別 の RFP に差 があることを示 している．
次 に，図 5.3 に 6 つの「小 項 目」について社 会 的 影 響カテゴリ別 に分 類 され
た RFP の評 価スコアの箱 ひげ図を示 す．図 5.3 によると個 別の「小 項 目 」につ
いての評 価 スコアをカテゴリ別 にみると，「応 答 性 」と「負 荷 分 散 」については「社
会 的 影 響 が極 めて大 きいシステム」の中 央 値 が高いことが認 められるが，その他
の「小 項 目 」については「社 会 的 影 響 が限 定 的 なシステム」との差 は少 ない．ま
た，「社 会 的 影 響 が限 定 的 なシステム」については，「セキュリティ管 理 」と「リカ
バリ処 理 」に外 れ値 として極 めて高 い評 価 スコア（50 ポイント超 え）の RFP が認
められる．この点 については，社 会 的 影 響 によるカテゴリの分 類 において，一 部
の RFP（たとえば 49 番 目「厚 生 労 働 省 ネットワークシステムの更 改 」や 52 番
目 「職 業 紹 介 サブシステム統 合 運 用 監 視 業 務 」）の社 会 的 影 響 が限 定 的 であ
るか，あるいは極 めて大 きいかの判 断 が困 難 なため，人 の判 断 によるカテゴリ分
類 の要 因 が考 えられる．また，「社 会 的 影 響 が少 ないシステム」についてはすべ
ての「小 項 目 」において低 い中 央 値 （5 ポイント以 下 ）となっており，社 会 的 影 響
86
による３つのカテゴリの中 では，非 機 能 要 件 の記 述 内 容 が明 確 でないことがわ
かる．ただし，すべてのカテゴリにおいて評価 スコアの中 央 値 が 10 ポイント以 下
であった．対 象 となった 161 件 の RFP に偏 りがあることも考 えられ，RFP のサン
プル数 に要 因があるかどうかについての検 証 は，さらに多 くの多 様 な RFP によ
る実 験 が今 後の課 題 である．次 節では，「手 動 評 価」との比 較 について述 べる．
社会的影響が極めて大
35
社会的影響が限定的
社会的影響が少
アクセス管理
30
25
20
15
10
5
0
1 2 3 4 5 6 7 8 9 1011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556
個別のRFP
70
社会的影響が極めて大
60
社会的影響が限定的
社会的影響が少
セキュリティ管理
50
40
30
20
10
0
1 2 3 4 5 6 7 8 9 1011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556
個別のRFP
60
50
40
社会的影響が極めて大
社会的影響が限定的
社会的影響が少
リカバリ処理
30
20
10
0
1 2 3 4 5 6 7 8 9 1011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556
個別のRFP
図 5.2(a) 社 会 的 影 響カテゴリ別の個 別 RFP の小 項 目 評 価スコア
87
社会的影響が極めて大
35
社会的影響が限定的
社会的影響が少
応答性
30
25
20
15
10
5
0
1 2 3 4 5 6 7 8 9 1011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556
個別のRFP
社会的影響が極めて大
社会的影響が限定的
社会的影響が少
30
障害対策
25
20
15
10
5
0
1 2 3 4 5 6 7 8 9 1011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556
個別のRFP
社会的影響が極めて大
20
18
16
14
12
10
8
6
4
2
0
社会的影響が限定的
社会的影響が少
負荷分散
1 2 3 4 5 6 7 8 9 1011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556
個別のRFP
図 5.2(b) 社 会 的 影 響カテゴリ別の個 別 RFP の小 項 目 評 価スコア
88
A
社 会 的 影 響 が限 定 的
A
B
C
D
E
F
70
60
拡張
0
10
20
30
TF-IDF評価スコア
40
50
60
70
社 会 的 影 響 が少
50
TF-IDF評価スコア
40
0
10
20
30
拡張
TF-IDF評価スコア
40
0
10
20
30
拡張
50
60
70
社 会 的 影 響 が極 めて 大
A
B
C
D
E
F
A
B
C
小項目
小項目
D
E
F
小項目
図 5.3 社 会 的 影 響カテゴリ別の個 別 RFP 評 価
5.4
社会的影響カテゴリ別の評価比較
4 章 で評 価 対象 とした 6 つの「小 項 目 」を，社 会 的 影 響 カテゴリ別に「手 動 評
価 」した結 果をレーダチャートで図 5.4(a)に，また，「拡 張 TF-IDF」により評 価
した結 果 をレーダチャートで図 5.4(b)に示 す．図 5.4 によると，「手 動 評 価 」と
「拡 張 TF-IDF」の評 価スコアによる比 較でみると，個 別 の「小項 目」についての
評 価 に相 違 があることが認 められる．これらの相 違 点 は，「小 項 目 」の評 価 を平
均 値 として比 較 した結 果 である．しかし，6 個 の「小 項 目」それぞれについて，要
求 される非 機 能 要 件 の特 徴 が，社 会 的 影 響 度 合 いの差 として評 価 されているこ
とは認 められる．
89
社会的影響が極めて大
社会的影響が限定的
社会的影響が少
アクセス管理
1.6
1.4
1.2
1
負荷分散
0.8
セキュリティ管理
0.6
0.4
0.2
0
障害対策
リカバリ処理
応答性
図5.4(a) 手動評価による社会的影響別の小項目評価スコア
社会的影響が極めて大きい
社会的影響が限定的
社会的影響が少ない
アクセス管理
10
8
負荷分散
6
セキュリティ管理
4
2
0
障害対策
リカバリ処理
応答性
図5.4(b)
社会的影響カテゴリ－別の小項目拡張TF-IDF評価スコア
90
5.5
まとめ
社 会 的 影 響 カテゴリにより，161 件 の情 報 化 対 象 システムである RFP を 3 つ
のカテゴリに分 類 して評 価 した結 果 ，「社 会 的 影 響 が極 めて高 い」カテゴリのシ
ステムであっても非 機 能 要 件 である「小 項 目 」については，明 確 に記 述 されてい
ない RFP があることがわかった．また，同 じカテゴリの RFP であっても「セキュリ
ティ管 理 」や「リカバリ処 理 」については，その評 価 スコアに大 きな差 があり，非機
能 要 件 である「小 項 目 」の記 述 内 容 の明 確 さに差 があることもわかった．これら
のことは，「NFR キーワード評 価 シート」に基 づく評 価 により非 機 能 要 件 の記 述
内 容 の明 確 さにおいて，明 確 さが十 分 でない「小 特 性 」を定 量 評 価 することの
必 要 性 を示 唆 していると言 える．ただし，社 会 的 影 響 によるカテゴリ分 類 は，定
量 的に明 確 ではないため，分 類された個 々の RFP について，そのカテゴリに属
するかどうかについては議 論 の余 地 がある．しかし，社 会 的 影 響 により３つにカ
テゴライズされたそれぞれの評 価 スコアの平 均 値 でみると，「応 答 性 」，「障 害 対
策 」および「負 荷 バランス」において，「社 会 的 影 響 が極 めて高 い」システムにつ
いては評 価 が高 く，一 般 的 な認 識 と一 致 することが認 められた．また，社 会 的 影
響 別 の評 価 結 果 については，社 会 的 影 響 が高 いほど評 価 が高 いことも認 めら
れた．これらのことは， RFP に記 述 されるべき，どの非 機 能 要 件 が明 確 に記 述
されていないかについて定 量 的 に把 握 できることを示 している．したがって，委
託 ソフトウェア開 発 の超 上 流 工 程 で，「要 件 定 義 」をより明 確 にすることを支 援
するために「NFR キーワード評 価 シート」の活 用 は，有 効 な手 法 であると考 える．
91
第６章
結論
本 論 文 では，委 託 ソフトウェア開 発 の超 上 流 工 程 でユーザが作 成 した RFP
の非 機 能 要 件 の記 述 内 容 を定 量 的 に評 価 する評 価 指 標 を示 し， RFP に記
述 されている非 機 能 要 件 の明 確 化 を支 援 することを目 的 として，（１）ユーザにと
って重 要 度 の高 い「保 守 と運 用 に関 する 55 個 の非 機 能 要 件 」で構 成 した「非
機 能 要 件 評 価 シート」による評 価 モデル，（２）RFP テキストファイルから抽 出 し
「非 機 能 要 件 評 価 シート」の「中 項 目 」に対 応 させた「NFR キーワード評 価 シー
ト」を作 成し，NFR キーワード出 現 頻 度による機 械 学 習手 法を用 いた自 動 評 価
モデル，（３）機 械 学 習 によらない 3 つの手 法 による NFR キーワードの重 みで比
較 評 価 し，追 加 実 験 として教 師 なし機 械 学 習 の手 法 であるクラスタリングによる
3 段 階 評価 ，最 後 に（４）RFP を社 会 的影 響 により３つのカテゴリに分 類し，3 つ
の手 法 の中で有 効 であった「拡 張 TF-IDF」により評 価を行 い，「NFR キーワー
ド評 価 シート」による非 機 能 要 件 の評 価の有 効 性を検 証した．
最 初 のステップでは，文 献 およびウェッブに公 開 されている調 査 結 果 をもとに
「非 機 能 要 件 評 価 シート」を作 成し，非 機 能 要 件である「小 項 目 」による RFP の
非 機 能 要 件 の記 述 内 容 の明 確 さの評 価 が可 能 であるかについてケーススタデ
ィを行 った．ケーススタディでは，ウェッブ上 に公 開 されている 29 件 の RFP デー
タを「非 機 能 要 件 評 価 シート」に基 づいて評 価 した結 果 を情 報 化 対 象 ドメインご
とに分 類して比 較 評 価 した．さらに，29 件の RFP 評 価 結 果から，評 価の高 い 3
個 の RFP を評 価 基 準 とした RFP の相対 比 較を行った．RFP の比 較 評 価を行
った結 果 ，どの「小 項 目 」（非 機 能 要 件 ）による記 述 内 容 が明 確 でないかについ
て情 報 化 対 象 ドメイン毎 に定 量 的 に視 覚 化 できることがわかった．また，「非 機
能 要 件 評 価 シート」に基 づいて 3 人 の評 価 者 が評 価 した一 部 の「小 項 目 」（非
機 能 要 件 ）について，評 価 者 によるばらつきに有 意 差 があり，今 後 はより多 くの
評 価 者による手 動 評 価のばらつきを抑 えることが課 題 である．
第 2 のステップでは， RFP に記 述 されている NFR キーワードの出 現 頻 度を
説 明 変 数 とし，手 動 評 価 結 果 を教 師 データ（目 的 変 数 ）としたランダムフォレスト
手 法 による自 動 評 価 実 験を行った．実 験 では，ウェッブ上 に公 開 されている 70
92
件 の RFP データをテキスト変 換 した後 にテキストマイニングによる NFR キーワ
ード抽 出を行った．抽 出した NFR キーワードを関 連 付 けた 26 個 の「小 項 目」
（非 機 能 要 件 ）について２段 ，３段 および５段 の手 動 段 階 評 価 を教 師 データとし
てランダムフォレストによる評 価 推 定 実 験を行った．ランダムフォレストによる評 価
推 定 と手 動 評 価 との一 致 率 を比 較 およびκ統 計 値 により検 証 した．実 験 の結
果 ，単 純 比 較による一 致 率は，69.8%であった．また，26 個 の NFR 指 標を平
均 した 3 段 階 評 価のκ統 計 値 は 0.4063 であり，κ統 計 値の判 定 基 準で「中
程 度の一 致 」と判 定 された．これは，2 段 階 評 価および 5 段 階評 価 との比 較に
おいて高 い一 致率 であり，3 段 階 評 価が RFP の NFR キーワードによる自 動 評
価 モデルとして，非 機 能 要 件 の記 述 の明 確 化 を支 援 することに有 効 であること
が分 かった．ただし，NFR キーワードの選 定 や数 を変 えてモデルのチューニン
グを行 い，ランダムフォレストの精 度 を高 めることが今 後 の課 題 である．
第 3 ステップでは，RFP に記 述 されている NFR キーワードによる評 価 法 とし
て「単 純 TF-IDF」，「拡 張 TF-IDF」および「キーワード比 」の 3 つの手 法 を
NFR キーワードの重 みとして評 価 実 験 を行 った．ウェッブ上 に公 開 されている
161 件 の RFP データを収 集し，評 価 結 果を比 較した結 果は，「拡 張 TF-IDF」
手 法で評 価 対 象 とした 6 つの「小 項 目」のすべてにおいて，手 動 評 価 との相 関
係 数 が高 いことが分 かった．しかし，「拡 張 TF-IDF」と「手 動 評 価 」との比 較 に
おいて，各「小 項 目 」に外 れ値 となった RFP があり，NFR キーワードによる評価
に文 章 の前 後関 係 や文 脈も含 めた手 法の改 良が今 後 の課 題 である．
次 に，この実 験 結 果 をもとに k-means 法 によるクラスタリングの追 加 実 験 を
行 った．6 個 の「小 項 目 」についてのクラスタリングと手 動 評 価 との一 致 率 は
60.5％であった．一 方 ，クラスタリングの評 価 尺 度 であるエントロピー及 び純 度
はそれぞれ 0.737 と 0.606 であり，エントロピーを低 く，純 度を高 くするアルゴリ
ズムと組 み合わせることが今 後の課 題 であることが分 かった．
さらに，「NFR キーワード評価 シート」による非 機 能 要件 の評 価 の有 効 性を確
認するために 161 件 の RFP を社 会 的 影 響による 3 つのカテゴリに分 類 して，
第 3 ステップで提 案 した「拡張 TF-IDF」法による評 価 と手 動 評 価の比 較を行
った．算 出 した評 価 スコアにおいて，「社 会 的 影 響 が極 めて大 きいシステム」で
93
あっても非 機 能 要 件 の記 述 が明 確 でない「非 機 能 要 件 」があることが，「社 会 的
影 響 が限 定 されるシステム」や「社 会 的 影 響 が少 ないシステム」との比 較 によっ
て明 らかになった．しかし，さらに多 くの RFP による実 験 と検証 が課 題であること
も分 かった．
本 論 文の成 果 により，超 上 流 工 程 でユーザが作 成 した RFP の非 機 能 要 件
の記 述 内 容 を「非 機 能 要 件 評 価 シート」および「NFR キーワード評 価 シート」を
用 いた提 案 手 法 で定 量 的 に評 価 し，評 価 指 標 とすることを示 すことができた．
今 後 は，提 案 手 法 の精 度 向 上 と有 効 性 を高 め，非 機 能 要 件 の明 確 化 を定 量
評 価 することにより，委 託 ソフトウェア開 発 の超 上 流 工 程 におけるユーザ要 件 定
義 を支 援する研 究を続 けたいと考 えている．
94
謝辞
本 研 究 を進 めるにあたり，ご指 導 ，ご協 力 頂 いた皆 様 に感 謝 の意 を表 したい
と思 います．本 当にありがとうございました．
研 究 の過 程 で，適 宜 懇 切 なご指 導 ，ご助 言 と共 に，適 切 なご指 摘 を賜 りまし
た，奈 良 先 端 科 学 技 術 大 学 院 大 学 情 報 科 学 研 究 科 松 本 健 一 教 授 に，
心 から深 く感 謝 申し上 げます．
本 研 究 を進 めるにあたり，研 究 発 表 での貴 重 なご指 導 ，ご助 言 を賜 りました，
奈 良 先 端 科 学 技 術 大 学 院 大 学 情 報 科 学 研 究 科 藤 川 和 利 教 授 に，心
から深 く感 謝 申し上げます．
本 研 究 を進 めるにあたり，研 究 の方 向 性 を決 める有 益 なご助 言 と終 始 熱 心 に
相 談 に応 じて頂 き，論 文 執 筆 に際 しては丁 寧 なご指 導 をいただきました，奈 良
先 端 科 学 技 術 大 学 院 大 学 情 報 科 学 研 究 科 門 田 暁 人 准 教 授 に，心 か
ら深 く感 謝 申し上げます．
本 研 究 を進 めるにあたり，研 究 発 表 や会 議 での貴 重 なご指 導 ，ご助 言 を賜 り
ました，奈 良 先 端 科 学 技 術 大 学 院 大 学 情 報 科 学 研 究 科 伊 原 彰 紀 助 教
に，心から深 く感 謝 申 し上 げます．
本 研 究 を進 めるにあたり，奈 良 先 端 科 学 技 術 大 学 院 大 学 情 報 科 学 研 究 科
ソフトウェア工 学 講 座 の皆 様には，研 究 活 動 や学 生 生 活 におきましてさまざまな
ご支 援を賜 りました．心から深 く感 謝 申し上 げます．
最 後 に，精 神 的 にも長 く，時 にはくじけそうになった研 究 生 活 と本 稿 執 筆 に至
る道 のりにおいて，支 え励 ましてくれた家 族 である長 男 と次 男 ，そして家 を離 れ
ての学 生 生 活を見 守り，支えてくれた 妻 美 和 子 に心から感 謝します．
95
参考文献
[1] 情 報 処 理 推 進 機 構 ソフトウェア・エンジニアリング・センター，“共 通 フレー
ム 2007”，オーム社 ，2007．
[2] 情 報 処 理 推 進 機 構 ソフトウェア・エンジニアリング・センター，“非 機 能 要 求
の見 える化 と確 認の手 段を実 現する「非 機 能 要 件 グレード」”，2010．
[3] 日 本 情 報 システム・ユーザー協 会 編 ，“非 機 能 要 求 仕 様 定 義 ガイドライン”，
2008．
[4] 日 本 情 報 システム・ユーザー協 会 ，“ソフトウェア開 発 管 理 基 準 に関 する調
査 報 告 書（ソフトウェアメトリクス調 査 ）”，2012．
[5] Rick Kazman, Mark Klein, Mario Barbacci, Tom Longstaff,
Howard Lipson, Jeromy Carriere ， “The Architecture Tradeoff
Analysis method” ， Technical Report CMU/SEI-98-TR-008, ESCTR-98-008, Carnegie Mellon University, Software Engineering
Institute,1998.
[6] 経 済 産 業 省 ソフトウェアメトリクス高 度 化 プロジェクトプロダクト品 質 メトリクス
ＷＧ，“システム／ソフトウェア製 品 の品 質 要 求 定 義 と品 質 評 価 のためのメト
リクスに関 する調 査 報 告 書”，2011．
[7] 日 経 ソリューションビジネス編 ，“システム構 築 のトラブルを回 避 するための
IT システム契 約 締 結 の手 順 とポイント”，日 経 BP 社 ，2008．
[8] Bud Porter-Roth（著）， 渡 部 洋子 （訳），“RFP 入 門 ―初 めての提 案 依
頼 書”，日 経 BP 社 ，2004．
[9] 齊 藤 康 廣 , 門 田 暁 人 , 松 本 健 一 ， “ソフトウェア委 託 開 発 プロジェクトの超
上 流 工 程 における非 機 能 要 件 評 価 に関 する研 究 ”，奈 良 先 端 科 学 技 術 大
学 院 大 学テクニカルレポート，NAIST-IS-TR2013001，2013．
[10] 佐 藤 知 徳 ，鈴 木 俊 一 ，北 澤 直 幸 ，長 田 晃 ，海 谷 治 彦 ，海 尻 賢 二 ，“ソフト
ウェア要 求 仕 様 における品 質 要 求 の含 有 率 測 定 ツールの設 計 ”，電 子 情
96
報 通 信 学 会 技 術 研 究 報 告 （知 能 ソフトウェア工 学 KBSE2007-57），Vol.
107，No.540, 2008，pp.19-24．
[11] 経 済 産 業 省 商 務 情 報 政 策 局 情 報 処 理 振 興 課 , 情 報 処 理 推 進 機 構 ，
“ 情 報 シ ス テ ム 調 達 の た め の 技 術 参 照 モ デ ル（ TRM ） 平 成 22 年 度 版 ”
2011．
[12] 今 村 誠 ，高 山 泰 博 ，三 上 崇 志 ，岡 田 康 裕 ，“技 術 文 書 からの用 語 知 識 自
動 獲 得の検 討 ”，情 報 処 理 学 会 研 究 報告 ，2007(34)，2007，pp. 25-32．
[13] 小 林 雄 一 郎 ，田 中 省 作 ，冨 浦 洋 一“N-gram を素 性 とするパターン認 識を
用 いた英 語 科 学 論 文 の質 判 定 ”，情 報 処 理 学 会 研 究 報 告 2012-IFAT105，2012, pp.1-6．
[14] 小 林 雄 一 郎 ，田 中 省 作 ，冨 浦 洋 一 “メタ談 話 標 識 を素 性 とするパターン認
識 を用 いた英 語 科 学 論 文 の質 判 定 ”，人 文 科 学 とコンピュータシンポジウム
論 文 集 , 2011，pp.51-58．
[15] 齊 藤 康 廣 ，門田 暁 人 ，松 本 健 一．“Request For Proposal(RFP)におけ
る保 守 ・運 用 要 件 指 標 の 抽 出 と 評 価 ”， 情 報 処 理 学 会 研 究 報 告 2012SE-175(1), 2012, pp.1-10.
[16] 齊 藤 康 廣 ，門 田 彰 人 ，松 本 健 一 , “非 機 能 要 件 構 築 のための データ”，
奈 良 先 端 科 学 技術 大 学 院 大 学 , http://se-naist.jp/NFR/ ，2014．
[17] 金 明 哲 ，村 上 正 勝 ．“ランダムフォレスト法 による文 書 書 き手 の同 定 ”，数
理 統 計 ，第 55 巻 第 2 号 , 2007, pp.255-268．
[18] 樋 口 耕 一 ，“KH_Coder2.x レファレンスマニュアル”，2012，pp.84.
[19] 福 田 淳 一 ，“ テキ ストマ イ ニングの シス テム 開 発 上 流 工 程 適 用 の 試 み”，
Journal of the Society of Project management Vol. 13，N0.2，2011．
[20] Agustin Casamayor, Daniela Godoy, Marcelo Campo“Functional
Grouping of Natural Language Requirements for Assistance in
Architectural Software Design”, Knowledge-Based Systems Vol.
97
30, 2012, pp.78–86．
[21] Agustin Casamayor, Daniela Godoy, Marcelo Campo, “ Mining
Textual Requirements to Assist Architectural Software Design: A
State of the Art Review ” , Artificial Intelligence Rev. 38,2012,
pp.173-191．
[22] Carlos Huertas, Reyes Juárez-Ramírez “ NLARE, “A Natural
Language
Processing
Tool
for
Automatic
Requirements
Evaluation ” ， Proceeding of International Conference on Cloud
and Ubiquitous
Computing and Emerging Technologies（CUBE’
2012）, September 2012, pp.3-5．
[23] Dan Port, Allen Nikora ， Jane Huffman Hayes ， LiGuo Huang,
“ Text Mining Support for Software Requirements: Traceability
Assurance”，Proceedings of 44th Hawaii International Conference
on System Sciences，2011, pp.1-11．
[24] Leonid Kof, “ Natural Language Processing for Requirements
Engineering: Applicability to Large Requirements Documents”，
http://www4.informatik.tu-muenchen.de/, 2004．
[25] Gokhan Gokyer，Semih Cetin，Cevat Sener，Meltem T. Yondem
“ Non-Functional Requirements to Architectural Concerns: ML
and NLP at Crossroads ” ， Proceeding of 3rd International
Conference on Software Engineering Advances，2008, pp.400-406．
[26] Jane Cleland-Huang，Raffaella Settimi，Xuchang Zou，Peter Solc
“ Automated classification of non-functional requirements ” ，
Requirements Engineering12，2007, pp.103-120．
[27] Jane Cleland-Huang，Raffaella Settimi，Xuchang Zou，Peter Solc
“
The
Detection
and
Classification
of
Non-Functional
Requirements with Application to Early Aspects” , Proceeding of
98
14th IEEE International Requirements Engineering Conference
(RE'06)，2006, pp.36-45．
[28] Olga Ormandjieva ， Ishrar Hussain ， Leila Kosseim, “ Toward a
Text Classification System for the Quality Assessment of Software
Requirements Written in Natural Language”，Proceeding of 4th
International
Workshop
on
Software
Quality
Assurance
(SOQUA'07), September 2007, pp.39-45．
[29] Simrandeep Singh Thapar ， Hardeep Singh, Karanjeet Singh
Kahlon, “Metrics-Based Evaluation of Quality of Non-Functional
Specifications”，International Journal of Information Technology
and Knowledge Management, Volume 2, No. 1, June 2009, pp.131134．
[30] Yasuhiro Saito, Akito Monden, Kenichi Matsumoto，“Evaluation
of Non Functioanl Requirements in a Request For Posal(RFP) ”，
Proceeding of International Workshop on Software Measurement
and 7th International Conference on Software Process and
Product Measurement (IWSM-MENSURA)，Oct. 2012, pp.106 - 111．
[31] Joseph L. Fleiss, “Measuring Nominal Scale Agreement among
Many Rater”, Psychological Bulletin, Vol. 76, No.5, 1971, pp.378–
382.
[32] ローネン・フェルドマン，ジェイムズ・サンガー，辻 井 潤 一 監 訳 ，IBM 東 京
基 礎 研 究 所 ，“テキ ス トマ イ ニ ングハ ンド ブ ック ” ，東 京 電 機 大 学 出 版 局 ，
2010．
[33] Gerard Salton, Michael. J. McGill, “Introduction to Modern
Information Retrieval”, McGraw-Hill, 1983.
[34] Clay Palmeira, Rafael Chaves, Hamilton Cavalcante, Eloi Favero,
“A Requirements Elicitation and Analysis Aided by Text Mining”,
99
International Journal of Computer Science and Network Security
(IJCSNS), Vol.12, No.6，2012, pp.122-128．
[35] Fabrizio Fabbrini, Mario Fusani, Stefania Gnesi, Giuseppe Lami,
“An
Automatic
Quality
Evaluation
for
Natural
Language
Requirements”, Proceedings of 7th International Workshop on
Requirements Engineering: Foundation for Software Quality, 2001,
pp.150-164.
[36] Leonid Kof, “Natural Language Processing: Mature Enough for
Requirements
Documents
Analysis?” ， Natural
Language
Processing and Information Systems Lecture Notes in Computer
Science Vol. 3513, 2005, pp.91-102．
[37] Ishrar Hussain, Leila Kosseim, and Olga Ormandjieva, “Using
Linguistic Knowledge to Classify Non-functional Requirements in
SRS documents”, Natural Language and Information Systems
Lecture Notes in Computer Science Vol. 5039, 2008, pp.287-298．
[38] Anna Perini, Angelo Susi, Paolo Avesani, “A Machine Learning
Approach
to
Software
Requirements
Prioritization”,
IEEE
Transactions on Software Engineering Digital Object Indentifier
10.1109/TSE.2012.52, 2012．
[39] 金 明 哲,“フリーソフトによるデータ解 析 ・マイニング 第 60 回 統 計 的 テキ
ス ト 解 析 (5) ～ 統 計 法 則 と 指 標 ～ ” ， 統 計 情 報 研 究 開 発 セ ン タ ー
ESTRELA (No.172)，July 2008.
[40] 新 納 浩 幸 ，“R で学 ぶクラスタ解 析 ”，オーム社 ，November 2009.
[41] 長 谷 川 亮 ，北 村 元 博 ，海 谷 治 彦 ，佐 伯 元 司 ，“要 求 分 析 のためのドメイン
オントロジ構 築 支 援 ”，電 子 情 報 通 信 学 会 技 術 研 究 報 告 . SS, ソフトウェア
サイエンス 107(176), July 2007, pp.53-58.
[42] 情 報 処 理 機 構 ソフトウェア・エンジニアリング・センター，“非 機 能 要 求 グレ
100
ード利 用ガイド[解 説 編 ]”，April 2010.
[43] 齊 藤 康 廣 , 門 田 暁 人 , 松 本 健 一, “RFP における機 械 学 習による非 機 能
要 件 の 評 価 ” , 研 究 報 告 ソ フ ト ウ ェ ア 工 学 （ SE ） , 2013-SE-179(5),
（2013-03-04）, pp.1-7．
[44] Ren ´ e Witte1, Qiangqiang Li1, Yonggang Zhang, and Juergen
Rilling,
“Ontological
Text
Mining
of
Software
Documents”,
Springer-Verlag Berlin Heidelberg 2007 NLDB 2007, LNCS 4592,
（2007）, pp.168–180.
[45] 情 報 処 理 機 構 ソフトウェア・エンジニアリング・センター，“IPA/SEC が提
案 する ソフトウェア品 質 指 標 の解 説 ～品 質 作 り込 みガイド（ESQR）の概
要 解 説～”,
www.ipa.go.jp/files/000030337.pdf，January 2013.
[46] Capers Jones 著 ，冨 野 壽 ・小 坂 恭 一 監 訳 ，“ソフトウェア開 発の定 量 化 手
法 第 3 版 ”，共 立 出 版 株 式 会 社 ，July 2010．
[47] Stephen H. Kan 著 ，古 山 恒 夫 ・冨 野 壽 監 訳 ，“ソフトウェア品 質 工 学
の尺 度 とモデル”，共 立 出 版 株 式 会 社，November 2004．
[48] 酒 巻 弘 晃 ，横 山 真 一 郎 ，劉 功 義 ，石 井 信 明 ，田 村 智 幸 ，牛 嶌 一 朗 ，加
藤 俊 ，笠 井 直 貴 ，木 野 泰 伸 ，“RFP の評 価 と品 質 向 上 に関 する研 究 ”，プ
ロジェクトマネジメント学 会 予 稿 集, 2009 春 季 ，pp. 374-379．
[49] 山 本 修 一 郎 ，“～ゴール指 向 による！！～システム要 求 管 理 技 法 ”，株 式
会 社 ソフトウェア・リサーチ・センター，May 2007．
[50] エレン．ゴッテスディナー著 ，三 島 邦 彦 ，前 田 卓 雄 ，宗 雅彦 監 訳 ，成 田
光 彰 訳 ，“要 求 開 発 ワークショップの進め方－ユーザ要 求を引 き出すファ
シリテーション－”，日 経 BP 社 ，July 2007．
101
付録
Ａ． 「NFR キーワード評価シート」1/6
大項目
運用開始の準備要件
中項目
FAT特性
小項目
運用テスト計画
運用テスト実施
運用開始条件
結合テスト
総合テスト
テスト結果評価
システム運用の評価要件
NFRキーワード
APIテスト
結合テスト計画
システムテスト計画書
テスト実施計画書
システムテスト計画
テスト実施スケジュール
システムテスト実施手順書テスト計画書
システムテスト
テスト計画
システム総合テスト
テストシナリオ
総合テスト計画書
受入テスト計画
データ移行計画書
運用テスト計画書
データ移行仕様書
運用テスト手順書
データ移行仕様
運用テスト仕様書
総合テスト仕様書
運用テスト期間
テスト仕様書
運用テストデータ
テスト項目表
テスト実施期間
テスト項目
稼働準備
テスト方法
移行作業マニュアル
テスト範囲
稼働移行
テスト環境
移行手順書
テスト実施
移行環境
ストレステスト
信頼性テスト
再始動テスト
接続テスト
システムレベルテスト
障害対策テスト
システムテスト
操作性テスト
性能テスト
トラブルテスト
データ移行テスト
システム総合テスト
システム稼働
総合テスト
システム移行
システム環境稼動確認テス試験運用
本番環境稼動テスト
テスト実施
システム本番稼動
稼働移行
システム本稼動
テスト運用
システム稼働開始
稼動確認テスト
ユーザ運用テスト
受入テスト
受け入れテスト
受入テスト実施
総合テスト完了報告書
検証システム
テスト報告書
運用前提条件
データ検証
総合テスト終了
システム検証
システム稼働立会報告書
セキュリティテスト計画書
移行実施計画
移行計画
移行手順書
システム移行計画書
システム移行計画
システム移行
運用計画書
試験計画書
接続テスト計画書
結合テスト支援
データ移行
移行データ
データ移行作業
システム移行ツール
移行処理
移行期間
インストールテスト
信頼性テスト
性能評価テスト
セキュリティテスト
結合テスト
稼働テスト
運用テスト実施
テスト稼働
導入テスト
稼働テスト
運用テスト
ユーザテスト
システム稼働立ち会い
稼働日
本番稼働
操作容易特性
オペレーション
操作性
操作マニュアル
システム操作方法
操作方法
操作手順書
システム操作
操作説明書
操作説明
操作手順
システム運用手順書
運用手順書
運用手順
操作環境
入力ミス
操作ガイド
操作ガイド機能
オンラインマニュアル
画面遷移
稼働品質特性
応答性
平均読み出し遅延
転送応答性
応答性
ハードディスク応答性能
画面レスポンス
オンライン応答時間
平均処理応答
スループット
レスポンスタイム
秒程度
性能監視機能
処理速度
システム性能
MPU使用率
CPU使用率
性能目標値
オンライン処理性能
性能
CPU
負荷率
負荷分散性能
負荷分散
負荷許容範囲
最小サーバ負荷
ネットワーク負荷
最大負荷時
負荷予測
稼動実績
安定稼働実績
システム正常性
トランザクションデータ
アクセス頻度
通信速度
稼動安定性
パフォーマンス管理
365日安定稼働
稼動状況
運用スケジュール
稼働期間
24時間365日
最大スループット
安定的レスポンス
最小レスポンス
最小応答
ネットワーク応答
VPNスループット
平均応答
応答時間
秒以内
mｓ以下
処理性能
アクセス速度
CPU性能
ＣＰＵ負荷率
性能評価
ネットワーク使用率
％以下
ＣＰＵ
SPEC
負荷分散方式
負荷分散構成
負荷低減
負荷運用
サーパ負荷
負荷分散装置
負荷監視
ロードバランシング
トランザクション数
トラフィック量
業務稼働率
ダウンタイム
トランザクション管理
アクセス量
平均稼働率
サービス稼働率
稼働状況
安定システム
稼働実績
％以上
サービス稼働率
応答速度確保
メモリ使用率
システム応答速度
データ量
主記憶容量
ハードディスク容量
ネットワーク転送容量
ターンアラウンド
秒以下
MB/ｓ以上
アクセス性能向上
ディスクIO負荷率
性能耐久性
サーバ性能
同時接続数
性能管理機能
演算性能
中央演算処理装置
システム性能
負荷バランス
稼働品質
102
負荷分散機能
負荷計測
動的負荷分散機能
運用負荷
ロードバランス
ピーク時
CPU負荷
稼働率
システム稼働率
年間稼働率
連続稼働
安定運用
連続運転
システム停止許容
正常稼働
システム稼働状況
システム稼動情報
ネットワーク管理状況
％以下
「NFR キーワード評価シート」2/6
大項目
運用監視要件
小項目
中項目
障害検知特性
システム異常検知
障害要因
システム監視特性
運用管理
システム管理
セキュリティ対策特性
不正アクセス
アクセス権限
セキュリティ管理レベル
NFRキーワード
不具合発生
停電信号
状態監視機能
監視機能
異常発生通知
自動運転監視
故障検知
動作監視
トラブル発生
自己診断機能
モニタリング
システム障害
障害要因
障害発生場所
障害発生検知
障害内容
障害情報
障害監視機能
障害の内容
障害切り分け
障害の原因分析
障害システム
障害の分析
プラットフォーム障害
ハードウェア障害
サーバ監視ソフトウェア
ハードディスク障害
電源ユニット障害
プリンタ監視
接続状況監視
状態監視
監視ソフト
異常動作
検知システム
事故発生
統合監視システム
状態情報
システムダウン
システム稼動監視
システム監視
システム停止
障害発生通知
障害発生時点
障害発生箇所
障害通知機能
障害原因
障害監視
障害時
ハード障害発生
障害理由
ネットワーク障害
原因切り分け
ディスク障害
サーバ異常通知機能
ディスク障害用
サーバ故障
ハードウェア障害発生
ネットワークダウン
サーバ異常
運用管理機能
運用監視ソフト
運用監視
運用マニュアル
運用状態
運用権限
運用管理ツール
運転状況
運用スケジュール
上限値警告
監視システム
異常メッセージ
イベント発生
監視内容
システムダウン
運用監視サーバ
システム稼動管理サーバー
システムエラー
異常
障害発生状況
障害発生時刻
障害発生
障害状況
障害検知
障害箇所
システム障害1次切り分け
ソフトウェア障害
障害の切り分け
サーバ障害検出
アプリケーション障害
サーバ障害
電源障害
機器障害
ネットワーク障害
障害検知
データベース機能停止
稼働状況
稼動状態
運用状況
運用維持管理
運用管理要件
運用支援
正常運用
運用管理システム
運用時間
運用管理ソフトウェア
運用管理マニュアル
運用管理ソフト
運用保守
運用権限
運用・管理
運用管理
運用時間帯
運用ルール
運用計画
ファイル監視
システム監視用
ネットワーク監視装置
リモート監視
システム監視機能
ネットワーク監視機能
サーバ運用監視
システム稼働管理
ネットワーク監視機能
サーバ運用管理
システム監視
ネットワーク監視
サーバ管理機能
ネットワークシステム管理 システム管理
サーバ管理
システム管理機能
ネットワーク管理
サーバ監視機能
システム運用管理機能
システム稼働状況
内部機器監視サーバ
システム運用管理
システム運用支援機能
システム監視手順
システム運用管理担当者 システム管理者
運用管理障害監視
運用管理サーバ
運用監視システム
監視ソフトウェア
システム運用機能
稼動監視
遠隔監視
運用監視機能
アクセス制御
漏えい防止
不正アクセス防止
不正アクセス対策
ファイアウォール装置
不正操作対策機能
ファイアウォール機能
不正アクセス対策機器
不正侵入防止
侵入監視
ファイアウォールシステム
不正アクセス
ファイアウォール
アクセス制御機構
侵入対策
利用者パスワード
ファイルアクセス制御
脆弱性
不正アクセス防御対策
不正アクセス対策
脆弱性対策
脆弱性情報
不正アクセス検知
脆弱性
不正侵入
ユーザ数
アクセス権制御
アクセス権限
ユーザ権限
アクセス権管理システム 操作権限
権限レベル
アカウント管理
アクセス権制御
ユーザ権限
利用権限
アクセス権管理機能
アクセスポリシー
利用者権限登録機能
アクセス権
アクセス管理基盤
アクセスコントロール
権限管理
利用者権限管理
管理権限
権限設定
利用者数コントロール
アクセス制限
管理者権限
権限要件
アクセスコントロール機能 制限ユーザ
権限区分
業務権限
権限レベル
情報セキュリティ対策統一基
セキュリティ運用
セキュリティ管理計画書
情報セキュリティ対策基準 セキュリティポリシー管理機能
セキュリティ管理機能
セキュリティ監査
情報セキュリティレベル セキュリティポリシー
情報セキュリティポリシー セキュリティ対策レベル
情報セキュリティ実施手順書
情報セキュリティ実施手順 ローカルセキュリティポリシーセキュリティレベル
セキュリティリスク分析機能
情報セキュリティ管理システセキュリティポリシー
情報セキュリティ管理
セキュリティの確保
インシデント管理
セキュリティー確保
セキュリティリスク
監査業務
セキュリティ管理要領
セキュリティ教育
監査情報
セキュリティ診断
監査証跡
セキュリティの維持
セキュリティに関する研修
セキュリティ確保
セキュリティ管理システム セキュリティ管理
103
「NFR キーワード評価シート」3/6
大項目
運用監視要件
中項目
セキュリティ対策特性
小項目
セキュリティ対応
認証機能
パスワード管理
ウイルス対策
情報漏洩対策
暗号処理
障害対策要件
冗長化特性
冗長化
RAID構成
NFRキーワード
セキュリティワイヤー
セキュリティホール
セキュリティパッチ
セキュリティシステム
スパムブロック機能
サイバー攻撃
シンクライアント方式
セキュリティロック
シンクライアント方式
シンクライアント端末
ＶＰＮ接続装置
セキュリティパッチ適用
セキュリティ侵害監視
セキュリティ対策レベル
セキュリティテスト
セキュリティ機能
利用者認証機能
本人認証
ユーザID
利用者認証
操作者認証
クライアント認証
生体認証
不正監視
認証方式
認証基盤
認証システム
認証VLAN
ログイン認証
主体認証方式
認証方式
SSLクライアント認証機能
ワンタイムパスワード
パスワード認証
パスワード管理
パスワード情報
パスワードポリシー
パスワードロック
利用者パスワード
旧パスワード
パスワードの変更機能
パスワードの有効期限
不正プログラム
ウィルス検出
ウィルス感染
パターンファイル
ウィルスパターンファイル
ウィルスチェックソフト
ウィルスチェック
ウィルスパターンファイル
検疫ネットワーク機能
検疫サーバ
検疫対象
検疫ネットワーク
検疫エージェント
検疫機能
検疫セグメント
ウィルス除去
情報漏洩対策機器
情報漏洩対策エージェント
情報漏えい防止
改竃防止
データの漏洩
ＨＤＤ復号化
復号化
暗号化
ハシュ化
ssh暗号化通信
SSL暗号化通信
暗号化通信
暗号方式
二重化構成
電源二重化
多重化対策
多重化
冗長化機構
冗長構成
冗長化構成
冗長化
仮想化技術
ハードウェアRAID-1構成
メモリミラーリング機能
ミラー構成
ミラーリング機能
ミラー化
ミラーリング
ハードウェアＲＡＩＤ
クラスタリング
104
セキュリティチェック
セキュリティモニタリング
セキュリティホール対策
セキュリティパッチ管理
セキュリティゾーン
セキュリティーシステム
シヤドウパスワード機能
ＶＰＮ接続機能
検疫ネットワーク
セキュリティ実施手順
セキュリティソフトウェア
パッチ管理システム
セキュリティ対策ソフト
セキュリティーレベル
ネットワークセキュリティ
セキュリティソフト
仮想化セキュリティサーバ
セキュリティ設定
データセキュリティ
ネットワークセキュリティ
ネットワークセキュリティシステム
セキュリティ監視
セキュリティ情報
セキュリティ対策状況
セキュリティ対応
セキュリティ対策
セキュリティ侵害監視
セキュリティ侵害
セキュリティレベル
情報セキュリティ対策
情報セキュリティ
セキュリティ脅威
ユーザ認証基盤
ユーザ認証システム
ユーザ認証サービス
ユーザ認証
システムログイン
職員認証
不正ユーザ
利用者認証機構
認証情報
ユーザ認証システム
主体認証情報
ログオン認証
静脈認証
認証機能
端末認証
認証管理
ネットワーク認証
統合認証システム
ＭＡＣ認証
ネットワーク認証サーバ
サーバ認証
ネットワーク認証
認証サーバ
認証基盤システム
認証データ
認証ソフトウェア
端末認証
認証クライアントソフトウェア 統合認証データサーバ
認証対象者数
パスワード入力
ログインパスワード
パスワード一元管理
ユーザ認証パスワード
初期設定パスワード
パスワード設定
ログイン制御
パスワード変更
ロックアウト処理
認証管理
ログオン制御
パスワード管理機能
利用者のパスワード
パスワード入力
パスワード有効日数
初期パスワード
強制パスワード変更
パスワードの暗号化
パスワード登録
ウィルスソフトウェア
ウィルス監視
ウィルスソフト
攻撃パターン
ウィルススキャンエンジン ウィルス検知報告
ウィルス検知
ウィルスソフト
ウィルスチェック
ウィルスチェックサーバ
ウィルス定義ファイル
ウィルス
アンチウィルスソフトウェア ウィルス定義
アンチウィルス機能
ウイルス対策ソフトウェア ウィルスパターン更新
ウィルス対策システム
ウィルスチェックソフトウェア
ウィルス対策ソフト
ウィルススキャン機能
ウィルス対策
コンピュータウイルス対策
ウィルス対策ソフトＷｅｂサーウィルス対策機能
ウィルス対策サーバ
ウィルスチェック対策
ウィルス管理システム
ウィルス監視
ウィルス管理ソフト
ウィルス防御
情報漏洩対策ソフトウェア 情報漏洩対策サーバ
情報漏洩対策
情報漏洩
情報漏えい
データ漏洩
改ざん防止
通信暗号化
公開鍵基盤
鍵管理定義書
鍵管理
秘密鍵
公開キー交換
暗号化キー
暗号化通信路
冗長性
冗長化電源
冗長化度合い
デュアルディスプレイ構成
冗長電源
バックアップ電源
リダンダント機能
ホットスペア
暗号化対策
ファイル暗号ソフトウェア
暗号化通信機能
暗号化強度
鍵管理定義書
暗号通信モード
暗号化ファイルサーバ機能
ＲＡＩＤコントローラ
RAIDO+1構成
RAIDレベル
ＲＡＩＤグループ
ＲＡＩＤ
ＲＡＩＤ機能
ＲＡＩＤ構成
クラスタシステム
ＲＡＩＤレベル
RAIDO1構成
RAID5ストレージ
RAID5構成
RAID5
クラスタ構成
RAID
ディスクアレイシステム
ディスクアレイ
コールドスタンバイ
ホットスペアディスク
コールドスタンバイ方式
分散システム
仮想化管理サーバ
仮想化サーバ
「NFR キーワード評価シート」4/6
大項目
障害対策要件
中項目
データバックアップ特性
小項目
バックアップ管理
バックアップシステム
障害予防特性
障害対策
障害管理
停止処理
障害復旧特性
リカバリ処理
パッチ処理
災害対策要件
災害対策特性
地震対策
災害対策
保守生産性要件
問題点把握及び修正分析 運用ログ
システムログ
NFRキーワード
日中バックアップ
フルバックアップ
データバックアップ機能
定期バックアップ
一括バックアップ
データバックアップ方式
日次バックアップ
フルバックアップイメージ
バックアップ対象データ
定期的バックアップ成功率 フルバックアップ運用
バックアップイメージ
自動バックアップ
フルバックアップ
バックアップデータ
システムバックアップ
暗号化バックアップ機能
バックアップ方式
バックアップデータ
各種ログバックアップ
データバックアップ
データバックアップ
データバックアップスケジューデータ退避保存
差分ブロック
バックアップスケジュール データ保護
差分データ
バックアップデータ項目
バックアップ管理
差分バックアップ
バックアップ期間
バックアップ仕様
世代保管
バックアップ速度
バックアップ運用
差起動
バックアップ手順
データのバックアップ
差分データバックアップ
データバックアップ方法
バックアップ対象
バックアップを自動
定期的にバックアップ
世代管理
バックアップ転送
バックアップソフトウェア
専用バックアップサーバ
バックアップ実行
バックアップソフト
バックアップ専用サーバ
バックアップ機能
バックアップシステム
バックアップ装置
バックアップツール
バックアップソフト
バックアップ媒体
バックアップ統合基盤
バックアップ用
バックアップ電源
バックアップ基盤
バックアップ機構
バックアップ用サーバ
バックアップ処理
データバックアップ用機器 バックアップサーバ
耐障害性
システム障害対策
障害対応
障害予防
故障対策
障害時
障害対応マニュアル
障害未然防止
障害対策マニュアル
雷対策
障害調査
障害切り分けマニュアル
停電対策
障害対応方法
障害検知ソフトウェア
ホットスワップ
障害対策
緊急対応機能
ホットプラグ機能
停電装置
フェイルオーバー機能
システム障害対応
障害履歴
計画停電対応
障害再発防止
障害票
障害発生頻度
障害管理方法
障害手順書
障害事後対策
障害管理
障害対応結果報告書
障害管理機能
障害対応計画
障害再発限度
障害防止管理
電源管理ソフトウェア
障害管理計画
障害発生限度
障害管理サーバ
障害管理台帳
冗長稼働
計画停止
自動シャットダウン用サーバ機能
停止期間
停止システム
自動シャットダウン
停電処理
自動システム停止機能
リモートシャットダウン
停止稼動
計画停電対応
シャットダウン
業務停止
縮退稼働
停電状態
停止処理
保守停止
縮退
非常時緊急運用
通常稼働
正常稼動
障害連絡
緊急停止
マルウエア対策
シャットダウン方式
シャットダウン
システムクローズ処理
システムクローズ
停止順
正常に停止
強制停止
自動停止
正常なシステム停止
復旧方法
システム復旧
回復レベル
復旧対応
システム回復
回復内容
復旧対策
リカバリプロセス
回復作業
復旧状況
リカバリ処理
障害回復用
復旧作業
セッションリカバリ機能
障害回復
復旧作業対応
データリカバリ処理
回復手順
障害復旧
データリカバリ
システム障害回復
復旧対応作業
リカバリーディスク
システム回復作業
復旧処置
自動リカバリ
データ復旧操作
復旧機能
回復処理
データ復旧
フェイルオーバー
リカバリー
迅速な復旧
復旧措置
復旧時間
復旧期限
回復時間
プログラム修正パッチ
パッチ適用
動作確認手順書
パッチ適用管理機能
パッチファイル適用状況
動作確認
プログラム修正パッチ適用対システム起動
バッチプログラム
バッチ管理
パッチ対応
パッチ
修正パッチ
パッチファイル
耐震対策
耐震措置
耐震性能
耐震基準
耐震設備
災害発生
天災地変
災害対策機能
災害対策サービス
災害対策
災害時
規模災害
延焼防止対策
操作日時ログ
アクセスログ機能
ログ収集
操作ログ
アクセス履歴
バッチ処理実施ログ
操作証跡
アクセスログ
ロギング機能
オペレーション記録
アクセス情報
ログ情報
操作履歴
履歴情報
運用ログ保存用領域
操作者名ログ
アクセスログデータ
ログ記録
アクセス記録
アクセス数
ログデータ
アクセスリスト
データ収集機能
履歴記録機能
データベースアクセスログ ログ収集機能
システムログ情報
出力ログ
実行ログ
システム監視記録
変更ログ
エラーログ
システム操作ログ
業務ログ
イベントログ
トランザクション記録
システムログ
セキュリティログ
システム監視記録
イベントログ形式
故障記録
監査ログ
更新ログ
変更履歴
105
「NFR キーワード評価シート」5/6
大項目
保守生産性要件
中項目
小項目
問題点把握及び修正分析 ログ管理・解析
保守容易性
操作マニュアル
運用管理マニュアル
システム管理マニュアル
保守マニュアル
構成管理管理
バージョンアップ
システム構成
パッケージ
モジュール性
業務運用と利用者支援要件 サービス特性
サービス体制
サービス内容
サービスレベル
保守契約条件
ライセンス契約
同時使用ユーザ数
NFRキーワード
履歴管理機能
送信ログ管理
送信ログ管理
履歴管理システム
ログ監視
ログ監視
世代管理
ログ管理
ログ管理
アクセスログバックアップ アクセスログ管理
アクセスログ管理
履歴管理
利用履歴管理機能
利用履歴管理機能
更新ログ管理機能
ログ解析機能
ログ解析機能
故障履歴管理
端末操作マニュアル
オンライン操作マニュアル システム管理者向け操作マニュアル
操作マニュアル
オンラインマニュアル
システム操作マニュアル
利用者マニュアル
操作マニュアル作成
オンラインマニュアル
操作手順書
各種操作マニュアル
各種操作マニュアル
運用マニュアル
運用マニュアル
管理運用マニュアル
業務運用マニュアル
業務運用マニュアル作成 システム運用手順書
稼動運用マニュアル
運用管理マニュアル
システム運用マニュアル
運用マニュアル作成
ユーザマニュアル
運用手順書
業務運用マニュアル
システム管理マニュアル ソフトウェア仕様書
システム管理者向けマニュアル
バックアップマニュアル
システムインストール手順書システム管理者マニュアル
データベース定義書
データペース管理マニュアルシステム利用者マニュアル
データベース仕様書
データベース仕様書
システム管理者用作業マニュアル
ハードウェアマニュアル
インターフェース定義書
システム管理者向けマニュアル
運用保守マニュアル
サポートデスク運用マニュア システム仕様書
ネットワーク機器設定報告書
運用保守向けマニュアル システム取扱説明書
サポートデスク運用マニュア運用保守マニュアル
システム機能仕様書
システム保守手順書
完成図書
システム機能定義書
各種障害対応マニュアル システムドキュメント
取扱説明書
システム構成管理
データベース更新履歴作成構成変更履歴
ハードウェア構成管理機能構成管理機能
構成機器管理
ハードウェア構成情報管理構成情報管理
構成管理
ネットワーク構成情報管理 ソフトウェア構成情報管理 構成情報収集
ソフトウェア構成情報管理 構成管理ファイル
構成変更
ソフトウェア構成管理機能 ハードウェア構成情報管理 構成管理業務
ソフトウェア構成管理
ソフトウェア構成管理
ソフトウェア構成情報
機器構成管理
時刻管理
バージョン管理ツール
バージョン管理システム
バージョン管理機能
バージョンレペル管理
バージョンアップ情報
バージョン管理
バージョンアッププログラム バージョンアップ
バージョンアップ作業
ドキュメント管理
ドキュメント管理業務
システムバージョンアップ ソフトウェアバージョン
システムバージョンアップ
リソース管理機能
システム構造
拡張容易性
システム構成
システム拡張
システム構成図
サーバ構成
ハードウェア構成
ネットワーク構成図
ディスク構成
ハード構成
ネットワークシステム構成 拡張性
データ構造
ネットワーク構成
ネットワーク構成
ソフトウェア構成
ソフトウェア構成図
パッケージ製品
パッケージソフト
ソフトウェアパッケージ
パッケージツール
パッケージ仕様書
パッケージプログラム
パッケージシステム
パッケージソフトウェア
カスタマイズ量
モジュール構成
サーバソフトウェア
リソース管理機能
ソフトウェア構造
システムファイル
システム開発言語
システム基本ソフトウェア データベースソフト
開発言語
システムソフトウェア
データベース管理ソフトウェアFORＴＲＡＮコンパイラ
オぺレーティングシステム システム基本ソフトウェア Ｃコンパイラ
ソフトウェアモジュール
データ構造
プログラム開発言語
オペレーションシステム
システムデータ
システム開発言語
窓ロサービス
サポートデスク業務
サービス内容
ヘルプデスク体制
サポートデスク運営
サポート体制
ヘルプデスク業務
サポートデスク
サポートデスク
運用サポート
システムサポート
運用支援
ヘルプデスク
保守サポート
保守支援体制
ヘルプデスク情報
初期サポート
保守体制
ヘルプデスク業務
サポート内容
保守サービス体制
保守点検
保守内容
保守サービス
保守手順書
保守設計
メンテナンス作業
保守計画書
保守作業
定常保守作業
保守計画
保守対象
システム保守運用
操作支援
保守手順
ネットワーク保守
操作指導
保守業務
データ保守
支援業務
保守期間
電子化情報提供システム
目標値サービスレベル
サービスレベル協定
SLA定義書
保守作業履歴
サービスレベル
ＳＬＡ契約
保守管理
サービスレベル基準値
ＳＬＡ契約内容
サービスレペル項目
サービス仕様書
保守管理業務
サービスレベル管理
サービスレベル管理
サービス稼働率
サービスレベル設定
サービスレベル協定
使用権
利用許諾ライセンス
ソフトウェアライセンス
使用許諾ライセンス
使用許諾契約
アップグレード権
ライセンス数
使用許諾
ロックライセンス
ライセンス契約書
使用許諾証書
ライセンス証明書
ソフトウェアライセンス管理機
使用許諾ソフトウェア
ソフトウェアライセンス情報
ソフトウェアライセンス管理 現有ライセンス
セカンドライセンス
クライアントライセンス
ライセンス状況
アカデミックライセンス
License方式
ソフトライセンス
ライセンス管理
最大同時接続数
同時ユーザ数
同時接続
同時利用ユーザ数
同時アクセス
同時アクセス数
同時実行数
必要ライセンス数
追加ライセンス
同時アクセスユーザ
ライセンス数
同時接続ユーザ数
同時利用ライセンス数
106
「NFR キーワード評価シート」6/6
大項目
中項目
小項目
保守タイプ
知的財産権
障害対応特性
障害対応
導入教育特性
研修方式
研修内容
研修機材
研修計画
研修対象
NFRキーワード
予防保守計画
アプリケーション保守
定例保守作業
予防保守管理
定期保守作業日
定例保守
定期的保守
定期的保守
運用保守業務
定期保守
リモート保守
定期メンテナンス
オンサイト保守
パッケージシステム保守
ソフトウェア保守
システム保守
システム保守運用
システム保守業務
システムメンテナンス
システム保守体制
著作物
著作権侵害
著作権法
知的財産権
著作権
権利侵害
所有権
著作者
機密保持
著作権者
著作者人格権
知的財産
問い合わせ対応サービス 障害問合せ
非常時対応
故障対応状況
障害対応
ハードウェア障害対応
故障対応
不具合対応
365日障害対応
障害対応体制
保守障害対応
故障対応業務
導入研修
集合研修受講
操作説明会
オンライン研修
操作研修会
操作教育用
操作訓練等導入スケジュー操作教育
集合教育
端末操作研修
操作説明
操作研修場所
操作研修コース
講習会
教育研修内容
研修実施
操作教育
研修項目
研修方法
研修開催
研修受講
教育研修
研修支援業務
教育訓練
研修環境
研修カリキュラム
教育研修環境
研修内容
研修コース
研修会場
教育カリキュラム作成
研修場所
研修用テキスト
研修用クライアント機
研修用サブテキスト
研修教材
端末操作研修用テキスト 研修用資料
操作教育用資料
教育研修用教材コンテンツ
研修マニュアル
教育用資料
研修テキスト
研修用システム
研修用データ
研修用
研修計画書
教育計画書
研修計画
研修環境構築
研修環境構築計画
教育研修作業
教育研修体制
教育訓練
教育訓練計画
教育訓練計画
利用者向け研修
利用者研修
利用者研修
新人研修
担当者向け研修
職員研修
職員研修計画
受講者
受講対象
研修対象職員数
研修対象人数
研修受講者
研修受講者数
運用管理者研修
管理者研修
利用者教育
ユーザ教育
職員向け研修
107
システム運用業務
予防保守
定期保守点検
定期点検
遠隔保守
ハードウェア保守
システム保守業務
システムメンテナンス作業
オンサイト保守
セキュリティ保守
権利帰属
瑕疵担保責任
保守業務委託契約
秘密保持契約
保守契約
365日保守対応
障害対応記録
運用保守業務報告書
保守作業報告
保守報告書
操作研修
集合研修
システム操作研修
システム管理研修
システム運用研修
ネットワーク管理教育
システム導入研修
システム操作研修サービス
教育研修方法
運用管理研修
運用研修
研修プログラム
定期研修
研修回数
研修日程
研修開始日
研修機材
研修資料
研修テキスト操作研修用
操作研修用マニュアル
操作研修マニュアル
操作教育用資料
端末操作研修用テキスト
教育計画書
教育研修計画
教育研修
システム管理者研修
受講対象者
個別研修
研修対象者
教育研修対象
保守運用者研修
システム管理者向け研修会
付録
B．161 件の RFP による「NFR キーワード評価シー
ト」の評価対象「小項目」
応答性
語数：33
リカバリ処理
語数：53
アクセス管理
語数：71
応答性
最小応答
平均応答
最小レスポンス
応答速度確保
安定的レスポンス
転送応答性
端末レスポンス
ネットワーク応答
画面レスポンス
ハードディスク応答性能
平均読み出し遅延
復旧方法
復旧対応
復旧対策
復旧状況
復旧作業
復旧作業対応
障害復旧
復旧対応作業
復旧処置
復旧機能
復旧措置
故障復旧
障害回復用
障害回復
障害復旧対応
回復処理
障害リカバリ手順
回復手順
不正アクセス
不正アクセスを検知する機能
不正アクセスを検知できる機能
不正なアクセス
不正アクセスを発見
不正侵入
不正侵入検知
不正侵入の検知
不正侵入障害発生
不正アクセス監視状況
不正ユーザ
侵入監視
不正アクセス検知
不正ログイン
不正コード
不正アクセス対策
不正アクセス防御対策
不正侵入監視手順
不正侵入障害対応手順
不正接続検知
不正侵入検知パターン適用
不正アクセス防止
不正アクセスを防止
不正アクセスを制御
不正アクセスの監視・記録
侵入対策
不正侵入防止
不正アクセスの解析
不正侵入防止機能
不正侵入保護装置
なりすまし防止
不正アクセス報告
不正アクセス状況
システム応答速度
スループット
スループット目標値
最大スループット
VPNスループット
応答時間
オンライン応答時間
レスポンスタイム
レスポンス目標値
ターンアラウンド
秒程度
秒以内
迅速な復旧
回復作業
データリカバリ処理
データリカバリ
データ復旧操作
データ復旧
データ復元
データ復元ポイント
システム復旧
システム回復
システム障害回復
システム回復作業
システムリカバリ
リカバリプロセス
リカバリ処理
ダウンリカバリ
リカバリ運用
セッションリカバリ機能
権限が設定されたユーザ
更新権限
利用者ごとの権限
利用者の権限
閲覧権限
ユーザ権限
アクセス権
業務権限
権限要件
利用権限
管理者権限
ファイルアクセス権
制限ユーザ
アクセス認証
権限変更
変更権限
アクセス権限機能追加
アクセス権更新
権限変更発生
利用者権限登録機能
アクセス権限設定
権限設定
利用者権限管理
アクセスコントロール
アクセスコントロール機能
アクセス制御
アクセス制限
アクセス制御機構
アクセス制限情報
アクセス管理
ユーザアクセス制御
アクセス制御サーバ
データアクセス制限
108
秒以下
タイムラグ
平均処理応答
フォワーディングレート
メモリ使用率
主記憶容量
ハードディスク容量
ネットワーク転送容量
データ量
リカバリー
起動確認
端末リカバリ
リカバリーディスク
自動リカバリ
リカバリディスク
リカバリディスク作成
リカバリ対象機器
リカバリログ
障害回復用ログファイル
障害回復テスト
復旧時間
回復時間
回復レベル
回復内容
復旧期限
システム管理者権限
アクセス権限管理
権限管理
管理者の承認を要する設定
アクセス権限設定
アクセス権限の設定
アクセス権限の管理機能
アクセス権限の登録
アクセス権限を追加
ログイン試行回数の制限
アカウントの属性履歴
ログイン用アカウント
アクセス数
エンドユーザのアカウント
ユーザアカウント
アカウントデータ
電子メールアカウント
アプリケーションのアカウント
ユーザ・アカウント管理
アカウント管理ツール
ユーザ数
ユーザ制限機能システム
アクセスログ
データベースアクセスログ
アクセスログ管理
アクセスログの管理
アクセスログを分析
アクセスログを監視
アクセスログ解析
アクセスログによる追跡機能
アクセスログを記録
アクセス履歴の管理
アクセス履歴等の管理
アクセス権限
操作権限
権限レベル
アクセス権限を管理
入力等の権限
使用者権限設定
操作者権限
権限を有するもの
負荷バランス
負荷分散
語数：41
負荷分散性能
負荷分散処理
負荷分散機能
負荷分散環境
負荷分散装置
ロードバランス
ロードバランシング
ロード・バランシング
ロードバランス設定
ロードバランシング構成
負荷分散ポリシー
負荷低減
負荷運用
セキュリティ管理 セキュリティ管理
語数：102
セキュリティ確保
セキュリティ運用
セキュリティの確保
セキュリティー確保
セキュリティの維持
セキュリティ設定
セキュリティ運用手順
セキュリティ権限
情報セキュリティ
情報セキュリティ対策統一基準
情報セキュリティ対策基準
情報セキュリティ実施手順書
情報セキュリティ実施手順
セキュリティ実施手順
情報セキュリティ管理
情報セキュリティマネジメントシステム
情報セキュリティ規則
情報セキュリティ対策要領
情報セキュリティ運用マニュアル
セキュリティ管理システム
セキュリティ管理機能
セキュリティ管理計画書
セキュリティ管理要領
セキュリティガイドライン
情報セキュリティ管理区域
セキュリティレベル
セキュリティーレベル
セキュリティ管理レベル
セキュリティ対策レベル
情報セキュリティレベル
インシデント管理システム
インシデント管理サーバ
最新セキュリティパッチ
障害対策
障害処理
語数：76
障害対策
システム障害対策
障害対応方法
障害対応
障害連絡
故障対策
故障対応
エラー処理
マルウエア対策
マルウェア対策ソフトウェア
障害調査
ファイルアクセス制御
アクセス制御ソフトウェア
アクセス管理基盤
アクセスポリシー
アクセス制御管理
システム使用制限
アクセス権管理システム
アクセス権制御
運用負荷
負荷分散システム
負荷分散方式
負荷分散構成
動的負荷分散機能
負荷分散停止
サーバ負荷分散
負荷分散クラスタ
自律負荷バランス機能
サーバロードバランサ
CPU負荷
ネットワーク負荷
ネットワークの負荷
負荷分散対象ノード
インシデント管理ソフトウェア
インシデント管理機能
インシデント項目
インシデント発生分析
インシデント発生件数
インシデント番号
インシデントレポート管理
インシデント管理業務フロー
インシデントレポート
インシデント管理
インシデント発生状況
コンピュータセキュリティインシデント
監査証跡
セキュリティ監査ツール
監査業務
監査情報
セキュリティ監査
情報セキュリティ監査報告書
セキュリティ監査ログ
情報セキュリティ監査
情報セキュリティポリシー
セキュリティポリシー
検疫ポリシー変更手順
ローカルセキュリティポリシー
セキュリティ方針書
情報セキュリティ教育
情報セキュリティ研修
セキュリティ教育
セキュリティに関する研修
セキュリティリスク
セキュリティイベント件数
セキュリティ対策適用箇所一覧
セキュリティチェック項目
セキュリティリスク分析機能
ホットプラグ機能
電源管理ソフトウェア
障害未然防止
障害予防
障害防止管理
障害再発防止
落雷対策
雷対策
停電装置
停電対策
障害発生機器
障害再発
109
アクセスログの記録
アクセス数
アクセス履歴
アクセスログデータ
アクセス解析データサーバ
ネットワーク負荷分散
回線負荷
最大負荷時
負荷率
最小サーバ負荷
ピーク時
ピーク時の負荷
高負荷
負荷許容範囲
負荷監視
負荷検査
負荷予測
負荷計測
セキュリティパッチ機能
セキュリティパッチ提供
セキュリティパッチ適合
セキュリティパッチ配付
セキュリティパッチ管理
セキュリティ修正パッチ
セキュリティパッチ
セキュリティパッチ内容適合
セキュリティパッチ適用計画
セキュリティパッチ対策ソフトウェア
パッチあて
修正パッチ
パッチ適用
バッチプログラム
パッチ評価
データパッチ
手動バッチ
パッチツール
パッチ対応
パッチファイル
バグ修正パッチ
ＯＳパッチ処理
プログラム修正パッチ
システムバッチ
システムバッチログ
バッチ管理
パッチ情報
プログラム修正パッチ適用対応
パッチ適用管理機能
パッチファイル適用状況
システムバッチ実施状況
修正パッチ適用環境
オンラインバッチ処理
障害管理
障害管理機能
障害管理プロセス
耐障害性
障害事後対策
障害判定基準
障害管理サーバ
障害発生日時
障害発生頻度
障害再発限度
障害発生限度
障害分類毎障害件数
システム障害対応
トラブルシューテイング
365日障害対応
緊急対応機能
障害対応状況報告書
故障対応状況
計画停電
計画停電対応
計画停止スケジュール
計画停電テスト
フェイルオーバーテスト
フェイルオーバー機能
リンクアグリゲーション
ホットスワップ
障害再発防止
障害検知ソフトウェア
障害履歴
障害票
障害対応結果報告書
障害管理台帳
アクシデントレポート作成機能
障害報告書
障害記録
障害管理簿
エラーログ管理
障害管理計画
障害対応計画
障害管理方法
110
障害対応工数
ハードウェア障害対応マニュアル
障害対応マニュアル
障害手順書
情報システムダウン対策マニュアル
障害復旧手順
回線障害対応手順
サーバ障害対応手順
不正侵入障害対応手順
障害対策マニュアル
トラブルシューティング機能
障害切り分けマニュアル