能力テスト得点の非負行列分解

一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION
AND COMMUNICATION ENGINEERS
社団法人 電子情報通信学会
信学技報
IEICE Technical Report
IBISML2015-80(2015-11)
信学技報
TECHNICAL REPORT OF IEICE.
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS
能力テスト得点の非負行列分解
兼村
厚範†
大成 弘子††
鹿内
学††
橋本将崇††
赤穂昭太郎†
† 国立研究開発法人産業技術総合研究所 〒 305–8568 茨城県つくば市梅園 1–1–1 中央第 2
†† 株式会社リクルートキャリア 〒 100–6640 東京都千代田区丸の内 1–9–2
E-mail: †{atsu-kan,s.akaho}@aist.go.jp
あらまし
能力テストや問題設計を少ない出題数で遂行することができれば、テスト時間の短縮、出題準備の低負荷
化など、受検者・出題者の双方にとって時間や金銭のコスト削減となることに加え、これまで不可能だった大量受検
などへの展開可能性が広がる。本論文では、出題する問題数が少ないということを、応答パタン行列に欠測が生じて
いることとモデル化する。さらに、応答パタン行列を非負行列分解により基底と荷重とに分解し再構成することで、
欠測値を推定する。これにより、未解答の問題があっても、テスト全体の得点や、問題設計の基準となるクロンバッ
クの α 係数が予測できることを示す。さらに、補完値のあいまいさに基づいて出題順を決定する能動学習を採用する
ことで、効率的な出題を行う方法を提案する。
キーワード
能力テスト、非負行列分解、能動学習、適応型テスト
Nonnegative matrix factorization of test scores
Atsunori KANEMURA† , Hiroko ONARI†† , Manabu SHIKAUCHI†† , Masataka HASHIMOTO†† ,
and Shotaro AKAHO†
† National Institute of Advanced Industrial Science and Technology (AIST)
Central 2, 1–1–1 Umezono, Tsukuba, Ibaraki 305–8568, Japan
†† Recruit Career Co., Ltd. 1–9–2 Marunouchi, Chiyoda-ku, Tokyo 100–6640, Japan
E-mail: †{atsu-kan,s.akaho}@aist.go.jp
Abstract When assessing skills of humans or designing itemsets, having fewer number of items is cost-efficient
both in time and money by reducing examination time and burden of item writing. In this paper, we model the
lack of item responses as missing values in item response matrices, which are decomposed into bases and weights
by nonnegative matrix factorization and the missing values are filled by reconstructing from the bases and weights.
This enable us to predict scores for the entire test and Cronbach’s alpha coefficients, which are a measure of test
quality. Further, we propose an active learning scheme where items to answer are selected in the order of the
uncertainty in missing value estimation.
Key words Skill assessment, nonnegative matrix factorization, active learning, adaptive tests
好ましい。
1. は じ め に
本論文では、出題する問題数が少ないということを、応答パ
テストによるヒトの能力を定量化することは、学習設計・評
タン行列に欠測が生じていることとモデル化する。さらに、応
価、適性診断による推薦、チーム構成の把握・最適化など、様々
答パタン行列に非負行列分解を適用して基底と荷重とに分解し
な用途がある。能力テストや問題設計を少ない出題数で遂行す
再構成することで、欠測値を推定する。これにより、未解答の
ることができれば、テスト時間の短縮、出題準備の低負荷化な
問題があっても、テスト全体の得点や、問題設計の基準となる
ど、受検者・出題者の双方にとって時間や金銭のコスト削減と
クロンバックの α 係数が予測できることを示す。さらに、補完
なる。しかし、単純に問題数を減らすと、定量化したい能力の
値のあいまいさに基づいて出題順を決定する能動学習を採用す
幅を縮小せざるを得なかったり、定量化の信頼性が低下したり
ることで、効率的な出題を行う方法を提案する。
などの弊害があるため、何らかの形で効率的に削減することが
- 203 -
行列分解などの機械学習手法をテストデータに適用する研究
—1—
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Copyright ©2015 by IEICE
は近年発展しつつあり、学習トピックの順序構造や、時間経過
における習熟などを陽に考慮したモデルが提案されている [1]∼
[3]。本稿は、モデル自体の修正ではなく、能動出題や α 係数推
*
ことを実験的に検証することを目的としている。
号
受検者が i = 1, . . . , I 人、項目が j = 1, . . . , J 個とする。項
目への回答に応じて次の 0 / 1 の値を持つ行列がデータ（二値
反応データ）となる。
U = [uij ],
uij
[W T U ]kj
,
[W T W H]kj
wik ← wik
[U H T ]ik
.
[W HH T ]ik
これは乗法的な更新則なので、初期値が非負であれば更新後も
必ず非負となる。
リを適切に無視することで、欠測の無い W と H を推定する
ことができる。いったん W と H が得られれば、欠測の無い
ui = [ui,1 , . . . , ui,J ]
項目応答パタン行列を
+ = WH
U
(2)
を、受検者 i の項目応答パタンと呼ぶ。我々は未受検の項目が
存在することを想定するので、実際は
uij ∈ {0, 1, NA}
と 3 値を取り得る。
+ の値域は連続値なの
と再構成することができる。ただし、U
, ]ij = u
[U
,ij =
2. 行列分解による欠測予測
ランク K の行列分解は、I × J 行列 U を、I × K 行列 W
と K × J 行列 H の積として近似する。
U ≈ WH
(9)
で、適当な閾値 u0 で切ることで、値域がオリジナルの U と同
, ∈ {0, 1}I×J を作成する。
じである U
(3)
⎧
⎨1
[U ∗ ]ij = u∗ij =
⎩u
ij
(uik = NA),
(11)
(otherwise).
行列 U が完全データでない場合、すなわち欠測値が存在す
定できる [6], [7]。「無視」は、次式で定義されるマスク行列
(5)
[M ]ij = mij =
⎧
⎨0
⎩1
(uij = NA),
(12)
(otherwise)
を使って、最適化問題を次のように書き直すことで達成される。
(6)
これは、hk は、k 番目のスキルセットであり、各項目ごとの重
min ∥M ◦ (U − W H)∥2F
W ,H
み（貢献）がその値、wi は、受検者 i が有する潜在スキルセッ
2. 1 非負行列分解
ここで、スキルセットの解釈性を考慮して、スパースなパー
ツ表現が得られる非負行列分解 [4] を用いる。非負行列分解に
おける推定は、因子行列の各要素が非負という制約のもとで、
U を再構成する W と H を計算する。すなわち、次の最適化
ここで、A ◦ B = [aij bij ] は要素ごとの積であり、欠測値に対
する積は NA · 0 = 0 と（数値計算上の結果には逆らって）定義
する。次の計算を反復することで、最適な W と H を計算で
きる [6], [7]。
問題を解く。
hkj ← hkj
wik ← wik
(7)
s.t. wik , hkj >
= 0 for all i, k, j.
(13)
s.t. wik , hkj >
= 0 for all i, k, j.
トの重みと解釈できる。
min ∥U − W H∥2F
⎧
⎨u
,ij
る場合は、計算の過程で欠測エントリを無視して W 、H を推
すると個々の項目応答パタンは次のように表現できる。
ui = wi H = wi1 h1 + . . . + wiK hK
(10)
を構築する。
える。
⎤
h1
⎢ ⎥
⎢ . ⎥
H = ⎢ .. ⎥ (hk ∈ RJ )
⎣ ⎦
hK
(+
uij <
= u0 ).
さらに、最終的な出力としては、欠測していない項目応答は U
, で埋めた行列 U ∗
のエントリをそのまま用い、欠測値だけを U
ここで、行列 W と H をそれぞれ行ベクトルに分解して考
⎡
(+
uij > u0 ),
⎩0
(4)
W ,H
(8)
項目応答パタン行列 U に欠測が生じていても、欠測エント
(1)
これを項目応答パタン行列と呼ぶ。U の第 i 行
⎤
w1
⎢ ⎥
⎢ . ⎥
W = ⎢ .. ⎥ (wi ∈ RK ),
⎣ ⎦
wI
hkj ← hkj
2. 2 欠測のもとでの非負行列分解
⎧
⎨1 （正答）,
=
⎩0 （誤答）.
⎡
a2ij すなわち自乗誤差である（KL 擬距離を用いることもで
きる）。最適化の手続きは次の式の反復計算で与えられる [5]。
定などの仕組みを取り入れることにより、高い応用性を有する
1. 1 記
ij
[W T (M ◦ U )]kj
,
[W T (M ◦ (W H)]kj
[(M ◦ U )H T ]ik
.
[(M ◦ (W H))H T ]ik
(14)
なお、[M ]ij = 1 と定義すれば、最適化問題 (13) は (7) に帰着
ここで、目的関数（誤差基準）はフロベニウスノルム ∥A∥2F =
し、更新則 (14) は (8) に一致する。
- 204 -
—2—
2. 3 値域制約付き非負行列分解
+ = W H の値域が [0, 1] であることを保証し
再構成した U
+ の各エントリを
た非負行列分解を提案する。これにより、U
である。式 (22) により、W の各要素は
[W D
−1
uij = 1 である確率と解釈することができる。
最適化問題は次のように定義される。
min ∥M ◦ (U − W H)∥2F
W ,H
+ = W H に対する次の直接的な変
値域制約を満たすため、U
換を考える。
+ Dcol = Drow W HDcol ,
Drow U
(16)
+ 1 ), . . . , max(u
+ I ))−1/2 ,
Drow = diag(max(u
(17)
変換により W も H もそれぞれが [0, 1] にバウンドされる。な
お、式 (22) の変換の前後で W と H の積は変化しない。
2. 4 PCA による初期化
とする。正規乱数などでランダムに決定されることが多い [4]
が、乱数シードを固定しない限りは結果が毎回異なってしまう。
ここでは、PCA を使った次の手順で初期値を決定し、行列分
(18)
解の結果を安定させることとする。具体的には、1) U に PCA
ただし
···
+J
u
をかけて K 主成分までを得る。2) 各主成分の各要素を 0 以上
にバウンドしたものを H の初期値とする。3) W は H † U の
.
各要素を 0 以上にバウンドしたものとする。ここで、H † は H
(19)
のムーア・ペンローズ擬似逆行列である。なお、PCA を初期
である（ここでは、下付の添え字は行ベクトルを、上付きの添
え字は列ベクトルを取り出す）。式 (16) 左辺の ij 要素を取り出
値とすることで結果が安定し収束が早くするだけでなく改善す
る場合もあることが報告されている [9]。
3. 実
すと
+ Dcol ]ij = /
[Drow U
u
+ij
<
=1
+ i ) max(u
+ j ))
max(u
対象とする受検データは、株式会社リクルートキャリアの運
営する CODE.SCORE [10] の開発用に収集された、ソフトウェ
j
であるため、変換後は [0, 1] 制約が満たされていることがわ
かる。
したがって、式 (8)（欠測なし）あるいは式 (14)（欠測あり）
+ の各
の更新則に加えて次の手続きを毎反復に加えることで、U
要素の値域を [0, 1] に拘束することができる。
H ← HDcol .
験
3. 1 受検データ
(20)
+ i ) = max(+
（等号成立は max(u
u )=u
+ij のとき）
W ← Drow W ,
(26)
行列分解の計算は繰り返し型の手続きであり、初期値を必要
+ 1 ), . . . , max(u
+ J ))−1/2 ,
Dcol = diag(max(u
+1
u
⎢ ⎥ ⎢ .. ⎥
+
U =⎢ . ⎥= u
+1
⎣ ⎦
+I
u
(25)
る作用がある（H についても同様のことが成り立つ）。とくに、
+ ) が [0, 1] にバウンドされている場合は、式 (22) の
W H (= U
ここで
⎤
(24)
となり、W と H のそれぞれの最大値の幾何平均を最大値とす
0<
= [W H]ij <
= 1 for all i, j.
⎡
max(hk )
max(wk )
wik /
=
max(hk ) max(wk )
max(wk )
/
k
<
= max(h ) max(wk )
]ik = wik
（等号成立は wik = max(wk ) のとき）
(15)
s.t. wik , hkj >
= 0 for all i, k, j,
0
(21)
アエンジニアのスキル評価用の項目セットに対する応答パタン
であり、受検者数 I = 313 人、項目数 J = 58 個の完全デー
*
タとなっている。素点（スコア）yi = Jj=1 uij と項目困難度
*I
pj = i=1 uij /I の分布は図 1 の通りである。
3. 2 完全データの非負行列分解
どのようなスキルセット H が抽出されうるかというデータ
の特性を知るため、まずは完全データを対象に非負行列分解を
行った。ランクは K = 5 と設定した。
なお、W と H の間には任意性 W H = (W R−1 )(RH)（R
図 2 と図 3 はそれぞれ行列 H と W をヒートマップとして
は正則行列）が存在し、特にスケール任意性が問題となる（実
可視化したものである。いずれの行列にもスパースなパーツ表
際、実験的にも片方が非常に大きく、もう片方が非常に小さく
現すなわちグループ構造が見られ、項目ごとの関連が抽出され
なる現象が観察された）ため、次のスケーリング [8] も各反復
ている。
3. 3 欠測時の精度評価
の手続きに追加する。
W ← W D −1 ,
H ← DH,
(22)
欠測率を 0% から 90% 程度まで 5% 刻みで振り、行列分解に
よる予測の正解率を評価した。これにより、精度を保ちつつ減
らせる項目数はどれだけかの評価指標の作成に繋がる。人工的
ここで
な欠測を生じさせるとき、U 全体からランダムに欠測値を選ぶ
D = diag(max(w1 ), . . . , max(wK ))
1
のではなく、各行ごとに欠測の数が同じになるように欠測する
1/2
K
· diag(max(h ), . . . , max(h ))
−1/2
(23)
応答を選択した。予測は
- 205 -
—3—
Raw score histogram
Basis components
210
155
7
56
196
100
223
38
129
192
237
71
26
25
209
99
281
59
2
112
29
271
221
178
22
239
204
104
227
253
62
286
295
34
230
31
54
125
168
76
68
180
309
45
11
297
277
147
236
19
102
193
32
261
141
157
269
57
173
117
280
24
101
229
3
169
60
270
61
171
176
10
53
240
35
198
267
50
245
73
111
258
213
148
226
201
217
199
15
39
87
123
202
233
249
219
146
9
13
47
303
160
83
97
133
311
272
254
158
106
183
179
250
149
175
130
185
243
72
287
265
1
156
109
77
63
6
122
181
85
140
69
70
232
294
16
36
84
150
161
126
255
139
14
52
313
298
66
215
203
145
264
132
278
274
121
80
96
225
238
187
17
234
177
8
197
304
33
189
263
4
200
246
75
18
44
137
284
92
216
292
174
308
86
296
208
131
211
136
114
81
290
165
21
310
20
74
98
27
224
107
242
184
206
220
91
276
127
119
88
93
5
273
302
67
78
231
247
218
51
105
49
186
285
163
188
228
166
259
182
262
151
207
266
275
190
28
79
108
268
41
241
305
135
195
43
89
58
90
142
82
162
301
307
291
40
37
214
279
103
170
113
118
128
172
235
282
251
256
115
257
252
30
134
288
300
143
164
124
95
260
152
222
289
64
94
42
120
212
248
138
23
293
283
159
205
194
312
48
167
153
12
299
154
244
116
191
55
110
144
306
65
46
20
count
15
10
5
0
10
20
30
40
Score
1
2
Item difficulty histogram
3
図2
8
4
0.8
0.6
basis
1
2
3
4
5
0.4
0.2
0
5
H の可視化。
Mixture coefficients
6
count
1
1
4
2
2
3
0.8
0.6
basis
1
2
3
4
5
0.4
0.2
4
0
0.00
0.25
0.50
0.75
5
Item difficulty
1.1
5.3
4.5
3.1
2.5
1.14
4.6
4.1
4.2
5.8
4.4
5.1
1.16
5.9
1.12
1.10
1.27
1.18
1.15
1.13
1.22
2.6
2.2
5.6
([W H]ij > 0.5)
1.11
W の可視化。
(27)
(otherwise)
で決めた。行列分解の結果は初期値により異なるため、各欠測
率につき 10 回ずつ実験を行った。潜在因子の数（ランク）は
前節と同じく K = 5 に固定した。
評価は次の通りクロスバリデーションで行った。まずデータ
全体に欠測を発生させる。次に 1 人分のデータを抜いた大きさ
0.70
LOEOCV accuracy
⎩0
1.19
u
,ij =
1.28
図3
1.23
1.7
1.3
1.24
1.29
1.26
5.5
1.4
1.17
5.2
2.7
1.25
2.1
5.7
1.32
3.2
1.6
2.3
1.31
5.10
5.4
3.3
1.2
1.20
1.8
1.5
4.3
1.21
1.30
1.9
2.4
図 1 素点（上）と項目困難度（下）。
⎧
⎨1
0
0.65
I ′ = 312 のデータを訓練データとして行列分解を実行し、抜
いておいた受検者に対する欠測補完の精度を評価する。抜く人
0.60
を 1 人ずつ入れ替えながら I = 313 回実行し、その平均精度を
0.00
0.25
leave-one-examinee-out cross-validation 精度（LOEOCV 誤
差）とする。1 つ 1 つの精度評価にあたっては、欠測している
図 4 は 5%から 95%までの各欠測率で 12 回行った平均と分
散であるは。欠測率 5%で約 75%の精度から始まり、欠測率
50%程度まではゆるやかに精度が下がるが、これを超えると下
降カーブがきつくなる。欠測率が最大の 95%でも精度はおよそ
60%は保たれた（正解・不正解を均等に確率 0.5 ずつで推定す
るときのチャンスレベルは 50%）。
次に、素点の誤差を RMSE（標準偏差）で評価した。図 5 は
各欠測率で 12 回行った平均と分散である。素点の計算には、欠
0.75
1.00
図 4 欠測率を変化させたときの LOEOCV 精度の挙動（12 回反復
CV）。
項目応答のみを対象とし、欠測していない部分は分母にも分子
にも含まない。なお、ランクは K = 5 に固定した。
0.50
Missing rate
いないものはそのまま使い、欠測していたエントリだけを行列
補完により補った。したがって、RMSE の最大値は、行ごとの
欠測応答数すなわち項目数 J = 58 に欠測率をかけたものとな
る。図 5 は 12 回ではなく 1 回だけの LOEOCV 誤差、図 7 は
欠測応答数に対する RMSE の比率を示す。RMSE は、欠測率
が 80%あたりまではほぼ線形に、欠測率 10%につき約 1 ずつ
増加している。欠測率が 80%を超えると急激に悪化し、およそ
4 倍の増加率となっている。
測していない応答も含めた。応答パタン行列のうち、欠測して
- 206 -
—4—
12
RMSE in score estimation
RMSE of score estimates
20
8
4
0.00
0.25
0.50
0.75
15
10
5
0
1.00
Missing rate
図 5
0
20
40
60
Number of observed responses
欠測率を変化させたときの素点の RMSE の挙動（12 回反復
図 8 能動学習を利用したときの回答数とスコア推定精度の関係。
CV）。
RMSE in score estimation
2
4
6
8
RMSE in score estimation
10 12 14
20
0.2
0.4
0.6
10
5
0.8
Missing rate
0
0.00
図 6 欠測率を変化させたときの素点の RMSE の挙動（1 回 CV）。
0.25
0.50
0.75
1.00
Missing rate
0.30
図 9 能動学習を利用したときの欠測率とスコア推定精度の関係。
のエントロピーが最も高い項目から順番に出題し、順次応答パ
0.25
RMSE / max. #errors
15
タンを埋めてゆく。全項目分埋まったら 1 人分終了とする。項
0.20
目数を増やしつつ推定したスコアの、真のスコアからの誤差を
RMSE で評価する（全項目出題したら誤差は必ずゼロ）。図 8
は回答数とスコア精度の関係であり、同じデータをこれまでの
0.15
図と合わせるために横軸に欠測率をとってプロットしたものが
0.2
0.4
0.6
図 9 である。
0.8
3. 5 信頼性係数の推定
Missing rate
図7
欠測率を変化させたときの素点の RMSE の、欠測応答数に対す
る比率（1 回 CV）。
クロンバックの α 係数を行列分解による欠測補完の後に計算
した推定値が、欠測の無い完全データに対して計算した真値と
どれだけずれるか評価する。クロンバックの α 係数はテストの
3. 4 能 動 学 習
行列分解による予測値を、「受検者 i が項目 j に正答する確
率」と解釈する。もっともエントロピーの高い u
,ij を出題する
ことで、不確実性の高い項目に対する応答を観測することがで
き、スコア全体に対する信頼性が高まると期待される。
信頼性の評価指標であり、次のように定義される。
*J
1
22
J
j=1 sj
α=
1−
,
J −1
s2y
(28)
ただし sj は項目 j の分散、sy はスコアの分散で、
抜かれる受検者以外は完全データが揃っている状況の leave-
s2j =
one-examinee-out (LOEO) スキームで実験を行う（第 3. 3 節
の LOEO では全受検者に欠測値があり、考えている状況が異
なるので要注意）。受検者を 1 人選び、その受検者以外のデー
タは全て得られているものとする。新規受検者 i に項目数の 1
割を出題して回答を得、行列分解で欠測補完を行う。また、pi
- 207 -
sy =
y=
I
1 3
(uij − pj )2 ,
I − 1 i=1
I
1 3
(yi − y)2 ,
I − 1 i=1
I
13
yi ,
I i=1
(29)
(30)
(31)
—5—
0.1
0.0
Diff of alpha
[4]
−0.1
[5]
−0.2
[6]
−0.3
−0.4
[7]
0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95
Missing rate
図 10
欠測率を変化させたときの α の推定誤差（12 回反復）。
[8]
である。
[9]
クロンバックの α 係数の推定値 α
, としては、式 (28) におい
て U の代わりに U ∗ を使って計算したものを用いる。誤差評
価には RMSE を採用する。
欠測率を 5%から 95%まで 5%刻みで変化させながら、行列
[10]
[11]
分解欠測補完による α 推定を行い、真の α の値からのずれを
評価した。1 つの欠測率について、欠測パタンをランダムに変
torization models for forecasting student performance,”
in International Conference on Educational Data Mining
(EDM), 2011.
D. D. Lee and H. S. Seung, “Learning the parts of objects
by non-negative matrix factorization,” Nature, vol. 201, pp.
788–791, 1999.
——, “Algorithms for non-negative matrix factorization,”
in Advances in Neural Information Processing Systems
(NIPS), 2000.
Y. Mao and L. K. Saul, “Modeling distances in large-scale
networks by matrix factorization,” in ACM SIGCOMM
Conference on Internet Measurement (IMC), 2004.
S. Zhang, W. Wang, J. Ford, and F. Makedon, “Learning from incomplete ratings using non-negative matrix factorization,” in SIAM Conference on Data Mining (SDM),
2006.
Z. Zhang, T. Li, C. Ding, and X. Zhang, “Binary matrix factorization with applications,” in IEEE International Conference on Data Mining (ICDM), 2007.
E. M. Grais and H. Erdogan, “Initialization of nonnegative
matrix factorization dictionaries for single channel source
separation,” in IEEE Signal Processing and Communications Applications Conference (SIU), 2013.
CODE.SCORE, https://codescore.jp/.
A. I. Schein, L. K. Saul, and L. H. Ungar, “A generalized linear model for pricinpal component analysis of binary
data,” in International Workshop on Artificial Intelligence
and Statistics (AISTATS), 2003.
えて 12 回繰り返し実験を行った。図 10 が、α の推定値と真値
の差 α
, − α∗ をプロットしたものである。欠測率が 70%までは
ほぼ線形に増加しており、かつ分散が小さい。行列分解が低ラ
ンクな部分空間上にデータを押し込めていることを考えると、
行列分解で補完した値の割合が増えるにつれて増加するのは自
然な現象である。ただし、欠測率が 70%を超えたところで誤差
が大きく下振れした後に 95%時点では平均ゼロ付近に戻る（た
だし分散は大きい）挙動を示しいる。
4. お わ り に
本稿では、能力テストや問題設計において、少ない項目数で
スコア推定や問題評価を行うために、応答パタン行列に欠測を
許し、行列分解により補完する手法を検証した。実用上は、ど
れだけの誤差を許すかを、テストの目的に照らして設定し、出
題する項目数を選択することになる。今後の発展として、モデ
ルをロジスティック回帰的 [11] にすることで、より自然な解が
得られる可能性がある。
謝
辞
CODE.SCORE の開発・運営メンバに感謝する。本研究の一
部は JSPS 科研費 25120011、25330276、26730130、15K12112
の助成を受けた。
文
献
[1] B. Beheshti and M. Desmarais, “Improving matrix factorization techniques of student test data with partial order
constraints,” in Conference on User Modeling, Adaptation,
and Personalization (UMAP), 2012.
[2] S. Oeda and K. Yamanishi, “Extracting time-evolving latent skills from examination time series,” in International
Conference on Educational Data Mining (EDM), 2013.
[3] N. Thai-Nghe, T. Horváth, and L. Schmidt-Thieme, “Fac-
- 208 -
—6—