テスト設計・実施のフレームワークを 体系化し手法を統一することで

株式会社ディー・エヌ・エー 成功事例
クライアント名
株式会社ディー・エヌ・エー
URL
http://dena.com/
テスト設計・実施のフレームワークを
体系化し手法を統一することで、
組織的なボトムアップを実現
簡単にテストが実施できるようになり、社内のメンバーがテストに対して意欲的に。
実施したテスト結果のナレッジを共有することで、PDCAサイクルの高速化も実現。
業種
Mobageを軸にしたゲーム事業、プラッ
トフォーム事業をはじめに、eコマース
事業、プロ野球球団運営などを幅広く
手がける
課題
1999年に設立したDeNAは、
マーケットが未成熟の頃からeコマースの進化に取り組み、
現在はゲーム事業を中核に。
「Delight and Impact the World」
をコーポレート アイデンティティに掲げ、
世界中のユーザに楽しんでもらえるサービスの
創造を目指している。
2009年頃から同社のゲーム事業は一気に拡大したが、
それに伴い、
各ゲームのUIやUXを改善し、
ゲームの最適化を
図ることが求められていた。
このとき、
各ゲームチームを横串で統括して分析支援するSWATチームにおいての課題は、
各
ゲームチームがそれぞれにテストを実施していることで、
テストによるナレッジが蓄積されていないことであった。
その背景について、
当時SWATチームに所属していた、
山口氏は、
こう振り返る。
「各ゲームの担当者の中で、
ABテストのやり方が分かり、
結果についてどう判断し、
それをどうゲームの改善に活かせばい
いのかを理解している人はほとんどおらず、
属人的になっていました。
また、
テストをする際の切り口が統一化されていな
かったことで、
テスト結果をナレッジ化できていなかったのです。」
株式会社ディー・エヌ・エー
Japanリージョンゲーム事業本部
ゲーム開発一部第四グループ
（旧：ソーシャルゲーム本部 X-Function部共通開発
グループSG-SWAT りぼん UXデザイナー）
山口 隆広 氏
もう一つ、
そもそもアクセス解析の技術的な課題も抱えていた。
「アクセス解析をしようにも、
無償版のGoogleアナリティクス
（以下、
GA）
では、
弊社のゲームのように何百万PVもあるよう
な大規模トラフィックになると計測ができなかった。
また、
ユーザIDなどのパラメーターがつくURLが何十万個以上あるた
め、
レポート上ではまとめて
（other）
で表示されてしまうなど、
結局のところ、
ユーザの精緻な動きは分かりませんでした。」
解決策
DeNAの課題に対し、株式会社アイ・エム・ジェイのMarketing&Technology Labs（以下MTL）は、ABテス
トの管理基盤を整え、その上でテスト設計のフレームワークを作ることで手法を統一化し、組織的なボトムア
ップを推進した。山口氏は、こう話す。
「ウェブテスト(※)の導入をスムーズに行うため、各チームのABテストの認知レベルや活用度はどの程度あ
るのか、現状をヒアリングしていただくところからスタートしました。」
MTLのメンバーは、約半年間、週に２回ほどDeNAに常駐する体制をとった。
「常駐していただいたことで、メールベースのやりとりでは分かりにくいことも密にやりとりすることができた
ので、弊社の温度感やスピード感を感じてもらい、プロジェクトを進めることができました。
株式会社ディー・エヌ・エー
システム本部
ビジネスアナリティクス部
アナリティクスディベロップメント
グループ グループリーダー
友部 博教 氏
次いで、ABテストをする際の課題の見つけ方、テストをする際の切り口のバリエーションシートを作ってもら
い、テストを設計する手法や、設計したテストの実行方法、テスト結果の効果検証方法など、ガイドラインを
作ってもらいました。テスト実行の際に使用するテスト実行計画書にはテストの切り口や何を検証するテスト
なのかを明記することで、テスト結果をノウハウにつなげることができるようにしてもらいました。テストをす
る際に重要なのは、予測を立てて事前に設計しておくこと、そしてその結果を測定することだと思っています。
それを体系化して頂いた。このガイドラインを用意してもらったことで、各チームにウェブテストを拡散しやす
くなった。また、常駐する中で、MTLの皆さんに各チームの打ち合わせに参加頂き、ガイドラインを元にABテ
ストの手法を浸透させることも実現しました。」
また、テストの結果をナレッジシートにためていくことで、チームで共有できる仕組みも整えた。現システム
本部で、山口氏の後任としてゲームのアクセス解析を任せられている友部氏はこう語る。
「今では、そのナレッジシートは各チームが参照できる場所にアップロードされており、今は各チームがテス
ト実施時に参考にできるような環境を整えました。」
また、有料のGoogle アナリティクスプレミアム（以下、GAP）の導入を提案し、大規模サイトならではの導入を
実現した。
「GAPは、無償のGAではできなかった大規模トラフィックの計測が可能です。そこで、弊社用にカスタマイズされ
た設定やサポートを実施してもらいました。これまでの計測ではこぼれ落ちていた、パラメーターがつく特殊なURL
に対する設定など、細やかにサポートしていただきました。（
」前川氏）
※ウェブテスト：Googleアナリティクスが提供するテスト機能
効果／成果
ABテストの管理基盤を整え、
テスト手法を統一したことによる成果について、
率直な感想を山口氏に伺った。
「簡単にABテストが実施できるようになり、担当者に運用負荷をかけずにテストが回せるようになりました。
これまで難しそ
う、
めんどくさそうというイメージが先行し、ABテストに消極的だった担当者が、簡単な手順でテストが実施できることに驚
き、
テストに意欲的に取り組むようになりました。
またテスト実施の際には、
テスト結果が気になり、
自らデータを見るように
なり、
大きく意識が変わりました。」
実際、
MTLのメンバーが常駐中に各チームに対してテスト手法や今後のナレッジ蓄積について打ち合わせを重ねたこ
とで、
常駐を終えた後にも、
どのチームもウェブテストの活用頻度は飛躍的に向上したという。
「例えば、
『ガンダムロワイヤル』
というゲームは、週に一度の割合でイベントを開催していますが、
イベント開催時には必
ずABテストを実施するようになりました。
テストの結果もすぐに出て効果検証できるので、
それをもとにページを改変する
など、PDCAサイクルが高速化しました。おかげで、
チームのモチベーションが上がり、結果を踏まえて、
どうすれば売り上
げに結びつくか、
そのためにはゲームのUIをどう改善すればいいかについて活発に議論する機会も増えましたね。」
ゲームのなかには、ABテストによりコンバージョン率が30％リフトするテストもあった。今後、実施テストが増えれば、
こう
したケースは増えていきそうだ。
また、
GAP導入のサポートについても変化があった。
「GAP導入についても、
ガイドラインがあるため拡散するのがとにかくラク。
『新しいタイトルにGAPを導入したい』
という
依頼がたくさん来ますが、担当者には、基本的にMTLのメンバーがまとめてくれた、計測整備に必要なドキュメント、GAP
の概要説明、操作マニュアルなどの資料を渡すだけ。追加質問が来たことは一度もありません。GAPに詳しくない担当
者でも自走できる。
それほど、
分かりやすく、
的確にまとまっているのです。（
」友部氏）
今後の展開
ABテストを回す仕組みが整い、PDCAサイクルが高速化した今、当面は、
ウェブテストを各チームに広め、
自走し
てもらいたいと友部氏は話す。
「各チームでウェブテストが自走できれば、
よりユーザに使いやすいゲームに最適化していくことができるのではない
かと期待しています。ウェブテストの資料は、誰が読んでも理解できるほど分かりやすいので、
どのチームもスムーズ
に自走できると思います。今後GAP導入タイトルが増え、
よりテストに取り組むチームも増えてくると思っています。」
今後は、
アプリが多くなることを踏まえ、
アプリ計測の整備も視野に入れたいという。
「アプリ計測は、
まだ新しい計測技術です。MTLさんには、GAPを導入する際、すでにアプリ計測についてもアウト
ラインは整備していただいていますが、今後は、
より詳細なアプリ計測の設定をするなど、本格的に導入する手順を
整えていきたいです。」
引き続き多くのサービスをリリースする予定のDeNA。
これからも様々なサービスで私たちを楽しませ、世界規模
のインパクトを創出し続けてくれるだろう。