Comments
Transcript
Microsoft Test Manager 2012 を 使用した手動テストの作成と実行
Visual Studio を使った テスト作業効率化 自習書 Microsoft Test Manager 2012 を 使用した手動テストの作成と実行 Lab version: 11.0.60135.01 Update 2 Last updated: 6/7/2013 CONTENTS 概要 ............................................................................................................................................................... 3 EXERCISE 1:手動テスト計画の作成 ............................................................................................................ 5 EXERCISE 2:手動テスト計画の実行 .......................................................................................................... 10 EXERCISE 3:手動テスト結果の分析 .......................................................................................................... 18 EXERCISE 4:共有ステップの作成 .............................................................................................................. 20 EXERCISE 5: TEAM FOUNDATION SERVER 2012 WEB ACCESS によるテスト ケースの管理と手動テ ストの実行................................................................................................................................................... 22 2 概要 この演習では、手動テストを作成しテスト パラメーターを活用するために、どのように Microsoft Test Manager 2012 を使用するかについて学習します。その後、Microsoft Test Runner を使用してテスト ケースを実行します。このテスト ケースを実行している間、次回以降のテス ト ステップもしくはテスト ケース全体を迅速に再実行するために、手動テスト実行の早送りで 活用できる操作記録のキャプチャーをします。最後に、複数のテスト ケースから再利用できる 共通のテスト ステップを、より効果的に作成するために、「共有ステップ」がどのよう使用で きるかについて探ります。 このハンズオン ラボは Microsoft Test Manager 2012 に対する多くのハンズオン ラボ群のうちの 1 つです。一連のラボを完了させるために推奨される順序が以下の通りです。 Introduction to Test Planning with Microsoft Test Manager 2012 Introduction to Test Case Management with Microsoft Test Manager 2012 Authoring and Running Manual Tests using Microsoft Test Manager 2012 Introduction to Platform Testing with Microsoft Test Manager 2012 前提条件 この演習を完了するためには Microsoft によって提供される Visual Studio 2012 の仮想マシンが必 要です。この仮想マシンの入手方法と使用方法の詳細については、this blog post を参照してく ださい。 更新履歴 For Update 2 では以下の変更がこの演習に対して行われました: Web ベースのテスト ケースの管理と手動テストの実行に関する演習の追加 3 Exercises このハンズオン ラボには以下の練習が含まれます: 1. 手動テスト計画の作成 2. 手動テスト計画の実行 3. 手動テスト結果の分析 4. 共有ステップの作成 5. Team Foundation Server 2012 Web Access によるテスト ケースの管理と手動テストの実 行 所用時間: 60 分 4 Exercise 1:手動テスト計画の作成 この練習では、手動テスト計画を作成しテスト手順を設定する方法について学習します。テス ト計画は、ソフトウェアの動作を確認するために後で実行することができます。 1. Julia としてログオンします。 すべてのユーザーのパスワードは P2ssw0rd です。 2. [ Start | All Programs | Microsoft Visual Studio 2012 ] から、[ Microsoft テスト マネージ ャー] を起動します。 3. この練習では、新しい手動テスト ケースを作成し、それを実行することに焦点をあ てます。別の練習ではテスト ケースの管理とテスト計画の別の側面に対して確認す ることになります。 4. まだテスト計画ビューが表示されていない場合は、メイン メニューから [計画] をク リックします。Microsoft テスト マネージャーは、最後にロードされたテスト計画に 接続します。この仮想マシンの場合は 、" Iteration 2" という名前のテスト計画に接 続します。もし 、"Iteration 2" テスト計画が開かれていない場合は、"Iteration 2" に 切り替えるために、[ホーム] ボタンをクリックしてください。 Figure 1 計画ボタンとホーム ボタンの位置 5. 左ペインで、[ End-to-End Tests ] を選択し、右ペインの [新規作成] ボタンをクリック します。 Figure 2 新しい手動テストの作成 5 6. [ Title ] テキスト ボックスに、“Confirm that receipt number appears after successful order” と入力します。その代わりに、仮想マシンのデスクトップ上の Code Snippets フォルダーから “New Test Case.txt” ファイルを開いて、コピー＆ペーストすることが できます。 7. これで、この手動テストにテスト ステップを追加する準備が整いました。各ステッ プには、テスト担当者が実施する必要がある [操作] が記述されているアクションが 含まれます。オプションで、ステップは指定した各アクションの期待される結果に 関する記述を含めることができます。 8. [ STEPS ] パネルで、 以下の 1 つだけ期待される結果を持つ アクションについて、そ れぞれのステップを作成します。アクションを追加する、より高速な代替手段につ いては、次の段落を読んでください。 アクション 期待される結果 Open http://www.tailspintoys.com Click Model Airplanes Click Northwind Trader Click Add to Cart Click Checkout Enter @First, @Last, @Email, @Address, @City, @Country, @State, @PostalCode Click Review Order Click Place Order Confirm order page has receipt # Receipt # should appear at top of order confirmation page Close Browser 6 各ステップを手作業で入力する代わりにすべてを一括して入力するには、“New Test Case.txt” ファイルからコピー＆ペーストします。これを行うには、[ここをクリックし てステップを追加] と表示されている行の上で右クリックし、コンテキスト メニューか ら [ 貼り付け] オプションを選択します。 Figure 3 テスト ステップの貼り付け Note: 余分なステップで終わる場合、それを削除してください。 9. この時点で、[ STEPS ] パネルは次のようになります。 Figure 4 新しい手動テストのステップ Note: 手動テスト ステップのために期待される結果列の値を追加すると、テスト担当 者による手動テスト合格の検証を必須とするように、ステップのアクションの横にあ るチェック ボックスをチェックします。 7 10. このページ下部のパラメーター値セクションまでスクロールして、各イテレーショ ンに備えて入力される値を指定することにより、使用する変数値を定義することが できます。ステップ 6 の、“Enter @First, @Last, @Email, @Address, @City, @Country, @State, @PostalCode” に注意してください。このステップでは、 手動テスト実行中に 使用されるイテレーション向けの固有の変数があることを示すために、@ 記号が使 われています。3 回のイテレーションに対する値を設定するには、次の表を使用して ください。 (もしくは、また “New Test Case.txt” ファイルからコピー＆ペーストしま す。): ※ Country 列の State 列のスペル ミスに注意してください。 First Last Email Address Michael Affronti [email protected] One Microsoft Way Chris Barry [email protected] Two Tailspin Trail Robin Wood [email protected] Nine Northwind Street City Country State PostalCode Redmond USA Washington 98052 Springfield USA Illinois 11135 North Wind USA North Dakota 99909 11. パラメーター値 セクションは次のようになります: Figure 5 手動テストパラメーター値 8 12. ウィンドウの右上にある [保存] アイコンをクリックして、テストケースを保存しま す。 Figure 6 保存ボタンの位置 Note: テストケースはプロジェクトの作業項目として保存されます。 9 Exercise 2:手動テスト計画の実行 この練習では、最初の練習で作成した手動テスト計画を実行する方法を学習します。 1. テスト モードに移行するために、メニューから[テスト] ボタンをクリックします。 Figure 7 テスト ボタンの位置 2. 左ペインで、[ End-to-End Tests ] ノードを見つけ、それを選択するためにツリーを展 開します。 Figure 8 End-to-end tests ノードの選択 3. 右ペインで、Title 列の値が “Confirm that receipt number appears after successful order” となっている行を選択し、まず[実行] ボタンの横にあるドロップ ダウン矢印を選択 して、 [オプションを指定し実行] オプションを選択します。 Figure 9 実行ボタンの位置 10 4. [実行オプション] ウィンドウで、[ Full Diagnostics ] にテスト設定を変更して、[実行] をクリックします。 Figure 10 テスト実行時の [ Full Diagnostics ] オプションの選択 5. ここで、Microsoft テスト ランナーが起動し、テスト担当者によって行われる操作を 記録するためのオプションが提供されます。これは、次回以降の手動テストの "早送 り" を可能にし、後でテストの実行履歴を確認するための詳細な記録として、重要な 機能です。[操作の記録の作成] チェック ボックスをチェックし、[テストの開始] ボ タンを選択します。 Figure 11 テスト開始時の操作記録作成の指定 6. テスト ランナーが初期化を完了し、操作ステップを表示するまで待ち、タスクバー から Internet Explorer を起動します。 11 7. Internet Explorer のお気に入りバーから、[Tailspin Toys ] リンクを選択します。サイト がロードされ表示が完了するまでに少し時間がかかります。 Figure 12 [ Tailspin Toys ] リンクの位置 8. サイトがロードされたら、テストの最初のステップが完了です。ステップ自体の横 にあるテスト結果ドロップ ダウン リストから、[成功] オプションを選択します。こ れは 、"期待される結果" が指定されているような検証が必要なテスト以外では、テ ストの合否判定の要件ではありません。しかし、これはテスト ステップとテスト担 当者の操作を関連付ける時に役立ちます。テストに合格すると、自動的に次のステ ップをアクティブに設定することに注意してください。 Figure 13 テスト ステップの手動での合否判定 9. Internet Explorer で、[ Model Airplanes ] ボタンをクリックしページが表示されたら、 ステップ 2 を[ 成功] とします。 10. [ Northwind Trader ] リンクをリックしページが表示されたら、ステップ 3 を[ 成功] と します。 12 11. [ Add To Cart ] ボタンをクリックしページが表示されたら、ステップ 4 を[ 成功] とし ます。 12. [ Checkout ] ボタンをクリックしページが表示されたら、ステップ 5 を[ 成功] としま す。 Note:操作記録が計画通りいかない時は、いつでもリセットして再度記録しなおすこと ができます。 Figure 14 リセット ボタンの位置 (必要な場合) 13. “First” テキストボックスをクリックし、最初のイテレーションの First 変数値をペー ストするために [Ctrl+V ] を押下します。その後、次のテキスト ボックスに移動する には、[Tab ] キーを押下します。この操作は、変数の横に表示されているデータ バイ ンド アイコンによって確認できるように、Web ページのテキスト ボックスとテスト ケースのパラメーター値をバインドします。テストの次のイテレーションでは関連 付けを活用することができます。 (※[ Ctrl + V ] 及び[ Tab ] キー以外のキー操作やマウ ス操作は行わないよう注意してください) Figure 15 テスト実行中のテスト パラメーターへの値のバインド 13 14. “Last”、“Email”、“Address” など、変数値をペーストするプロセスを繰り返します。 [ Address 2 ] テキストボックスはスキップします。最終的に各変数はデータ バインド されなければなりません。 Note: "Country" と "State" については、既定値が表示されていますが、ドロップ ダウ ン リストから手動でパラメーター値と一致する値を選択する必要があります。 ※"Country" と "State" については、[ Ctrl + V ] は不要です。 Figure 16 データ バインドされたテスト変数 15. すべての変数が Web ページの対応するコントロールにバインドされたら、 ステップ 6 を[成功] とします。 16. [ Review Order ] ボタンをクリックしページが表示されたら、ステップ 7 を[ 成功] と します。 17. [ Place Order ] ボタンをクリックしページが表示されたら、ステップ 8 を[ 成功] とし ます。 18. 注文ページ右上に [receipt number ] が表示されることを確認したら、ステップ 9 を [ 成功] とします。 Figure 17 受付番号を示す注文ページ 14 19. ステップの指示に従って、Internet Explorer ウィンドウを閉じ、ステップ 10 を[ 成功] とします。 20. これでテストの最初のイテレーションが終わりました。次のイテレーションへ移動 するために [イテレーションを終了し、次に移動します] リンクをクリックします。 Figure 18 “イテレーションを終了し、次に移動します” リンクの位置 21. 今度のイテレーションでは、今作成したばかりのオリジナルの操作記録を上書きし ないようにするために、操作記録を新規に作成しません。その代わりに、作成済み の操作記録を、今度のイテレーションの構成を支援するために使用します。次のイ テレーションを開始するために、[テストの開始] ボタンをクリックします。 15 22. ステップ 1 は既に選択されているはずです。[ Shift ] キーを押しながら“Click Place Order” までの、すべてのステップを一括して選択します。 Figure 19 “Click Place Order”までのすべてのステップを包括的に選択します 23. 自動的に選択されたステップの操作を実行するために、[再生] ボタンをクリックし ます。テスト操作が自動的に実行されている間は、マウスやキーボード操作が干渉 して影響を与える可能性があるため、自動プロセスが完了するまでは、それらに触 れないでください。自動プロセス中に障害が発生した場合には、[再生] を再試行し てください。 Note: この自動化プロセスは、2 回目のイテレーションにフォームへのデータ入力操作 を完了させるために、テストケースのパラメーター値として 2 回目のイテレーション 用に定義されたデータを使用します。 24. テスト ランナーが選択されたステップの実行を終了した後で、手作業で検証できる ようにするために、“Confirm order page has receipt #” ステップの上で停止します。 Internet Explorer ウィンドウを閉じ、すべてのステップを [ 成功 ] とします。 16 25. 2 回目のイテレーションが終わりました。3 回目のイテレーションへ移動するために [イテレーションを終了し、次に移動します] リンクをクリックします。 26. 2 回目のイテレーションで行ったことと同じプロセスを実行してください。 27. テスト結果を保存するために、[保存して閉じる] ボタンをクリックします。 Figure 20 “保存して閉じる” ボタンの位置 17 Exercise 3:手動テスト結果の分析 この練習では、手動テスト実行結果をどのように分析するかについて学習します。 1. 右ペインの[結果の表示] ボタンをクリックします。 Figure 21 結果の表示 ボタンの位置 2. テストの結果ビューで、イテレーションの詳細、結果及び添付ファイルを含むテス ト実行の詳細を確認することができます。 Figure 22 テストの結果表示 18 3. [テスト ステップの詳細] セクションで、ビデオリンクの 1 つをクリックします。こ れにより、そのステップの操作が行われた時間のビデオを再生します。 Figure 23 各ステップを録画したビデオへのリンク Note: 時間は、テスト実行に要した各ステップのどれくらいの長さがかかったかに応じ て変わるでしょう。ちなみに、テスト実行の全体が単一のビデオ ファイルに格納され るので、[テスト ステップの詳細] に表示される時間は、そのステップに対する操作が 開始された時間へのオフセット値になります。 4. ビデオ プレイヤーを終了します。 5. [添付ファイル] パネルに移動します。このパネルには、テスト実行中に記録され、 テスト結果の診断を助ける様々な添付ファイルが含まれています。 添付ファイル項目から [ SystemInformation.xml ] を選択し、[開く] をクリックします。続 いて確認ダイアログ ボックスで、[ Open ] をクリックします。このファイルには、テス トが実行されたシステムに関する詳細情報が含まれます。 Figure 24 テスト実行結果に含まれる SystemInformation.xml 添付ファイルの位置 6. SystemInformation.xml の内容が表示された Internet Explorer ウィンドウを終了します。 7. テスト結果ビューで、[ 保存して閉じる ] をクリックします。 19 Exercise 4:共有ステップの作成 この練習では、共有ステップをどのように作成するかについて学習します。共有ステップはテ スト間で共有することができ、単一の論理的なステップ中に順番実行される複数のステップを 結合します。もし将来、共有ステップによって定義されたプロセスが変更された場合、共有ス テップの一箇所を更新することによって、それを参照するすべてのテストに変更を反映するこ とができます。 1. 右ペインで、選択したテストを開くために [テスト ケースを開く] をクリックします。 Figure 25 “テスト ケースを開く” ボタンの位置 2. [ STETPS ] パネルで、2 番目のステップである "Click Model Airplanes” を選択するため にクリックし、[ Shift ] キーを押しながら “Click Add to Cart” ステップをクリックする と、ステップ 2 から ステップ 4 が選択されます。 3. 選択された項目を右クリックし、表示されたコンテキスト メニューの [共有ステップ の作成] オプションを選択します。 Figure 26 共有ステップの作成 20 4. [共有ステップの作成] ダイアログボックスで、共有ステップのタイトルとして “Add Northwind Trader to Cart” と入力し、[ OK ] ボタンをクリックします。 Figure 27 共有ステップの作成ダイアログ ボックス Figure 28 ステップ 2 は、今作成した共有ステップを参照するように変更される 5. 共有ステップを右クリックし [共有ステップを開く] オプションを選択します。これ により必要に応じて、共有ステップを編集することができます。 Figure 29 共有ステップを表示する 6. 共有ステップを保存するために、[保存して閉じる] をクリックします。 7. テストを保存に閉じるために、[保存して閉じる] をクリックします。 21 Exercise 5: Team Foundation Server 2012 Web Access によるテスト ケース の管理と手動テストの実行 この練習では、テスト ケースの管理と、Team Foundation Server Web Access の手動テスト機能に ついて学習します。これらの機能は TFS Update 2 で新しく追加された機能です。 1. タスク バーから、 Internet Explorer を起動し、上部のお気に入りバーから [ TFS TT Web Access ] ボタンを選択します。 Figure 30 Team Web Access サイトの起動 2. ウィンドウ上部の [ テスト ] ハイパーリンクを選択します。 Figure 31 テスト ハイパーリンクの位置 3. テストのページでは、テスト計画、テスト スイート、およびテスト ケース関連の作 業を行うことができます。テスト スイート 7 を選択します。 Figure 32 テストスイートの選択 22 4. テスト スイート 7 には、いくつかのユーザーのシナリオに関連付けられた要件ベー スのテスト ケースが含まれており、ユーザー要件へのハイパーリンクが表示されま す。ここでは、テスト ケースのオープン、作成、削除に加えて、テストの実行と手 動でテスト結果を設定することができます。 Figure 33 テスト スイート 7 5. ID = 40 の最初のテスト ケースを選択し、[テスト ケースを開く] ボタンを選択します。 Figure 34 テストの実行に関連付けられているテスト ケースを開く 23 6. TFS Web Access でテストケースのステップおよびパラメーター値についても、作成、 更新、設定を行うことができます。ステップ 3 の操作を “Click Wintip Toys Stunt Plane” に変更し [保存して閉じる] ボタンを選択します。 Figure 35 テスト ケース ステップの更新 Note: Update 2 の時点では、TFS Web Access を使用してパラメーターを追加したり編集 することはできません。この目的のためには Microsoft Test Manager を使用する必要が あります。 7. 最初のテストケース (ID = 40) を選択し、[ テストをアクティブにリセット ] ボタンを 選択します。これは、テスト ケースを変更して再度実行する必要があるテスト担当 者に役立つでしょう。 Figure 36 テストをアクティブ状態にリセットする 24 8. Web ベースのテスト ランナーと手動テスト セッションを開始するために、[実行] ボ タンを選択します。 Figure 37 手動テスト セッションを開始する 9. 最初のテスト ステップの指示に従って、タスクバーから Internet Explorer を起動し、 ページ上部のお気に入りバーから [ Tailspin Toys ] ボタンを選択します。 10. テスト ランナーのウィンドウと Tailspin Toys ウィンドウを移動しサイズを調整し、 同時に両方を見ることができるようにします。 Figure 38 Web ベースのテスト ランナーとテスト サイトのオープン 25 11. Tailspin Toys サイトをオープンするステップを合格とするために、テスト ステップの [ 成功 ] ボタンを選択します。 12. テストの実行を終了するために、テスト ランナーの残りの手順の指示に従います。 Figure 39 テストの実行が完了したことを示す Web ベースのテスト ランナー 13. テスト ランナーの ‘+’ ボタンを選択し、続いて [コメントの追加] オプションを選択 します。 Figure 40 コメントの追加 26 14. “Have we considered turning this into a coded UI test?” のようなコメントを追加します。 Figure 41 コメントの追加 15. テストの実行を完了するために、[保存して閉じる] ボタンをクリックします。 Figure 42 テストの結果の保存 16. TFS Web Access のテスト スイート 7 に戻り、テストケースがもう一度成功したこと を示していることを確認します。 Figure 43 合格したテスト ケース 27 フィードバックはこちらへお願いします [email protected] Copyright © 2014 by Microsoft Corporation. All rights reserved. 28