昨今、ソフトウェアチームは困難な戦いに直面しています。手動でのテストケースの作成は時間を要し、間違いも起こりやすく、費用もかかります。
そのため、企業は品質を維持しながら人的労力を削減する、よりスマートなソリューションを必要としています。
日本のお客様企業は、FPTソフトウェアのテストチーム (IVS) に対して、テストカバレッジを高く保ちながら、手作業によるテストケース設計の労力を削減すべく、TestVistaの活用を依頼されました。
業種：航空業 - 情報システム
IVSのテストチームは、各アジャイルスプリントの開始時にテストケース設計を支援するために、お客様のプロジェクト仕様に基づいて、TestVistaを試験運用する任務を担当しました。
お客様の要件仕様を受領後、TestVistaのパフォーマンス評価のために、テストチームはソフトウェア仕様をサブパターン（機能モジュールとみなすことができます）に分割し、実際のテストシナリオにおけるTestVistaのパフォーマンスを評価しました。
分析した9件の主要パターンは以下のとおりです。
- 削除中
- 更新中
- 承認ワークフロー
- メールフォーム
- レポートのエクスポート
- バッチオペレーション
- API テスト
- 登録/一括登録
- フィルタリング
- テスターリーダーレビュー: 経験豊富なチームメンバーが生成されたテストケースをレビューして、品質とカバレッジを評価します。
- 一貫性の確保: 透明性を重視し、生成AIに関しては「結果は実行ごとに異なるケースがある」ことに細心の注意を払っています。
- AI活用によるテスト提案：TestVistaは入力仕様（パターン）を分析し、関連するテストケースを提案します。
- パフォーマンスレポート：各スプリントの終了時、チームはTestVistaが生成したテストケースの件数と必要なテストケースの総件数を比較します。
その後、このレポートはお客様に提出され、検証を行います。
結果:
TestVistaは3回のスプリントで、手動で作成した964件のテストケースのうち714件を検証し、全体のカバレッジ率は74%に達しました。
- スプリント1：85.16%
- スプリント2：77.95%
- スプリント3：47.45%
スプリント3のカバレッジが低かった理由は？
- TestVista開発チームは、バッチおよび API のテストケースにおいて、期待結果の箇所にパラメーターの詳細の欠落が多いことを発見しました。
つまり、有用なものとするには、詳細なパラメータとレスポンスボディを含む出力レスポンスが必要です。本件については、今後のTestVistaのアップデートで改善する予定です。
このテンプレートには、サイトを活性化する高度なインタラクションがいくつか含まれています。
従来の手動テストでは、テスターは要件の調査、観点の設計、テストケースの作成に多大な時間を費やしていました。
内訳は以下のとおりです。
TestVistaでは、AIがテストケース生成の大部分を自動化するため、テスターは入力の準備、セルフレビュー、対象を絞った更新に集中できます。
内訳は以下のとおりです。
TestVistaのパフォーマンスはインパクトがあり、測定可能です。
- AI活用によるテストケース生成：TestVistaは、テストケースの作成に必要な労力を削減し（91.27時間 → 16.2時間）、テスターはより複雑な作業に専念できます。
- セルフレビューと検証: テスターは、AIによって生成された結果を確認・検証する作業が必要となります。このタスクでは、19.2時間がワークフローに追加されます。
- 全体的な工数削減：テストにかかる全体の工数は153.87時間から102.16時間に削減され、34% の効率性向上を達成しました。
AIを活用して反復作業を自動化することで、チームはの効率性を向上させ、ヒューマンエラーを削減し、より付加価値の高いテスト作業に人員を配置し、人的リソースの最適化を実現します。
