2021.7.21

AIによる探索的テスト自動化を実現する『ATS for Eggplant』とは (前編)

「探索的テスト」は、テストの設計・実行を並行するテスト技法です。テスターが知識や経験を頼りに実行すべきテスト項目を探索することで、テスト設計工数の削減や効率的なバグ検出が可能となります。
短期間でテストプロセスが繰り返される現代の開発現場には大変有力なテスト技法ですが、以下の課題により適用が進んでいません。

・課題1：スキルの高いテスターの確保が困難
・課題2：プログラムによる自動化のハードルが高い
・課題3：探索的テストだけで品質保証するのが困難

本ブログにおいて探索的テストの基礎知識から、これら課題の解決手段までを全5回の連載で解説してきました。まだお読みでない方は、連載第1回を下記からご一読ください。

今こそ求められる探索的テストとは？　【第1回】：探索的テストの基礎知識

しかし解決策の方向は示したものの、具体的な方策についてはまだご説明していません。そこでこの記事では、探索的テスト自動化の実現に向けて有力な選択肢となる『ADOC Testing Service (ATS) for Eggplant』についてご紹介します。

『ADOC Testing Service (ATS) for Eggplant』とは

ADOC Testing Service (ATS) for Eggplantは、米国キーサイト社が開発した世界初となるAI (人工知能) 搭載の探索的テスト自動化ツールである『Eggplant』を中核に採用した、テスト自動化プラットフォーム構築サービスです。

ATS for Eggplantが提供するのは、導入コンサルティングからテスト自動化の実装と実行、モニタリング、分析・予知にいたるまで、ワンストップの技術サービス。一般的な自動化サービスのように、テスト実行フェーズだけにとどまらず、テストサイクルにおけるあらゆるプロセスの統合的な自動化を支援します。

前回までの連載では、探索的テストの解決策として「AIを活用したテスト自動化」「モデルベーステストの適用」の2点をご紹介しました。ATS for Eggplantは、これらを両立させることで探索的テストの適用における課題を解決します。

またサービス提供には、ユーザー側でシステムやライセンスを所有する必要のない「サブスクリプション型」を採用しています。初期導入から維持管理のコスト、要員の手配や教育の問題など、製品ライセンスの購入における様々なリスクを回避することが可能です。

ATS for Eggplantが探索的テスト自動化の実現につながる3つの理由

ATS for EggplantはAIとモデリングの技術を組み合わせることで、探索的テスト自動化を可能にします。探索的テスト自動化にATS for Eggplantが有効となる具体的な3つの理由について解説します。

理由1：熟練したテスターに頼らない、高精度な探索が可能

探索的テストを成功に導くうえで、スキルの高いテスターが欠かせません。とはいえ、優秀なテスターの工数を確保できないことも多いため、テスターのスキルに依存しない探索技術の自動化が求められます。しかし、繊細な判断力が要求される探索技術を、プログラムにより自動化することは困難です。

ATS for Eggplantは、AIに「深層学習」と呼ばれる手法を適用することにより、高精度な探索技術を実現します。過去のバグ情報やシステムの特性といった大量のデータをAIに与えることで、膨大なテスト局面における正しい判断のノウハウを蓄積するのです。結果として、熟練したテスター以上に高精度なテスト設計を、テスト実行と並行して短時間で行うことを可能にします。

理由2：プログラミングを行うことなく、少ない工数で自動化が可能

探索的テスト自動化には、探索 (テスト設計) とテスト実行を並行可能なプログラムを開発する必要があります。しかし、高度な探索技術に加えてテスト実行も正確に処理するプログラムの開発には、非常に高いプログラミングスキルが要求されます。また、テスト対象システムをアップデートするたびにプログラムの更新が必要となり、開発後も多大な工数が必要です。

ATS for Eggplantは、AIの活用に加えて「モデルベーステスト」を適用することで、探索的テストの自動化を容易にします。操作性の高いUIの提供により、テスト対象システムの状態遷移を少ない労力でモデリングすることが可能です。AIが探索すべき対象が明瞭なモデルに集約され、効率的な自動探索を実現します。AIによりテスト項目の自動生成が容易となることで、自動化プログラム作成にかかる労力を90％以上削減することにつながります。

さらに、AIが画像認識や文字認識によりテスト結果を正確に判定できるため、テスト実行も自動化されます。探索・テスト実行の自動化にプログラミングスキルが不要となるので、テスターによらず成果の高い探索的テストが可能です。また、システムアップデート時にはUIによりモデルを更新するだけでよく、回帰テストにもプログラミングスキルが要求されません。

理由3：カバレッジの可視化・エビデンスの確保により品質保証が可能

探索的テストでは多くの場合、テスト計画書やテスト仕様書といったドキュメントが残りません。また、バグ検出リスクの高いテスト項目を選定して実行する性質上、カバレッジの可視化も困難です。そのためテスト結果の妥当性を客観的に示すことは難しく、品質保証が大きなネックとなります。

ATS for Eggplantは、UIで容易に生成可能なモデルによって、全テスト項目を明示します。さらに、実行したテスト結果をさまざまな観点から集計し、自動生成した膨大な数のテスト項目からカバレッジを可視化することが可能です。実行ログはテスト項目ごとに自動保管され、モデルと併せてテストの明確なエビデンスとなります。

結果として、テスト仕様書の作成・記録やエビデンスの整理を手作業で行う必要がなくなり、大幅なテスト工数削減を実現します。