テスト自動化ツールの適用は、CI/CD自体の成否を大きく左右します。適切なテスト自動化ツールを選定できない、あるいは導入が正しく行われない場合、QCDの向上どころか開発プロジェクトへの悪影響は避けられません。そこで本記事ではCI/CDを成功させるために、テスト自動化ツールの適用におけるポイントをお伝えします。

テスト自動化ツールの適用における5つのポイント

テスト自動化ツールの適用においては、「どのテスト自動化ツールを選定するか」が特に重要となります。ツールの選定プロセスは、以降の導入・運用にも大きく影響を及ぼすためです。導入に関しては多くの場合、ベンダー側による一定のサポートが受けられますが、その内容も選定したツールによって変わります。

テスト自動化ツールを選定する際の5つのポイントについて、順番に解説します。

　・連携できるツール
　・自動テストの対象範囲
　・テスト結果報告の品質
　・運用・保守の容易性
　・導入サポートの品質

ポイント1：連携できるツール

テスト自動化ツールは、主に下記ツールと連携してCI/CDパイプラインを実現します。よってテスト自動化ツールの選定では、どのツールと連携できるかを把握することが肝要です。実績はもちろん、機能面でも信頼のおけるツールと連携できるものが望ましいことは、言うまでもありません。

　・CI/CDツール
　・バグ管理ツール

ただし、ビルドやテストを実施する「CIサーバー」の構築手段によって、連携が求められるCI/CDツールは異なります。オンプレミス環境であれば「Jenkins」など、またクラウド環境であれば「Travis CI」や「CircleCI」などとの連携が必要です。この点に関しては、CI/CDの全体構成に大きく影響を受けます。

一般にクラウド環境の場合は、自社内でサーバーの構築や運用・保守が不要な分、コストを抑えやすいと言われています。しかし一方で、CI/CDでは様々なインスタンスを不定期に動作させるため、主に従量課金制のクラウド環境ではコストの把握・抑制が困難であり、これを補うためのツール導入が必要となるケースもあります。

昨今ではオンプレミス・クラウドを併用するハイブリッド環境もありますが、システム構成が複雑となり、導入のハードルは上がります。クラウド環境、オンプレミス環境、ハイブリッド環境それぞれにメリット・デメリットが存在するため、これらを踏まえた上で開発環境に左右されない適用範囲の広いテストツールを選択することが重要です。

ポイント2：自動テストの対象範囲

テスト自動化ツールによって、自動化が可能なテスト範囲は異なります。自動化できないテストを手動で行うのでは、結局のところテスト工数の削減やテスターの負荷軽減にはつながりません。よって、幅広い自動テストが可能なテスト自動化ツールを選定することが重要です。

特に、近年重要視されているパフォーマンスやユーザビリティといった非機能要件のテストを苦手とするツールは少なくありません。これらはチームのテスト環境に統合して実施するため、ローカル環境で行われる単体テストや結合テスト以上に影響範囲が大きくなります。また、リリースにより近い段階でのテストであり、手動テストでの人的ミスが生じればバグ流出が避けられません。

ポイント3：テスト結果報告の品質

前回お伝えした通り、「問題の報告・起票」もテスト自動化ツールの重要な役割です。高品質な結果報告を行えるツールを選定できないと、問題の解決が遅れて多大な手戻りが生じます。テストでの問題検出時には、バグ管理ツールへの起票だけでなく、メール等で開発者や管理者へ直ちに報告する機能も必須です。

それに加えて、幅広いテストメトリクスを可視化して報告できることも求められます。特に、カバレッジ (網羅性) の可視化は欠かせません。ソースコードの変更を繰り返すと、据え置きのテストスクリプトではカバー不可能なテストケースが生じ、カバレッジが低下しやすいためです。