QAクロニクル：一般公開機能の品質の保護

このブログはこちらの英語ブログ（2024年3月26日公開）の翻訳、細谷 卓によるレビューです。

ソフトウェア開発企業が一般公開（GA: Generally Available）機能の提供に向けて競争を繰り広げる中、品質保証（QA: Quality Assurance）の重視はこれまで以上に重要になっています。従来のテスト方法論にとどまらず、テストの種類の多様化は、GA機能の成功を確実にするために最も重要なことです。

Oktaでは、製品チームが品質の維持、シームレスな展開の確保について責任を負っています。 このブログでは、GA機能の品質を守るためのテストの多様化の重要性を探り、卓越性を持続させるための継続的なモニタリングとデプロイ後の検証の必要性について掘り下げます。

進化し続けるソフトウェアテストのランドスケープ

QAは、従来のテスト方法論をはるかに超えて進化しています。しかし、最新のアプリケーションの複雑さとエンドユーザーの期待の高まりによって、より包括的なテストアプローチが必要とされています。 

GA機能のテストアプローチを多様化する方法論には、次のものがあります。

1. 機能検証スイート

• ユニットテストは、ソフトウェアアプリケーションの個別のユニットまたはコンポーネントを分離してテストし、各ユニットが設計通りに動作することを検証するソフトウェアテスト方法です。
  • スコープ: 個々の関数または方法
  • 目的: 小さな孤立したコード単位の正確性を確認する
  • 利点: バグの早期検出、デバッグの容易化、コードの保守性の向上
  • ツール: JUnit for Java、pytest for Python、NUnit for .NET などのフレームワーク
• 統合テストは、異なるコンポーネント間のシームレスな相互作用を保証し、実際の環境で発生する可能性のある統合の問題から保護します。
  • スコープ: 複数のユニット/モジュール間のインタラクション
  • 目的: コンポーネントが期待どおりに連携することを確認する
  • 利点: コンポーネントの統合に関連する問題を特定する
  • ツール: テクノロジスタックによって、TestNG や Jasmine などのフレームワークや、 Postman などのツールを使用して統合テストを記述
• エンドツーエンドテストでは、主に、すべてのコンポーネントとシステムが意図したとおりに連携して動作し、実際のユーザーシナリオをシミュレートし、アプリケーション内のさまざまなモジュールまたはレイヤーのスムーズな統合を確保します。
  • スコープ：アプリケーション全体またはその大部分
  • 目的：ユーザーの視点からシステムの全体的な動作を確認する
  • 利点: すべてのコンポーネントが連携してユーザーの要件を満たしているか確認する
  • ツール：Webアプリケーション用のSelenium、モバイルアプリケーション用のAppium、最新のWebアプリケーション用のCypressなど
• クロスブラウザテストとデバイス互換性テストは、異なるWebブラウザやデバイス間で一貫した機能を保証し、ブラウザやデバイスに関係なく、ユーザーにシームレスなエクスペリエンスを提供します。
  • スコープ：さまざまなWebブラウザーやデバイス間で一貫したパフォーマンスを確保する
  • 目的：さまざまなブラウザーやデバイスでのレンダリング、機能、ユーザーエクスペリエンスに関連する問題を特定し、対処する
  • 例: 一般的なブラウザ（Chrome、Firefox、Safari、Edge など）とさまざまなデバイス（デスクトップ、ラップトップ、タブレット、携帯電話）でのテスト
  • ツール：クロスブラウザテストツール（BrowserStack、CrossBrowserTesting、Sauce Labs など）とデバイステストラボ

2.非機能面

• パフォーマンステストでは、ストレステストや負荷テストなど、さまざまな条件下でGA機能のパフォーマンスを評価します。そのため、使用量がピークに達した場合でも、最適なパフォーマンスが保証されます。
  • スコープ：さまざまな条件下でのシステムパフォーマンスを評価する
  • 目的：速度、応答性、安定性に関するシステムのパフォーマンスを評価する
  • 例：負荷テスト、ストレステスト、スケーラビリティテスト
  • ツール：負荷テスト用のJMeter、Apache Benchmark、Gatling / ストレステスト用のApache JMeter、Locust / テクノロジースタックに固有のツール
• セキュリティテストは、脆弱性を特定して軽減し、機密データを保護し、潜在的なセキュリティ脅威に対する機能のレジリエンスを確保するために、徹底的に行う必要があります。
  • スコープ: 脆弱性を特定し、システムが安全であることを確認する
  • 目的：データ保護やアクセス制御など、アプリケーションのセキュリティ機能を評価する
  • 例：侵入テスト、脆弱性スキャン、コード分析
  • ツール：OWASP ZAP、Burp Suite、Nessus、さまざまなコード分析ツール
• スケーラビリティテストでは、成長するユーザーベースに対応する機能の性能を評価します。スケーラビリティテストは、ユーザー数の増加に伴うパフォーマンスの維持に極めて重要です。
  • スコープ：通常の状況と極端な条件下でのシステムの信頼性と安定性を確保する
  • 目的：システムが障害からどの程度回復し、エラーを処理できるかを評価する
  • 例: フォールトトレランス（障害耐性）テスト、回復テスト、信頼性テスト
  • ツール：カスタムスクリプト、分散システム用のChaos Monkey

3. ユーザー中心の検証

• ユーザビリティテストでは、GA機能の使いやすさを測定し、実際のユーザーからのフィードバックを取り入れ、ユーザーエクスペリエンスを改善します。
  • スコープ：ユーザーインターフェイスと全体的なユーザーエクスペリエンスを評価する
  • 目的：アプリケーションがどの程度ユーザーフレンドリーかつ直感的かを評価する
  • 例：ユーザーインターフェイステスト、ユーザーエクスペリエンステスト、アクセシビリティテスト
  • ツール：リモートユーザビリティテスト用のUserTestingなどを用いた自動プロセスや手動プロセスによるユーザビリティテスト

• アクセシビリティテストでは、多様な能力を持つ個人がGA機能を簡単に使用できることを保証します。
  • スコープ：障害を持つユーザーのアプリケーションへのアクセシビリティを評価する
  • 目的：アプリケーションがアクセシビリティ標準とガイドライン（WCAG — Webコンテンツアクセシビリティガイドラインなど）に準拠していることを確認する
  • 例：キーボード操作テスト、スクリーンリーダーテスト、カラーコントラストテスト
  • ツール：自動化されたアクセシビリティテストツール（Axe、Google Lighthouse、WAVEなど）と支援技術による手動テスト

4. 継続的なデプロイ後の監視 

• ヘルスチェックを使用した積極的な監視：テスト環境、本番前環境、本番環境でリアルタイムモニタリングを実装して、問題が発生したときに検出します。積極的な監視は、エンドユーザーに影響を及ぼす前に、潜在的な問題を迅速に特定して対処するのに役立ちます。
  • 目的：定期的なヘルスチェックでは、システムの全体的なヘルスとパフォーマンスを所定の間隔で定期的に評価
  • タイミング：これらのチェックは、多くの場合、定期的なメンテナンスやシステム管理の一環として、スケジュールされた時間に実施
  • スコープ：スコープが広く、潜在的な問題、ボトルネック、または時間の経過に伴うパフォーマンスの低下の特定を目的とする
• デプロイ後の監視: デプロイ後の監視は、新しいリリースで導入された最新の変更がシステムのパフォーマンスやユーザーエクスペリエンスに悪影響を及ぼさないようにするために重要です。
  • 目的：デプロイ後の監視では、新しいリリースまたは更新プログラムのデプロイ直後のシステムの動作とパフォーマンスの観察を重視
  • タイミング：デプロイの直後に開始し、特定期間継続して、システムの安定性とパフォーマンスに関するリアルタイムの分析情報を取得する
  • スコープ：バグ、エラー、予期しない動作など、最近のデプロイから発生する問題を重点的に検出する

5. デプロイ後の検証

• 目的：デプロイ後の検証により、デプロイプロセスが成功し、新しくリリースされたバージョンが期待どおりに機能することを確認
• タイミング：デプロイ直後に実施し、アプリケーションにアクセスできること、機能が正しく動作すること、重大なエラーが存在しないことを確認する、一連の事前定義されたテストを行う
• スコープ：より狭いスコープにおいて、新しくデプロイされたバージョンの基本的な機能と安定性を重点的に確認

デプロイ後の検証の詳細については、 keys-to-high-quality-service-releases-at-oktaをお読みください。

デプロイからさらに先へ

レジリエンスのあるGA機能を提供するプロセスは、デプロイにとどまらず、品質に対する継続的な取り組みが必要です。開発中のテストタイプの多様性と、継続的な監視およびデプロイ後の検証を統合させることで、開発チームは、堅牢なQAエコシステムを確立することができます。これで、GA機能の初期品質が保証され、常に進化し続けるソフトウェアの使用領域において、その永続的な卓越性が保証されます。

以上の内容は、原文（英語）の参考和訳であり、原文と内容に差異がある場合は、原文が優先されます。