バンダイナムコスタジオやAbemaTVがモバイルアプリの品質管理に採用する、テストプラットフォーム「HeadSpin」の機能とは？［PR］

より優れたユーザー体験を実現する最近のWebアプリケーションやモバイルアプリケーションでは、洗練されたユーザーインターフェイスに加えて多くの静止画や動画、アニメーションを含むさまざまな画面効果が活用されています。

迅速な開発サイクルの中でこのアプリケーションをテストし、評価し、改善していくためには、自動化された優れたテストプラットフォームが欠かせません。

その代表的なテストプラットフォームの1つが、モバイルアプリケーション向けテスト自動化ツールの代表的なオープンソースソフトウェアである「Appium」のリードエンジニアが在籍するHeadSpin社が提供する「HeadSpinデジタル分析プラットフォーム」です。

機械学習によってテスト結果を自動的に分析、問題を抽出

HeadSpinの特徴は大きく3つ挙げられます。

1つ目は、全世界100か所以上の拠点に、実際に現地のネットワークに接続されたモバイルデバイスの実機が配置されており、そこでテストを実行できること。

2つ目は、そのテスト結果を機械学習によって自動的に分析し、問題などの抽出を行い、解決策を提案する能力を備えていること。

3つ目はテスト結果を共有してHeadSpin上でアプリケーション開発者がコラボレーションできること、です。

HeadSpinの共同創設者でCTOのBrien Colwell氏は、9月3日に行われたイベント「データ分析が変えるソフトウェアテストの未来」で、このHeadSpinを紹介し、日本市場への展開をさらに推し進めていくことを明らかにしました。

全世界100カ所以上のHeadSpinの拠点で実機として利用できるのは、macOSとWindows上のWebブラウザ、そしてiOSとAndroidに対応したモバイルデバイス、Apple TV、Fire TV、Roku Tizen、LG TVなどのデバイスです。

アプリケーション開発者はクラウドを経由してこれら各地にある各種デバイスで実際にアプリケーションをテストし、その結果を得ることで、現地のユーザーが実際に体験するであろう環境下でのテストが実施できます。

これをビルド毎の自動テストに組み込むことで、例えばコードの変更や新たに追加した機能がユーザー体験に悪影響を与えるようなことはないか、といったことを自動的に機械学習によって検知し、問題があればその場所をチームで共有して原因を追及していく、といったことが可能になるわけです。

HeadSpinは日本語対応や日本語での情報提供を強化

日本語対応の強化では、OCRや入力データにおける日本語のサポートなどサービス自体の日本語対応強化に加えて、公式サイトやブログでの日本語での情報提供や導入支援なども強化していくとしています。

すでに国内でもHeadSpinの導入事例は広がっており、代表的な例としてAbemaTVでは映像品質の問題をリアルタイムでレポートするなどライブストリーミングのパフォーマンス監視のためのソリューションに取り組んでいるところ。バンダイナムコスタジオでもUnityベースのモバイルアプリケーションにおいてアプリケーションのパフォーマンス測定などに活用されているとのことです。

一般に、画像の品質やローディング中のアイコン表示時間の測定などによるパフォーマンス測定などは人間の目視によって行われることが多く、自動テストによってメトリクスを取得して数値で監視することは容易ではありません。

あるいはアプリケーションのコードに何らかの工夫をして、アプリケーションからパフォーマンスに関するメトリクスを得られるような工夫を行う場合もあるでしょう。

HeadSpinでは実際のネットワークに接続された物理デバイスにおけるテストと、それを視覚的にモニタリングして機械学習によって分析する能力などを組み合わせることによって、アプリケーションのコードに手を入れることなく、実際にユーザーが体験するであろう状態をメトリクスとして抽出して自動的に分析して検出し、それを基にコードを改善していくことが実現できるのです。

HeadSpinの実際のデモ

続いてイベントに登場したHeadSpin APACシニアソリューションエンジニア 金井慎治氏は、HeadSpinを実際に用いたデモを紹介しました。

HeadSpinでは下記画面のように、世界中に配置された実際のデバイスを選択してテストの実行が可能。

テストを実行すると、機械学習によって分析されたメトリクスから問題と思われる部分が自動的に「Issue」として左側に列挙されます。そして、そのIssueがセッションのどこで起きているのかはIssueをクリックすると下記画面のように中央のグラフに色の帯で示されます。ここから問題の分析を開始できるわけです。

このグラフ上に独自に「ラベル」を書き込んで、問題を関係者やチームで共有することでコラボレーションすることも可能。

また、繰り返し行ったA/Bテストの結果からそれぞれのパーセンタイル中の代表的な結果を選択し、その結果をあとから詳細に比較する機能も備えています。AとBそれぞれの条件下で動作にどのような差異が発生したのかを詳細に観察し、その原因調査を支援します。

あるビルドの自動テストにおいて、重要な指標での性能低下や劣化などが発見された場合、自動的にメールでアラートを発することも可能（SlackやWebhooksも近々対応予定）。

HeadSpinのなかでGrafanaを用いたダッシュボード画面を設定することも可能で、これにより社内や経営陣とアプリケーションの状況を共有し、品質とビジネスの関係を意識する企業文化を醸成する、といったことにも役立つのではないかと金井氏は説明しました。

テストの実行と洞察の収集を容易にしていく

HeadSpinのプロダクトエンジニアリング担当バイスプレジデントBrian Perea氏は、製品のロードマップを紹介しました。

これまでHeadSpinは、2022年第1四半期にAppium IDEの統合、第2四半期はダッシュボード管理の改善などを行ってきており、今年中にはリリースされる予定のオープンソースのテストフレームワーク「Appium 2.0」への対応を行います。

さらにアプリケーションの管理と操作性の向上にも取り組むとのこと。

Perea氏は、テストの実行と有用な洞察の収集を可能な限り容易にすることがHeadSpinのビジョンだとして、今後もそれを強化していくと説明。

重要な指標のトレンドについて顧客が容易に追跡できるようにし、新たなビルドにおいて重要な指標が劣化していないかどうかといったリグレッションの発生をインテリジェンスに検知、比較検討することを容易にすることに重点を置いているとしました。

≫HeadSpin｜テストプラットフォーム

（本記事は株式会社コウェル提供のタイアップ記事です）