A/Bのダッシュボード

IMQA MPM A/Bのダッシュボードは、現在位置するプロジェクトAと他のプロジェクトBを比較し、一目で確認できるA/B専用指標で構成され、Android＋iOSのアプリ単位の統合モニタリングや、比較するプロジェクト2つを同時にモニタリングできます。

1. 概要

「ダッシュボード」ツールバーでダッシュボード Viewを「A/Bダッシュボード」に変更可能で、IMQA MPM A/Bダッシュボードは次のように構成されています。

❶ ツールバー (A/B ダッシュボード) ❷ アプリ要約情報 ❸ 時系列性能情報 ❹ 性能問題発生率 ❺ 画面別性能状況 ❻ 直近5分性能指標 ❼ 性能下位リスト

現在、リアクトネイティブプロジェクトのA / Bダッシュボードはネイティブデータ中心として表示されます。 コンポーネントのパフォーマンス分析機能は今後のアップデートを予定しています。

ツールバー (A/B ダッシュボード)

❶ ダッシュボード 情報 現在ダッシュボード View モードを表示しています。

❷ Aプロジェクト情報 現在位置するAプロジェクトのプラットフォームアイコンとプロジェクト名を表示します。

❸ Bプロジェクト情報 選択されたBプロジェクトのプラットフォームアイコンとプロジェクト名を表示します。

❹ Aプロジェクト アプリバージョン 現在位置するAプロジェクトのアプリバージョンを変更することができます。

❺ ダッシュボード View 様々なテーマのダッシュボード View に変更することができます。

❻ 比較するBプロジェクトを選択 比較するBプロジェクトを選択することができます。設定した比較対象プロジェクトがある場合、基本Bプロジェクトとして優先選択されます。

比較対象プロジェクト設定の詳細は、「IMQA MPM ユーザーガイド>プロジェクト管理>比較対象プロジェクト」をご参照ください。

❼ 比較するBプロジェクトアプリのバージョン 比較するBプロジェクトのアプリバージョンを変更できます。

AndroidとiOSを比較したい場合

Aプロジェクトに進入後、比較するBプロジェクトに他のプラットフォームを選択してA/Bダッシュボードを確認することができます。

① 現在位置するプロジェクトのダッシュボード Viewを「A/Bダッシュボード」に変更します。

② 比較するBプロジェクトに他のプラットフォームプロジェクトを選択します。

Bプロジェクトのアプリバージョンは、アプリバージョン管理で指定した優先順位が最も高いアプリバージョンに自動設定されます。

アプリバージョンの優先順位に関する詳しい内容は「IMQA MPM ユーザガイド > すべてのプロジェクト管理 > アプリバージョン管理」をご参照ください。

以前のバージョンと最新バージョンを比較したい場合

Aプロジェクトに進入後、比較するBプロジェクトで同じプロジェクトを選択してA/Bダッシュボードを確認することができます。

① 現在位置するプロジェクトのアプリバージョンを選択し、ダッシュボードビューを「A/Bダッシュボード」に変更します。

② 比較するBプロジェクトに同のプラットフォームプロジェクトを選択します。

③ Bプロジェクトのアプリバージョンを別のアプリバージョンとして選択します。

2. アプリ要約情報

A、Bプロジェクトの今日のユーザー数、アプリ実行数と、最近30分間の問題発生率平均 を確認して比較することができます。「アプリ要約情報」は1分毎に更新されます。

今日利用者数/今日実行数

今日の日付の00時から現在の時間までのユーザー数、アプリ実行数を確認することができます。

• 今日利用者数Today User: 今日のユーザー数がカウントされます。重複を除いたユニークユーザーを意味します。

• 今日実行数Today Run Count: 今日のアプリ実行数がカウントされます。

性能指標	算出区間	算出値	合算方式
利用者数	今日の日付00時~現在の時間	ユーザー数	カウント
実行数	今日の日付00時~現在の時間	アプリ実行数	カウント

速やかに把握できるよう、1,000単位は「1K」と要約して表示されます。実際のデータは、「K」で要約表示された数字にカーソルを重ねると表示されるツールチップで確認することができます。

問題発生率平均/性能天気

最近30分間の問題発生率平均と性能天気指標を確認することができます。「問題発生率平均/性能天気」は1分毎に更新されます。

• 問題発生率平均 : 最近30分間の各性能指標(画面ローディング時間、レスポンスタイム、CPU、メモリ、クラッシュ)の基準値を超えるデータの比率である問題発生率の平均を算出します。

• 性能天気 : 最近30分間の問題発生率平均によって5段階の天気アイコンが表示されます。

性能指標	算出区間	算出値	合算方式
問題発生率平均	直近30分基準	問題発生率	性能問題発生率 (基準値以上のデータ / 全デタ)*100
性能天気	直近30分基準	問題発生率平均	~20%, 5段階

問題発生率平均と性能天気は最近30分間のアプリの全般的な性能を把握する場合に役立ちます。アプリ単位での上位評価指標によって素早く性能を評価することができます。

3. 時系列性能情報

直近の30分間のクラッシュ発生数、画面ローディング時間、レスポンスタイム、CPU、メモリの性能指標と全体平均が時系列グラフで表示されます。性能が低下した区間や性能の変動推移を把握することができます。時系列性能情報は、1分毎に更新されます。

現在の利用者数&実行数

最近30分間のユーザー数、アプリの実行数を1分ごとに確認して比較することができます。「現在の利用者数&実行数」は1分毎に更新されます。

• 現在の利用者数: 最近30分間のユーザー数を1分ごとにカウントします。重複を除いたユニークユーザーを意味します。

• 実行数: 最近30分間のアプリ実行数を1分ごとにカウントします。

画面ローディング時間

最近30分間の画面ローディング時間を1分ごとに確認して比較することができます。全体平均が表示され、「画面ローディング時間」は1分毎に更新されます。

• 画面ローディング時間: 最近30分間に収集された1分ごとの画面ローディング時間の平均を算出します。

レスポンスタイム

直近の30分間のレスポンスタイムを1分間隔で確認することができます。全体平均が表示され、「レスポンスタイム」は1分毎に更新されます。

• レスポンスタイム: 最近30分間に収集された1分ごとのレスポンスタイムの平均を算出します。

レスポンスタイムが長かった場合、特定の時間にネットワークやサーバーに問題はなかったか確認することができ、「レスポンスタイム下位4URL」と連携して特定のURLに問題はなかったか分析することができます。

クラッシュ

直近の30分間のクラッシュを1分間隔で確認することができます。「クラッシュ」は1分毎に更新されます。

• クラッシュ: 最近30分間のクラッシュ発生数を1分ごとにカウントします。

CPU

直近の30分間のCPU使用量を1分間隔で確認することができます。全体平均が表示され、「CPU使用量」は1分毎に更新されます。

• CPU使用量: 最近30分間に収集された1分ごとのCPU使用量の平均を算出します。

平均的にアプリのCPU使用量は50%以内を基準にしています。50%を超える場合、アプリでCPUを使用する作業が多いと判断することができます。

メモリ

直近の30分間のメモリ使用量を1分間隔で確認することができます。全体平均が表示され、「メモリ使用量」は1分毎に更新されます。

• メモリ使用量: 最近30分間に収集された1分ごとのメモリ使用量の平均を算出します。

平均的にアプリのメモリ使用量は100MB以内を基準にしています。100MBを超える場合、アプリでメモリを使用する作業が多いと判断することができます。

4. 性能問題発生率

A、Bプロジェクトの最近30分間のクラッシュ、メモリ、CPU、レスポンスタイム、画面ローディング時間の5つの性能指標の問題発生率をグラフで表示します。各性能指標別の基準値を超えるデータの比率を比較することができます。「性能問題発生率」は1分毎に更新されます。

• 問題発生率: 最近30分間の性能指標別の基準値を超えるデータの比率を算出します。

性能指標	算出区間	算出値	合算方式
クラッシュ	直近の30分	問題発生率	クラッシュ発生数 / アプリ実行数
メモリ	直近の30分	문제 발생률	(基準値以上のデータ / 全データ)*100
CPU	直近の30分	문제 발생률	(基準値以上のデータ / 全データ)*100
レスポンスタイム	直近の30分	문제 발생률	(基準値以上のデータ / 全データ)*100
画面ローディング時間	直近の30分	문제 발생률	(基準値以上のデータ / 全データ)*100

A、Bプロジェクト別の最も多く問題が発生した性能指標と危険度を合わせて確認することができ、危険度は基準値以上の正常範囲、警告範囲、危険範囲で表示されます。問題発生率が最も高い性能指標を表示するので、正常範囲の指標も表示されることがあります。

性能指標別基準値は、「管理 > プロジェクトプリセット」で設定することができます。

5. 画面別性能状況

A、Bプロジェクトの最近30分間ユーザーが訪問した画面を分布で確認することができます。画面別訪問者数と各性能の問題発生率、平均値を比較することができます。「画面別性能状況」は1分毎に更新されます。

❶ 性能指標 「画面ローディング時間」「レスポンスタイム」「CPU」「メモリ」に性能指標を変更することができます。指標を変更すると下の画面分布グラフを更新します。

❷ 凡例 画面分布グラフの凡例を表示します。 マウスポインターを乗せると、該当するプロジェクトのバブルが強調され、クリックするとフィルタリングできます。

❸ 画面タイプフィルター 基本は「すべて」に設定されており、現在位置するAプロジェクトのアプリタイプによって選択可能なフィルターが表示されます。 ウェブ/ハイブリッドアプリは、画面カードを「ネイティブ」「ウェブビュー」にフィルタリングできます。

A/Bダッシュボードでの画面タイプフィルターは、現在位置するAプロジェクトのアプリタイプを基準に適用されます。Aプロジェクトがネイティブアプリの場合、Bプロジェクトがウェブ/ハイブリッドアプリの場合でもネイティブ画面のみ表示されます。もしデータがなくても分析が必要な場合、ウェブ/ハイブリッドアプリのプロジェクトを基準にA/Bダッシュボードを確認してください。

❹ 画面分布グラフ 最近30分間ユーザーが訪問した画面を訪問者数、問題発生率、平均値の分布で表示します。

❺ グラフの拡大/縮小/初期化 画面分布グラフ領域にマウスポインターを乗せると表示されます。グラフ拡大、縮小、初期化が可能で、マウスでドラッグして区間を拡大することができます。

❻ 画面バブル 最近30分間、ユーザーが訪問 した画面をバブルで表示します。

画面分布グラフ

A、Bプロジェクトの最近30分間ユーザーが訪問した画面分布をバブルチャートで表示します。

❶ バブルチャート バブルチャートは3種類のデータで相互関係や密集度が確認でき、多くのデータが一目で確認できるというメリットがあります。問題発生率を横軸に、性能数値を縦軸にし、バブルのサイズで判断の優先順位を表します。バブルチャートはデータの分布、または密集現象を確認し、異常値を可視化して把握するのに役立ちます。

性能指標	算出区間	X軸	Y軸	バブルサイズ
画面ローディング時間	直近の30分	問題発生率	画面ローディング時間(ms)	訪問者数
レスポンスタイム	直近の30分	問題発生率	レスポンスタイム(ms)	訪問者数
CPU	直近の30分	問題発生率	CPU使用量(%)	訪問者数
メモリ	直近の30分	問題発生率	メモリ使用量(%)	訪問者数

❷ 画面バブルの群集現象 画面バブルが密集されている場合、多数の画面が似たような性能数値と問題があることが分かります。0に近いほど良い性能を意味します。

❸ 群集から外れた画面バブル 画面バブルが群集から外れている場合、特定の画面が平均的な状況から外れていることが分かります。また、訪問者数で表されたバブルのサイズや問題発生率で、多数や少数のユーザーに低下現象があることも確認できます。

❹ Bプロジェクト基準線 横の点線はBプロジェクトの性能指標別の基準値を表します。

❺ Aプロジェクト基準線 横の実線はAプロジェクトの性能指標別の基準値を表します。

画面単位を性能数値と問題発生率で描いた分布グラフで、アプリ内の画面の平均性能と目立つ性能低下画面を直観的に確認することができます。分布から離れた画面はアプリの平均性能から外れた画面単位であると判断でき、広く分布されているのなら、アプリの目標性能を設定するための改善指標として活用してください。

画面バブル

画面バブルにマウスポインターを乗せると表示されるツールチップで、最近30分間ユーザーが訪問した画面別の訪問者数、性能指標別の平均値、問題発生率、基準値を確認することができます。画面バブルをクリックすると、該当する画面の「画面別性能分析」ページに移動することができます。

• 画面名: 画面名を表示します。

• 平均: 該当する画面の最近30分間の各性能指標(画面ローディング時間、レスポンスタイム、CPU、メモリ)の平均を算出します。

• 問題発生率: 最近30分間の性能指標別の基準値を超えるデータの比率を算出します。

• 基準値: 該当するプロジェクトに設定された各性能基準値を表示します。

問題が発見された画面の「画面別性能分析」で、性能低下の原因を詳しく分析することができます。

6. 直近5分性能指標

A、Bプロジェクトの最近5分間の画面ローディング時間、レスポンスタイム、リソース使用量のリアルタイム性能変動の確認と密着した管理が可能です。最近5分間の画面ローディング時間とレスポンスタイムの指標は、5分集団の分布状態を把握したり比較する時に役立ちます。直近5分性能指標は1分毎に更新されます。

直近5時分間画面ローディング / レスポンスタイム分布

❶ 凡例 性能分布グラフの凡例を表示します。マウスポインターを乗せると、該当するプロジェクトの棒が強調され、クリックするとフィルタリングできます。

❷ 画面タイプフィルター 基本は「ネイティブ」に設定されており、現在位置するAプロジェクトのアプリタイプによって選択可能なフィルターが表示されます。 ウェブ/ハイブリッドアプリは、画面カードを「ネイティブ」「ウェブビュー」にフィルタリングできます。

A/Bダッシュボードでの画面タイプフィルターは、現在位置するAプロジェクトのアプリタイプを基準に適用されます。Aプロジェクトがネイティブアプリの場合、Bプロジェクトがウェブ/ハイブリッドアプリの場合でもネイティブ画面のみ表示されます。もしデータがなくても分析が必要な場合、ウェブ/ハイブリッドアプリのプロジェクトを基準にA/Bダッシュボードを確認してください。

❸ A/B 平均 A、Bプロジェクトの最近5分間の画面ローディング時間、レスポンスタイムの全体の平均を表示します。

• A/B 平均: A、Bプロジェクトの最近5分間の画面ローディング時間、レスポンスタイムの平均を算出します。

性能指標	算出区間	算出値	合算方式
画面ローディング時間, レスポンスタイム	直近の5分	A/B 平均	全体平均

❹ 性能分布グラフ 最近5分間の性能データ分布をヒストグラムに表示します。ヒストグラムは階級を横軸に、度数を縦軸に表した後、集計されたデータからいくつかの区間を決めて階級を作り、各階級に属するデータ数で度数を表示します。

性能指標	X軸	階級	Y軸
画面ローディング時間	画面ローディング時間(ms)	0 ~ 5,000ms	収集されたデータ数
レスポンスタイム	画面ローディング時間(ms)	0 ~ 10,000ms	収集されたデータ数

性能分布グラフを通して、アプリユーザーがどのような性能環境を利用しているのかを把握することができます。基準値区間にほとんどのユーザーが分布している場合は、アプリを円滑に使用できていると判断でき、広く分布されている場合は、アプリが様々なユーザー環境に最適化されていないことを表します。アプリの目標性能を設定するための改善指標としてご活用ください。

❺ 50%基準線 性能平均基準線を表します。全データ分布の中間位置を表示し、全般的な性能を把握する場合に有用です。 基準線が0に近いほど速い性能を意味します。

❻ 95%基準線 性能下位5%基準線を表します。全データ分布の下位5%が始まる地点を表示し、性能が最も低いデータを把握する場合に有用です。 基準線が0に近いほど速い性能を意味します。

❼ 区間棒 棒にマウスポインターを乗せると表示されるツールチップで性能区間、件数を確認することができます。 画面ローディング時間の棒をクリックすると「ネイティブスタック分析」、「ウェブリソース分析」の、レスポンスタイムの棒をクリックすると「詳細レスポンス分析 」のポップアップが表示されます。

• 性能区間: 性能数値区間を表示します。

• 件数 5m : 最近5分間収集された各性能データの件数をカウントします。

性能分布グラフで目立つデータの詳しい連携分析が可能です。「ネイティブスタック分析」、「ウェブリソース分析」、「詳細レスポンス分析」で、どんな環境のユーザーがどんなリクエストをしたのかなど、より詳しい情報を素早く確認することができます。

直近5時分間CPU / メモリ

❶ 凡例 棒グラフの凡例を表示します。 マウスポインターを乗せると、該当するプロジェクトの棒が強調され、クリックするとフィルタリングできます。

❷ A/B 平均 A、Bプロジェクトの最近5分間のCPU使用量、メモリ使用量の全体の平均を表示します。

• A/B 平均 5m: A、Bプロジェクトの最近5分間のCPU使用量、メモリ使用量の平均を算出します。

性能指標	算出区間	算出値	合算方式
CPU, メモリ	直近の5分	A/B 平均	全体平均

❸ 棒グラフ 最近5分間の性能データの平均を表示します。 CPUの棒の長さは100%を基準に表し、メモリの棒の長さは数値が高い棒を100%に相対比率で表します。CPUの棒をクリックすると「CPU詳細分析」、メモリの棒をクリックすると「メモリ詳細分析」のポップアップが表示されます。

• 平均: 最近5分間のCPU使用量、メモリ使用量の平均を算出します。

性能指標	算出区間	算出値	合算方式
CPU	直近の5分	CPU使用量	全体平均
メモリ	直近の5分	メモリ使用量	全体平均

棒グラフで目立つデータの詳しい連携分析が可能です。「CPU詳細分析」、「メモリ詳細分析」で、どんな環境のユーザーがどんな関数をリクエストしたのかなど、より詳しい情報を素早く確認することができます。

7. 性能下位リスト

クラッシュ上位4

A、Bプロジェクトの最近30分間最も多く発生したクラッシュ4つを表示します。クラッシュ数が高い順に並べられ、長いクラッシュ名はマウスポインターを乗せると表示されるツールチップで確認することができます。 「クラッシュ上位4」は1分毎に更新されます。

• クラッシュ名: エラー名を表示します。項目をクリックすると、該当するクラッシュの「エラー詳細」ページに移動することができます。

• クラッシュ数: 該当するエラーの30分間発生した累計回数をカウントします。

• 比率: 30分間発生したエラーのうち、該当するエラーが占める比率を表示します。

レスポンスタイム下位6URL

A、Bプロジェクトの最近30分間の平均レスポンスタイムが最も遅かったURL4つを表示します。レスポンスタイムが高い順に並べられ、長いURLはマウスポインターを乗せると表示されるツールチップで確認することができます。 「レスポンスタイム下位6URL」は1分毎に更新されます。

• URL: リクエストされたURLが表示されます。項目をクリックすると、「詳細レスポンス分析 」のポップアップが表示されます。

• リクエスト数: 当該URLの30分間のリクエスト累積回数がカウントされます。

• レスポンスタイム: 当該URLのレスポンスタイムが表示されます。

画面ビュー上位4

A、Bプロジェクトの最近30分間最も多く訪問した画面4つを表示します。ビュー数が高い順に並べられ、長い画面名はマウスポインターを乗せると表示されるツールチップで確認することができます。「画面ビュー上位4」は1分毎に更新されます。

• 画面: ネイティブ画面、ウェブビュー画面名を表示します。長い画面名はマウスポインターを乗せると表示されるツールチップで確認することができます。項目をクリックすると、該当する画面の「画面別性能分析」ページに移動することができます。

• 訪問者数: 該当する画面に訪問 したユーザー数をカウントします。重複を除いたユニークユーザーを意味します。

• ビュー数: 該当する画面の訪問数をカウントします。