A/B 대시보드
Last updated
Last updated
주요 기능과 활용 방법은 블로그에서도 확인하실 수 있습니다. [자세히 보기]
‘대시보드' 툴바에서 대시보드 뷰를 ‘A/B 대시보드'로 변경할 수 있으며, IMQA MPM A/B 대시보드는 다음과 같이 구성됩니다.
❶ 툴바(A/B 대시보드) ❷ 앱 요약 정보 ❸ 시계열 성능 정보 ❹ 성능 문제 발생률 ❺ 화면별 성능 현황 ❻ 최근 5분 성능 지표 ❼ 성능 하위 목록
현재 리액트 네이티브 프로젝트에서의 A/B 대시보드는 네이티브 데이터 중심으로 표시됩니다. 컴포넌트 성능 분석 기능은 추후 업데이트 예정입니다.
❶ 대시보드 정보 현재 대시보드 뷰 모드를 표시합니다.
❷ A 프로젝트 정보 현재 위치한 A 프로젝트의 플랫폼 아이콘과 프로젝트 이름을 표시합니다.
❸ B 프로젝트 정보 선택된 B 프로젝트의 플랫폼 아이콘과 프로젝트 이름을 표시합니다.
❹ A 프로젝트 앱 버전 현재 위치한 A 프로젝트의 앱 버전을 변경할 수 있습니다.
❺ 대시보드 뷰 다양한 주제의 대시보드 뷰로 변경할 수 있습니다.
❻ 비교할 B 프로젝트 선택 비교할 B 프로젝트를 선택할 수 있습니다. 설정한 비교 대상 프로젝트가 있을 경우, 기본 B 프로젝트로 우선 선택됩니다.
비교 대상 프로젝트 설정에 대한 자세한 내용은 'MPM 사용하기 > 관리 > 프로젝트 관리 > 프로젝트 정보 > 비교 대상 프로젝트'를 참고하세요.
❼ 비교할 B 프로젝트 앱 버전 비교할 B 프로젝트의 앱 버전을 변경할 수 있습니다.
A 프로젝트로 진입 후 비교할 B 프로젝트로 다른 플랫폼을 선택하여 A/B 대시보드를 확인할 수 있습니다.
현재 위치한 프로젝트의 대시보드 뷰를 ‘A/B 대시보드'로 변경합니다.
비교할 B 프로젝트로 다른 플랫폼 프로젝트를 선택합니다.
B 프로젝트의 앱 버전은 앱 버전 관리에서 지정한 우선순위가 가장 높은 앱 버전으로 자동 설정됩니다. 앱 버전 우선순위에 대한 자세한 내용은 'MPM 사용하기 > 프로젝트 리스트 > 전체 프로젝트 관리 > 앱 버전 관리'를 참고하세요.
A 프로젝트로 진입 후, 비교할 B 프로젝트로 동일한 프로젝트를 선택하여 A/B 대시보드를 확인할 수 있습니다.
현재 위치한 프로젝트의 앱 버전을 선택 후, 대시보드 뷰를 ‘A/B 대시보드'로 변경합니다.
비교할 B 프로젝트로 동일한 플랫폼 프로젝트를 선택합니다.
B 프로젝트의 앱 버전을 다른 앱 버전으로 선택합니다.
A, B 프로젝트의 오늘 사용자 수, 앱 실행 수와 최근 30분 평균 문제 발생률을 확인하고 비교할 수 있습니다. 앱 요약 정보는 1분마다 갱신됩니다.
오늘 날짜 00시부터 ~ 현재 시간까지의 사용자 수, 앱 실행 수를 확인할 수 있습니다.
이용자 수: 오늘의 사용자 수를 카운트합니다. 중복을 제외한 순 사용자를 의미합니다.
실행 수: 오늘의 앱 실행 수를 카운트합니다.
| 성능 지표 | 산출 구간 | 산출 값 | 병합 방식 |
|---|---|---|---|
이용자 수 | 오늘 날짜 00시 ~ 현재 시간 | 사용자 수 | 카운트 |
실행 수 | 오늘 날짜 00시 ~ 현재 시간 | 앱 실행 수 | 카운트 |
빠른 파악을 위해 1,000단위를 ‘1K’로 요약 표시하며, 실제 데이터는 ‘K’로 요약 표시된 숫자에 마우스 포인터를 올리면 표시되는 툴팁으로 확인할 수 있습니다.
최근 30분의 평균 문제 발생률과 성능 날씨 지표를 확인할 수 있습니다. ‘평균 문제 발생률/성능 날씨’는 1분마다 갱신됩니다.
평균 문제 발생률: 최근 30분 동안의 각 성능 지표(화면 로딩시간, 응답시간, CPU, 메모리, 크래시)의 기준치를 넘는 데이터 비율인 문제 발생률의 평균을 산출합니다.
성능 날씨: 최근 30분 동안의 평균 문제 발생률에 따라 5단계 날씨 아이콘이 표시됩니다.
| 성능 지표 | 산출 구간 | 산출 값 | 병합 방식 |
|---|---|---|---|
평균 문제 발생률 | 최근 30분 | 문제 발생률 | 각 성능 지표 문제 발생률 (기준치 이상 데이터 / 전체 데이터)*100 의 평균 |
성능 날씨 | 최근 30분 | 평균 문제 발생률 | ~20%, 5단계 |
평균 문제 발생률과 성능 날씨는 최근 30분 동안의 앱 전반 성능을 파악하는 경우에 유용합니다. 앱 단위의 상위 평가 지표를 통해 빠르게 성능을 평가할 수 있습니다.
A, B 프로젝트의 최근 30분간 사용자 수, 앱 실행 수, 크래시 발생 수와 화면 로딩시간, 응답시간, CPU, 메모리의 성능 지표의 전체 평균을 시계열 그래프로 표시합니다. 성능이 저하된 구간 및 성능의 변동 추이를 확인하고 비교할 수 있습니다. 시계열 성능 정보는 1분마다 갱신됩니다.
최근 30분간 사용자 수, 앱 실행 수를 1분 간격으로 확인하고 비교할 수 있습니다. ‘현재 이용자 & 실행 수’는 1분마다 갱신됩니다.
이용자 수: 최근 30분간 사용자 수를 1분 간격으로 카운트합니다. 중복을 제외한 순 사용자를 의미합니다.
실행 수: 최근 30분간 앱 실행 수를 1분 간격으로 카운트합니다.
최근 30분간 화면 로딩시간을 1분 간격으로 확인하고 비교할 수 있습니다. 전체 평균을 표시하며 ‘화면 로딩시간’은 1분마다 갱신됩니다.
화면 로딩시간: 최근 30분간 수집된 1분 간격 화면 로딩시간을 평균으로 산출합니다.
최근 30분간 응답시간을 1분 간격으로 확인하고 비교할 수 있습니다. 전체 평균을 표시하며 ‘응답시간’은 1분마다 갱신됩니다.
응답시간: 최근 30분간 수집된 1분 간격 응답시간을 평균으로 산출합니다.
응답시간이 오래 걸린 경우, 특정 시간에 네트워크나 서버에 문제가 있었는지 확인해 볼 수 있으며, ‘응답시간 하위 4 URL’과 연계하여 특정 URL에서 문제가 있었는지 분석할 수 있습니다.
최근 30분간 크래시 발생 수를 1분 간격으로 확인하고 비교할 수 있습니다. ‘크래시’는 1분마다 갱신됩니다.
크래시: 최근 30분간 크래시 발생 수를 1분 간격으로 카운트합니다.
최근 30분간 CPU 사용량을 1분 간격으로 확인하고 비교할 수 있습니다. 전체 평균을 표시하며 ‘CPU’는 1분마다 갱신됩니다.
CPU 사용량: 최근 30분간 수집된 1분 간격 CPU 사용량을 평균으로 산출합니다.
평균적으로 앱 CPU 사용량은 50% 이내로 기준을 잡습니다. 50%가 넘는 경우 앱에서 CPU를 사용하는 작업이 많다는 것으로 판단 할 수 있습니다.
최근 30분간 메모리 사용량을 1분 간격으로 확인할 수 있습니다. 전체 평균을 표시하며 ‘메모리’는 1분마다 갱신됩니다.
메모리 사용량: 최근 30분간 수집된 1분 간격 메모리 사용량을 평균으로 산출합니다.
평균적으로 앱 메모리 사용량은 100MB 이내로 기준을 잡습니다. 100MB 이상이 넘는 경우에 앱에서 메모리를 사용하는 작업이 많다는 것으로 판단 할 수 있습니다.
A, B 프로젝트의 최근 30분 동안의 크래시, 메모리, CPU, 응답시간, 화면 로딩시간의 5가지 성능 지표의 문제 발생률을 그래프로 표시합니다. 각 성능 지표 별 기준치를 넘는 데이터의 비율을 비교해 볼 수 있습니다. ‘성능 문제 발생률’은 1분마다 갱신됩니다.
문제 발생률: 최근 30분 동안의 성능 지표 별 기준치를 넘는 데이터의 비율을 산출합니다.
| 성능 지표 | 산출 구간 | 산출 값 | 병합 방식 |
|---|---|---|---|
크래시 | 최근 30분 | 문제 발생률 | 크래시 발생 수 / 앱 실행 수 |
메모리 | 최근 30분 | 문제 발생률 | (기준치 이상 데이터 / 전체 데이터)*100 |
CPU | 최근 30분 | 문제 발생률 | (기준치 이상 데이터 / 전체 데이터)*100 |
응답시간 | 최근 30분 | 문제 발생률 | (기준치 이상 데이터 / 전체 데이터)*100 |
화면 로딩시간 | 최근 30분 | 문제 발생률 | (기준치 이상 데이터 / 전체 데이터)*100 |
A,B 프로젝트별 가장 많은 문제가 발생한 성능 지표와 위험도를 함께 확인할 수 있으며, 위험도는 기준치 이상 정상 범위, 경고 범위, 위험 범위로 표시합니다. 문제 발생률이 가장 높은 성능 지표를 표시하기 때문에, 정상 범위의 지표도 표시될 수 있습니다.
성능 지표별 기준치는 ‘관리 > 프로젝트 프리셋'에서 설정할 수 있습니다.
A, B 프로젝트의 최근 30분 동안 사용자가 방문한 화면을 분포로 확인할 수 있습니다. 화면별 방문자 수와 각 성능의 문제 발생률, 평균 값을 비교할 수 있습니다. ‘화면별 성능 현황'은 1분마다 갱신됩니다.
❶ 성능 지표 ‘화면 로딩시간' ‘응답시간' ‘CPU’ ‘메모리’로 성능 지표를 변경할 수 있습니다. 지표 변경 시 아래의 화면 분포 그래프를 갱신합니다.
❷ 범례 화면 분포 그래프의 범례를 표시합니다. 마우스 포인터를 올리면 해당 프로젝트의 버블이 강조되며, 클릭 시 필터링할 수 있습니다.
❸ 화면 유형 필터 기본 ‘전체’로 설정되어 있으며, 현재 위치한 A 프로젝트의 앱 유형에 따라 선택 가능한 필터가 표시됩니다. 웹/하이브리드 앱의 경우 화면 카드를 ‘네이티브', ‘웹뷰'로 필터링할 수 있습니다.
A/B 대시보드에서의 화면 유형 필터는 현재 위치한 A 프로젝트의 앱 유형을 기준으로 적용됩니다. A 프로젝트가 네이티브 앱인 경우, B 프로젝트가 웹/하이브리드 앱일 경우에도 네이티브 화면만 표시됩니다. 만약 데이터가 없더라도 분석이 필요한 경우, 웹/하이브리드 앱 프로젝트를 기준으로 A/B 대시보드를 확인하세요.
❹ 화면 분포 그래프 최근 30분 동안의 사용자가 방문한 화면을 방문자 수, 문제 발생률, 평균값 분포로 표시합니다.
❺ 그래프 확대/축소/초기화 화면 분포 그래프 영역에 마우스 포인터를 올리면 표시됩니다. 그래프 확대, 축소, 초기화가 가능하며 마우스 드래그로 구간을 확대할 수 있습니다.
❻ 화면 버블 최근 30분 동안 사용자가 방문한 화면을 버블로 표시합니다.
A, B 프로젝트의 최근 30분 동안의 사용자 방문 화면 분포를 버블 차트로 표시합니다.
❶ 버블 차트 버블 차트는 3종류의 데이터로 상호 관계와 밀집도를 확인할 수 있으며, 많은 데이터를 한눈에 볼 수 있는 장점이 있습니다. 문제 발생률을 가로축에, 성능 수치를 세로축에 나타낸 뒤, 버블의 크기로 판단 우선순위를 표시합니다. 버블 차트는 데이터의 분포 또는 밀집 현상을 확인하고, 이상치를 시각적으로 파악하는데 유용합니다.
| 성능 지표 | 산출 구간 | X축 | Y축 | 버블 크기 |
|---|---|---|---|---|
화면 로딩시간 | 최근 30분 | 문제 발생률 | 화면 로딩시간(ms) | 방문자 수 |
응답시간 | 최근 30분 | 문제 발생률 | 응답시간(ms) | 방문자 수 |
CPU | 최근 30분 | 문제 발생률 | CPU 사용량(%) | 방문자 수 |
메모리 | 최근 30분 | 문제 발생률 | 메모리 사용량(%) | 방문자 수 |
❷ 화면 버블 군집 현상 화면 버블이 밀집되어 있을 경우, 다수의 화면이 비슷한 성능 수치와 문제가 있음을 알 수 있습니다. 0에 가까울수록 좋은 성능을 의미합니다.
❸ 군집에서 벗어난 화면 버블 화면 버블이 군집에서 벗어나 있을 경우, 특정 화면이 평균적인 상황에서 벗어나 있음을 알 수 있습니다. 또한 방문자 수로 표현된 버블 크기와 문제 발생률로 다수나 소수의 사용자에게 저하 현상이 있는지도 확인할 수 있습니다.
❹ B 프로젝트 기준선 가로 점선은 B 프로젝트의 성능 지표별 기준치를 표시합니다.
❺ A 프로젝트 기준선 가로 실선은 A 프로젝트의 성능 지표별 기준치를 표시합니다.
화면 단위를 성능 수치와 문제 발생률로 그린 분포 그래프를 통해 앱 내의 화면의 평균적인 성능과 눈에 띄는 성능 저하 화면을 직관적으로 확인할 수 있습니다. 분포에서 떨어진 화면은 앱의 평균 성능에서 벗어난 화면 단위라고 판단할 수 있으며, 넓게 분포되어 있다면 앱의 목표 성능을 설정하기 위한 개선 지표로 활용해보세요.
화면 버블에 마우스 포인터를 올리면 표시되는 툴팁으로 최근 30분 동안의 사용자가 방문한 화면 별 방문자 수, 성능 지표 별 평균값, 문제 발생률, 기준치를 확인할 수 있습니다. 화면 버블 클릭 시 해당 화면의 ‘화면별 성능 분석’ 페이지로 이동할 수 있습니다.
화면 이름: 화면의 이름을 표시합니다.
평균값: 해당 화면의 최근 30분간 각 성능 지표(화면 로딩시간, 응답시간, CPU, 메모리)의 평균을 산출합니다.
문제 발생률: 최근 30분 동안의 성능 지표 별 기준치를 넘는 데이터의 비율을 산출합니다.
기준치: 해당 프로젝트에 설정된 각 성능 기준치를 표시합니다.
문제가 발견된 화면의 ‘화면별 성능 분석’에서 성능 저하 원인을 상세하게 분석할 수 있습니다.
A, B 프로젝트의 최근 5분간 화면 로딩시간, 응답시간, 자원 사용량의 실시간 성능 변동 확인과 밀착 관리가 가능합니다. 최근 5분 화면 로딩시간과 응답시간 지표는 5분 집단의 분포 상태를 파악하거나 비교할 때 유용합니다. 최근 5분 성능 분포는 1분마다 갱신됩니다.
❶ 범례 성능 분포 그래프의 범례를 표시합니다. 마우스 포인터를 올리면 해당 프로젝트의 막대가 강조되며, 클릭시 필터링할 수 있습니다.
❷ 화면 유형 필터 기본 ‘네이티브’로 설정되어 있으며, 현재 위치한 A 프로젝트의 앱 유형에 따라 선택 가능한 필터가 표시됩니다. 웹/하이브리드 앱의 경우 화면 카드를 ‘네이티브', ‘웹뷰'로 필터링할 수 있습니다.
A/B 대시보드에서의 화면 유형 필터는 현재 위치한 A 프로젝트의 앱 유형을 기준으로 적용됩니다. A 프로젝트가 네이티브 앱인 경우, B 프로젝트가 웹/하이브리드 앱일 경우에도 네이티브 화면 데이터만 표시됩니다. 만약 데이터가 없더라도 분석이 필요한 경우, 웹/하이브리드 앱 프로젝트를 기준으로 A/B 대시보드를 확인하세요.
❸ A/B 평균 A, B 프로젝트의 최근 5분간 화면 로딩시간, 응답시간의 전체 평균을 표시합니다.
A/B 평균: A, B 프로젝트의 최근 5분간 화면 로딩시간, 응답시간의 평균을 산출합니다.
| 성능 지표 | 산출 구간 | 산출 값 | 병합 방식 |
|---|---|---|---|
화면 로딩시간, 응답시간 | 최근 5분 | A/B 평균 | 전체 평균 |
❹ 성능 분포 그래프 최근 5분 동안의 성능 데이터 분포를 히스토그램으로 표시합니다. 히스토그램은 계급을 가로축에, 도수를 세로축에 나타낸 뒤, 집계된 데이터를 여러 구간을 정해 계급을 만들고, 각 계급에 속하는 데이터 수로 도수를 표시합니다. 히스토그램은 전체 집단의 분포 상태를 파악하거나 비교할 때 유용합니다.
| 성능 지표 | X축 | 계급 | Y축 |
|---|---|---|---|
화면 로딩시간 | 화면 로딩시간(ms) | 0 ~ 5,000ms | 수집된 데이터 수 |
응답시간 | 응답시간(ms) | 0 ~ 10,000ms | 수집된 데이터 수 |
성능 분포 그래프를 통해 앱 사용자가 어떤 성능 환경에 있는지 알 수 있습니다. 기준치 구간에 대부분의 사용자가 분포되어 있다면 앱 사용이 원활하다고 판단할 수 있으며, 넓게 분포되어 있다면 앱이 다양한 사용자 환경에 최적화되어 있지 않음을 의미합니다. 앱의 목표 성능을 설정하기 위한 개선 지표로 활용해보세요.
❺ 50% 기준선 성능 평균 기준선을 표시합니다. 전체 데이터 분포의 중간 위치를 표시하며, 전반적인 성능을 파악하는 경우에 유용합니다. 기준선이 0에 가까울수록 빠른 성능을 의미합니다.
❻ 95% 기준선 성능 하위 5% 기준선을 표시합니다. 전체 데이터 분포의 하위 5%가 시작되는 지점을 표시하며, 성능이 가장 낮은 데이터를 파악하는 경우에 유용합니다. 기준선이 0에 가까울수록 빠른 성능을 의미합니다.
❼ 구간 막대 막대에 마우스 포인터를 올리면 표시되는 툴팁으로 성능 구간, 건 수를 확인할 수 있습니다. 화면 로딩시간 막대 클릭 시 ‘네이티브 트레이스 뷰’ ‘웹 리소스 분석’, 응답시간 막대 클릭 시 ‘상세 응답 분석’ 팝업을 표시합니다.
성능 구간: 성능 수치 구간을 표시합니다.
건 수: 최근 5분간 수집된 각 성능 데이터 건 수를 카운트합니다.
성능 분포 그래프에서 눈에 띄는 데이터의 상세한 연계 분석이 가능합니다. ‘네이티브 트레이스 뷰’ ‘웹 리소스 분석’ ‘상세 응답 분석’ 을 통해 어떤 환경의 사용자가, 어떤 요청이었는지 등 좀 더 상세한 정보를 빠르게 확인하는 것이 가능합니다.
❶ 범례 막대 그래프의 범례를 표시합니다. 마우스 포인터를 올리면 해당 프로젝트의 막대가 강조되며, 클릭시 필터링할 수 있습니다.
❷ A/B 평균 A, B 프로젝트의 최근 5분간 CPU 사용량, 메모리 사용량의 전체 평균을 표시합니다.
A/B 평균: A, B 프로젝트의 최근 5분간 CPU 사용량, 메모리 사용량의 평균을 산출합니다.
| 성능 지표 | 산출 구간 | 산출 값 | 병합 방식 |
|---|---|---|---|
CPU, 메모리 | 최근 5분 | A/B 평균 | 전체 평균 |
❸ 막대 그래프 최근 5분 동안의 성능 데이터 평균을 표시합니다. CPU 막대 길이는 100% 기준으로 표시하며, 메모리 막대 길이는 수치가 높은 막대를 100%로 상대 비율로 표시합니다. CPU 막대 클릭 시 ‘CPU 상세 분석’, 메모리 막대 클릭 시 ‘메모리 상세 분석’ 팝업을 표시합니다.
평균값: 최근 5분간 CPU, 메모리 사용량의 평균을 산출합니다.
| 성능 지표 | 산출 구간 | 산출 값 | 병합 방식 |
|---|---|---|---|
CPU | 최근 5분 | CPU 사용량 | 전체 평균 |
메모리 | 최근 5분 | 메모리 사용량 | 전체 평균 |
막대 그래프에서 눈에 띄는 데이터의 상세한 연계 분석이 가능합니다. ‘CPU 상세 분석’ ‘메모리 상세 분석’을 통해 어떤 환경의 사용자가, 어떤 함수를 호출했었는지 등 좀 더 상세한 정보를 빠르게 확인하는 것이 가능합니다.
A, B 프로젝트의 최근 30분간 가장 많이 발생한 크래시 4개를 표시합니다. 크래시 수 높은 순으로 정렬되며 긴 크래시 이름은 마우스 포인터를 올리면 표시되는 툴 팁으로 확인할 수 있습니다. ‘크래시 상위 4'은 1분마다 갱신됩니다.
크래시 명: 에러의 이름을 표시합니다. 항목 클릭 시 해당 크래시의 ‘에러 상세’ 페이지로 이동할 수 있습니다.
크래시 수: 해당 에러의 30분 발생 누적 횟수를 카운트합니다.
비율 : 30분 동안 발생한 에러 중 해당 에러가 차지하는 비율을 표시합니다.
URL A, B 프로젝트의 최근 30분간 가장 평균 응답시간이 느린 URL 4개를 표시합니다. 응답시간 높은 순으로 정렬되며 긴 URL은 마우스 포인터를 올리면 표시되는 툴팁으로 확인할 수 있습니다. ‘응답시간 하위 4 URL'은 1분마다 갱신됩니다.
URL: 요청된 URL을 표시합니다. 항목 클릭 시 ‘상세 응답 분석’ 팝업을 표시합니다.
호출 횟수: 해당 URL의 30분 요청 누적 횟수를 카운트합니다.
응답시간: 해당 URL의 평균 응답시간을 표시합니다.
A, B 프로젝트의 최근 30분간 가장 많이 방문한 화면 4개를 표시합니다. 조회 수 높은 순으로 정렬되며 긴 화면 이름은 마우스 포인터를 올리면 표시되는 툴팁으로 확인할 수 있습니다. ‘조회 상위 4 화면'은 1분마다 갱신됩니다.
화면: 네이티브 화면, 웹뷰 화면 이름을 표시합니다. 긴 화면 이름은 마우스 포인터를 올리면 표시되는 툴팁으로 확인할 수 있습니다. 항목 클릭 시 해당 화면의 ‘화면별 성능 분석’ 페이지로 이동할 수 있습니다.
방문자 수: 해당 화면에 방문한 사용자 수를 카운트합니다. 중복을 제외한 순 사용자를 의미합니다.
조회 수: 해당 화면의 방문 수를 카운트합니다.
