A/B 대시보드
Last updated
Last updated
주요 기능과 활용 방법은 블로그에서도 확인하실 수 있습니다. [자세히 보기]
‘대시보드' 툴바에서 대시보드 뷰를 ‘A/B 대시보드'로 변경할 수 있으며, IMQA MPM A/B 대시보드는 다음과 같이 구성됩니다.
❶ 툴바(A/B 대시보드) ❷ 앱 요약 정보 ❸ 시계열 성능 정보 ❹ 성능 문제 발생률 ❺ 화면별 성능 현황 ❻ 최근 5분 성능 지표 ❼ 성능 하위 목록
현재 리액트 네이티브 프로젝트에서의 A/B 대시보드는 네이티브 데이터 중심으로 표시됩니다. 컴포넌트 성능 분석 기능은 추후 업데이트 예정입니다.
❶ 대시보드 정보 현재 대시보드 뷰 모드를 표시합니다.
❷ A 프로젝트 정보 현재 위치한 A 프로젝트의 플랫폼 아이콘과 프로젝트 이름을 표시합니다.
❸ B 프로젝트 정보 선택된 B 프로젝트의 플랫폼 아이콘과 프로젝트 이름을 표시합니다.
❹ A 프로젝트 앱 버전 현재 위치한 A 프로젝트의 앱 버전을 변경할 수 있습니다.
❺ 대시보드 뷰 다양한 주제의 대시보드 뷰로 변경할 수 있습니다.
❻ 비교할 B 프로젝트 선택 비교할 B 프로젝트를 선택할 수 있습니다. 설정한 비교 대상 프로젝트가 있을 경우, 기본 B 프로젝트로 우선 선택됩니다.
비교 대상 프로젝트 설정에 대한 자세한 내용은 'MPM 사용하기 > 관리 > 프로젝트 관리 > 프로젝트 정보 > 비교 대상 프로젝트'를 참고하세요.
❼ 비교할 B 프로젝트 앱 버전 비교할 B 프로젝트의 앱 버전을 변경할 수 있습니다.
A 프로젝트로 진입 후 비교할 B 프로젝트로 다른 플랫폼을 선택하여 A/B 대시보드를 확인할 수 있습니다.
현재 위치한 프로젝트의 대시보드 뷰를 ‘A/B 대시보드'로 변경합니다.
비교할 B 프로젝트로 다른 플랫폼 프로젝트를 선택합니다.
B 프로젝트의 앱 버전은 앱 버전 관리에서 지정한 우선순위가 가장 높은 앱 버전으로 자동 설정됩니다. 앱 버전 우선순위에 대한 자세한 내용은 'MPM 사용하기 > 프로젝트 리스트 > 전체 프로젝트 관리 > 앱 버전 관리'를 참고하세요.
A 프로젝트로 진입 후, 비교할 B 프로젝트로 동일한 프로젝트를 선택하여 A/B 대시보드를 확인할 수 있습니다.
현재 위치한 프로젝트의 앱 버전을 선택 후, 대시보드 뷰를 ‘A/B 대시보드'로 변경합니다.
비교할 B 프로젝트로 동일한 플랫폼 프로젝트를 선택합니다.
B 프로젝트의 앱 버전을 다른 앱 버전으로 선택합니다.
A, B 프로젝트의 오늘 사용자 수, 앱 실행 수와 최근 30분 평균 문제 발생률을 확인하고 비교할 수 있습니다. 앱 요약 정보는 1분마다 갱신됩니다.
오늘 날짜 00시부터 ~ 현재 시간까지의 사용자 수, 앱 실행 수를 확인할 수 있습니다.
이용자 수: 오늘의 사용자 수를 카운트합니다. 중복을 제외한 순 사용자를 의미합니다.
실행 수: 오늘의 앱 실행 수를 카운트합니다.
이용자 수
오늘 날짜 00시 ~ 현재 시간
사용자 수
카운트
실행 수
오늘 날짜 00시 ~ 현재 시간
앱 실행 수
카운트
빠른 파악을 위해 1,000단위를 ‘1K’로 요약 표시하며, 실제 데이터는 ‘K’로 요약 표시된 숫자에 마우스 포인터를 올리면 표시되는 툴팁으로 확인할 수 있습니다.
최근 30분의 평균 문제 발생률과 성능 날씨 지표를 확인할 수 있습니다. ‘평균 문제 발생률/성능 날씨’는 1분마다 갱신됩니다.
평균 문제 발생률: 최근 30분 동안의 각 성능 지표(화면 로딩시간, 응답시간, CPU, 메모리, 크래시)의 기준치를 넘는 데이터 비율인 문제 발생률의 평균을 산출합니다.
성능 날씨: 최근 30분 동안의 평균 문제 발생률에 따라 5단계 날씨 아이콘이 표시됩니다.
평균 문제 발생률
최근 30분
문제 발생률
각 성능 지표 문제 발생률
(기준치 이상 데이터 / 전체 데이터)*100 의 평균
성능 날씨
최근 30분
평균 문제 발생률
~20%, 5단계
평균 문제 발생률과 성능 날씨는 최근 30분 동안의 앱 전반 성능을 파악하는 경우에 유용합니다. 앱 단위의 상위 평가 지표를 통해 빠르게 성능을 평가할 수 있습니다.
A, B 프로젝트의 최근 30분간 사용자 수, 앱 실행 수, 크래시 발생 수와 화면 로딩시간, 응답시간, CPU, 메모리의 성능 지표의 전체 평균을 시계열 그래프로 표시합니다. 성능이 저하된 구간 및 성능의 변동 추이를 확인하고 비교할 수 있습니다. 시계열 성능 정보는 1분마다 갱신됩니다.
최근 30분간 사용자 수, 앱 실행 수를 1분 간격으로 확인하고 비교할 수 있습니다. ‘현재 이용자 & 실행 수’는 1분마다 갱신됩니다.
이용자 수: 최근 30분간 사용자 수를 1분 간격으로 카운트합니다. 중복을 제외한 순 사용자를 의미합니다.
실행 수: 최근 30분간 앱 실행 수를 1분 간격으로 카운트합니다.
최근 30분간 화면 로딩시간을 1분 간격으로 확인하고 비교할 수 있습니다. 전체 평균을 표시하며 ‘화면 로딩시간’은 1분마다 갱신됩니다.
화면 로딩시간: 최근 30분간 수집된 1분 간격 화면 로딩시간을 평균으로 산출합니다.
최근 30분간 응답시간을 1분 간격으로 확인하고 비교할 수 있습니다. 전체 평균을 표시하며 ‘응답시간’은 1분마다 갱신됩니다.
응답시간: 최근 30분간 수집된 1분 간격 응답시간을 평균으로 산출합니다.
응답시간이 오래 걸린 경우, 특정 시간에 네트워크나 서버에 문제가 있었는지 확인해 볼 수 있으며, ‘응답시간 하위 4 URL’과 연계하여 특정 URL에서 문제가 있었는지 분석할 수 있습니다.
최근 30분간 크래시 발생 수를 1분 간격으로 확인하고 비교할 수 있습니다. ‘크래시’는 1분마다 갱신됩니다.
크래시: 최근 30분간 크래시 발생 수를 1분 간격으로 카운트합니다.
최근 30분간 CPU 사용량을 1분 간격으로 확인하고 비교할 수 있습니다. 전체 평균을 표시하며 ‘CPU’는 1분마다 갱신됩니다.
CPU 사용량: 최근 30분간 수집된 1분 간격 CPU 사용량을 평균으로 산출합니다.
평균적으로 앱 CPU 사용량은 50% 이내로 기준을 잡습니다. 50%가 넘는 경우 앱에서 CPU를 사용하는 작업이 많다는 것으로 판단 할 수 있습니다.
최근 30분간 메모리 사용량을 1분 간격으로 확인할 수 있습니다. 전체 평균을 표시하며 ‘메모리’는 1분마다 갱신됩니다.
메모리 사용량: 최근 30분간 수집된 1분 간격 메모리 사용량을 평균으로 산출합니다.
평균적으로 앱 메모리 사용량은 100MB 이내로 기준을 잡습니다. 100MB 이상이 넘는 경우에 앱에서 메모리를 사용하는 작업이 많다는 것으로 판단 할 수 있습니다.
A, B 프로젝트의 최근 30분 동안의 크래시, 메모리, CPU, 응답시간, 화면 로딩시간의 5가지 성능 지표의 문제 발생률을 그래프로 표시합니다. 각 성능 지표 별 기준치를 넘는 데이터의 비율을 비교해 볼 수 있습니다. ‘성능 문제 발생률’은 1분마다 갱신됩니다.
문제 발생률: 최근 30분 동안의 성능 지표 별 기준치를 넘는 데이터의 비율을 산출합니다.
크래시
최근 30분
문제 발생률
크래시 발생 수 / 앱 실행 수
메모리
최근 30분
문제 발생률
(기준치 이상 데이터 / 전체 데이터)*100
CPU
최근 30분
문제 발생률
(기준치 이상 데이터 / 전체 데이터)*100
응답시간
최근 30분
문제 발생률
(기준치 이상 데이터 / 전체 데이터)*100
화면 로딩시간
최근 30분
문제 발생률
(기준치 이상 데이터 / 전체 데이터)*100
A,B 프로젝트별 가장 많은 문제가 발생한 성능 지표와 위험도를 함께 확인할 수 있으며, 위험도는 기준치 이상 정상 범위, 경고 범위, 위험 범위로 표시합니다. 문제 발생률이 가장 높은 성능 지표를 표시하기 때문에, 정상 범위의 지표도 표시될 수 있습니다.
성능 지표별 기준치는 ‘관리 > 프로젝트 프리셋'에서 설정할 수 있습니다.
A, B 프로젝트의 최근 30분 동안 사용자가 방문한 화면을 분포로 확인할 수 있습니다. 화면별 방문자 수와 각 성능의 문제 발생률, 평균 값을 비교할 수 있습니다. ‘화면별 성능 현황'은 1분마다 갱신됩니다.
❶ 성능 지표 ‘화면 로딩시간' ‘응답시간' ‘CPU’ ‘메모리’로 성능 지표를 변경할 수 있습니다. 지표 변경 시 아래의 화면 분포 그래프를 갱신합니다.
❷ 범례 화면 분포 그래프의 범례를 표시합니다. 마우스 포인터를 올리면 해당 프로젝트의 버블이 강조되며, 클릭 시 필터링할 수 있습니다.
❸ 화면 유형 필터 기본 ‘전체’로 설정되어 있으며, 현재 위치한 A 프로젝트의 앱 유형에 따라 선택 가능한 필터가 표시됩니다. 웹/하이브리드 앱의 경우 화면 카드를 ‘네이티브', ‘웹뷰'로 필터링할 수 있습니다.
A/B 대시보드에서의 화면 유형 필터는 현재 위치한 A 프로젝트의 앱 유형을 기준으로 적용됩니다. A 프로젝트가 네이티브 앱인 경우, B 프로젝트가 웹/하이브리드 앱일 경우에도 네이티브 화면만 표시됩니다. 만약 데이터가 없더라도 분석이 필요한 경우, 웹/하이브리드 앱 프로젝트를 기준으로 A/B 대시보드를 확인하세요.
❹ 화면 분포 그래프 최근 30분 동안의 사용자가 방문한 화면을 방문자 수, 문제 발생률, 평균값 분포로 표시합니다.
❺ 그래프 확대/축소/초기화 화면 분포 그래프 영역에 마우스 포인터를 올리면 표시됩니다. 그래프 확대, 축소, 초기화가 가능하며 마우스 드래그로 구간을 확대할 수 있습니다.
❻ 화면 버블 최근 30분 동안 사용자가 방문한 화면을 버블로 표시합니다.
A, B 프로젝트의 최근 30분 동안의 사용자 방문 화면 분포를 버블 차트로 표시합니다.
❶ 버블 차트 버블 차트는 3종류의 데이터로 상호 관계와 밀집도를 확인할 수 있으며, 많은 데이터를 한눈에 볼 수 있는 장점이 있습니다. 문제 발생률을 가로축에, 성능 수치를 세로축에 나타낸 뒤, 버블의 크기로 판단 우선순위를 표시합니다. 버블 차트는 데이터의 분포 또는 밀집 현상을 확인하고, 이상치를 시각적으로 파악하는데 유용합니다.
화면 로딩시간
최근 30분
문제 발생률
화면 로딩시간(ms)
방문자 수
응답시간
최근 30분
문제 발생률
응답시간(ms)
방문자 수
CPU
최근 30분
문제 발생률
CPU 사용량(%)
방문자 수
메모리
최근 30분
문제 발생률
메모리 사용량(%)
방문자 수
❷ 화면 버블 군집 현상 화면 버블이 밀집되어 있을 경우, 다수의 화면이 비슷한 성능 수치와 문제가 있음을 알 수 있습니다. 0에 가까울수록 좋은 성능을 의미합니다.
❸ 군집에서 벗어난 화면 버블 화면 버블이 군집에서 벗어나 있을 경우, 특정 화면이 평균적인 상황에서 벗어나 있음을 알 수 있습니다. 또한 방문자 수로 표현된 버블 크기와 문제 발생률로 다수나 소수의 사용자에게 저하 현상이 있는지도 확인할 수 있습니다.
❹ B 프로젝트 기준선 가로 점선은 B 프로젝트의 성능 지표별 기준치를 표시합니다.
❺ A 프로젝트 기준선 가로 실선은 A 프로젝트의 성능 지표별 기준치를 표시합니다.
화면 단위를 성능 수치와 문제 발생률로 그린 분포 그래프를 통해 앱 내의 화면의 평균적인 성능과 눈에 띄는 성능 저하 화면을 직관적으로 확인할 수 있습니다. 분포에서 떨어진 화면은 앱의 평균 성능에서 벗어난 화면 단위라고 판단할 수 있으며, 넓게 분포되어 있다면 앱의 목표 성능을 설정하기 위한 개선 지표로 활용해보세요.
화면 버블에 마우스 포인터를 올리면 표시되는 툴팁으로 최근 30분 동안의 사용자가 방문한 화면 별 방문자 수, 성능 지표 별 평균값, 문제 발생률, 기준치를 확인할 수 있습니다. 화면 버블 클릭 시 해당 화면의 ‘화면별 성능 분석’ 페이지로 이동할 수 있습니다.
화면 이름: 화면의 이름을 표시합니다.
평균값: 해당 화면의 최근 30분간 각 성능 지표(화면 로딩시간, 응답시간, CPU, 메모리)의 평균을 산출합니다.
문제 발생률: 최근 30분 동안의 성능 지표 별 기준치를 넘는 데이터의 비율을 산출합니다.
기준치: 해당 프로젝트에 설정된 각 성능 기준치를 표시합니다.
문제가 발견된 화면의 ‘화면별 성능 분석’에서 성능 저하 원인을 상세하게 분석할 수 있습니다.
A, B 프로젝트의 최근 5분간 화면 로딩시간, 응답시간, 자원 사용량의 실시간 성능 변동 확인과 밀착 관리가 가능합니다. 최근 5분 화면 로딩시간과 응답시간 지표는 5분 집단의 분포 상태를 파악하거나 비교할 때 유용합니다. 최근 5분 성능 분포는 1분마다 갱신됩니다.
❶ 범례 성능 분포 그래프의 범례를 표시합니다. 마우스 포인터를 올리면 해당 프로젝트의 막대가 강조되며, 클릭시 필터링할 수 있습니다.
❷ 화면 유형 필터 기본 ‘네이티브’로 설정되어 있으며, 현재 위치한 A 프로젝트의 앱 유형에 따라 선택 가능한 필터가 표시됩니다. 웹/하이브리드 앱의 경우 화면 카드를 ‘네이티브', ‘웹뷰'로 필터링할 수 있습니다.
A/B 대시보드에서의 화면 유형 필터는 현재 위치한 A 프로젝트의 앱 유형을 기준으로 적용됩니다. A 프로젝트가 네이티브 앱인 경우, B 프로젝트가 웹/하이브리드 앱일 경우에도 네이티브 화면 데이터만 표시됩니다. 만약 데이터가 없더라도 분석이 필요한 경우, 웹/하이브리드 앱 프로젝트를 기준으로 A/B 대시보드를 확인하세요.
❸ A/B 평균 A, B 프로젝트의 최근 5분간 화면 로딩시간, 응답시간의 전체 평균을 표시합니다.
A/B 평균: A, B 프로젝트의 최근 5분간 화면 로딩시간, 응답시간의 평균을 산출합니다.
화면 로딩시간, 응답시간
최근 5분
A/B 평균
전체 평균
❹ 성능 분포 그래프 최근 5분 동안의 성능 데이터 분포를 히스토그램으로 표시합니다. 히스토그램은 계급을 가로축에, 도수를 세로축에 나타낸 뒤, 집계된 데이터를 여러 구간을 정해 계급을 만들고, 각 계급에 속하는 데이터 수로 도수를 표시합니다. 히스토그램은 전체 집단의 분포 상태를 파악하거나 비교할 때 유용합니다.
화면 로딩시간
화면 로딩시간(ms)
0 ~ 5,000ms
수집된 데이터 수
응답시간
응답시간(ms)
0 ~ 10,000ms
수집된 데이터 수
성능 분포 그래프를 통해 앱 사용자가 어떤 성능 환경에 있는지 알 수 있습니다. 기준치 구간에 대부분의 사용자가 분포되어 있다면 앱 사용이 원활하다고 판단할 수 있으며, 넓게 분포되어 있다면 앱이 다양한 사용자 환경에 최적화되어 있지 않음을 의미합니다. 앱의 목표 성능을 설정하기 위한 개선 지표로 활용해보세요.
❺ 50% 기준선 성능 평균 기준선을 표시합니다. 전체 데이터 분포의 중간 위치를 표시하며, 전반적인 성능을 파악하는 경우에 유용합니다. 기준선이 0에 가까울수록 빠른 성능을 의미합니다.
❻ 95% 기준선 성능 하위 5% 기준선을 표시합니다. 전체 데이터 분포의 하위 5%가 시작되는 지점을 표시하며, 성능이 가장 낮은 데이터를 파악하는 경우에 유용합니다. 기준선이 0에 가까울수록 빠른 성능을 의미합니다.
❼ 구간 막대 막대에 마우스 포인터를 올리면 표시되는 툴팁으로 성능 구간, 건 수를 확인할 수 있습니다. 화면 로딩시간 막대 클릭 시 ‘네이티브 트레이스 뷰’ ‘웹 리소스 분석’, 응답시간 막대 클릭 시 ‘상세 응답 분석’ 팝업을 표시합니다.
성능 구간: 성능 수치 구간을 표시합니다.
건 수: 최근 5분간 수집된 각 성능 데이터 건 수를 카운트합니다.
성능 분포 그래프에서 눈에 띄는 데이터의 상세한 연계 분석이 가능합니다. ‘네이티브 트레이스 뷰’ ‘웹 리소스 분석’ ‘상세 응답 분석’ 을 통해 어떤 환경의 사용자가, 어떤 요청이었는지 등 좀 더 상세한 정보를 빠르게 확인하는 것이 가능합니다.
❶ 범례 막대 그래프의 범례를 표시합니다. 마우스 포인터를 올리면 해당 프로젝트의 막대가 강조되며, 클릭시 필터링할 수 있습니다.
❷ A/B 평균 A, B 프로젝트의 최근 5분간 CPU 사용량, 메모리 사용량의 전체 평균을 표시합니다.
A/B 평균: A, B 프로젝트의 최근 5분간 CPU 사용량, 메모리 사용량의 평균을 산출합니다.
CPU, 메모리
최근 5분
A/B 평균
전체 평균
❸ 막대 그래프 최근 5분 동안의 성능 데이터 평균을 표시합니다. CPU 막대 길이는 100% 기준으로 표시하며, 메모리 막대 길이는 수치가 높은 막대를 100%로 상대 비율로 표시합니다. CPU 막대 클릭 시 ‘CPU 상세 분석’, 메모리 막대 클릭 시 ‘메모리 상세 분석’ 팝업을 표시합니다.
평균값: 최근 5분간 CPU, 메모리 사용량의 평균을 산출합니다.
CPU
최근 5분
CPU 사용량
전체 평균
메모리
최근 5분
메모리 사용량
전체 평균
막대 그래프에서 눈에 띄는 데이터의 상세한 연계 분석이 가능합니다. ‘CPU 상세 분석’ ‘메모리 상세 분석’을 통해 어떤 환경의 사용자가, 어떤 함수를 호출했었는지 등 좀 더 상세한 정보를 빠르게 확인하는 것이 가능합니다.
A, B 프로젝트의 최근 30분간 가장 많이 발생한 크래시 4개를 표시합니다. 크래시 수 높은 순으로 정렬되며 긴 크래시 이름은 마우스 포인터를 올리면 표시되는 툴 팁으로 확인할 수 있습니다. ‘크래시 상위 4'은 1분마다 갱신됩니다.
크래시 명: 에러의 이름을 표시합니다. 항목 클릭 시 해당 크래시의 ‘에러 상세’ 페이지로 이동할 수 있습니다.
크래시 수: 해당 에러의 30분 발생 누적 횟수를 카운트합니다.
비율 : 30분 동안 발생한 에러 중 해당 에러가 차지하는 비율을 표시합니다.
URL A, B 프로젝트의 최근 30분간 가장 평균 응답시간이 느린 URL 4개를 표시합니다. 응답시간 높은 순으로 정렬되며 긴 URL은 마우스 포인터를 올리면 표시되는 툴팁으로 확인할 수 있습니다. ‘응답시간 하위 4 URL'은 1분마다 갱신됩니다.
URL: 요청된 URL을 표시합니다. 항목 클릭 시 ‘상세 응답 분석’ 팝업을 표시합니다.
호출 횟수: 해당 URL의 30분 요청 누적 횟수를 카운트합니다.
응답시간: 해당 URL의 평균 응답시간을 표시합니다.
A, B 프로젝트의 최근 30분간 가장 많이 방문한 화면 4개를 표시합니다. 조회 수 높은 순으로 정렬되며 긴 화면 이름은 마우스 포인터를 올리면 표시되는 툴팁으로 확인할 수 있습니다. ‘조회 상위 4 화면'은 1분마다 갱신됩니다.
화면: 네이티브 화면, 웹뷰 화면 이름을 표시합니다. 긴 화면 이름은 마우스 포인터를 올리면 표시되는 툴팁으로 확인할 수 있습니다. 항목 클릭 시 해당 화면의 ‘화면별 성능 분석’ 페이지로 이동할 수 있습니다.
방문자 수: 해당 화면에 방문한 사용자 수를 카운트합니다. 중복을 제외한 순 사용자를 의미합니다.
조회 수: 해당 화면의 방문 수를 카운트합니다.
