성과 측정, 어떻게 해야할까? ①

안녕하세요, 야메군입니다. 
앞서 MAU, DAU가 당신의 성과가 될 수 없는 이유를 주제로 포스팅을 한 바 있는데요, 이 부분에 대해 좀 더 구체적으로 다루어볼까 합니다.(몇몇 분들의 원성이 있었습니다. "운만 띄우지 말고 방법을 알려줘!!" =_=;) 앞선 글을 간단히 요약하자면 성과로 인정받기 위해서는 검증할 수 있는 목적 지향적 데이터여야 한다는 내용이었습니다. 이를 설명하기 위해 퍼널 분석(funnel analysis) 기법을 통해 이탈률을 측정하는 방법을 잠시 언급했었죠? 그런데 지표의 측정방법이 퍼널 분석 하나뿐이냐? 물론 아니죠. 오늘은 실무에서 활용될만한 측정 기법들을 알아보고 적절한 예시를 통해 성과를 측정할 수 있는 기법들을 알아보도록 하겠습니다. 
 

1. 범용적인 성과측정 기법, 퍼널 분석(funnel analysis)

먼저 기획자, PO로 직무 경험을 조금 해봤다면 한 번쯤은 들어봤을 법한 퍼널 분석입니다. 한글로 번역하면 깔때기라는 이름으로 해석되는지라 여기서는 좀 더 있어빌리티 한 용어인 퍼널로 통일할게요.(하지만 깔때기라는 용어가 퍼널 분석 본연의 의미를 직관적으로 전달해 주긴 하네요.)  실무에서 사용되는 퍼널 분석은 회원 가입이나 결제 등 고객의 목적이 존재하는 서비스 동선을 측정하여 각 단계별 전환율(%) 내지 이탈률(%)을 측정합니다. 
 
퍼널 분석을 통해 측정된 데이터를 기반으로 어느 단계의 고객 이탈 수치가 높은 지를 체크하고 가설과 검증을 통해 이탈을 최소화할 수 있는 방안을 적용함으로써 그 효과를 극대화할 수 있습니다. 이렇게 설명하면 무척 간단하게 적용해 볼 수 있는 분석 기법이라 생각할 수 있는데, 관련해서 몇 가지 특징을 알아 보겠습니다.
 

메인페이지에 진입한 이후 가입까지의 퍼널 데이터

 
① 명확한 단계 정의
퍼널의 각 단계가 명확하게 정의되고 구별되어야 합니다. 단계 정의의 모호성으로 인해 데이터가 중복되고 해석이 명확하지 않을 수 있습니다. 예를 들어 커머스의 결제 동선에 대한 퍼널 분석을 적용한다고 가정해 봅시다. 이 경우 일반적으로 메인-상품목록-상품상세-결제정보 입력-결제 완료의 다섯 단계를 거치게 될 텐데, 여기에 메인과 상품목록 사이에 마이페이지 메인이 들어간다면 결제 동선과 인과관계가 없는 엉뚱한 단계로 인해 추출되는 데이터에 의미를 부여하기 어려운 상황이 야기될 수 있습니다.  
 
② 편향적인 샘플
기본적으로 퍼널 분석 시 사용자의 설정은 특정 성별, 특정 연령대가 아닌 전체 사용자를 대상으로 해야 합니다. 물론 서비스가 성별이나 연령에 따라 각기 다른 레이아웃 구조를 갖는다면 사용자 특성에 따른 필터링이 필요할 수 있습니다. 하지만 보편적인 서비스는 사용자의 인구통계학적 특성을 크게 고려하지 않기 때문에 특정 집단군으로 추출한 데이터를 전체 사용자에게 적용하는 것은 심각한 데이터 왜곡이 발생할 수 있습니다.
 
③ 시즈널 한 변수의 최소화
가능하면 주요 마케팅 캠페인 또는 중요한 세계 이벤트와 같이 분석 기간 동안 사용자 행동에 영향을 미칠 수 있는 외부 영향을 최소화하도록 노력합니다. 여기서 시즈널한 이슈에는 무엇이 있을까요? 일단 매년 반복되는 이슈에는 밸런타인/화이트데이 시즌, 휴가 시즌, 졸업/입학 시즌, 연말 시즌, 명절 시즌 등이 있을 테고, 몇 년에 한 번씩 정기적으로 돌아오는 시즌이라면 올림픽, 월드컵, 아시안게임, 각종 선거 등이 있을 겁니다. 1년을 기준으로 보면 이렇게 온갖 다양한 이슈들이 반복될 것이므로 이러한 이슈를 다 피할 수는 없을 겁니다. 이를 해결할 수 있는 방법은 퍼널 분석 데이터의 비교 기준을 한 달 전이나 일주일 전이 아닌 1년 전 동일 기간으로 설정하고 데이터를 비교한다면 동일 기간 내 동일 변수가 적용되므로 마치 "1-1=0"이 되는 것과 같은 상쇄효과를 얻을 수 있는 것이겠죠.
 
④ 원인의 고찰
퍼널 분석은 주로 각 단계에서의 이탈에 초점을 맞추고 있지만, 이러한 이탈의 이면에 있는 '이유'를 설명해주지는 않습니다. 퍼널 분석은 사용자 설문조사나 사용성 테스트와 같은 다른 정성적인 방법으로 보완하는 것이 좋습니다.
 
⑤ 도출된 인사이트의 실행
퍼널 분석의 주요 목표는 실행 가능한 통찰력을 도출하는 것입니다. 분석 후에는 A/B 테스트든, 디자인 변경이든, 새로운 마케팅 전략이든 확실한 다음 단계가 있어야 합니다. 실행되지 못하는 방향성은 공허한 메아리일 뿐이죠.
 

2. 어떻게 활용해야 할까?

앞서 퍼널 분석의 기본적인 특징을 정리해 봤는데요. 그럼 활용도 해봐야겠죠? 일단 퍼널 분석을 하기 위해서는 데이터를 수집할 수 있는 환경이 갖춰져야 합니다. 대표적인 툴로 구글 애널리틱스와 앰플리튜드가 있죠. 툴의 특징이나 세팅 방법은 이미 많은 지면에서 다루고 있는 만큼 여기서 언급하지는 않고요. 툴이 세팅되어 있다는 전제로 과정을 설명하겠습니다.
 
① Flow 구성하기
퍼널 분석의 첫 번째 단계는 퍼널 분석을 통해 유의미한 데이터를 도출할 수 있는 Flow를 구성해야 합니다. 하나의 큰 서비스에는 다양한 단위 서비스들이 있고 이들 중 전환율을 측정이 필요한 서비스가 있을 겁니다. 예를 들어 회원 가입이나 결제, 프로필 등록, 게시글 작성, 강의 영상 시청, 회원 탈퇴와 같은 서비스가 있을 텐데요. 각 서비스는 최종적인 목표가 존재하며 목표 달성까지의 과정이 존재하는 것이 일반적입니다.
 

특정 Flow의 1개월간 전환(이탈)률 데이터

 
만일 회원 가입 서비스의 고객 이탈률 감소를 목적으로 퍼널 분석을 한다고 가정해 보죠. 여기서 대상이 되는 회원 가입 서비스는 약관 동의 단계-회원 정보 입력 단계-가입 완료 단계 정도로 구성되어 있을 겁니다. 이를 회원 가입 서비스의 Flow라 하며, 퍼널 분석을 위해 가장 먼저 정의해야 합니다.
 
② 단계 별 전환(이탈)률 확인
①과 같이 각 단계를 잘 설정해 주었다면 위의 그림과 같이 설정된 Flow 상에서 각 구간 별 이탈률이 측정됩니다. 위의 그림을 보면 1 Step에서 2 Step로 넘어가는 과정에서 대략 30%가량의 이탈이 발생했고, 2 Step에서 3 Step로 넘어갈 땐 대략 47%가량이 이탈된 것으로 확인됩니다. 전체적으로 볼 때 1 Step에서 3 Step까지의 누적 이탈률은 대략 60%가량이란 결론이 나오죠. 이 중에서 주목해야 할 부분은 누적 이탈률이 아닌 1에서 2로 다시 3으로 넘어가는 각 단계별 이탈률입니다. 
 
③ 이탈의 원인 분석
앞서 살펴본 단계 별 이탈률인 30%와 47%의 수치로 알 수 있는 것은 "아.. 고객이 이탈하는구나.." 정도입니다. 사실 이 정도만으로는 문제를 해결할 수 없죠. 설령 뭔가를 해보더라도 "아, 문제가 있으니 리뉴얼을 하자." 정도의 개괄적인 접근일 뿐이죠. 기본적으로 분석의 범위는 문제를 정량적으로 파악하고 이에 대한 원인을 도출한 후 문제를 해결할 수 있는 방안을 제시하는 것까지입니다. 그렇다면 다음에 해야 할 단계는 문제의 원인 분석입니다. 
 
이를 수행하기 위해서는 해당 페이지의 UI/UX, 서비스의 기술적 문제 여부, 사용 상의 장애요소, 정보의 직관성 등을 체크해야 합니다. 서비스를 특정해서 설명하지 않았지만 아마 대부분의 문제는 위의 요소들 중에 있으리라 판단되고요. 이를 통해 다음 Step으로 이동하는 과정에서 왜 이탈이 발생하는지 문제의 근원을 확인해야 합니다. 
 
④ 문제의 해결과 검증
이제 ③번에서 확인한 문제를 해결하는 과정만 남았습니다. 사실문제만 정확히 확인된다면야 해결 자체는 그리 어려운 일이 아닐 겁니다. 오히려 해결 자체보다 실제로 그 문제가 해결되었는지에 대한 검증이 더 중요할 수 있죠. 꽤 많은 서비스 기획자들은 문제를 인지한 이후 이에 대한 해결에만 관심을 가질 뿐, 실제로 해결됐는지에 대해서는 관심을 가지지 않는 경우가 많습니다. 물론 꼬리에 꼬리를 무는 업무 탓이라는 핑계를 댈 수도 있습니다. 하지만 행위에 따른 검증이 뒤따르지 못한다면 마치 아이를 출산한 이후 알아서 크겠거니 생각하는 것과 다를 바가 없을 겁니다.

 

적용한 솔루션의 검증은 분석의 필수코스입니다.

 
그럼 어떻게 검증하면 될까요? 
기본적인 검증 방법은 개선 전(As-is)과 개선 후(To-be)로 구분하여 데이터를 비교해 볼 수 있습니다. 기간은 전년도 동일 기간으로 설정해서 시즈널 한 변수를 최소화할 필요가 있습니다. 다만 전년도의 데이터가 없다면 직전과 직후 7일 내지 14일 정도로 설정해도 괜찮습니다. 이를 통해 적용된 설루션이 주요했는가를 판단해 볼 수 있습니다. 만일 UI/UX 또는 정보의 직관성 등을 주요 문제로 꼽았다면 A/B 테스트를 더하는 방식으로 응용해 볼 수도 있겠네요. A/B 테스트에 대해서는 다음번 포스트를 통해 자세히 다뤄보도록 하겠습니다.

오늘은 성과 측정기법의 하나인 퍼널 분석의 특징과 적용 방법을 알아봤는데요. 측정할 수 없다면 개선할 수 없다는 피터 드러커의 명언처럼 지표 측정은 서비스 개선의 시작과 끝입니다. 지표를 통해 개선의 근거를 마련하고 이를 측정하여 성과를 확인하는 과정은 서비스 기획자에게 있어 숙명이자 영원한 굴레와 같다는 점을 꼭 기억하시기 바라고요. 지금 한 번 당신의 업무 프로세스를 살펴봐주세요. 성과 측정, 하고 있나요?

---

온라인 공간에서 야메군이란 닉네임으로 활동 중인 23년 차 서비스 기획자. 네이버 웹/모바일 기획자 커뮤니티 웹(WWW)을 만드는 사람들에서 운영진으로 활동했으며, 딴지일보를 시작으로 아이러브스쿨, 메가엔터프라이즈, 짱공유닷컴, YES24를 거쳐 IT 원천기술 연구소 Valhalla Lab에서 Pattern recognition과 Machine learning 기반의 Natural language processing 기술의 상업적 이용방법에 대한 연구. 최근 스타트업계로 이직, 반려동물과 온라인 피트니스 분야를 경험했고 자율주행 도메인을 거쳐 현재 SaaS 기반 Monitoring 도메인에서 유일한 기획자로 재직 중. 2016년 7월, 웹/모바일 기획자의 업무능력 향상을 위한 서적 “처음부터 다시 배우는 웹 기획”(정재용, 최준호, 조영수 공저) 출간. 2008년부터 약 15년간 서비스기획자의 성장을 위한 온/오프 강의를 통해 후배 기획자를 양성 중.