🌟 디테일의 간격 시리즈! [👊 우리 제품의 아하! 모먼트, 어떻게 찾을 수 있을까?] (👀간단 요약) `아하 모먼트(Aha moment)'는 신규 유저가 제품에서 처음으로 가치를 느낀 순간을 의미한다. 정확히는 떠나는 유저와 남아있을 가능성이 높은 유저들을 구분하는 일련의 행동들이라고 볼 수 있다. 각각의 회사들은 고유한 '아하 모먼트'를 가지고 있으며, 높은 리텐션을 만들어내기 위해서는 이를 발견하는 것이 매우 중요하다. - 페이스북은 10일 내에 7명의 친구와 연결되는 것을 아하 모먼트로 정의한다. - 슬랙의 경우 팀 내에서 2000개의 메시지가 오고 갔을 때이다. '아하 모먼트'를 특정 지표로 정의함으로써 얻을 수 있는 가장 큰 이득은 전체 회사가 명확하고 의미있는 '북극성'을 향해 집중할 수 있다는 점이다. 페이스북의 전 그로스 조직 리드 Chamath Palihapitiya에 따르면 팀이 '10일 내에 7명의 친구' 외에는 아무것도 이야기하지 않았다고 한다. 📌 Step1 : 기준(baseline) 리텐션 이해하기 첫 단계는 현재의 리텐션 상태를 이해하는 것이다. 특히 유입된 유저를 분류해 코호트를 분석하면 불필요한 데이터를 줄이고 최근 트렌드를 확인할 수 있다. (분문에 언급된 샘플 : 메시징앱) 0일 이후 리텐션이 가파르게 떨어지고, 그 후에는 점진적인 감소가 발생하는 것을 볼 수 있다. 30일 간의 그래프로 시각화하는 것이 가장 좋다. 이 수치를 높이는 것을 목표로 진행해보자. 📌 Step2 : 가설 세우기 어떤 행동이나 기능이 리텐션에 영향을 줄 수 있을지 가설을 세워보는 것이다. 첫 단계로 가장 충성도가 높은 유저와 이탈한 유저 간의 로우(raw) 데이터를 비교해보는 것도 좋다. 충성 유저들이 했지만 이탈한 유저들은 하지 않은 행동은 무엇인가? 신규 유저가 취하는 20-30개의 액션을 모두 리스트업하고 가장 관련도 높은 2-3개를 뽑는 것도 도움이 될 것이다. 📌 Step 3: 가설 검증하기 가설에 따라 우리는 유저들을 특정 행동을 했는지 안했는지에 따라 그룹화하고, 행동 기반 코호트를 통해 이러한 행동들이 실제로 높은 리텐션과 관련이 있는지를 확인할 수 있다. 모든 핵심 행동을 기준치와 비교해보고, 기준치와 큰 차이가 없다면 다른 지표에 집중하자. (ex : 전체 유저와 첫날 최소 1명의 친구를 추가한 유저들의 리텐션 코호트를 비교해보면, 최소 1명의 친구를 추가한 유저들이 첫 30일 동안 더 높은 리텐션을 경험) 📌 Step 4: 적정한 액션의 빈도를 찾기 특정 액션이 '아하 모먼트'가 되기 위해서는 대다수 유저의 전환점(tipping point)를 대표할 수 있어야 한다. 해당 행동을 한 유저들 중 남아있는 유저(Most users who performed the action, retained)와 남아있는 유저들 중 해당 행동을 한 유저(Most users who retained, performed the action)의 교집합을 아하 모먼트로 정의할 수 있다. 앱의 특성이나 선호도에 따라 리텐션을 정의해야 한다. (예를 들어 가입 후 4주 동안 최소 4번 로그인한 사용자) 다음으로 액티비티 지표를 산출할 기간을 정해야 한다. (1세션, 1일, 또는 1주 뒤에 추가된 친구의 수를 확인) - 해당 행동(최소 8명의 친구 추가)을 한 유저들 중 대부분이 남아있는가? YES - 대다수의 유지된 유저들이 해당 행동(최소 8명의 친구 추가)을 했는가? NO - 해당 행동(최소 1명의 친구 추가)을 한 유저들 중 대부분이 남아있는가? NO - 대다수의 유지된 유저들이 해당 행동(최소 1명의 친구 추가)을 했는가? YES 결국, 우리의 목표는 겹쳐진 영역을 최대화할 수 있는 최적점(sweet spot)를 찾으면서, 그 외 영역을 최소화하는 것이다. 두 가지 문장에 모두 YES를 할 수 있는 지점 말이다. 📌 Step 5: 그래프로 점검하기 결과 점검을 위해 행동분석을 위한 코호트를 만들어 리텐션 차트로 시각화해보면 좋다. 📌 Step 6: 인과관계 파악하기 최적의 구분점(breakpoint)과 행동을 찾았다고 하더라도, 우리의 분석은 아직 완전히 상관관계만을 나타낸다. 인과관계를 파악하기 위해서는 제품의 변화가 실제로 리텐션에 어떤 영향을 주는지 A/B 테스트를 실행해보아야 한다. 예시에서 우리는 유저들이 초기에 최소 3명의 친구를 추가하는 것을 목표로 하기로 결정했다. 이것을 목표로 다음과 같은 테스트를 해볼 수 있을 것이다. ✓ 가입 초기에 친구를 추가하도록 제안하기 ✓ 가입 후의 친구 추천을 더 눈에 띄도록 하기 ✓ 초기에 친구 추가를 유도하는 툴팁(tooltip)을 추가하기 실험해볼 만한 수많은 테스트가 있고, 이를 각각 다른 방식으로 적용해볼 수 있다. 진짜 '아하 모먼트'를 찾았다고 결론을 내리기 전까지 여러 개의 테스트를 실행해볼 필요가 있다. 📌 세 줄 요약 1. 리텐션에 영향을 줄 수 있는 충성 고객의 행동을 리스트업해 가설 세우기 2. 어떤 액션이 유지된 유저와 해당 액션을 한 유저 간의 교집합을 최대화할 수 있는지 찾아보기 3. 해당 액션이 실제 리텐션에 영향을 주는지 다양하게 테스트해보기 (👋중요한 이유가 뭔가요?) 아하! 라는 감탄사까지는 내뱉지 않았더라도, 우리가 특정 서비스를 쓰며 계속 써야겠다- 라는 판단을 내리는 순간이 있어요. 개개인에 따라 다르겠지만, 사용 가능한 기능의 범위가 정해져있는 서비스라면 데이터를 통해 패턴화 하는게 충분히 가능하기도 하고요. 이런 순간들을 서비스를 만드는 사람들의 입장에서 얼마나 잘 알고 있느냐! 는 정말 중요하다고 생각합니다. 대표적인 것이 바로 '스크린샷'인데요. 서비스를 만드는 사람과, 서비스를 사용할 사람의 차이가 가장 잘 드러나는 곳이기 때문이에요. 저 역시 같은 경험을 한 적 있고요. 전 그래서 사용자가 우리 앱을 계속 쓰게 만드는 출발점을 앱스토어 상세페이지 진입 대비 설치 전환율에서도 해본적이 있어요. 어떤 키워드로 검색을 해서 들어왔는지, 어떤 키워드와 진입 방법에 따라 앱 설치를 많이 하는지. 이를 통해 사람들이 우리 서비스에 1차로 기대하는 바를 아주 대략적으로 유추해볼 수 있기 때문입니다. A라는 맥락으로 검색을 했는데 스크린샷과 디스크립션이 B를 향하고 있다면, 전환율은 당연히 낮아질테고 사람들의 기대는 이미 상세페이지에서 끝나버릴 수 있기도 하고요. 가장 중요한 건, 이처럼 핏을 맞추는 작업이 필요하다는 것 같아요. 데이터를 보기 전, 가설을 세우기 전에 말이죠. 그런 핏이 없다면 가설에서부터 방향이 엇나갈 가능성이 상당히 높고, 이는 잘못된 검증 방법으로 이어질 수 있어요. 일단 우리서비스와 사용자간 '이용 목적'에 따른 교집합이 무엇인지 먼저, 함께 확인해보는 작업을 해보면 어떨까요? 그리고 본문에서와 같이 설치까지 성공한 사용자들을 계속 붙잡을 수 있는 방법으로! (💌함께 읽어보세요!) ✓ 우리 서비스의 유저 세그멘테이션 하기 : https://news.publy.co/comments/10310 ✓ Azar의 공정한 A/B test 운영 시스템 ABzar : https://news.publy.co/comments/9208