💦 나만 모르는 프로덕트 관리 이야기 [🤜Azar의 공정한 A/B test 운영 시스템 ABzar] (👀간단 요약) 하이퍼커넥트 데이터 사이언스 팀에서는 이러한 여러 가지 challenge를 해결한 A/B test 운영 시스템 ABzar를 설계 및 개발하여 사내에서 이루어지는 수많은 A/B test를 지원하고 있습니다. A/B test가 공정하게 이루어져야 실험 분석이 용이하고, 실험 결과가 설득력이 높아집니다. 공정하고 효율적으로 A/B test를 하기 위해서는 어떤 점들을 신경써야 할까요? 📌 변인 통제 ✓ X 앱에 구매 버튼을 새롭게 디자인했다. 새로운 구매 버튼이 유저의 클릭률(CTR)을 더 높일 수 있을까? 실험 결과에 영향을 줄 수 있는 통제 변인(control variable)을 조절해야 합니다. 위 가설을 검증하기 위해 대조군, 실험군으로 나누고 CTR을 확인했는데 대조군이 10% 더 높게 나왔는데! 알고보니 대조군에 실험군보다 X 앱을 자주 쓰는 헤비 유저가 더 많이 있었다면 어떻게 될까요? 공정하지 못한, 실험 결과의 신빙성이 떨어집니다. 결과에 영향을 줄 수 있는 변수들이 양쪽 그룹에서 동등하게 나타나도록 통제해야 합니다. 📌 2개 이상의 실험군 ✓ X 앱에 구매 버튼을 새롭게 디자인하고, 구매 화면 배경 색상도 바꿔보았다. 어떤 버튼 - 색상 조합이 CTR을 더 높일 수 있을까? 일반적으로 A/B test라고 하면 대조군 A와 실험군 B를 설정해서, B가 A에 비해 어떤 긍정적인 또는 부정적인 효과가 있는지 검정하는 실험을 말합니다. 구매 버튼이 두 종류, 배경 색상이 두 종류라면 기존 형태 유지를 위한 대조군을 제외하면 실험군이 총 3개가 필요합니다. 상황에 따라 원하는 개수의 실험군을 설정할 수 있어야 합니다. (두 가지 이상의 변화를 조합하면 데이터의 신뢰도가 떨어집니다.) 📌 수많은 실험의 공존 여러 실험이 안정적으로 수행되기 위해서는 유저 풀(user pool)을 효율적이고 효과적으로 관리해야 합니다. ✓ 한 유저가 동시에 여러 실험에 배정되는 것은 바람직하지 않습니다. 변인 통제를 위해서라도 하나의 유저는 최대 하나의 실험군에만 속하는 것이 바람직합니다. 하이퍼커넥트 데이터 사이언스 팀에서는 이러한 정책을 1 user - 1 group policy라고 부릅니다. ✓ 한 실험이 특정 카테고리의 유저를 너무 많이 차지하는 것은 좋지 않습니다. 예를 들어 특정 국가에서 진행되는 A/B test가 유저를 너무 많이 점유하면, 1 user - 1 group policy에 의해 해당 실험이 끝나기 전에는 그 국가에서 다른 실험을 할 수 없게 됩니다. ✓ 실험의 시작과 종료를 잘 관리해야 합니다. 예를 들어 어떤 실험이 X 국가 유저 1000명 중 800명을 사용하고 있다면, X 국가에서 다른 실험을 진행할 때에는 유저를 200명까지밖에 쓸 수 없습니다. 📌 Azar의 A/B test 운영 시스템 ABzar ABzar의 핵심은 유저 풀을 관리하는 User Pool Manager (이하 UPM)입니다. UPM의 임무는 위에서 언급한 여러 가지 A/B test의 challenge를, 가능한 직관적이고 이해하기 쉬운 구조로 해결하는 것입니다. 특히 A/B test가 공정하게 진행되는 데 가장 중요한 변인 통제 문제를 효율적이고 효과적으로 해결하는 것이 중요합니다. ✓ Cube Cube는 간단히 말해 유저의 카테고리입니다. 예를 들면 성별, 국가, 나이대, 구매량, 플랫폼(iOS/Android) 등이 있죠. 이러한 지표들 중 중요한 지표들을 고른 뒤 그 지표들을 기준으로 유저들을 묶게 되는데, 각각의 묶음을 Cube라고 부릅니다. ✓ Experiment, ExperimentGroup ABzar는 각각의 실험(A/B test)을 Experiment라는 단위로 관리합니다. Experiment는 다음과 같이 두 가지로 구성되어 있습니다. -Cube list : 실험에 사용할 유저 풀을 의미하는 Cube의 목록입니다. -ExperimentGroup : 실험에 사용할 유저 그룹입니다. 일반적인 A/B test라면, A 그룹(대조군)과 B 그룹(실험군) 이렇게 두 가지를 사용하게 되겠죠. 실험의 각 유저 그룹이 Cube의 몇 퍼센트를 점유할지도 설정할 수 있습니다. ✓ User Pool Manager의 역할 ABzar UPM은 유저 추출 요청이 들어왔을 때만 추출을 진행하는 방식으로 이 문제들을 해결합니다. UPM 알고리즘의 기본 골자는 아래와 같습니다. -Experiment는 해당 실험이 원하는 유저 풀의 상태만을 정의합니다. 즉 Experiment를 생성하는 것과 유저 풀을 추출해서 실험에 배정하는 것과는 다릅니다. -어떤 Experiment의 유저 추출 요청이 들어오면, UPM은 해당 Experiment에 정의된 유저 풀의 상태를 최대한 맞출 수 있도록 유저를 추출하되 1 user - 1 group policy에는 위배되지 않도록 합니다. 📌 Cube를 구성할 지표 선정하기 Cube를 구성할 지표들은 UPM을 구축하기 전에 이미 선정되어 있어야 합니다. 모든 실험이 이 Cube를 기준으로 설정되기 때문이죠. ✓ 자주 만나게 될 통제 변인들을 선정하면 좋습니다. 여러 A/B test에서 공통적으로 결과에 영향을 주기 쉬운 변수들, 예를 들면 성별, 국가, 구매력, 나이 등을 선정하면 좋습니다. ✓ 쉽게 변하는 지표는 선정하지 않는 것이 좋습니다. ✓ 선정할 지표의 개수는 적당해야 합니다. 지표 개수가 너무 적으면 변인 통제에 어려움을 겪을 수 있습니다. (👋중요한 이유가 뭔가요?) 최근에 읽은 글 중 가장 흥미롭게 읽었고, 열심히 생각들을 덧붙이며 읽은 글이었어요. A/B테스트는 이제 기능 개선이나 지표 달성을 위해 반드시 거쳐야 하는 과정 중 하나가 되었는데요. 어떻게 하면 더 체계적으로 진행할 수 있지? 라는 관점에서 구체적으로 설명된 글은 적어도 국내에선 많지 않았습니다. 테스트 그룹은 어떻게 설정할 것인지, 설정 시 유의할 점은 무엇인지, 여러 실험을 동시 다발적으로 진행할 경우 주의할 점은 무엇인지 등 제가 요약한 내용은 쓱 - 맛보기로 보신 뒤 본문을 정독해보시면 더 많은 도움이 될 수 있을거라 확신합니다. 꼭 보세요 꼭!