A/B 테스트란 무엇인가?
A/B 테스트는 동일한 웹 또는 앱 페이지에 하나의 그룹에는 A버전(원본)의 페이지를 또 다른 그룹에게는 B버전의 페이지를 보여준 뒤 두 그룹 중 어떤 그룹에서 더 높은 성과를 보이는지 정략적으로 평가하는 방법입니다. 과거 초/중 학교 과학시간에 많이 했던 대조군/실험군 실험(무작위비교연구) 방법을 인터넷 마케팅에 적용한 것이라고 보시면 됩니다.
주로 웹사이트의 구매전환율, 회원가입율 등의 마케팅 지표를 연구하기 위해 사용되지만 웹 또는 앱 서비스의 인터페이스 개선(UI/UX), 랜딩페이지 최적화, 디자인, 상품 배치 및 게임 분야에도 많이 활용되는 테스트 방법입니다.
모든 A/B 테스트는 데이터로 성과를 비교할 수 있다.
과거 오프라인 마케팅에서는 경험적 지식, 설문 등 추정을 통해서만 성과를 비교할 수 있었지만 디지털 시대에서는 다양한 방법을 통해 데이터에 기반한 정확한 성과를 비교할 수 있는 시대가 되었습니다. 아래의 그림과 같이 동일한 사이트 내에서 가설을 세우고 원본(대조군)은 그대로 유지한 채 일부 변형(실험군)을 주어 임의로 그룹을 나눈 뒤 동일한 트래픽을 발생시켜 테스트 결과를 확인할 수 있습니다.
지속적인 실험을 통해 가장 효과적인 안을 찾아 내는 것이 A/B 테스트의 핵심이라고 할 수 있으며, A/B 테스트의 결과는 모두 데이터에 기반하기 때문에 실험을 거듭하면 할수록 좀 더 정확한 결론들을 도출할 수 있습니다.
A/B 테스트는 모든 의사결정을 직관적인 반응이 아닌 과학적 증거에 기반한 과정으로 바꿔놓을 수 있는 중요한 수단이다.
아무리 훌륭한 아이디어도 테스트 하기 전까지는 저평가된다.
아마존, 구글, 페이스북, 넷플릭스, 마이크로소프트와 같이 온라인에 기반한 글로벌 기업들은 매년 1만 건이 넘는 다양한 테스트를 진행합니다. 또한 월마트, 싱가포르 항공처럼 디지털 뿌리가 없는 기업들도 이런 실험을 정기적으로 진행하고 있습니다. 이런 기업들의 공통된 결론은 ‘모든 것을 실험해 보는 접근 방식이 놀라울 정도로 큰 성과를 가져올 수 있음을 알게되었다”라고 하는 것이었습니다.
A/B 테스트는 다양한 테스트를 통해 긍정적인 결과를 도출할 수 있는 방안을 도출할 수도 있지만 그보다 더 중요한 것은 테스트를 하지 않으면 나쁜 아이디어를 실행에 옮겨 실패를 초래하고 자원을 낭비했을 수도 있다는 것입니다.
아무리 훌륭한 아이디어라도 테스트를 하기 전까지는 저평가 될 수 있기 때문에 다양한 아이디어를 최대한 빠르게 테스트 할 수 있는 시스템을 구축하고 결과 데이터에 기반하여 사이트를 최적화해 나가는 것이 성장의 핵심이라 할 수 있습니다.
사례로 보는 A/B 테스트
#1. 오바마의 683억짜리 버튼
오바마 전 미국 대통령은 2008년, 2012년 대선 캠페인 활동에 A/B 테스트를 적극적으로 활용하여 사이트 내 정책이나 큰 변형 없이도 단순히 사이트 UI/UX를 개선하는 A/B 테스트만으로 엄청난 성과를 낸 사례로 유명합니다.
미국의 대선의 경우에는 많은 후원자를 모아 대선자금을 마련하고 온라인 후원의 대부분은 이메일 뉴스레터 구독자에게서 이뤄집니다. 그렇기 때문에 홈페이지에 있는 가입하기 버튼은 매우 중요하며 이 버튼이 최적의 위치에 놓여있는지 알 필요가 있다고 보고 아래와 같이 다양한 실험을 진행하게 됩니다.
4 개의 버튼과 6 개의 다른 미디어 (3 개의 이미지와 3 개의 비디오)를 최적화 도구를 사용하여 테스트를 진행했습니다. 4 개의 버튼과 6 개의 다른 미디어를 통해서 다양한 조합을 만들고 스플래시 페이지의 모든 방문자에게는 이러한 조합 중 하나가 무작위로 표시되게하여 가입여부를 추적하였습니다.
결과를보기 전에 여러분은 가입률이 가장 높은 버튼 및 미디어는 무엇이라고 생각하십니까?
테스트 결과 ‘Learn More’ 버튼과 ‘Family Image’가 원본대비 18.6%, 13.1%더 나은 성과를 보였으며 이를 조합한 아래의 페이지는 원본대비 무려 40.6%나 증가하는 결과를 보였습니다.
이 실험을 통해 캠페인의 기간 동안 거의 일관성을 유지한다고 가정하면 캠페인 종료 시 엄청난 차이를 보였을 것입니다. 캠페인 기간 동안 약 1천만 명이 스플래시 페이지에 가입했는데 만약 실험을 실행하지 않고 원본 페이지를 고수 했다면 그 수는 7,120,000명 정도로 약 3백만명 가까운 이메일 주소 데이터를 얻을 수 없었을 것입니다.
캠페인 기간 동안 평균 기부액이 $21였고 이 효과를 돈으로 환산해 보면 테스트를 통해서 약 6천만 달러의 효과를 보았다고 할 수 있습니다.
#2. 검색엔진 빙(Bing)의 작은 아이디어
2012년 검색엔진 빙(Bing)과 관련된 작업을 하던 마이크로소프트의 한 직원이 검색엔진에서 광고 헤드라인을 보여주는 방식을 변경하자는 아이디어를 냈습니다. 아이디어를 실행하는데 기술적으로 어려운 작업은 아니었지만 수백 건의 아이디어 중 하나였기 때문에 우선순위에 밀려 6개월 동안 진행되지 않았습니다.
마침내 이 아이디어는 진행되었고 프로그램 코드를 짜는데 크게 어렵지 않고 비용도 적게 든다는 사실을 알아내고 한 엔지니어가 효과를 평가하기 위해 A/B 테스트를 실시하게 됩니다.
불과 몇 시간 만에 헤드라인의 새로운 변화는 비정상적일 정도로 높은 매출을 발생시켰으며, 분석결과 핵심적인 사용자 경험을 손상 시키지 않고도 그 변화 덕분에 매출이 12%나 성장하는 계기가 됩니다. 연간 매출 기준으로 할 때 미국 시장에서만 1억 달러가 넘는 수준이었으며 빙 역사상 최고의 매출을 창출하는 아이디어가 되었습니다.
구글 옵티마이즈(Optimize)를 이용한 A/B테스트
구글에서 무료로 제공하는 옵티마이즈(Optimize)를 활용하여 사이트에 A/B 테스트를 진행하는 방법에 대해 알아보겠습니다. 실제로 블로그 형식의 콘텐츠 사이트의 경우에는 콘텐츠 타이틀이 무엇이냐에 따라 클릭률에 영향이 많다는 사실은 알고 있을겁니다.
그러면 실제로 콘텐츠 타이틀에 따라 사용자 페이지뷰에 얼마나 영향이 있는지를 A/B 테스트를 진행해 보고 결과 데이터에 기반하여 사이트 최적화 작업을 진행하도록 하겠습니다.
- 가설 : ‘ 콘텐츠 타이틀에 따라 사용자의 클릭률은 달라질 것이다 ‘
- 원본 콘텐츠 제목:’데이터 마케팅, 그로스 해킹(Growth hacking)에 대하여’
- 실험 콘텐츠 제목:‘그로스 해킹(Growth hacking) 으로 서비스 3배 성장 시키기’
구글 옵티마이즈(Optimize)를 활용한 A/B 테스트 방법
1. 구글 계정 생성
구글 옵티아미즈를 사용하기 위해서는 구글 계정을 생성하셔야하며 구글 애널리틱스 추적 코드가 사이트내 적용이 되어있어야 합니다. 이런 부분들은 적용이 되어있다고 가정하고 진행하도록 하겠습니다. 구글 계정 생성 및 구글 애널리틱스 추적 코드 삽입 방법에 대해서는 추후 업데이트 하도록 하겠습니다.
2. 구글 애널리틱스 접속하기
구글 애널리틱스에 접속합니다. 상단 계정 탭을 클릭하시고 3번째 메뉴의 옵티마이즈(최적화도구) 메뉴를 클릭합니다. 또는 옵티마이즈 사이트로 바로 접속하셔도 됩니다.
3. 옵티마이즈(Optimize) 계정 및 콘테이너 생성
옵티마이즈에 접속하여 우측 상단에 ‘계정 만들기’ 버튼을 클릭합니다.
계정이름을 입력하고 국가 정보를 선택하고 다음 버튼을 클릭합니다. 계정은 최상단 레벨이며 계정 안에는 여러개의 도메인(컨테이너)이 포함 될 수 있습니다.
계정 생성이 완료되면 컨테이너를 추가하는 화면이 나오는데 옵티마이즈에서 컨테이너는 하나의 도메인으로 인식하시면 됩니다. 즉, 테스트를 수행하기 위한 사이트 도메인 주소가 하나의 컨테이너가 된다고 보시면 됩니다.
컨테이너 생성이 완료되면 아래처럼 수행된 테스트가 없는 경우 ‘첫 번째 환경 만들기’란 화면이 나오며 기 진행된 테스트가 있는 경우에는 진행중인 테스트 리스트가 출력됩니다. 환경만들기 버튼을 클릭하여 새로운 테스트 만들기를 진행합니다.
4. A/B 테스트 환경 만들기
A/B 테스트를 위한 환경 정보를 입력합니다. 정보 입력 후 만들기 버튼을 클릭합니다.
- 이름 : 테스트를 위한 테스트명. 테스트 이름만 보고 어떤 테스트인지 구분할 수 있도록 상세히 입력합니다.
- 사용할 페이지 : 테스트가 필요한 사이트 내 페이지 전체 URL 정보를 입력합니다.
5. 대안 추가하기
실제 테스트를 위해 필요한 실험 페이지를 생성하는 단계입니다. 위에 4번이 실험을 위한 대조군이었다면 대안 추가는 대조군에서 변형을 줄 실험 페이지를 생성하는 단계라고 보시면 됩니다.
6. 대안 수정하기
대안을 생성하면 아래 이미지처럼 대안 페이지에 아직까지 변경 요소가 없기 때문에 변경사항이 ‘0’으로 나오게 됩니다. 수정을 통해 대안 페이지에 실제 테스트를 위한 변형을 주면 됩니다.
대안 수정을 클릭하시면 아래 이미지처럼 페이지를 수정할 수 있는 에디트(edit) 모드로 화면이 변경됩니다. 저희는 콘텐츠 타이틀을 변경한 테스트를 수행해야 하기 때문에 제목에 마우스 우 클리 후 텍스트 수정 메뉴를 선택하시고 콘텐츠의 제목을 변경해 줍니다. 이 외에 버튼 컬러 및 폰트 사이즈 등 다양한 요소를 편집할 수 있습니다.
아래 이미지처럼 콘텐츠 타이틀 정보를 수정한 후 완료 버튼을 클릭합니다.
7. 구글 애널리틱스 연결하기
실험을 위한 대안 페이지 수정이 완료되면 구글 애널리틱스 계정과 연동 작업을 진행하셔야 합니다. 구글 옵티마이즈는 구글 애널리틱스의 추적 코드를 활용하여 A/B 테스트 데이터를 수집하는 방식이라 구글 계정과 연동을 시켜야 테스트 진행이 가능합니다. 애널리틱스 연결 버튼을 클릭합니다.
예를들어 A 란 사이트에 ‘UA-1***-1’ 이란 구글 추적 코드가 삽입되어 있고 A 사이트에서 테스트를 수행한다면 ‘UA-1***-1’ 코드 속성 정보를 테스트 페이지와 연결시켜줘야 합니다.
구글 애널리틱스 속성 리스트에서 테스트 페이지와 연동 될 속성을 선택합니다.
연결이 완료되면 테스트에 필요한 목표를 설정합니다. 추적이 필요한 항목을 선택하는 것이며 저는 기본적으로 제공하는 항목 중에서 페이지뷰를 선택하여 차이를 측정해 보도록 하겠습니다.
8. 최적화 도구 설치하기
구글 애널리틱스 속성 연결이 완료되면 사이트에 애널리틱스 코드를 삽입한 것처럼 옵티마이즈 코드도 삽입해야 정상적인 데이터 수집이 가능합니다. 옵티마이즈 우측화면에 최적화 도구 설치 메뉴를 클릭합니다.
아래 추적 코드를 사이트 내 head 태그 사이에 붙여넣기 합니다. 단, 애널릭티스 코드가 삽입되어 있는 경우에는 하단에 빨강색 텍스트만 복사하여 추가해 주시면 됩니다. 워드프레스 등 CMS 솔루션을 사용하는 경우에는 테마 옵션에서 태그를 수정할 수도 있습니다.
9. 미리보기 및 오류검사
추적 코드 삽입이 완료되면 아래 이미지와 같이 적용이되며 미리보기를 통해 오류 검사를 수행할 수 있습니다. 오류가 없다면 테스트를 위한 모든 준비가 완료된 것이며 테스트를 진행하는 순간부터 모든 테이터가 추적되어 저장됩니다.
10. 테스트 결과 보고서 보기
테스트가 진행되면 상세한 결과 보고서를 조회할 수 있으며 조회된 결과에 따라 사이트 최적화 작업을 진행하시면 됩니다. 테스트 결과는 옵티마이저 보고서 및 구글 애널리틱스 페이지에서도 조회할 수 있습니다.
아래의 결과는 제가 몇 시간 동안 브라우져 및 디바이스 환경을 바꿔 가면서 테스트를 진행한 결과입니다. 테스트라서 데이터 수가 부족하지만 pc, mobile로 테스트 결과 사용자에 따라 다른 페이지 화면이 출력되고 있었습니다.
마무리
A/B 테스트는 서두에도 말씀드렸 듯이 직관이 아닌 수집된 데이터로 가설을 증명하여 사이트를 최적화해 나가는 방법입니다. 여러 사례에서 보았 듯이 우리가 갖고 있는 아이디어 중에 어떤 아이디어가 훌륭한 결과를 도출할 수 있는 아이디어 인지는 테스트 하기 전까지는 아무도 모릅니다. 하찮다고 생각한 아이디어가 엄청난 긍정적인 결과를 가져올 수도 있고 모두가 최고라고 했던 아이디어가 최악의 결과를 초래할 수도 있습니다.
만약 사이트 또는 서비스를 운영하고 있는 담당자라면 최적화를 위한 가설을 세우고 가설 들을 하나하나 테스트하여 결과 데이터에 기반하여 사이트(서비스)를 성장시켜 나가는 자세가 필요하다고 생각됩니다.
A/B 테스트는 생각만으로는 절대로 어떠한 결과를 얻을 수 없습니다. 지금 바로 사이트(서비스)에 다양한 테스트를 진행해 보시기 바랍니다.
