A/B Testing 꼭 필요한가요? 언제 해야 하나요?

A/B 테스팅이란?

A/B 테스팅이란 무엇을 테스트 하는 것일 까요? 웹페이지를 통한 마케팅을 할 경우 방문자를 고객으로 전환 시키기 위해서 회사는 고객이 원하는 페이지를 만들고 싶을 것입니다. 이 경우에 고객을 최대한 많이 끌어모을 수 있는 웹페이지를 원하겠지요. 이처럼 다양한 웹 디자인 중에 어느 것이 가장 효과적으로 이를 충족시킬 수 있을지를 알고 싶다면 직접 테스트를 해보는 것이 가장 빠를 것입니다.

스플릿 테스팅이라고도 불리는 A/B 테스트는 두 개의 버전(A와 B)을 가지고 직접 실험을 합니다. 통계적 가설 검정 방법으로 A와 B 웹사이트/페이지를 각각 다르게 디자인, 세팅한 후에 웹사이트 방문자들을 상대로 랜덤으로 노출해 어느 실험이 무슨 행동을 일으켰는지 또는 더 이득이 되었는지 결과를 보고 알아낼 수 있습니다. 결과가 기대에 부응하였는지, 또는 어떤 방향으로 웹사이트를 개선해 나가야 하는지 추측해 볼 수도 있습니다. 페이지의 변화로 A/B 테스팅을 하는 경우 실험할 수 있는 사항들은 예를 들면 페이지 헤더의 이름, 페이지 레이아웃, 글의 성질(짧게, 길게, 어조), 비주얼(배너, 이미지), CTA 버튼 글 또는 색상, 등이 있습니다.

예시

A/B 테스팅의 예를 간단하게 들어 보겠습니다. 당신은 자동차를 튜닝하는 곳을 운영하는 사람입니다. 더 효과적인 온라인 홍보를 위해 웹사이트의 메인 사진을 바꿔 사람들의 반응을 지켜봅니다. 이를 통해 방문자들이 웹사이트에 들어와서 어떤 행동을 보이며 제품 구매율을 높였거나 낮췄는지를 알고 싶어 합니다.

실험 A: 랜딩페이지에 있는 이미지를 튜닝된 고가의 차들만 디스플레이한다.

실험 B: 저가부터 고가까지의 다양한 튜닝된 차들을 디스플레이한다.

가설: 실험 B 방법이 방문자들의 클릭 수를 더 높인다.

목표: 랜딩페이지의 비주얼 변화를 통해 전환율/수익을 높이는 것

과정 및 효과

랜딩페이지로 방문자들이 웹사이트를 방문시 가장 먼저 보게 되는 것은 다양한 자동차용품 구매 후 자차 적용 사례 사진들과 ‘둘러보기’ CTA 버튼입니다. 어떤 이미지를 디스플레이 해놓았을 경우 방문자들의 관심을 얻을 수 있을지 실험해 봅니다. A 실험의 경우 용품을 장착한 고가의 차들을 디스플레이 합니다. B 실험의 경우 저가 자동차부터 다양한 차들의 사례 사진들을 디스플레이 합니다. 웹사이트 방문자가 누구든 상관없이 A와 B 버전 실험을 랜덤으로 접하게 합니다. 어떤 버전의 비주얼 효과를 페이지에 적용했을 때 방문자들이 CTA 버튼을 누르고 전환율, 구매율이 올랐는지 또는 웹사이트에 오래 접속하여 있었는지 등을 분석 툴을 사용하여 통계를 냅니다. 실험 기간은 회사 규모 또는 트래픽 양에 따라 며칠에서 몇 주(2주)정도로 정하고 실행합니다. 실험이 끝난 후 받은 결과를 보니 실험 B 버전이 더 효과적일 것이라는 가설이 실제로 적합한 것을 알게 됩니다. 그러므로 랜딩페이지를 저가부터 고가의 차량의 다양한 차량 제품 적용 사례 사진들로 디스플레이합니다.  

언제 해야 하나요? 

웹사이트를 다시 디자인하고 싶을 때

: 웹사이트를 다시 디자인하는 적합한 이유로는 트래픽, 컨버전, 유용성을 개선하기 위해서입니다. 예를 들면 웹사이트의 구성을 바꾸고 싶을 때, 브랜드 이미지를 개선할 시, 페이지 양을 대폭 늘리거나 줄일 때, 컨버전 퍼늘 페이지 또는 랜딩페이지에 변화를 줄 때 등 테스팅을 합니다.

서비스, 플러그인 또는 특색을 바꾸고 싶을 때

: 서비스, 플러그인 또는 특색에 변화를 주었을 때 고객의 데이터와 구매 절차에 영향을 끼친다면 A/B 테스트를 하는 것이 좋습니다. 쇼핑 카트 서비스와 플러그인은 웹사이트에서의 굉장히 예민한 부분입니다. 돈과 감정이 깊게 관련된 이러한 서비스는 잠재적으로 트래픽을 많이 잃을 수 있는 확률도 높습니다. 이런 유감스러운 상황을 피하기 위해서는 컨버전을 테스트하고 구체적으로 언제, 어떻게, 그리고 왜 당신의 컨버전이 감소하는지 증가하는지 알아보는 것이 중요합니다. 이메일 서비스 공급자 또는 신청서 작성에 변화를 주는 경우에는 회원가입 랜딩페이지 등 신청서에 A/B 테스팅을 하는 것을 추천합니다.

가격을 바꿀 때

: 수익을 높이고 싶다면 가장 좋은 방법은 구매 페이지를 A/B 테스팅을 하는 것입니다. 하지만 만약에 가격을 A/B 테스팅하는 것이 방문자로부터 적발되었다면 고소당할 확률이 높은데 어떻게 하면 이러한 경우를 피할 수 있을까요? 실제로 테스트 과정이 부실하면 충분히 고소까지 가능한 일 입니다. 먼저, 절대 같은 제품 또는 서비스를 가격만 다르게 해서 올리면 안 됩니다. 이 방법은 불법이며 고소 당할 확률이 가장 큽니다. 다르게 제안하는 가격과 조금 씩 포함된 혜택들을 바꾸는 방법 또한 불법은 아니지만, 방문자들이 페이지의 문제점을 쉽게 알아챌 수 있을 것입니다. 반면에 조금씩 다른 구성의 제품, 플랜 등을 제안하며 가격도 함께 변화를 주는 방법이 가장 안전하고 효과적입니다. 중요한 것은 전환율보다는 수익률에 기준을 두고 실험을 하는 것입니다.  

전환율에 문제가 있다고 느껴질 때

: 본인의 웹사이트 전환율에 의심이 생기거나 불분명한 패턴의 결과를 갖게 된다면 A/B 테스팅을 해보는 것이 좋습니다. 하지만 다른 사이트들의 A/B 테스트 결과를 토대로 무조건 따라서 테스트하는 것은 좋은 방법이 아니겠지요.

단순히 수익을 높이고 싶을 때 (위에 4가지 모두 해당하지 않는다면)

: 웹사이트의 한 부분을 타깃으로 정하고 가설을 세워 테스트를 진행합니다. 예를 들면 CTA를 실험하고 싶다면 CTA의 위치, 글 또는 글꼴, 버튼 색상과 주변 공간에 변화를 줍니다.

주의할 점

회사의 규모 또는 트래픽의 양에 따라 A/B 테스트를 해야 할 지 말아야 할지에 대해 많이 고민하는 분들이 많습니다. 먼저 적은 트래픽을 갖고 있으면 A/B 테스트를 해도 도움이 되지 않는다는 의견이 있습니다. 이유는 트래픽이 적은데 랜덤으로 테스팅 할 경우 금전적으로 낭비가 될 뿐만 아니라 적은 수의 사람들의 의견을 반영하기에는 정보가 부족하다는 것입니다. 반면에 작은 회사거나 트래픽이 적으니깐 A/B 테스트를 하면 오히려 더 많은 트래픽을 얻을 수 있고 컨버전 레이트를 올릴 수 있다는 의견도 있습니다. 이러한 두 가지의 의견들이 있는데 때에 따라 둘 다 가능하다 볼 수 있습니다.   

결론적으로 A/B 테스팅은 웹사이트 방문자들의 반응을 관찰할 수 있는 효과적인 방법의 하나입니다. 실험을 통해 소모되는 돈, 시간, 체력이 아깝지 않도록 때에 따라 최대한 현명하게 실험하여 충분한 정보를 얻고 웹사이트를 개선해 나아가는 것을 목표로 하는 것이 중요합니다.