[코드스테이츠 PMB 16기 W6] 데일리샷의 약점 강화하기

이전 글

[코드스테이츠 PMB 16기 W5] 데일리샷의 성장 전략

6주차에는 데이터와 린 분석 등에 대해 배웠다. 전공수업으로 SQL을 배운 적은 있지만, PM으로서 데이터를 배운다는 것은 많이 달랐다. 대학교에서는 (다 까먹었지만) 쿼리문을 '어떻게' 입력해서 결과값을 얻어내는지 배웠다면 PM은 '어떤' 데이터를 얻어내야 하는지, 그리고 그것을 '왜' 얻어야 하는지에 대해 알아야 한다.

따라서 이번 포스팅에서는 어떤 데일리샷이 더 성장하기 위해서 어떤 지표를 확인하고 개선해나가야할지 알아보겠다.

1. 여러분이 평소 관심이 있는 프로덕트에서 갖고 있는 문제점이 있나요? 문제점으로 뽑은 이유가 무엇인가요?

그동안 데일리샷의 문제점과 강점에 대해서 여러 번 다루었다. W1 과제에서 다루었던 문제점들로는 다음과 같은 것들이 있었다.

1. 매장 수의 부족
2. 리뷰 유용성의 부족 & 커뮤니티의 부재
3. 선물하기 기능의 아쉬움
4. 알림 기능의 부재
5. 다양한 술의 부족

하지만 이번에는 이미 다루었던 문제를 또 다루는 것보다는 새로운 문제를 정의해보려고 한다. 그것은 W2 과제의 사용자 인터뷰에서도 언급되었던 내용이다.

문제는 바로 '푸시 알림을 너무 많이 보낸다'는 것이다. 고객은 이미 푸시 알림을 '스팸성'이라고 표현했다. 또한 '받아보고 있긴 한데 끌까 고민 중'이라는 것은 술에 대한 새로운 소식을 받아볼 의향은 있으나 현재 받아보는 알림이 만족스럽지 않다는 뜻이기에 개선이 필요해 보인다.

직접 받은 푸시 알림

나도 위클리 과제를 시작한 뒤 데일리샷의 마케팅 푸시 알림을 지속적으로 받아보고 있다. 하루에 몇 번 오는지 정확하게 세어보지는 않았지만, 주말에는 오후 12시와 8시, 총 2번 알림이 왔다. 하루도 거르지 않고 최소 1~2번의 푸시 알림이 오는 것이다. 나 같이 알림이 오는 것을 싫어하는 사람들은 바로 알림을 차단할 만한 수치이다. 이렇게 많은 마케팅 푸시 알림을 보내는 앱은 처음 사용해보았다.

출처 : KB스타 경제교실

이런 푸시 알림을 받으며 생각나는 것은 '양치기 소년' 우화이다. 물론 데일리샷 같은 경우에는 재미를 위해 '거짓'을 말한 것은 아니다. 하지만 사람들이 어떤 것에 기울일 수 있는 관심은 한정되어 있다. 계속해서 관심을 기울인 것에 상응하는 가치를 주지 못 하면 사람들의 신용을 잃게 된다. 그렇게 사람들이 알림을 차단해버리면, 정말 중요한 마케팅을 할 때 그 효과가 현저히 떨어질 수 있다. 마케팅 푸시만 앱 내에서 선별적으로 차단한다면 그나마 다행이지만, 최악의 경우에는 시스템 설정에서 앱의 모든 알림 자체를 차단해버릴 수도 있다.

따라서 푸시 알림의 수를 줄이되 효율을 높이는 쪽으로 바꾸어야 한다. 아래 아티클에 따르면 일주일에 3~5개 정도의 푸시 알림이 경험적으로 적당하다고 한다. 데일리샷은 2배 넘게 더 많이 보내고 있는 것임으로 줄일 필요가 있다. 효율을 높이는 방법은 이것저것 시도해봐야겠지만, 가장 혜택이 큰 이벤트나 인기가 많은 상품에 대한 푸시 알림을 최우선순위로 놓고 나머지는 위에 것들이 다 처리된 다음에 보내는 방법을 생각해보았다. 우선순위를 기다리는 동안 혜택이 끝나거나 새로운 이벤트에 계속 밀린다면 발송을 하지 않게 될 것이다. 또한 가장 전환율이 높은 요일에 가장 중요한 푸시 알림을 배치하는 방법도 있다.

참고자료 : 푸시 알림을 보낼 때 하지 말아야 할 실수

10 Common Mistakes to Avoid While Sending Push Notifications

2. 문제점을 해결하기 위해서는 어떤 지표들을 보아야 할까요? 확인해야 할 지표들을 최대 3개를 선정해보세요.

아래 지표와 데이터들은 A/B 테스트가 진행된다는 가정 하에 작성된 것입니다.

푸시 알림 전환율

푸시 알림이 페이지 뷰로 전환되는 비율을 비교하면 푸시 알림이 얼마나 효율적으로 발송되고 있는지 알 수 있다. 알림의 효율이 높다는 것은 그만큼 무시되는 알림의 양이 적어지는 것이고, 고객이 '데일리샷 알림을 받아볼만 해"라고 생각할 확률이 더 높아진다는 것이다. 이렇게 신뢰를 높여놓으면 추후 정말 매력적인 이벤트를 진행할 때 사람들이 푸시 알림을 무의식적으로 지우지 않고 읽어볼 확률이 더욱 높아질 것이다.

마케팅 푸시 알림 전환 전체 수

하지만 알림 빈도를 줄이는 과정에서 전체적으로 푸시 알림으로 유입되는 트래픽의 양이 현저히 적어지면 안 된다. 푸시 알림을 줄인 비율과 푸시 알림 당 전환율의 증가를 비교해도 같은 값을 알 수 있겠지만, 푸시 알림을 통해 전환되는 트래픽량의 추이를 지켜보는 것이 더 직관적이기 때문에 해당 지표로 선정했다. 만약 푸시 알림의 수를 줄였는데 전환되는 수가 비교적 일정하게 유지된다면 더 높은 효율을 달성한 것으로 판단할 수 있다.

마케팅 정보 알림 수신 허용 비율 (허용 유저 ÷ 신규 유저)

궁극적으로 이 개선안의 목표는 사람들이 계속 푸시 알림을 받아보게끔 하는 것이다. 그렇다면 이미 수신을 거부한 고객들은 푸시 알림의 변화에 영향을 받지 않으므로 고려대상에서 제외해야 한다. 또한 앱을 설치한 당일 거부한 사람은 '데일리샷이 알림을 많이 보내서' 거부를 했다고 하기에는 너무 짧은 시간이다. 따라서 모집단에서 제외하고 비교하는 것이 공정할 것이다.

 

3. 지표들을 보기 위해서는 어떤 데이터들을 확인해야 할까요? 이런 데이터들을 뽑은 이유는 무엇인가요? 지표와 연관지어서 작성해주세요.

신규 유저 수, 마케팅 정보 알림 허용 수

앞서 말했듯 이 개선안에선 고객이 마케팅 정보 알림을 최대한 많이 허용하는 것이 가장 중요하다. 그러므로 얼마나 많은 사용자가 알림을 허용했는지에 대한 수치가 필요하다. 정책 변경 이후 새로 유입되는 사용자의 수를 파악하여 모수로 사용해야 하고, 그 중 얼마나 많은 사람들이 마케팅 정보 알림을 허용하고 있는지에 대한 데이터가 필요하다. 이때 A/B 테스트가 진행된다는 가정 하에 수집을 하는 것이기 때문에 A그룹과 B그룹 각각의 신규 유저 수와 마케팅 정보 알림 허용 수가 필요하다.

일주일 간 발송한 푸시 알림의 수, 푸시 알림을 통한 페이지 뷰(PV)

얼마나 많은 푸시 알림을 보내고 있는지 파악해야 as-is와 to-be를 비교할 수 있다. 또한 비교를 위해서는 같은 단위기간으로 나눠서 보아야 하는데, 일주일이 가장 적합한 단위라고 생각한다. 직업을 가졌다면 대부분 평일과 주말의 생활 패턴이 다르기 때문에 이에 대한 노이즈를 줄이기 위해서 주 단위로 설정해야 한다. 다만 2주 이상으로 설정했을 시에 비교를 하기 위해 더 많은 시간을 기다려야 하기 때문에 일주일이 가장 적합해보인다. 

그리고 일주일 간 발송한 푸시 알림을 통하여 조회되는 PV도 필요하다. 이 데이터 그대로를 위에서 말한 '마케팅 푸시 알림 전환 전체 수' 지표로 사용해야 한다. 또한 PV를 발송한 푸시 알림의 수로 나누어 '푸시 알림 전환율' 역시 확인해야 한다.

 

4. 지표들을 개선하기 위해 발견할 수 있는 가설들은 어떤 것이 있을까요?

푸시 알림의 수를 줄이면 신규 유저의 마케팅 정보 수신 허용 비율이 늘어날 것이다.

위에서 줄곧 말해왔던 지표와 데이터들은 이 가설을 검증하기 위한 것이었다. 무언가를 새로 더하는 것이면 몰라도 원래 하던 것을 안 하거나 덜 하는 것은 리스크가 더 클 수 있다. 따라서 정책을 완전히 변경하기 전에 신규 유저를 대상으로 1달 간의 A/B 테스트를 해야 한다. 일단 마케팅 허용을 한 사용자가 다시 수신 거부를 하기까지는 일정 시간이 걸리기 때문에 테스트 기간이 너무 짧아서는 안 된다. 테스트 방법은 다음과 같이 설정해보았다.

1. 신규 유저 중 90%는 A그룹으로 기존의 발송 빈도 그대로 푸시 알림을 받아보고, 나머지 10%는 B그룹으로 변경한 빈도로 푸시 알림을 받아본다.
2. 일주일 간 테스트를 진행하여 두 그룹의 지표를 비교한다.
3. B그룹이 A그룹에 비해 '마케팅 정보 알림 수신 허용 비율'과 '푸시 알림 전환율'은 높고, '마케팅 푸시 알림 전체 전환 수'가 두 지표의 상승분 평균보다 적은 비율로 감소했다면 1주차는 성공한 것으로 판단한다.
4. 다음 주는 7:3으로 늘려 같은 방식으로 진행하고, 성공 시 5:5, 1:9로 비율을 늘려가며 4주차까지 진행한다.
5. 최종적으로 A/B 테스트가 가설을 입증했다고 판단되면 완전히 도입한다.

 

술킷리스트에 대한 푸시 알림만 받는 설정을 추가하면 마케팅 정보 수신 허율 비율과 푸시 알림당 전환율이 올라갈 것이다.

이것은 번외로 생각해본 내용인데, 만약 현재 푸시 알림 수신율이 다른 서비스에 비해 현저히 낮은 수준이라면 어떻게든 알림을 받게 만드는 것이 중요하다.

이에 대한 솔루션으로는 데일리샷의 '찜' 기능이라고 볼 수 있는 술킷리스트를 활용하여 알림 설정을 유도하는 방법이 있다. 술킷리스트에 저장된 상품에 관한 이벤트 소식이 있을 때만 푸시 알림을 받을 수 있는 기능 및 옵션을 추가하는 것이다. 이는 W2 과제의 인터뷰에서 실제 사용자분이 요청했던 사항이기도 하다. 예를 들어 푸시 알림을 거부한 고객이 술킷리스트에 무언가를 저장할 때 '술킷리스트에 저장한 상품에 대한 할인 정보를 받아보시겠어요?'와 같은 alert을 띄워 다시 한번 푸시 알림을 허용하게끔 묻는다면 마케팅 정보 수신 허용 비율이 늘어날 것이고, 본인이 관심 있는 상품에 대한 정보이기 때문에 전환율도 올라갈 것이다.

다만 기존에 모든 푸시 알림을 받아보던 고객이 이 옵션을 통해 원하는 알림만 받는다면 푸시 알림을 통해 유입되는 PV의 총량은 작아질 수 있으므로 이 역시 고려해 신중하게 판단해야 할 것 같다. 하지만 이것은 A/B 테스트를 진행할 수 없을 것이라고 생각한다. 이러한 옵션을 넣었다가 빼면 정책 및 약관의 혼란이 있을 것이고, 옵션을 설정했던 고객들에게 컴플레인이 들어올 것이다. 따라서 현재 상황의 심각성 정도에 따라 도입할지 말지 결정해야 할 것이다.