google_adsense2


개인화 추천시스템의 추천 효과 분석하기 by 메타샤워


개인화 추천을 통해 제대로 효과를 얻으려면




2. 추천 효과 분석방법

여러가지 논리와 가설을 배경으로 추천 시나리오를 적용하였는데, 과연 추천 시나리오가 얼마나 효과가 있는지 어떻게 분석하면 좋을까? 모든 효과분석은 상대적인 것이므로 비교할 대상이 필요하다. 추천하지 않았을때와 추천하였을때를 비교하거나, 방법 1로 추천 하였을때와 방법 2로 추천하였을때를 비교하는 등 다양한 관점에서의 비교가 필요한다. 또한 동일한 추천이더라도 추천 기준을 무엇으로 하였는지, 추천 데이터 분석 기간은 며칠이 있었는지, 평일과 주말에 따라 반응의 차이가 있는지, 어떤 디바이스로 조회하는 경우에 반응이 더 나은지, 고객 성별-연령대에 따라서 추천에 대한 반응의 차이가 있는지등 운영자의 분석 관점에 따라 다양한 분석을 실행하고 분석 결과를 통해 가설에 대한 검증 및 개선을 통한 최적화가 가능한다.


2-1 분석 기준에 따라 추천 반응 비교

앞서 이야기한 여러가지 추천 시나리오 중 메인 페이지에서 가장 많이 사용하는 추천 시나리오인 방문자가 최근에 조회한 상품을 기준으로 추천하는 방법을 적용할 때 가능한 시나리오를 통해 반응 분석이 왜 필요한지 알아보고자 한다. 메인 페이지에서 최근 조회한 상ㅍ무을 기준으로 추천을 할때는 방문자가 여러가지 상품을 조회했지만 구매까지 이루어지징낳고 다시상품을 둘러보기 위해 메인 페이지를 방문하였거나, 일정 시간이후 사이트를 재방문할 때 최근 조회한 상품과 연광된 상품을 추천하여 좀 더 마음에 다는 상품을 둘러보도록 권하기 위한 것이다.

이 경우, 최근 조회한 상품 기준의 추천이라는 접근은 동일하지만 어떻게 구현하느냐에 따라 페이지에 나타나는 겨과는 다르다. 다음은 쇼핑몰에서 방문자가 최근 본 상품이 여러개 있을 때 어떤 상품을 기준으로 추천할 것인지 적용한 결과이다. 기준 상ㅍ무이 정해지면 같이 조회한 상품이나 같이 구매한 상품, 동일 카테고리 내 인기 상품등을 선택해서 사용 가능 하나 어떤 추천 방법을 사용하였는지는 여기에서는 고려하지 않는다.

 위에 제시된 예시 이미지를 보면 시나리오를 적용할 때의 의도와 실제 데이터가 페이지에 표시되었을때 사용자 반응이 동일하지 않을것이라는 예측이 가능하다. 이렇게 시각적으로 시뮬레이션하여 사용자의 반응을 예측하고 추천시나리오 로직을 변경할 수도 있지만, 정확하게는 실제 반응 결과를 보고조정 해야한다.

 각 추천 기준 중에 어떤 기준으로 추천을 할 때 방문자가 더 많이 반응할 것인지는 실제 실행결과를 보고, 최근 본 상품 중 몇 개를 기준으로 추천할 것인지, 최근 본 상품을 표시하고 추천을 할 것인가, 최근 본상품을 초함해서 추천을 할 것인가 등 여러가지 대안을 재정의하고 실행하고 반응ㄹ 지속적으로 관찰해야한다. 

다음과 같이 배치 형식을 다르게 하여 기준 상품을 하나 배치하고 연관된 상품을 추천하는 형식으로 제공할 수도 있다.


2.2. 추천을 했을때와 안했을때의 비교

추천을 하는 궁극적인 목적은 매출 증대이지만, 추천을 잘 한다고 해서 매출에 즉시 반영되기는 어려운 경우가 많다. 사용자가 구매를 결정하기까지 가격, 서비스 외 많은 변수들이 작용하기 때문이다. 많은 고객사들이 실제 추천 효과로 매출에 미친 영향을 보고자 하지만 엄밀하게 따지면 추천하기 이전보다 추천 영역에서 추천된 상품을 얼마나 클릭하여 얼마나 상품 조회수가 늘었는지 이를 통해 기존 보다 얼마나 오래동안 사이트에 머물게 되었는지를 관찰하는 것이 직접적인 효과를 측정하는 기준이 된다.

 따라서 추천을 통해 나타나는 직접적인 효과는 추천 하지 않은 기간과 추천을 하게 된 기간에 방문당 페이지뷰와 방문당 머문시간이 어떻게 달라졌는지를 비교해 보아야 한다. 이 때  주의할 사항은 다른 이벤트의 변화가 없어야 순수 추천의 효과를 파악할 수 있다. 이러한 영향을 통제하기 위해서는 동일한 기간내에 대조군에게는 추천 영역이 없는 상태로 사이트가 제공되고, 실험군에게는 추천 영역을 포함하는 사이트를 제공하는 A/B 테스트를 시행하면 된다. 직간접적으로 구매에 영향을 미쳤는지 비교를 통해 파악할 수 있동일 카

또 다른 방법으로는 동일한 영역에 추천 시나리오 대신 사이트 내에서 제공하는 인기 상품 순위별로 상품을 추천한 경우와 추천 시나리오를 통해 상품을 추천한 결과를 비교하여 추천 시나리오 적용 효과를 파악할 수 있다. 이는 다음에 설명한 다른 시나리오끼리 비교하는것과 유사하다.



2.3 추천 시나리오를 다르게 적용했을때 비교

동일한 영역에서 어떤 시나리오를 적용했을때 가장 효과가 좋은지 파악하기 위해서는 일정기간동안 동일한 영역에 비교하고자 하는 여러 시나리오를 랜덤하게 노출되로록 설정한 후, 각 시나리오별로 추천을 통해 노출된 상품중에 방문자가 상세 정보를 조회한 비율을 확인하면 된다. 실제 적용해보면 시나리오에 따라 추천반응률(추천으로 노출된 상품을 클릭한 비율)의 차이가 많이 나는것을 알수 있다. 운영자가 생각한대로 행동하는지는 항상 분석 결과를 보고 판단해야한다. 예상한 것과 결과 다르다면 왜 그런겨과가 나왔는지에 대해 여러 각도에서 분석해보고 사이트내 구성과 추천시나리오의 조화가 잘 이루어지는지 등 전체적인 검토도 필요하다.




2.4 추천 영역을 다르게 적용했을때 비교

추천 시나리오를 적용하다보면 특정 시나리오의 효과가 높은 경우, 해당 시나리오를 여러 영역에서 활용하는 경우도 있다. 하지만 어떤 페이지, 어느 영역에 배치되느냐에 따라 추천반응률이 가장 높은지 비교해보면 , 영역에 따라 어울리는 시나리오를 확인할 수도 있다. 추천 영역별 추천 시나리오별 비교를 통해 전체 사이트내 어떤 추천 시나리오를 적용하는 것이 가장 효과적인지 판단할수 있다. 














출처 : http://www.nethru.co.kr/bbs/board.php?bo_table=notice&wr_id=40

핑백

덧글

댓글 입력 영역


google_adsense