당신은 주제를 찾고 있습니까 “쿠팡 추천 시스템 – 추천 시스템 Recommender System“? 다음 카테고리의 웹사이트 ppa.maxfit.vn 에서 귀하의 모든 질문에 답변해 드립니다: https://ppa.maxfit.vn/blog/. 바로 아래에서 답을 찾을 수 있습니다. 작성자 이수안컴퓨터연구소 이(가) 작성한 기사에는 조회수 10,046회 및 좋아요 216개 개의 좋아요가 있습니다.
쿠팡의 추천 플랫폼은 Learning to Rank를 활용하여 여러 모델을 성능과 필요에 따라 서로 다른 가중치를 부여할 수 있도록 구축되어 있으며, 실시간으로 집계되는 다른 여러 시그널들을 종합하여 최종 순위를 결정합니다.
쿠팡 추천 시스템 주제에 대한 동영상 보기
여기에서 이 주제에 대한 비디오를 시청하십시오. 주의 깊게 살펴보고 읽고 있는 내용에 대한 피드백을 제공하세요!
d여기에서 추천 시스템 Recommender System – 쿠팡 추천 시스템 주제에 대한 세부정보를 참조하세요
머신러닝 Machine Learning
추천 시스템 Recommender System
컨텐츠 기반 Content-based Filtering
협업 필터링 Collaborative Filtering
Hybrid 방식, SVD, SVD++, NMF
Colab: https://colab.research.google.com/drive/1j39NJ-HSyAeRn-QekORfpkLcW3h5cg1W
이수안 컴퓨터 연구소 (SuanLab)
www.suanlab.com
쿠팡 추천 시스템 주제에 대한 자세한 내용은 여기를 참조하세요.
[RecSys] 쿠팡 추천 시스템 2년간의 변천사 (상품추천에서 …
쿠팡 추천시스템은 모델 중심의 플랫폼에서 서비스와 모델을 분리하는 플랫폼으로 변화함. 2. 추천에서는, 단순히 복잡한 추천 모델을 사용해 높은 …
Source: myeonghak.github.io
Date Published: 1/11/2021
View: 9922
쿠팡 추천시스템 분석 – 데이터 맛집
참고자료. 쿠팡 추천 시스템 2년간의 변천사 (상품추천에서 실시간 개인화로) · ppt 자료. 과거, 모델 중심의 플랫폼. 단일 모델 혹은 복수의 모델이 …
Source: data-matzip.tistory.com
Date Published: 7/10/2021
View: 8294
[DEVIEW 컨퍼런스 후기] 쿠팡 추천시스템의 변천사
초기 쿠팡의 추천 모델은 사용자가 구매한 상품이 있다면 다른 고객이 함께 구매한 상품 및 같은 카테고리의 대체 상품을 추천하는 단순 시스템으로 …
Source: blog.rightbrain.co.kr
Date Published: 4/12/2021
View: 9120
쿠팡 추천 시스템 2년간의 변천사 – velog
DEVIEW 2019에서 제공한 쿠팡 추천시스템 발표내용 정리입니다. 1. 문제의식: 개인화 추천; 특정 카테고리에서 내가 자주본 제품을 추천해주는 등의 추천.
Source: velog.io
Date Published: 12/17/2021
View: 5541
[테크] 쿠팡 알고리즘 총정리 A to Z | 개인화 추천시스템 …
인공지능 추천 시스템 쿠팡 알고리즘 전체 시스템. 모델. – 모델은 Spark, Hive, TF 등을 활용해 데이터의 Feature를 추출.
Source: donglnemo.tistory.com
Date Published: 2/22/2022
View: 3463
언젠가부터 쿠팡이 쉬워졌다…달라진 ‘추천 시스템’ – 디지털투데이
쿠팡은 기술기업을 표방하며, 사용자인터페이스(UIUX)에 많은 공을 들이고 있다고 설명한다. 추천 서비스는 그 노력 중 하나다.오성민 쿠팡 추천팀 …
Source: www.digitaltoday.co.kr
Date Published: 3/12/2022
View: 7163
혹시 여기에 쿠팡 추천시스템부서이신분 계실까요.. – Facebook
혹시 여기에 쿠팡 추천시스템부서이신분 계실까요..? 저한테 시스루 크롭 반팔티가 뜨는 이유는 머신러닝의 판단인가요..? 궁금합니다ㅎㅎ.
Source: m.facebook.com
Date Published: 1/15/2022
View: 5896
추천시스템 활용 현황 – 직장에서 살아남기
또한, 유튜브, 넷플릭스, 왓챠, IMDB, 쿠팡, 아마존, Last.FM, 멜론 등과 같은 기업에서도 활발한 연구가 진행 중입니다. 대표적인 영상 콘텐츠 스트리밍 …
Source: career-hacker.tistory.com
Date Published: 3/27/2021
View: 5877
주제와 관련된 이미지 쿠팡 추천 시스템
주제와 관련된 더 많은 사진을 참조하십시오 추천 시스템 Recommender System. 댓글에서 더 많은 관련 이미지를 보거나 필요한 경우 더 많은 관련 기사를 볼 수 있습니다.
주제에 대한 기사 평가 쿠팡 추천 시스템
- Author: 이수안컴퓨터연구소
- Views: 조회수 10,046회
- Likes: 좋아요 216개
- Date Published: 2020. 10. 24.
- Video Url link: https://www.youtube.com/watch?v=6TP51jvjLsE
쿠팡 추천시스템 분석
참고자료
쿠팡 추천 시스템 2년간의 변천사 (상품추천에서 실시간 개인화로)
ppt 자료
과거, 모델 중심의 플랫폼
단일 모델 혹은 복수의 모델이 상품 추천의 모든 역할 수행
모델 복잡 & 서버 단순
모델은 데이터를 입력받아 복잡한 알고리즘을 통해 학습되며, 이 학습 결과를 통해 새로운 input의 결과를 예측
서버는 모델이 내놓은 결과물을 정렬하는 등의 역할만 수행하면 됨.
모델 변경이 필요하거나, 데이터에 문제가 있거나, 학습을 하루 잘못 시키거나, 새로운 필터를 적용시킬 필요가 있거나(ex.성인 용품) 하면 모델을 다시 학습시켜야 한다.
그렇기 때문에 다음과 같은 문제가 발생한다.
1) 모델 변경에 따라 길어지는 파이프라인(필터, 부스팅, …)
2) 추가 요청사항에 대한 유연성이 떨어진다.
3) 완성 전까지 결과를 알 수 없다.
4) 개발에 시간이 오래 걸린다. (새로운 추천 서비스 개발에 한 달 정도 걸렸다고 함)
5) 상품, 유저 정보 중 일부는 시스템 서빙 시에만 접근이 가능하기 때문에, 추천 시스템을 개발하려고 할 때 접근이 힘들다.
6) 점진적 개선이 힘들다.(모델의 재활용이 어렵다.) 지난 모델은 폐기하기 때문
현재, 서비스와 모델을 분리하는 플랫폼
서비스가 모델로부터 독립. 모델은 Feature만 추출하고, 서비스가 그 결과들을 기반으로 상품 추천 수행
모델 단순 & 서버 복잡
모델은 Feature를 추출하는 역할만 할 만큼 단순. 대신 서버 측에서 파라미터 튜닝 모델을 학습시키는 등 일을 많이 함
이렇게 할 경우 다음과 같은 장점이 있다.
1) 빠른 서비스 개발. 피처와 가중치 등의 조합에 따라 새로운 서비스 개발이 가능하다.
2) 만들어 놓은 Feature는 다른 서비스에서도 사용 가능
3) 서비스에 문제가 생기더라도 쿼리를 튜닝해서 문제를 해결할 수 있다.
추천의 예시
1. 유저 기반 개인화
2. 개인화 할인상품
유저 기반 개인화에서 필터와 부스팅을 활용해 나만을 위한 특가 상품 추천 등 가능
3. 시간 기반 인기상품(카테고리 추천)
4. 인기 있는 PB
상품 attribute에 필터를 건다면 PB상품 추천도 가능
5. 카트 분석
카트에 담긴 모든 아이템을 고려해 아이템 추천
함께 사는 상품을 추천하거나, 무료 배송을 마치기 위해 더하면 좋은 상품들을 추천해주기도 함.
현재 추천 시스템 탐구
전체 시스템은 위와 같이 생겼다.
모델은 Spark, Hive, TF 등을 활용해 데이터의 Feature를 추출한다. 추출한 Feature는 Protocol Buffer(구글에서 만든 직렬화(Serialization)된 데이터 구조)의 형태로 HBase에 저장한다.
쿠팡의 Protocol Buffer
* Product라는 메시지를 정의해서 관리
* 상품 그 자체가 갖는 feature인 image, category, rating, 리뷰 수 등의 정보 있음
* 이 상품이 다른 어떤 상품에 몇 점의 점수로 추천 할 수 있는지를 반복 필드(?)로 두고 있다.
* search팀에서 관리하는 정보, 추천팀에서 관리하는 정보가 서로 다른 column family에 들어있기 때문에 인덱싱 할 때에는 Protocol Buffer의 mergeFrom API를 사용해 merge해서 사용한다.
Search Cluster에서는 컨텍스트(유저, 아이템, 시간, 카테고리)와 관련된 상품을 찾고, 조건에 따라 필터를 한 다음 점수에 따라 정렬한다.
근데 모델에서 만드는 feature의 수는 계속해서 많아진다. 이럴수록 어떤 feature에 얼마만큼의 가중치를 줘야하는지 결정해야 하는 문제가 생긴다. 이러한 작업을 사람의 손에 맡기는 것은 효율성이 낮다.
이 작업을 컴퓨터가 할 수 있도록 쿠팡에서 도입한 것이 LTR이다. 즉, 쿼리 튜닝을 컴퓨터에게 맡기기 위해 사용하는 것이다.
LTR을 학습시키기 위해서는 어떤 상품이 어떤 feature를 가지고 추천되었는지 알아야 하며, 반응이 어땠는지도 알아야 한다. 그래서 쿠팡의 서버에서는 추천 상품을 내보낼 때 마다 해당 상품이 어떤 feature를 가지고 있었는지 logging한다. 또한 해당 상품이 어떤 session id에, 어떤 search id에 추천되었는지도 기록되어야 한다.
컨텍스트를 정의하는 것이 Query Handler Cluster다.(=서비스를 정의한다) 예를 들어, “냄비와 함께 살 만한 할인상품”이라는 추천을 하고 싶다면, bought_together에 “냄비”가 들어있는 상품을 Query하고, category를 “식품”으로 필터링한다. 또한 discount_rate로 부스팅까지 하면 된다. 이 때 Customer Feature를 사용해서 개인화된 서비스를 정의하기도 한다.
Feature Selection
모든 피처를 사용하는 것이 성능이 더 좋을 수는 있다. 하지만 쿠팡에서는 피처의 수를 적게 유지하도록 노력한다고 한다. 그 이유는 피처가 많다면 새로운 피처를 넣었을 때 어떻게 영향을 미치는지 파악하기 어렵고, 어떤 것을 먼저 개선해야 하고, 디버깅해야 하는지 파악하기가 힘들다.
좋은 feature를 선택하기 위해서 모델이 어떤 feature를 중요하게 여기는지 분석하기도 하고, feature 간의 상관관계를 따져 상관관계가 높은 feature는 삭제한다.
Raw Feature vs Processed Feature
쿠팡은 Processed Feature 사용
Raw Feature를 사용하면 각 feature가 모델에 어떻게 영향을 미치는지는 비교적 쉽게 이해할 수 있지만, 상관관계가 높은 feature가 여러 개 남을 수 있다고 한다. 처음 LTR 모델을 도입할 때는 Raw feature를 사용하되 시간이 지나면 상관관계가 높은 feature를 제거한 processed feature를 사용하는 것이 바람직하다.
복잡한 LTR 모델(RNN, CNN) vs 단순한 LTR 모델(Decision tree, MLP)
쿠팡은 굉장히 단순한 모델 채택(Decision tree)
이유
1. 각 픽셀의 RGB 값이 모두 feature가 되는 이미지와 달리 상품 추천 영역에서는 feature의 수가 굉장히 적은 편이다.
2. 복잡한 모델을 사용해서 오프라인 평가를 좋게 받더라도 유저의 반응이 그 만큼 좋으리라는 보장이 없다.
피처 엔지니어링 vs 파라미터 튜닝
쿠팡은 피처 엔지니어링 선호
파라미터 튜닝을 이것저것 시도를 해보고 있지만, 어떤 파라미터가 왜 잘 작동하는지 이해하기 어렵다. 그보다는 새로운 feature를 만들고, 그 feature가 모델에 어떤 영향을 미치는지 파악하는 것이 중요
Q&A
1. 새로 들어온 유저에 대해서는 어떻게 대응하는가?
들어와서 상품을 보기 시작하면서 정보가 쌓이기 시작한다. 이것이 최종적으로 유저의 선호를 결정하는 것은 아니기 때문에 초기 유저의 선호는 자주 바뀐다. 따라서 추천되는 상품 등도 자주 바뀌게 된다.
2. 추천 시스템 평가 방법
서비스 개발 주기가 굉장히 빨라서 offline 평가는 크게 신경쓰지 않는다. A/B테스트를 바로 진행하며, 그 결과로 의사결정을 한다.
3. DBMS는 어떤 것 사용하는가?
분산 HDFS(Kafka)에 저장 => 하이브에 저장 => 스파크나 하이브SQL 등 작업자가 선호하는 방법으로 꺼내 쓴다.
4. A/B테스트 검증은 어떻게?
p-value
5. A/B테스트 샘플군은 어떻게 정하나?
정하지 않는다. 전체 유저를 반으로 잘라 테스트한다.
6. A/B테스트를 하는 타이밍
모델이나 feature를 하나 만들고 난 후 즉시 수행. 성능이 안좋으면 바로 폐기
7. 유저가 들어올 때 마다 매번 같은 추천 상품을 노출하는가?
No. random 함수를 사용해 매번 다른 상품 노출
[테크] 쿠팡 알고리즘 총정리 A to Z | 개인화 추천시스템 알고리즘 아키텍처
728×90
반응형
쿠팡 알고리즘
모델 중심의 플랫폼에서 서비스와 모델을 분리하는 플랫폼으로 변화
과거 쿠팡 알고리즘: 단일 모델 혹은 복수 모델이 상품 추천의 모든 역할을 수행
현재 쿠팡 알고리즘: 서비스가 모델로부터 독립되어, 모델은 Feature만 추출하고 서비스가 그 결과들을 기반으로 상품 추천을 수행
그 결과, 모델은 단순해지고 서버는 복잡해졌다고 할 수 있습니다.
모델은 Feature를 추출하는 역할만 할만큼 단순해졌으나 대신 서버 측에서 파라미터 튜닝 모델 학습 등이 중요합니다.
이렇게 할 경우 다음과 같은 장점이 있습니다.
1) 빠른 서비스 개발, 피처와 가중치 등 조합에 따른 새로운 서비스 개발 가능
2) 만들어 놓은 Feature를 다른 서비스에서도 응용하여 사용 가능
3) 서비스 문제가 생기더라도 query를 tuning해서 문제 해결 가능
인공지능 추천 시스템 쿠팡 알고리즘 전체 시스템
모델
– 모델은 Spark, Hive, TF 등을 활용해 데이터의 Feature를 추출
– 추출한 Feature는 Protocol Buffer(구글에서 만든 직렬화(Serialization)된 데이터 구조)의 형태로 HBase에 저장
쿠팡의 Protocol Buffer
1) Product라는 메시지를 정의해서 관리
2) 상품 그 자체가 갖는 feature인 image, category, rating, 리뷰 수 등의 정보 있음
3) 이 상품이 다른 어떤 상품에 몇 점의 점수로 추천 할 수 있는지를 반복 필드(?)로 두고 있음
4) 쿠팡 search팀에서 관리하는 정보, 추천팀에서 관리하는 정보가 서로 다른 column family에 들어있기 때문에 인덱싱 할 때에는 Protocol Buffer의 mergeFrom API를 사용해 merge해서 사용합니다.
Search Cluster에서는 컨텍스트(유저, 아이템, 시간, 카테고리)와 관련된 상품을 찾고, 조건에 따라 필터를 한 다음 점수에 따라 정렬합니다.
근데 모델에서 만드는 feature의 수는 계속해서 많아집니다. 이럴수록 어떤 feature에 얼마만큼의 가중치를 줘야하는지 결정해야 하는 문제가 생긴다. 이러한 작업을 사람의 손에 맡기는 것은 효율성이 낮습니다.
이 작업을 컴퓨터가 할 수 있도록 쿠팡에서 도입한 것이 LTR입니다. 즉, 쿼리 튜닝을 컴퓨터에게 맡기기 위해 사용하는 것입니다.
LTR을 학습시키기 위해서는 어떤 상품이 어떤 feature를 가지고 추천되었는지 알아야 하며, 반응이 어땠는지도 알아야 합니다. 그래서 쿠팡의 서버에서는 추천 상품을 내보낼 때 마다 해당 상품이 어떤 feature를 가지고 있었는지 logging합니다. 또한 해당 상품이 어떤 session id에, 어떤 search id에 추천되었는지도 기록되어야 합니다.
컨텍스트를 정의하는 것이 Query Handler Cluster입니다.(=서비스를 정의한다.) 예를 들어, “냄비와 함께 살 만한 할인상품”이라는 추천을 하고 싶다면, bought_together에 “냄비”가 들어있는 상품을 Query하고, category를 “식품”으로 필터링합니다. 또한 discount_rate로 부스팅까지 하면 됩니다. 이 때 Customer Feature를 사용해서 개인화된 서비스를 정의하기도 합니다.
Feature Selection
모든 피처를 사용하는 것이 성능이 더 좋을 수는 있습니다. 하지만 쿠팡에서는 피처의 수를 적게 유지하도록 노력한다 고 합니다. 그 이유는 피처가 많다면 새로운 피처를 넣었을 때 어떻게 영향을 미치는지 파악하기 어렵고, 어떤 것을 먼저 개선해야 하고, 디버깅해야 하는지 파악하기가 힘들기 때문입니다.
좋은 feature를 선택하기 위해서 모델이 어떤 feature를 중요하게 여기는지 분석하기도 하고, feature 간의 상관관계를 따져 상관관계가 높은 feature는 삭제합니다.
Raw Feature vs Processed Feature
쿠팡은 Processed Feature를 사용합니다.
Raw Feature를 사용하면 각 feature가 모델에 어떻게 영향을 미치는지는 비교적 쉽게 이해할 수 있지만, 상관관계가 높은 feature가 여러 개 남을 수 있다고 합니다. 처음 LTR 모델을 도입할 때는 Raw feature를 사용하되 시간이 지나면 상관관계가 높은 feature를 제거한 processed feature를 사용하는 것이 바람직합니다.
복잡한 LTR 모델(RNN, CNN) vs 단순한 LTR 모델(Decision tree, MLP)
쿠팡은 굉장히 단순한 모델 채택(Decision tree)
이유
1) 각 픽셀의 RGB 값이 모두 feature가 되는 이미지와 달리 상품 추천 영역에서는 feature의 수가 굉장히 적은 편입니다.
2) 복잡한 모델을 사용해서 오프라인 평가를 좋게 받더라도 유저의 반응이 그 만큼 좋으리라는 보장이 없습니다.
피처 엔지니어링 vs 파라미터 튜닝
쿠팡은 피처 엔지니어링 선호
파라미터 튜닝을 이것저것 시도를 해보고 있지만, 어떤 파라미터가 왜 잘 작동하는지 이해하기 어렵습니다. 그보다는 새로운 feature를 만들고, 그 feature가 모델에 어떤 영향을 미치는지 파악하는 것이 중요합니다.
쿠팡 개발자 님의 쿠팡 알고리즘에 관련된 Q&A
1. 새로 들어온 유저에 대해서는 어떻게 대응하는가?
들어와서 상품을 보기 시작하면서 정보가 쌓이기 시작한다. 이것이 최종적으로 유저의 선호를 결정하는 것은 아니기 때문에 초기 유저의 선호는 자주 바뀐다. 따라서 추천되는 상품 등도 자주 바뀌게 된다.
2. 추천 시스템 평가 방법
서비스 개발 주기가 굉장히 빨라서 offline 평가는 크게 신경쓰지 않는다. A/B테스트를 바로 진행하며, 그 결과로 의사결정을 한다.
3. DBMS는 어떤 것 사용하는가?
분산 HDFS(Kafka)에 저장 => 하이브에 저장 => 스파크나 하이브SQL 등 작업자가 선호하는 방법으로 꺼내 쓴다.
4. A/B테스트 검증은 어떻게?
p-value
5. A/B테스트 샘플군은 어떻게 정하나?
정하지 않는다. 전체 유저를 반으로 잘라 테스트한다.
6. A/B테스트를 하는 타이밍
모델이나 feature를 하나 만들고 난 후 즉시 수행. 성능이 안좋으면 바로 폐기
7. 유저가 들어올 때 마다 매번 같은 추천 상품을 노출하는가?
No. random 함수를 사용해 매번 다른 상품 노출
(참고 및 출처:
data-matzip.tistory.com/entry/%EC%BF%A0%ED%8C%A1-%EC%B6%94%EC%B2%9C%EC%8B%9C%EC%8A%A4%ED%85%9C-%EB%B6%84%EC%84%9D
)
좋은 정보 제공해주셔서 감사합니다 🙂
2021.03.29 – [테크 큐레이터] – [테크] 인스타 스토리 조회 순서, 방문자 순서 알고리즘 어떻게 구성될까? | 쿠팡 알고리즘 A to Z
2021.01.18 – [테크 큐레이터] – [테크] 테슬라가 이끄는 모빌리티 혁명 | 애플을 뛰어넘는 테슬라 | 세계 부호 1위 일론 머스크 CEO
2021.03.26 – [테크 큐레이터] – [테크] 데이터 정합성 | 데이터 무결성 | Data Integrity 정의 및 차이점 총정리
728×90
반응형
언젠가부터 쿠팡이 쉬워졌다…달라진 ‘추천 시스템’
[디지털투데이 유다정 기자] 언젠가부터 쿠팡이 쓰기 편해졌다. 이는 상품 추천 모델을 아예 바꿔, 추천 시 고려하는 각종 요소들이 보다 정교해졌기 때문이다. 상품을 장바구니에 넣으면 ‘무료 배송이 가능한 가격’으로, ‘할인’이 된 ‘완전히 다른 카테고리’의 상품도 추천되는 경지에 이르렀다.쿠팡은 기술기업을 표방하며, 사용자인터페이스(UIUX)에 많은 공을 들이고 있다고 설명한다. 추천 서비스는 그 노력 중 하나다.
오성민 쿠팡 추천팀 테크리드가 29일 네이버 개발자 콘퍼런스 데뷰(DEVIEW) 2019에서 그간 추천 서비스에서 쌓인 기술적 노하우를 살짝 공개했다.
초기 모델은 이용자가 구매한 상품이 있다면, 다른 고객이 함께 구매한 상품을 추천하는 아주 단순한 시스템이었다. 이는 구매라는 유저 데이터가 생성될 때만 접근 가능한 시스템이었다. 또한 추천모델의 테이블을 그대로 사용하는 서버로, 필터를 세부조정하기가 어려웠다. 데이터 배치값을 아예 변경해야 했고, 파이프라인을 처음부터 다시 돌려야만 했다. 활용도도 떨어지고 개발 기간도 오래 걸리는, 즉 서비스가 모델에 의존적인 상황이 된 것이다.
아키텍처 서버 이미지(이미지=쿠팡)
바뀐 쿠팡의 추천 시스템(이미지=쿠팡)
그래서 바꾼 시스템은 모델과 서비스를 분리했다.
‘피처’를 생성해 상품의 특징을 잘 구분하고, 서비스 목적에 맞게 여러가지 피처에 가중을 둬 결과를 내놓는 것이다. 이를 위해 검색엔진을 사용했다. 검색의 시스템은 쿼리>후보 찾기>랭킹이라는 단순한 구조다. 검색어가 입력되면 가장 잘 매칭되는 순으로 결과값이 나오는 방식이다. 추천팀은 상품을 잘 표현할 수 있는 피처를 만들면 된다. 상품의 카테고리부터 리뷰, 평점, 할인율 등이 이에 해당한다.
가령 이용자가 냄비를 장바구니에 담을 경우를 생각해보자. 이전에는 다른 고객이 같이 산 상품이 추천이 됐다. 지금은 함께 사면 무료배송이 가능한 가격대의 고기나 야채 등 식자재도 함께 추천된다. 이는 서비스를 ‘냄비와 함께 살 할인 식품’이라고 정의하고, 이에 따라 각종 피처를 조합했을 때 나오는 결과다.
물론 유저 정보도 더해져 개인화도 가능하다. 암호화된 유저 ID를 사용자 정보로 만들어 최근 본 상품, 산 상품, 검색한 쿼리 등을 분석한다. 유저가 어떤 세그먼트에 속하는 지를 두고 상품과의 연관성을 체크하는 것.
고객이 가성비를 따진다면 할인율에 가중치가 더해진다. 빨간색을 좋아하는 편이라면 붉은 계열의 이미지가 먼저 뜬다. 또, 쿠팡에서 신선 식품을 배달하는 ‘프레시’는 안드로이드 유저들과 달리 iOS 유저들의 구매가 적은 편이다. 이에 검색 결과에도 iOS 유저들은 프레시 상품 추천을 덜하는 식이다.
오성민 쿠팡 추천팀 테크리드(사진=유다정 기자)
오성민 테크리드는 “이전 방식에선 새로운 서비스를 내놓을 때 대략 한 달 정도가 걸렸다면, 새로운 플랫폼에선 서비스 정의부터 AB테스트까지 하루면 끝난다”고 말했다.
고객 반응에 따라 새로운 요구사항이 생기거나 서비스 정의가 바뀔 땐 지속적으로 쿼리를 튜닝할 수도 있다.
이를 통해 지난 1년 동안 추천 영역의 수는 7배가 늘었고, 정확한 수치는 밝히기 어려우나 추천 노출/클릭/구매 또한 폭발적으로 늘었다는 설명이다.
물론 아직까지 세밀한 조정은 필요하다. 새로 유입된 유저의 경우 데이터가 없고, 한 가족이 한 아이디를 공유하는 경우도 여럿 있다.
오 리드는 “유저가 진짜 선호하는 상품(true preferences)이 뭔지 알아내기는 쉽지 않다. 추천의 편향성도 인지하고 있다”며 “피처를 개발을 어떻게 하는지가 굉장히 중요하다. 비즈니스 인사이트가 필요한 부분인데, 다른 회사들사례를 참고하거나 리포트 등을 통해 여기저기 들으면서 바꿔나가고 있다”고 전했다.
추천시스템 활용 현황
추천시스템은 학계와 기업 모두에서 활발한 연구가 진행 중입니다. 추천시스템은 고객에게 구매에 필요한 정보를 제공합니다. 그 결과 고객 만족과 이익 향상 등 두 마리 토끼를 동시에 잡을 수 있습니다. 추천시스템은 상품과 고객 그리고 거래 정보를 이용해 만들어집니다. 또한 추천 문제는 크게 순위를 정하는 것과 평점을 예측하는 것 두 가지로 나눌 수 있습니다. 그럼 자세한 내용을 알아보겠습니다.
1. 추천시스템 연구 현황
추천시스템은 고객과 상품 또는 콘텐츠를 연결한다는 점에 정보검색과 유사합니다. 하지만 정보검색은 고객이 능동적으로 어떤 원하는 것을 탐색하는 반면, 추천시스템은 고객이 선호할만한 정보를 플랫폼에서 먼저 제공한다는 점에서 차이를 갖습니다.
추천시스템은 학계와 기업 모두에서 활발한 연구가 진행되고 있는 영역입니다. 대표적으로 SIGIR, WWW, ACM RecSys, IEEE 등 다양한 학회에서 활발한 연구가 진행 중입니다. 또한, 유튜브, 넷플릭스, 왓챠, IMDB, 쿠팡, 아마존, Last.FM, 멜론 등과 같은 기업에서도 활발한 연구가 진행 중입니다.
대표적인 영상 콘텐츠 스트리밍 서비스 제공업체인 넷플릭스는 Netfilx Prize 추천 대회를 통해 추천시스템 연구 활성화에 힘쓰고 있습니다. 이 대회는 2006년 10월 2일에 시작했습니다. 대회 시작 이후 3년 후인 2009년 9월 21일 우승한 BellKor’s Pragmatic Chaos 팀은 넷플릭스 기존 알고리즘 대비 10.6% 더 높은 추천성공률을 나타내 화제를 모았습니다.
2. 추천시스템을 왜 사용해야 할까?
추천시스템을 사용해야 하는 이유는 크게 다섯 가지가 있습니다. 첫 번째, 더 많은 아이템을 판매할 수 있기 때문입니다. 두 번째, 더 다양한 상품을 판매할 수 있습니다. 소비자가 보지 못한 상품을 판매함으로 소비자 만족도 및 기업 매출 향상에 기여합니다. 세 번째, 소비자 만족도가 증가합니다. 추천 서비스 경험을 통해 고객이 플랫폼에 머무는 시간이 증가하게 됩니다. 네 번째, 추천시스템을 통해 해당 플랫폼에 대한 충성도가 높아져 경쟁력이 강화됩니다. 다섯 번째, 고객이 원하는 것이 무엇인 지 알 수 있습니다.
3. 추천시스템은 어디에 사용될까?
1) 넷플릭스: 콘텐츠 추천
넷플릭스는 고객이 좋아하는 콘텐츠를 더 빨리 찾을 수 있도록 서비스에 접속할 때 추천 시스템을 실행합니다. 만약, 이용 정보가 없는 고객이라면 계정 생성 시 선택된 ‘좋아하는 콘텐츠’를 기반으로 초기 콘텐츠 추천을 수행합니다. 넷플릭스는 상품추천에 다음 세 가지 정보를 이용합니다.
시청 기록, 다른 콘텐츠 평가 등 넷플릭스 서비스와 상호작용 정보
취향이 비슷한 고객이 선호한 넷플릭스 서비스 이용 정보
고객이 선호하는 장르, 카테고리, 배우, 출시연도 등 콘텐츠 관련 정보
또한 개인화 추천을 위해 주 시청 시간대, 시청 디바이스, 시청 시간 등을 고려합니다.
2) 인스타그램: 팔로우 추천
인스타그램은 고객이 팔로잉한 계정 유형과 피드 클릭 계정 정보를 분석합니다. 그 결과를 통해 관련 광고를 피드에 노출시켜 고객이 관심을 가질만한 광고를 볼 수 있게 합니다. 또한 어떤 계정을 팔로우할 경우 해당 계정과 유사한 계정을 분석해 추가 추천을 수행합니다. 인스타그램이 추천에 고려하는 정보는 다음과 같습니다.
팔로잉한 계정 유형
피드에서 클릭한 계정 정보
3) 쿠팡: 상품추천
쿠팡은 고객 선호 정보를 구매 목록, 상품 검색 키워드, 상품 조회 등을 기반해 추정합니다. 이때 선호 상품과 유사한 다른 상품을 추천하기도 합니다. 또한 정기배송 상품은 구매 주기 등을 고려한 추천도 수행합니다. 하지만, 쿠팡은 이미 구매한 상품임에도 불구하고 DM을 통해 구매를 권하는 경우가 빈번해 아직 넷플릭스나 아마존에 비해 추천시스템 완결성이 떨어지는 것으로 보입니다. 쿠팡이 추천에 이용하는 정보는 다음과 같습니다.
상품 구매 정보
상품 검색 키워드 정보
상품 조회 정보
기타 행동정보
4. 추천시스템을 이루는 데이터의 종류
1) 상품(item)
상품은 추천 대상 항목을 말합니다. 상품은 그 가치와 데이터 복잡도에 따라 구분할 수 있습니다. 예를 들면, 뉴스, 책, 영화 등은 추천 복잡도가 낮습니다. 반면, 금융 상품, 직업, 여행 등은 높은 복잡도를 갖습니다. 그 이유는 보험, 대출, 펀드는 가입여력이 존재하는지, 대출심사나 인수심사 통과가 가능할지 등 다양한 요인을 고려해야 하기 때문입니다. 또한 펀드는 투자 성향에 따라 나누어 추천해야 하고 관련 제도 및 법령에 대한 유권해석을 명확히 하는 것이 중요합니다. 상품 가치와 데이터 복잡도에 따라 구분은 다음과 같습니다.
낮은 복잡도: 뉴스, 책, 영화 등
높은 복잡도: 금융 상품, 직업, 여행 등
2) 고객(user)
여러 목적과 특징을 갖는 집단으로 행동 패턴 등으로 유저 모델링을 할 수 있습니다. 협업 필터링은 여러 아이템에 대한 평점 리스트를 생성합니다. 또한, 사회적 요인을 활용한 추천 시스템 등이 있습니다.
3) 거래(transactions)
고객과 상품 간 상호작용을 나타내는 관계 정보를 말합니다. 사용자가 인터넷에 남긴 로그에 기초한 구매, 조회, 해시택, 평점 등이 모두 거래 정보에 해당합니다.
5. 추천시스템이 풀고자 하는 문제 두 가지
1) 랭킹 문제
랭킹 문제는 특정 고객이 어떤 상품을 더 좋아할지 그 순서를 예측하는 것을 목적으로 합니다. 때문에 상품에 대한 평점을 정교하게 예측하는 것은 중요하지 않습니다.
2) 예측 문제
예측 문제는 고객 ×상품 조합에 대한 평점 또는 점수를 예측 문제입니다. 이 문제는 고객 ×상품 행렬의 공백을 채우는 문제와 같습니다. 가령, 고객 m명과 상품 n개가 있으면, m×n 행렬로 표현할 수 있습니다. 이때, 행렬 값은 평점이나 점수로 채워집니다. 이 행렬에서 비어 있는 부분은 아직 구매나 평가가 일어나지 않은 것을 의미합니다. 반면, 값이 채워진 구매나 평가 이력 존재하는 것을 의미합니다. 이때 행렬의 값이 채워진 관측치(observed value)는 상품 추천 모형에 학습에 활용됩니다. 반면, 채워지지 않은 결측 값(missing value)은 모형 평가와 예측에 활용합니다.
반응형
키워드에 대한 정보 쿠팡 추천 시스템
다음은 Bing에서 쿠팡 추천 시스템 주제에 대한 검색 결과입니다. 필요한 경우 더 읽을 수 있습니다.
이 기사는 인터넷의 다양한 출처에서 편집되었습니다. 이 기사가 유용했기를 바랍니다. 이 기사가 유용하다고 생각되면 공유하십시오. 매우 감사합니다!
사람들이 주제에 대해 자주 검색하는 키워드 추천 시스템 Recommender System
- 이수안
- 컴퓨터
- 연구소
- SuanLab
- 데이터 과학
- Data Science
- 머신러닝
- Machine Learning
- 기계학습
- 추천 시스템
- Recommender System
- 컨텐츠 기반 필터링
- Content-based Filtering
- 협업 필터링
- Collaborative Filtering
- SVD
- SVD++
- NMF
추천 #시스템 #Recommender #System
YouTube에서 쿠팡 추천 시스템 주제의 다른 동영상 보기
주제에 대한 기사를 시청해 주셔서 감사합니다 추천 시스템 Recommender System | 쿠팡 추천 시스템, 이 기사가 유용하다고 생각되면 공유하십시오, 매우 감사합니다.