AWS re:Invent 2018: NEW! Introducing Amazon Personalize: The Science of Personalization

모든 내용은 2018년 re:Invent 발표를 한글로 요약한것입니다.

 

Personalization 알고리즘에 대한 간략한 설령도 이 영상에서 엿볼수 있었다. 아마존의 Personalization 알고리즘을 만든 Senior Machine Learning Scientist인 Murali의 발표가 이어졌다.

첫번째로 Fundamental insight에대한 이야기를 했는데, 관심을 보였던 그리고 싫어했었던 기록은 추후 어떤것을 선택할때 좋은 지표가 된다. 상품을 본 순서와 시간을 모으는것도 중요하다. 예를 들어, 위 그림을 보자. 세가지의 시계를 본 후, 구두를 보았다면 그다음엔 구두를 추천하는것이 맞다. 하지만 아래의 경우는?

맨처음 구두를 보고, 구두 대신 시계들에 대해 검색을 했다면, 세번째 시계 이후에는 구두가 아닌 시계를 추천해주어야한다. 이것은 어떻게보면 굉장히 간단해보이지만, 이런 시스템을 구축한다는것은 쉽지 않다.

여기서 recurrent neural network알고리즘이 사용된다. 이 알고리즘은, 아이템을 방문한 순서까지도 고려하고, 다른 방대한 그동안의 정보까지 취합한다. 이것을 Sequential modeling이라고 하는데, 이 기술이 아마존 Recommendataion에 포함되어있다.

만약 유저가 시계를 검색하다가 결국 세번째로 보았던 시계를 샀다면? 그러면 유저는 시계에 대한 흥미를 잃을 확률이 높기때문에 다른 소비할것을 찾아보고싶어할것이다. Hirarchical Recurrent Neural Network를 이용하면, 이런 구매 Session에대한 정보까지 취합해서 추천을 만들어낸다. 즉, 더이상 필요하지 않는것들은 잊어버리는것까지 고려하는셈이다. 

아마존의 HRNN의 기능이 다른 State-of-art 알고리즘과 비교해보았을때 얼마나 좋은 성능을 내는지 연구를 했다고 한다. Netflix 그리고 MovieLens에서 RMSE(Root-mean-square-deviation), 평균 제곱근 편차를 보았는데, HRNN이 가장 낮았다. 즉, Netflic나 MovieLens에서 평점이 몇점 나올것인가에 대해 예측을 했고, HRNN이 예측한 갑과 실제 환경에서 관찰된 값의 차이에서 가장 적은 차이를 보여줬다. 이는 두가지 실험 모두에서 보여줬다. 

 

Personalize에서는 HRNN이외에도 여러가지 state-of-art 알고리즘을 제공한다고 한다. 그리고 HPO를 이용하면 parameter를 튜닝해주기도 하고, AutoML을 이용해 알고리즘을 자동으로 선택하는 옵션이 있으니, 기술적인 지식에 대한 깊이에 따라서, 사용을 자유롭게 할 수 있을것 같다.

마지막으로, Personalize를 이용해야하는 이유에 대해 정리해주었다. hirarchical sequential 모델들이 여러가지 추천을 안정적으로 해주고, 이 알고리즘에는 여러 deep learning 전문가들의 다양한 비법(?)이 담겨있다고 한다. 방금전에도 말했듯, 기술적인 인력이 없거나 ML 개발을 해보지 않은 사람도 문서만 참고하면 클릭 몇번으로 추천 시스템을 만들수 있는데, 알고리즘도 자동으로 선택해주고, 게다가 Parameter도 자동으로 선택해서 사용한다.