넷플릭스(추천 알고리즘:시네매치)는 어떻게 자신의 마음을 꿰뚫어볼 것인지 유튜브나 넷플릭스 영상 콘텐츠가 홍수처럼 넘쳐나는 시대다. 수많은 영상 중 어떤 콘텐츠를 볼지 결정하는 데 걸리는 시간은 단 60초! 이런 시대에 구독자의 취향과 취향에 맞는 콘텐츠를 추천하고 짧은 시간 내에 이들의 이목을 집중시키는 것은 매우 중요하다.
인공지능이 대두하고 있는 요즘 가장 유용하게 활용되는 분야로 개인화 추천 시스템이 있다. 컴퓨터가 자신이 좋아하는 것을 미리 파악해서 보여주는 것이다.
이런 추천 시스템을 가장 잘 활용한 사례가 넷플릭스!
넷플릭스의 성공비결은 정교한 추천 시스템이라고 해도 과언이 아닐 것이다.
넷플릭스는 우편으로 DVD를 대여하는 업체에서 시작됐다. DVD를 우편으로 빌려주면 대여, 회수에 걸리는 시간이 일반 비디오 대여점보다 길다는 단점이 있다. 나 같은 외골수 빼고 (미녀와 야수만 50만 번 대여) 거의 모든 사람이 비디오 가게에 가면 최신작이나 인기작 위주로 대여한다. 아무리 다양한 영화들이 즐비해도 최신작만 빌려간다면? 당연히 순환이 잘못됐다. 이를 극복하기 위해 비디오나 DVD 대여점은 가능한 한 많은 신작을 구입해야 하기 때문에 투자비용이 늘어난다. 이미 신작이 아니거나 비행흥작은 더 이상 빛을 보지 못하고 재고가 된다.
넷플릭스는 이런 고민 끝에 추천 시스템을 개발하게 된다. 이른바 넷플릭스의 시네매치 시스템은 사용자들이 한 번 시청한 영화를 분석하고 유사한 특성의 콘텐츠를 추천하는 알고리즘이다. 꽤 정교함을 자랑하는 이 알고리즘은 비록 몇 년 전에 나온 영화라도 나의 취향저격 영화를 추천해 준다.비디오 가게 시절처럼 최신작뿐만 아니라 오래된 영화를 대여하는 고객들이 이 제도를 신뢰하기 시작했다. 이는 신작 구매비용과 재고비용을 줄여주며 넷플릭스의 고민을 해결해준다.
넷플릭스는 어떻게 이런 추천 시스템 기술을 갖게 됐을까.
이 권장 알고리즘의 개발 기술이 넷플릭스 내부에서 100% 개발된 것은 아니라는 점은 흥미롭다. 넷플릭스는 내부가 아닌 외부의 아이디어로 이 위기를 극복하는 방법을 선택했다.
2006년 10월 넷플릭스는 캐글과 함께 ‘넷플릭스 프라이즈’라는 상금 공모전을 개최해 화제를 모았다. 넷플릭스의 추천 알고리즘 시스템인 시내매치의 정확도를 10% 이상 높인 팀에 100만달러의 상금을 주겠다고 선언한 것.
NETFLIX PRIZE
https://www.netflixprize.co m/index.htmlHome Rules Leaderboard Update Congratulations! The Netflix Prize sought to substantially improve the accuracy of predictions about how much someone is going to enjoy a movie based on their movie preferences. On September 21, 2009 we awarded the $1M Grand Prize to team “BellKor’s Pragmatic Chaos”. Re…www.netflixprize.com
100만달러의 상금이 걸려 있던 2006년 당시 화제의 이 공모전!
넷플릭스 프라이즈가 발표되자마자 전 세계에서 5,000개 팀이 몰려들었다. 3년간 186개국 4만 팀 이상의 인력이 넷플릭스 추천 알고리즘 기술 개발을 위해 뛰어들었다. 이 대회 우승은 벨코어의 실용적 혼돈팀이 차지했다. 이들은 3년 만에 넷플릭스 시네매치의 정확도를 10% 개선하는 데 성공했다.
(+참고: 벨코어의 실용적 혼돈이라는 팀 이름이 재미있는데 이 비화를 살펴보았다. 이 팀은 ATT 벨 연구소 소속 연구원 3명이 결합한 팀이다. ‘벨코어’라는 팀으로 시작되었는데, 호주의 ‘대혼돈’이라는 팀과 조인하고 ‘벨코어와 대혼돈’이라는 팀이 되어 ‘실용주의’라는 팀이 다시 결합! 결국 벨코어의 실용적 혼돈이라는 팀명을 갖게 되었다는 소문)
왜 많은 인재가 넷플릭스 프라이즈에 참여했을까?
단지 100만달러의 상금 때문이었을까. 근데 이게 제일 크잖아 근데 다른 장점이 있다면 그게 뭐야?넷플릭스 프라이즈의 기회는 모두에게 공평하게 열려 있었다. 개인뿐 아니라 유명 회사의 연구원들도 이 대회에 참가해 단지 100만달러의 상금을 챙겼을까.
상금은 매우 중요한 유인책이었다. 하지만, 온 세상에 잠재해 있던 인재들을 유인한 것은 넷플릭스의 방대한 데이터였다.넷플릭스는 자신이 제작한 영화의 상세 데이터를 제공하고 있다. 넷플릭스는 그들의 가장 중요한 경쟁력이었던 자산을 과감히 참가자들에게 내민다. 참가자들은 거액의 상금을 받지 못하더라도 넷플릭스가 제공하는 보물 같은 데이터를 이용해 다양한 테스트를 받을 수 있다는 생각에 기꺼이 공모전에 참가했다.
오픈 이노베이션: 외부 역량을 이용해 내부 혁신을 일으키는 방식 넷플릭스 프라이즈 개최 결과 넷플릭스는 이들의 아이디어를 활용해 불가능한 영역에 가까웠던 추천 알고리즘의 정확도를 10%나 높이고 영화 추천 매칭 시스템 시네매치를 업그레이드하는 데 성공했다. 넷플릭스가 100만달러를 들여 챙긴 게 전부가 아니다. 그동안 알고리즘 개발과 무관하게 일해 온 평범한 직장인과 연구원들이 이런 혁신 개발에 눈을 돌리게 되면서 인류 전체에 혜택이 돌아가는 연구를 발전시킨 셈이다.
+
사실 오늘 글은 나의 주된 관심사는 아니었지만 회사에서 업무적인 글을 써서 알게 된 정보가 아까워서 남겨본다.나름대로 흥미로운 이야기 🙂
#오픈이노베이션 #넷플릭스 #넷플릭스알고리즘 #넷플릭스시네매치 #씨네매치 #넷플릭스추천시스템 #넷플릭스추천알고리즘 #추천시스템 #인공지능추천시스템 #추천알고리즘 #상금공모전 #넷플릭스프라이즈 #추천시스템