환영합니다, 여러분.00:12

초대해 주셔서 정말 감사합니다, 데벤지 님.00:14

저와 재키는 오늘 스포티파이의 음성 기능을 구현하고 추천 시스템을 완전히 바꿔서 LLM 기반으로 만들었던 내용에 대해 발표할 예정입니다.00:21

간단하게 저에 대한 소개를 드리겠습니다.00:28

저는 스포티파이에 합류한 지 1년 정도 됐습니다. 그 이전에는 구글에서 검색 개인화 관련 업무를 담당했었습니다.00:33

그보다 앞서서는 넷플릭스에서 개인화 업무를 맡았습니다.00:39

네, 그럼 바로 시작해 보겠습니다.00:45

먼저, 우리가 해결해야 할 문제의 규모를 설명하기 위해 몇 가지 숫자를 말씀드리겠습니다.00:50

스포티파이는 대략, 제가 조금 아쉬웠던 점은00:54

DAU 차트에서 확인하지 못했다는 거예요. 분명 거기 위치해야 하는데, 약 7억 6천만 명 정도가 사용하고 있습니다.00:57

약 184개 시장에서 월간 활성 사용자 수는 대략...01:03

하지만 스포티파이의 개인화 문제를 특별히 어렵게 만드는 요인은 바로 콘텐츠 카탈로그의 규모입니다.01:08

물론 스포티파이는 지금까지 발매된 거의 모든 음악을 가지고 있습니다. 백만 곡이 조금 넘는 양이죠.01:14

또한 다양한 비디오, 팟캐스트 및 오디오북 콘텐츠도 제공하고 있습니다.01:20

마찬가지예요. 그래서 매칭 문제는 사실 생각보다 훨씬 복잡합니다.01:26

그래서 오늘 제가 그리고 재키가 이야기할 내용은 기본적으로 그 범위에 대해서입니다.01:31

이 매칭 문제와 저희가 어떻게 해결하고 있는지 말씀드릴게요.01:36

제가 역사적인 부분과 새롭게 시작하는 단계에 대해 조금 설명드리고, 재키가 도와주실 거예요.01:40

모델 내부 작동 방식도 자세히 살펴보고, 어떻게 학습되는지 이해하려고 합니다.01:46

간단하게 역사 이야기를 해보자면, 초기 스포티파이의 개인화 기능은 주로 큐레이션에 기반을 두고 있었습니다.01:51

그래서 사용자들이 기본적으로 특정 취향을 겨냥한 재생 목록을 수동으로 만들었는데요, 현재 스포티파이에서 여전히 매우 일반적인 활용 방식입니다. 01:57

저희는 시간당 정말 많은 양의 재생 목록이 만들어지고 있으며, 약 100억 개의 재생 목록이 있습니다.02:04

그래서 스포티파이가 이러한 큐레이션 신호와 순서 신호를 활용하여 추천 시스템으로 전환하게 되었습니다.02:12

기본적으로 이러한 큐레이션 신호를 활용할 수 있게 되는 것이죠.02:19

대규모로 적용할 수 있는 무언가인데, 아주 좋은 예시가 Discover Weekly입니다.02:23

예를 들어, 2014년에 출시되어 초기 추천 사례 중 하나였습니다.02:28

스포티파이에서요. 하지만 이제 우리가 진입하고 있는 단계는 좀 더 자세히 말씀드릴 내용인데, 저희가 제너레이티브 퍼소널라이제이션이라고 부르는 것입니다. 여기서 저희는 단순히...02:34

문제를 해결하는 것뿐만 아니라...02:40

사용자로부터 콘텐츠까지 매칭하는 문제뿐만 아니라, 각 사용자에게 인터랙티브하고 동적으로 맞춰지는 경험을 생성할 수 있는 능력도 함께 해결하고 있습니다.02:45

각 사용자의 취향에 맞게 상호작용적이고 역동적인 경험을 만들어내는 것을 목표로 하고 있습니다.02:50

그리고 추천 시스템에서 생성적 개인화로의 전환은 몇 가지 중요한 변화를 포함합니다.02:58

그 변화는 몇 가지 큰 차이를 수반합니다.03:01

하나는 기본적으로 순위 알고리즘을 통해 카탈로그 내 엔티티 목록을 제시하는, 추측에 기반한 개인화에서 벗어나03:07

추론에 기반한 개인화를 향해 나아가는 것입니다.03:14

이러한 결과들을 내부적으로 검토하고, 실제로 이 사용자에게 적절한 선택인지 파악하려고 노력할 수 있습니다.03:20

또 다른 측면은 블랙박스 방식에서 벗어나는 것입니다.03:27

알고리즘이 그렇습니다. 여러 단계를 거치는 순위 결정 시스템을 완전히 분석하기는 매우 어렵습니다.03:32

예를 들어, 사용자가 어디에 있는지 투명하게 파악하고 조정할 수 있는 개인화 기능을 구현하기가 어려운 것이죠.03:37

항상 완전히 통제할 수 있도록, 기본적으로 모델에게 영어로 말하고 이해하는 능력을 제공하는 것입니다.03:41

영어를 구사하고 이해할 수 있게 하는 것이죠.03:47

이 시스템들이 할 수 있는 또 다른 점은 추천에 그치지 않고03:50

경험을 생성하고 설명하는 기능도 있다는 것입니다.03:54

그리고 몇 가지 예시를 보여드리겠습니다.04:00

몇 년 전 저희가 시작한 예시 중 하나는 스포티파이 DJ입니다.04:05

그래서 스포티파이 DJ는 사용자가 실행하면 개인화된 음악을 재생하기 시작하는 기능입니다.04:12

흥미로운 점은 작년부터 오른쪽 하단의 버튼을 누르시면 된다는 것입니다.04:19

원하는 방향으로 자유롭게 조절하실 수도 있습니다. 언제든지 의견을 말씀하실 수 있고요.04:25

알고리즘에게 원하는 바를 알려주시면, 그 방향으로 세션을 이끌어갈 겁니다.04:30

저희가 '생성적 개인화'라고 부르는 것들의 또 다른 예시가 바로 이 프롬프트 기반 플레이리스트에 나타나 있습니다. 데벤지가 조금 전에 보여주셨던 것도 같은 방식입니다.04:38

이 플레이리스트는 저희가 '생성적 개인화'라고 부르는 것들의 또 다른 예시를 보여주는 것으로, 데벤지가 앞서 살짝 보여드렸던 내용과도 같습니다.04:42

그리고 여기서는, 스포티파이의 추천 알고리즘에 거의 완전하게 접근하실 수 있습니다.04:47

기본적으로 스포티파이가 가지고 있는 추천 알고리즘을 자유롭게 이용하실 수 있다는 뜻입니다.04:49

매우 일반적인 프롬프트나 매우 상세한 프롬프트를 사용할 수 있습니다.04:55

왼쪽 여기에는 제가 '오늘 밤 샌프란시스코에서 공연하는 밴드들의 플레이리스트를 만들어주세요'라는 프롬프트를 입력했습니다.05:00

알고 보니, 확인해 볼 만한 좋은 공연들이 많이 있네요.05:07

오른쪽을 보시면, 제 러닝에 어울리는 플레이리스트를 요청하는 프롬프트를 보실 수 있습니다.05:10

그리고 오른쪽에도 흥미로운 점은 사용자의 요청에 따라 경험 자체가 동적으로 변화한다는 것입니다.05:15

저의 러닝 과정에서 다양한 단계별로 자신을 소개할 수 있도록 해줍니다.05:22

제가 정말 기대하고 있는 기능 중 하나인데, 뉴질랜드에서 몇 달 전에 출시했었고요.05:30

곧 다른 시장에서도 제공될 예정인 'Taste Profile'이라는 것이 있습니다.05:34

그리고 그것은 기본적으로 자연어(로) 스스로를 돌아볼 수 있는 기능을 제공합니다.05:39

스포티파이 알고리즘이 당신에 대해 무엇을 이해했는지, 수정하고 다듬을 수 있도록 보여주는 방식입니다.05:43

혹시 빠진 내용이나 잘못된 점이 보인다면요.05:49

예를 들어 제 편집 중 하나는 모든 디즈니 음악을 제 아이들이 듣는다는 내용으로 설정한 거예요. 저희 집에서 아이들이 디즈니 음악을 즐겨 들어요.05:52

집에 공유 기기가 많기는 하지만, 그런 음악은 추천해주지 말아 주세요. 제 취향이 아니거든요.05:58

그리고 저희는 알고리즘을 통해 그 점을 고려하여, 잘못된 상황에서 추천하지 않도록 주의하고 있습니다.06:02

마찬가지로, 취향 프로필을 활용해서 좀 더 구체적인 목표를 공유할 수도 있습니다.06:10

새로운 장르에 입문하거나, 새로운 주제를 탐구하고, 새로운 언어를 배우는 것과 같은 일들을 할 수 있습니다.06:14

곧 출시될 또 다른 기능은, 최근에 발표했듯이, '개인 맞춤형 팟캐스트'라는 것입니다. 생성형 개인화 기능을 활용하여06:23

만들어질 예정입니다.06:27

이 시스템은 추천하고 경험을 보내는 것뿐만 아니라 콘텐츠를 생성하기도 합니다.06:32

바로 이 예시에서는 매일 일정한 주기로 생성되는 일일 브리핑을 만들고 있습니다.06:36

그리고 제가 제 커뮤니티에서 무슨 일이 일어나는지 알려주도록 하겠습니다.06:44

좋습니다. 이제 내부 작동 방식에 대해 자세히 알아보겠습니다.06:51

그래서 제가 말씀드린 다양한 애플리케이션들을 모두 제어하는 큰 시스템이 하나 있습니다. 저희는 내부적으로 이것을 '대규모 취향 모델'이라고 부르고 있습니다.06:54

저희는 이런 내부적인 것들 이름을 잘 짓지 못합니다. 그래서 몇 가지 특징들이 있습니다.07:01

하나는 스포티파이의 모든 과거 상호작용 및 콘텐츠를 이해한다는 점입니다.07:06

예전에 말씀드린 것처럼 예측과 추론을 결합하는 수준에 이릅니다.07:10

단순히 추측하는 것뿐만 아니라, 추론 기능이 덧붙여져 있습니다.07:14

실시간으로 경험을 만들고 조정할 수 있는 기능을 사용자에게 제공하며, 완전히...07:17

사용자가 방향을 잡고 프롬프트를 입력할 수 있으며, 현재 미국 프리미엄 구독자 중 약 네 명 중 한 명이 매일 이 시스템과 상호작용하고 있습니다.07:22

정말 흥미로운 일이네요.07:29

흥미로운 점이 하나 더 있습니다.07:33

기존 추천 영역에도 이 시스템을 적용한 결과, 또 다른 긍정적인 효과도 있었습니다.07:35

몇 가지 효과를 확인했습니다. 자동 재생에서 효과가 있었고, 팟캐스트 발견에서도 효과가 있었으며, 사용자들07:41

DJ 메시지와 상호작용하는 부분에서도 상당한 효과를 보았습니다.07:48

시스템을 배포함으로써요. 이와 관련해서, 이제 잭키에게 설명해 달라고 넘겨드리겠습니다.07:54

이 시스템 전체를 뒷받침하는 핵심 구성 요소 중 하나는 무엇인지 말씀해주시죠.07:59

안녕하세요, 여러분. 저는 스포티파이의 머신러닝 엔지니어인 재키 또는 제클린입니다.08:02

자, 조금 더 자세히 들어가서 이야기해 보겠습니다.08:08

이전 강연에서 의미론적 ID에 대해 말씀하셨는데, 스포티파이에서 이 모델들이 어떻게 학습되는지에 대한 내용입니다. 적어도 스포티파이에서는요.08:12

이전에 말씀드린 것처럼, 오픈 웨이 LLM에 지식을 주입하는 방식은 이렇게 임베딩을 활용하는 것입니다.08:19

스포티파이의 카탈로그를 기반으로 만들어지는데요. 기존 콘텐츠 임베딩, 예를 들어 팟캐스트08:25

에피소드 같은 것들을 활용합니다.08:32

임베딩을 생성하고 양자화 알고리즘을 적용하여 이산적인 토큰 세트로 변환합니다.08:33

토큰으로 만듭니다.08:40

그런 다음, 퀀(Quen)과 같은 개방형 LLM을 가져와서 어휘를 수정하여 이러한 새로운 특수 토큰들을 추가하고 모델을 미세 조정합니다. 자연어와08:41

이러한 새로운 특수 토큰들을 이해할 수 있도록 합니다.08:48

저희는 스포티파이 카탈로그 엔티티를 나타내는 시맨틱 ID와 함께 새로운 특수 토큰들도 언어에 포함하고 있습니다.08:56

이렇게 하면 사용자가 자연어로 질문할 수 있는 이런 경험들을 구현할 수 있습니다.09:02

도덕에 관한 팟캐스트를 찾고 싶다는 내용이 프롬프트로 전달됩니다.09:08

그리고 사용자의 청취 기록은 의미론적 ID로 표현되어 함께 제공됩니다.09:13

그리고 모델은 관련 있는 의미론적 ID의 팟캐스트 에피소드와 함께 응답합니다.09:18

또한, 왜 그 팟캐스트를 이 사용자에게 추천했는지에 대한 자연어 설명을 제공합니다.09:24

그래서, 이 모델은 어떻게 학습되나요? 여기 링크된 논문에 자세히 설명되어 있습니다.09:29

이 모델은 실제로 어떻게 훈련되었는지 궁금하시죠. 관련 논문 링크가 여기에 있습니다.09:33

저희가 개발한 NEO라는 학습 패러다임이 있는데, 이는 네 단계로 구성되어 있습니다.09:40

첫 번째 단계는 이미 설명드렸습니다.09:47

의미론적 기반 구축 단계인데, 여기서 의미 있는 시맨틱 ID 토큰을 만들고요.09:50

그리고 그걸 오픈 웨이 LLM의 어휘에 추가합니다.09:57

두 번째 단계는 도메인 정립이라고 부르는데, 여기서 새로 생성된 의미 기반 ID 토큰 임베딩을10:01

원래 언어 임베딩 공간에 맞춰 정렬합니다.10:08

이것은 의미 ID와 텍스트 간의 양방향 매핑을 학습함으로써 합니다.10:12

텍스트에서 의미 ID로, 그리고 그 어떤 조합으로도 가능합니다.10:19

그리고 이 단계에서 LLM의 핵심 모델을 고정하고 새로운 것만 학습합니다.10:25

시맨틱 ID 임베딩을 학습하는 것이죠.10:33

따라서 기존 모델의 가중치와 임베딩은 고정하고, 새로운 의미론적 ID 토큰만 학습합니다.10:36

이렇게 하면 사전 훈련된 LLM의 핵심 언어 능력이 파국적으로 손실되는 것을 방지하는 데 도움이 됩니다.10:43

세 번째 단계는 저희가 역량 유도라고 부르는데, 이는 여러 작업에 대한 지시 조정입니다.10:52

여기에서 보여드린 것처럼 Spotify에서 중요하게 생각하는 작업들에 적용됩니다.10:58

다음은 추천이나 검색 기능 등과 같은 작업들이 있습니다. (다음은 추천, 검색 기능 등을 포함합니다.)11:03

이 과정에서는 모델 전체의 가중치와 임베딩을 모두 풀어 적용합니다.11:07

그리고 여러 스포티파이 작업에 대해 전체 파라미터 조정 또는 LoRa 조정을 실행합니다.11:15

선택적으로 강화 학습 조정과 같은 사후 훈련을 위한 네 번째 단계도 있습니다.11:22

이 네 단계의 학습 방식이 실제 얼마나 차이를 만드는 걸까요?11:31

이 점을 조사하기 위해 저희가 수행한 몇 가지 분석 결과를 살펴보겠습니다.11:36

먼저, 멀티태스크 학습이 실제 성능을 저해하는지 비교 검토했습니다.11:41

멀티태스크 모델과 단일 태스크 변형 모델을 비교했습니 다.11:48

그리고 저희는 여러 작업에서 일관적으로 멀티태스크 모델이 싱글 태스크 성능과 비슷하거나 오히려 능가하는 것을 확인했습니다. 이는 작업 간에 긍정적인 상호 학습이 이루어지고 있다는 것을 시사합니다.11:51

표시해 주고 있습니다.11:58

이 현상은 여러 작업에서 일관되게 나타나고 있습니다.12:04

특히 오디오북 추천의 경우에 두드러지게 보입니다. 여기를 보시면 알 수 있습니다.12:06

이는 스포티파이에서 비교적 새로운 콘텐츠 유형인데, 이러한12:13

멀티태스크 모델들이 카탈로그 내 다른 항목들을 통해 학습하여 콜드 스타트 엔티티 문제를 해결하는 데 도움을 줄 수 있음을 보여줍니다.12:20

예를 들어 팟캐스트 추천이나 의미 있는 오디오북 추천처럼요. 12:26

그런 다음 실제 학습 레시피에 대한 몇 가지 분석을 진행했습니다.12:32

우리는 완전히 동결된 백본 도메인 기반 지칭 단계를 제거하는 것도 평가해 보았습니다.12:36

그리고요.12:44

도메인 그라운딩 단계를 능력 유도 단계와 멀티태스크 지시 조정 단계에서 결합하는 방법도 검토해 보았습니다. 여기 중간 부분의 A행과 B행에 해당합니다.12:44

여기 중간 부분에 A행과 B행이 있습니다.12:51

그리고 그 두 가지 모두에서 성능 저하가 나타났습니다.12:56

하지만 실제로는 가장 큰 성능 하락이 있었습니다.12:59

무작위로 초기화된 백본을 사용했을 때 가장 큰 성능 저하가 있었습니다.13:02

저희가 사용하고 있는 사전 학습된 오픈 웨이트 LLM 대신에 그랬습니다.13:06

도메인 맞춤형 학습 단계에서 지속적인 사전 훈련을 사용해 보았습니다. 13:11

보시는 것처럼 작업별 성능 저하가 거의 없는 것을 알 수 있습니다.13:17

하지만, 지속적인 사전 학습이 저희에게 큰 영향을 미치는 부분은 자연어 처리 능력과 세계 지식 분야입니다.13:24

저희가 사용하고 있는 사전 학습된 기반 LLM의 그것이죠.13:30

지속적인 사전 학습을 진행한 후에는 거의 제로에 가깝게 나타납니다. 반면, 동결된 백본 도메인 기반 지식을 활용하는 경우에는,13:34

핵심적인 언어 능력은 그대로 유지되고 의미론적 ID를 학습할 수 있습니다.13:41

이 실험들은 Gwenn을 사용해서 진행했음을 말씀드리고 싶습니다.13:47

하지만 저희는 이 결과가 LLAMA에서도 동일하게 나타나는 것을 확인했습니다.13:51

따라서 모델의 기반 구조에 특정한 것이 아니라, 실제 학습 방식 자체와 관련이 있습니다.13:55

그리고 마지막으로, 다양한 추론 전략에 대한 조사를 진행했습니다.14:03

그리고 정확도와 지연 시간(latency)에 미치는 영향도 살펴보았습니다.14:08

빔 서치(beam search)를 제약된 디코딩(constrained decoding)과 그렇지 않은 방식으로 모두 테스트해 보았는데요.14:13

그리고 구속 디코딩 없이도 유효한 의미 ID를 생성할 수 있다는 것을 확인했습니다.14:18

구속 디코딩을 사용하면 98%의 경우 약간의 지연 시간 오버헤드가 발생하지만요.14:24

특정 유형을 타겟팅해야 하는 특정 사례에도 도움이 됩니다.14:31

예를 들어, 새로운 콘텐츠 추천만 하도록 하는 것처럼 콘텐츠 종류를 제한할 수 있습니다.14:36

탑 피스 샘플링도 비교해 보았습니다.14:42

빔 서치(BeamSearch)를 사용해 보니 탑 피스 샘플링이 정확도를 상당히 떨어뜨리는 것을 확인했습니다.14:45

비임 서치는 약간 더 지연 시간이 걸리긴 하지만, 그 균형을 맞추기로 결정했습니다.14:50

저희에게는 괜찮은 선택이었습니다.14:57

그래서 이것이 의미 있는 이유는 무엇일까요? 이 분야에서 업계의 많은 연구가 있었습니다.15:02

생성적 의미론적 ID 검색, 도구 기반 LLM 추천 시스템 등에 관한 것이죠.15:08

플럼 페이퍼 같은 것들도 있었지만요.15:14

하지만 네오가 실제로 이 모든 기능을 하나로 결합한 최초의 사례입니다.15:16

그라운드 카탈로그 아이템을 이해하고, 자연어 기반으로 제어가 가능하며, 검색 및 추천 기능도 제공합니다. 설명 사용 사례와 함께 산업 규모의 저지연 도구 없는 추론도 수행할 수 있습니다.15:22

산업 수준의 낮은 지연 시간과 도구 없이 바로 추론이 가능하다는 점을 말씀드립니다.15:30

규모를 확장하고 있습니다.15:38

그리고 현재 실제로 이 기술을 제품에 적용하고 있습니다.15:41

여기 관련 논문 링크도 함께 제공되었는데, 저희가 이 기술을 활용하여 팟캐스트 검색 기능을 구현하고 있습니다.15:45

저희가 확인한 결과, 이렇게 모델을 학습시키면 사용자들이 기존의 습관적인 패턴에서 벗어나 새로운 콘텐츠를 접하게 할 수 있었습니다.15:53

그리고 좀 더 익숙하지 않은 콘텐츠를 듣도록 유도할 수 있었고, 온라인에서 큰 성과를 거두었습니다.16:00

이것을 통해요.16:07

따라서 이러한 모든 것은 의미 있는 평가 없이는 작동하지 않습니다. 그래서 그 점에 대해 조금 이야기해 보려고 합니다.16:10

저희의 추천 방식이 더욱 생성적이고 설명적으로 발전함에 따라,16:16

저희 기존의, 어쩌면 전통적인 오프라인 평가 지표들은 충분하지 않습니다.16:23

네, 그 지표들은 사용자가 그것과 상호작용했는지 여부는 알려줄 수 있습니다.16:31

콘텐츠에 대한 정보는 알려줄 수 있지만, 사용자가 그 추천을 어떻게 받아들이는지, 혹은 추천이 사용자에게 적절한지 판단해 주지는 못합니다.16:36

사용자에게 의미가 있는지, 설명이 정확한지, 그리고 사용자의 의도와 일치하는지를 알 수는 없습니다.16:42

그래서 LLM이 판단하는 부분이 정말 빛을 발하지만요.16:49

저희 스포티파이에서 일하면서는, 기반을 다지는 데 투자를 해야 한다는 점을 많이 발견합니다.16:53

LLM이 의미 있는 데이터를 판단하여 신뢰할 수 있는 평가자가 되도록 합니다.16:58

몇 가지 예를 들어 팟캐스트를 평가하는 방법을 보여드리겠습니다.17:05

방금 말씀드린 추천 시스템에서, 사용자의 청취 기록을 요약한 텍스트 사용자 프로필을 생성합니다. 그리고 이것은 LLM 판사에 전달됩니다.17:11

이것을 통해 저희는 상당한 효과를 보았습니다.17:18

그것이 LLM 심사관과 인간의 선호도 간에 75%의 일치율을 보였다는 것을 의미합니다.17:24

마찬가지로, 실제 행동 신호를 활용하여 이러한 LLM을 기반으로 할 수 있습니다.17:30

판사들을 활용할 수 있습니다. 예를 들어 검색 작업의 경우, 특정 질문에 대해 사용자가 이전에 유사한 질문들에 어떻게 반응했는지17:36

과거에 상호작용한 기록을 사용할 수 있습니다.17:44

그 정보를 모델에 전달했는데, 전체적으로 일치율이 5% 증가했습니다.17:49

하지만 애매모호한 질문에서는 무려 91%나 일치율이 증가하는 것을 확인할 수 있었습니다.17:55

특히 모호한 경우에 LLM 심판의 이러한 기반이 갖는 가치가 중요합니다.18:02

LLM 심판이 어려움을 겪는 부분입니다. 마지막으로, 우리는 기반 지식을 활용한 LLM 심판을 사용했습니다.18:09

크랜필드 스타일의 컬렉션을 확장하기 위해 사용했습니다.18:16

이것은 여러 출처에서 후보를 가져와 구성된 평가 데이터 세트입니다.18:21

후보 풀을 만들고, 사람이 그 풀을 순위를 매기는 방식입니다.18:28

하지만, 사람의 순위 결정 단계는 비용이 많이 들기 때문에, 심판으로 사용할 LLM의 신뢰도를 높이는 데 상당한 투자를 했습니다.18:33

그리고 LLM이 인간의 시스템 순위와 일치하도록 판단할 수 있습니다.18:41

일치도 값이 0.87에 달합니다.18:45

요약하자면, 오늘 발표에서 많은 분들이 말씀하실 것처럼, 새로운 시대가 도래하고 있습니다.18:55

개인화 시대가 열리고 있으며, 생성형 개인화를 통해 더욱 발전하고 있습니다.19:03

그리고 사용자에게 언어 기반의 맞춤형 추천을 제공하고 싶으시다면, 이렇게 저희는 OpenWay LLM이 스포티파이처럼 말하도록 가르쳤습니다.19:07

이것이 저희가 OpenWay LLM에게 스포티파이와 같은 방식으로 대화하게끔 학습시킨 방법입니다.19:15

감사합니다.19:20