모두 환영합니다. LLM RECSYS 트랙에 참석해 주셔서 감사합니다.00:12

제가 발표할 내용을 공유하겠습니다.00:17

첫 번째 발표입니다. 제 발표는 '토큰과 참여도 감소, LLM 추천 시스템 학습'이라는 제목입니다.00:20

오늘 두 가지 중요한 주장을 하고 싶습니다.00:27

첫 번째 주장은 추천 시스템도 LLM처럼 확장 가능하다는 것입니다.00:29

그리고 이 분야는 아직 초기 단계의 확장 곡선에 놓여 있습니다.00:34

그리고 두 번째는, 00:38

LLM 기반 추천 시스템이 인공지능의 가장 큰 소비자 애플리케이션 중 하나가 될 것이라는 점입니다.00:40

네, 간단하게 저에 대해 말씀드리겠습니다. 현재 메타에서 연구와 제품 관련 일을 하고 있습니다.00:48

제가 이끄는 팀은...00:52

저는 메타의 추천 연구팀에서 일하고 있습니다. 이 팀은 최첨단 모델과 LLM을 훈련시키고,00:54

인스타그램, 페이스북 광고, 그리고 메타 패밀리 앱들을 구동하는 추천 시스템을 개발합니다.01:01

이전에는 구글에서 오랫동안 일하면서 딥마인드와 유튜브를 포함한 여러 핵심 ML 팀들을 담당했습니다.01:07

지난해에 AI Engineer라는 곳에서 'Gemini에게 유튜브 말하기'라는 주제로 강연했는데, 이 두 가지 아이디어에 대해 이야기했었습니다. 시맨틱...01:14

시맨틱 ID와 생성적 검색에 대한 논문도 두 편 작성했는데, 관련 링크를 여기에서 확인하실 수 있습니다.01:22

정말 즐거웠고, 많은 토론과 협업으로 이어졌습니다.01:27

시맨틱 ID와 생성적 검색이라는 아이디어들이 지난 한 해 동안 업계에서 정말 많이 활용되고 있습니다.01:31

연구 단계에서 벗어나 이제는 실제 규모의 프로덕션 시스템에 적용되고 있습니다.01:37

유튜브, 메타, 스포티파이, 도어대쉬를 포함해서 업계 전반적으로 흥미로운 출시와 논문들을 많이 접했습니다.01:43

오늘 오후에 관련 예시 몇 가지를 보여드리겠습니다.01:51

올해 저는 네 가지 주제에 대해 말씀드리고 싶습니다. 추천 시스템 확장 곡선과01:54

업계 전체가 함께 올라가고 있는 네 가지 추천 패러다임 S-곡선에 대한 프레임워크입니다.02:01

추천 알고리즘 레시피를 공유하고, 마지막으로 이 소비자 인공지능 앱 프레임워크에 대해서도 말씀드릴게요.02:07

먼저 스케일링 곡선부터 시작해 보겠습니다.02:14

이 중요한 스케일링 곡선 논문을 2020년에 발표했는데, 그게 벌써 한참 전 일처럼 느껴지네요.02:17

다리아가 아직 OpenAI에 있었고, Anthropic는 존재하지 않았던 때였지만, 핵심 아이디어가 바로 이것입니다.02:23

공유하신 논문은 스케일링의 거듭제곱 법칙을 설명하고 있습니다. 모델 크기를 늘리면,02:29

데이터와 연산량이 필요합니다.02:35

모델 학습에 사용된 플롭스(FLOPs)가 증가함에 따라 손실이 로그 선형 척도에서 감소합니다.02:37

그리고 이 깔끔한...02:42

예측 가능한 곡선이 실제로 인공지능 최전선을 향한 경쟁을 촉발했는데요. 왜냐하면 모델의 품질과 성능 개선이 어떻게 변화할지를 예측할 수 있기 때문입니다.02:44

그리고 이것이 현재 뒷받침하고 있습니다.02:49

엄청난 자본 지출과 현재의 인공지능 구축도 그렇습니다.02:55

알고 보니, 추천 시스템은 매우 유사한 스케일링 법칙을 따르는 것 같습니다.02:59

사실, 이 LLM의 물결이 있기 전에는 RECs가 빅테크 기업에서 가장 큰 규모의 머신러닝 모델이었습니다.03:04

그리고 아직까지도 10억 명 이상의 일일 활성 사용자를 대상으로 서비스되는 가장 큰 모델 중 하나입니다.03:10

그리고 이와 유사한 파워 로스 스케일링 곡선을 따릅니다.03:17

x축은 데이터, 컴퓨팅, 모델 크기를 나타내고 y축에서는 손실이 감소하는 모습을 볼 수 있습니다.03:20

혹은 이 차트에서는 추천 품질 개선을 의미합니다.03:27

오프라인 평가에서는 순 누적 엔트로피 또는 AUC 향상을 나타냅니다.03:31

그리고 실제 서비스 출시로 이어질 때에는 사용자 참여도에 미치는 영향이나 수익에 미치는 영향을 보게 됩니다.03:36

매우 큰 규모의 소비자 앱에서 나타나는 현상입니다.03:42

이러한 파워 로우 스케일링 곡선을 잘 보여주는 메타의 실제 사례가 있습니다.03:45

첫 번째는 2024년의 논문인 HSTU이고, 두 번째는 올해 발표된 후속 연구입니다.03:54

두 가지 모두 모델 크기, 컴퓨팅 자원, 그리고 데이터를 확장함에 따라 추천 시스템의 오프라인 평가 성능이 명확하게 향상되는 것을 보여줍니다.04:01

품질이 높아집니다.04:08

이러한 확장 곡선은 단순한 학술 연구가 아니며, 세계 최대 규모의 소비자04:11

기업들에서 실질적인 제품 영향력을 창출하고 있습니다. 메타의 최근 실적 보고서에서 가져온 몇 가지 예시를 보여드리겠습니다.04:18

인스타그램 릴스는 이번 분기에 매우 좋은 성과를 보였고, 전년 대비 시청 시간이 30% 증가했으며...04:24

추천 품질을 개선하기 위해 우리가 수행한 최적화 작업에는 효율적인 모델을 가능하게 하기 위해 순위 아키텍처를 간소화하는 것이 포함되었습니다.04:31

사람의 관심사를 파악하기 위해 스케일링과 더 긴 상호작용 기록을 활용했습니다.04:38

인스타그램 학습에 사용되는 사용자 상호작용 시퀀스의 길이를 두 배로 늘렸고, 각 사용자 상호작용의 풍부함도 높였습니다.04:45

이것들은 LLM의 전력 손실 스케일링 곡선과 직접적으로 일치하는 현상입니다.04:52

참여도를 높이는 토큰의 회전식이라는 개념을 소개하고 싶습니다.04:59

이것이 현재 RECS 모델들의 확장성을 뒷받침하는 원리입니다.05:04

모델을 학습시키고, 그 결과를 추론하는데 사용되는데, 이것이 토큰으로 표현됩니다.05:08

그 추천 모델은 더 나은 콘텐츠 추천 결과를 가져다 줍니다.05:12

이는 소비자 참여도를 높이고, 일일 활성 사용자들의 사용 시간을 늘립니다.05:17

그것은 수익 창출과 광고 또는 구독으로 이어지며, 이는 다음 모델 학습을 위한 비용을 충당합니다.05:22

따라서 확장 곡선의 모든 단계는 이 플라이휠을 한 바퀴 도는 과정이며, 그리고...05:28

많은 소비자 앱들이 비즈니스의 핵심을 이루는 이 코어 플라이휠을 계속해서 돌리고 있습니다.05:33

따라서, 이러한 추천 시스템을 확장할 여지가 아직 많이 남아있습니다.05:37

제가 업계가 발전해 나가는 네 가지 패러다임에 대해 이야기하고 싶습니다.05:41

첫 번째 S 곡선은 좀 더 전통적인 레크서스였고, 이 S 곡선은 기능에 더욱 집중했습니다.05:45

피처 엔지니어링과 사용자 및 콘텐츠 임베딩에 집중했습니다. 대부분의 프로덕션 시스템은05:52

아직 이 곡선 위에 있습니다. 투 타워 희소 네트워크나 랭커를 실행하며, 임베딩 모델을 확장하고 있죠.05:57

이 곡선은 사라지지 않을 거라고 생각하지만, 자동 연구를 통해 모델 개발 속도가 빨라질 것입니다.06:03

그리고 특징 엔지니어링과 같은 작업들은 실제 머신러닝 전문가보다는 에이전트가 처리하게 될 것 같습니다.06:10

엔지니어들이죠. 다음의 곡선은 일종의 LLM에서 영감을 받은 모델과 관련이 있는데, 여기서 규모를 확장하게 됩니다.06:15

모델을 사용하는데, 이상적으로는 종단 간(end-to-end)으로요. HSTU와 OneRecPapers가 이 패러다임의 예시입니다.06:21

현재 업계 최고의 추천 시스템들이 대부분 이 방식으로 운영되고 있다고 생각합니다.06:27

다음 S자형 곡선은 기본 모델을 활용하여 적용하는 LLM 기반의 패러다임이 될 것이라고 생각합니다.06:34

추론하고 추천 작업에 맞게 적용할 수 있는 모델을 의미합니다.06:41

타이거(Tiger)와 플럼(Plum) 논문들이 이 패러다임의 예시입니다.06:46

그리고 제가 보기 시작하는 마지막 패러다임은 에이전트 기반(agentic) 방식인데, LLM이 추천 시스템을 루프 형태로 조정하기 시작할 거라고 생각합니다.06:49

LLM이 추천 시스템을 반복적으로 개선해 나가는 방식으로 작동하는 거죠.06:52

코딩 에이전트와 유사한 부분이 있다고 생각합니다. LLM 기반 모델들은 마치 Opus 45에서 48로 모델의 핵심 기능을 개선하는 것과 같은 맥락입니다.06:58

에이전트 중심적인 발전 곡선이라고 할 수 있겠네요.07:03

기존의 Clawed Code나 Codex 뒤에 있는 코딩 환경을 개선하는 것과 비슷할 겁니다. 단순히 추천 시스템으로 한 번 전달하는 것이 아니라,07:10

에이전트가 계획하고, 정보를 검색하는 루프를 상상해 볼 수 있습니다.07:16

순위를 매기고 추천 사항을 비평하게 됩니다. 모델을 다시 호출하여 이를 개선할 수도 있죠.07:23

그리고 최종적으로 추천 사항을 제공합니다. 저는 이것이 현재 매우 흥미로운 연구 분야라고 생각합니다.07:28

이제 프레임워크에 대해 좀 더 자세히 들어가 보겠습니다. 바로 네 가지 추천 시스템 패러다임의 틀을 보여드리려고 합니다.07:34

기업들은 각 곡선들을 병행해서 확장하고 있다고 생각합니다.07:41

대부분의 추천 시스템은 현재 LLM에서 영감을 받은 방식으로 운영되고 있으며, LLM에 완전히 통합되려고 노력하고 있습니다.07:48

하지만 많은 회사들은 여전히 기존 모델을 사용하며 S자 곡선을 따라 발전하고 있습니다.07:54

LLM 추천 시스템을 실제로 구축하는 방법에 대한 레시피를 조금 공유해 보겠습니다.08:02

꽤 간단하다고 생각합니다. 세 단계입니다.08:10

세 단계로 진행됩니다. 먼저 콘텐츠를 토큰화하고, 해당 분야만의 언어를 구축해야 합니다.08:13

그 다음에는요.08:18

LLM을 영어와 여러분의 도메인 언어를 모두 이해하도록 조정하고 싶으시다는 말씀이신가요? 이중 언어 모델로 만들 수 있습니다.08:19

마지막으로, 사용자 정보를 이 모델에 프롬프트로 입력할 수 있습니다.08:25

그리고 콘텐츠 코퍼스에서 직접 추천을 해독할 수 있습니다.08:31

조금 더 자세히 알아볼까요? 이것은 다섯 층 케이크로 비유한 LLM 레커맨더입니다.08:35

가장 밑바닥부터 시작할게요. 그게08:41

LLM이 이해할 수 있는 토큰으로 콘텐츠 코퍼스를 변환하는 의미 ID입니다.08:44

그리고 추론을 합니다. 그런 다음, 기본적인 LLM 기반 모델이 있습니다. (Geurigo chureon-eul hamnida. Geureom daeum, gibongeunjan LLM giyeon modeuleu-ga itseumnida.)08:50

이는 개방형 가중치 모델이나 내부 자체 개발 모델일 수 있습니다. (Iineun gae banghyeong gajeungchi modelina inneubujeo jache geolbal modeulil su itseumnida.)08:55

그 다음은 핵심 학습 단계입니다. 사전 학습은 영어와 추천 시스템 토큰을 연결하는 데 중점을 둡니다.09:00

사후 학습은 모델을 추천 관련 작업으로 유도하는 과정이며, 예를 들어...09:06

추천에 대한 참여도를 예측하거나 추론하는 것을 포함합니다.09:13

마지막으로, 제품 서비스에 배포하기 위해 간단한 표면별 미세 조정(fine-tuning)을 할 수도 있습니다.09:17

이러한 패러다임의 가장 흥미로운 점은 대부분의 컴퓨팅 자원이 모든 제품 표면에서 공유된다는 것입니다.09:23

그래서 각 제품 표면에 대해 개별 모델을 처음부터 훈련할 필요가 없습니다.09:30

각 단계별로 조금 더 자세히 설명드리겠습니다. 시맨틱 ID는 정말 폭발적인 반응을 얻고 있습니다.09:36

많은 팀에서 기존 모델에서 해시 ID를 SID로 대체하고 좋은 효과를 보고 있습니다.09:42

콘텐츠를 토큰화하는 데에는 두 가지 큰 이유가 있다고 생각합니다. 첫 번째는 모델이 학습할 수 있는 안정적인 표현을 제공한다는 것입니다.09:48

모델이 암기할 수 있을 뿐인 끊임없이 변하는 해시 대신, 학습할 수 있는 안정적인 표현을 제공하는 것이죠.09:54

두 번째 이유는 압축입니다. 사용자 상호작용의 긴 시퀀스를 분석해야 하는데,10:01

만약 콘텐츠를 압축하지 않으면 예를 들어 세 분짜리 인스타그램 릴 영상은 무려 1만 개의 토큰이 됩니다.10:07

그러면 컨텍스트 창을 너무 빨리 채워버릴 거예요.10:13

그래서 약 10개의 토큰으로 압축해야 합니다.10:17

그래서 제가 준비한 인스타그램 리엘의 예시가 있습니다. 보시면, 의미 토큰이 처음 세 개의 토큰과 접두사가 같습니다. 왜냐하면 이 리엘들이 매우 유사하기 때문입니다.10:21

이것은 첫 번째 세 개의 토큰과 접두사를 공유하는데, 이는 해당 리엘들이 매우 유사하기 때문입니다.10:26

첫 번째 토큰은 스포츠를 나타내고, 두 번째 토큰 두 개는 테니스를 나타낸다고 상상해 볼 수 있습니다.10:31

그리고 마지막 토큰은 이 비디오들을 개별적으로 구분하는 역할을 합니다.10:38

의미론적 ID를 얻으셨다면, 영어와 의미론적 ID 모두 이해하도록 학습시킬 수 있습니다.10:42

그래서 제가 왼쪽에 사전 훈련을 위해 준비한 작업은 이것입니다.10:49

이것은 비디오와 의미 ID인 ABC를 프롬프트로 사용하고, 설명을 비워두면 즉시 상징적인 장면을 출력하는 예시입니다.10:52

그 결과가 바로 즉각적으로 상징적인 샷으로 나타나는 것입니다.10:58

윔블던입니다. 여기서는 모델이 이 의미론적 토큰들을 자연스러운 영어 텍스트와 연결하도록 학습시키고 있습니다.11:02

오른쪽 예시는 인공적인 영어 자연어 텍스트에 대한 것입니다.11:07

시퀀스 내의 의미 ID를 기반으로 추론하고, 사용자 상호 작용 과정에서 이를 활용합니다.11:12

이전 기록의 일부 시퀀스를 가리고 모델이 학습하도록 할 수 있습니다.11:17

어떤 비디오들이 함께 시청되는지 예측하고 이해하도록 합니다.11:21

여기 콘텐츠 재순위를 매기는 방법을 모델에게 가르치는 사후 학습의 예시가 있습니다.11:28

입력 데이터는 사용자 정보와 함께 순위를 매길 30개의 후보 비디오로 구성됩니다.11:32

이 LLM 랭커에서 상위 5개의 추천 비디오로 선정되도록 합니다.11:38

여기서 정말 흥미로운 점은 모델의 사고 과정 추론을 볼 수 있다는 것입니다.11:43

이 모델이 영어와 추천 모두를 이해하기 때문에, 간단히 모델을 검사해볼 수 있습니다.11:48

그리고 왜 그러한 결정을 내렸는지 이해할 수 있습니다. 이 예시에서 모델은 사용자의 관심 주제인 코미디, 음식, DIY 등을 이해합니다.11:55

사용자의 관심 주제인 코미디, 음식, DIY 등을 이해합니다.12:00

웰빙도 이해하고, 사용자가 선호하는 콘텐츠 제작자와 어떤 스타일의 참여를 좋아하는지 파악합니다.12:05

그리고 이러한 사고 과정에 따라 콘텐츠를 재평가합니다.12:12

이게 정말 흥미롭다고 생각해요. 왜냐하면 영어와 추천을 모두 이해하는 모델을 갖게 되면 새로운 제품 영역과 사용자에게 새로운 경험을 제공할 수 있으니까요.12:16

새로운 제품 영역과 사용자가 참여할 수 있는 새로운 경험을 만들 수 있기 때문입니다.12:24

사용자들은 피드를 직접 제어할 수 있습니다. 인스타그램 알고리즘에서 사용자들이 콘텐츠를 소비하면서 대화할 수 있는 예시가 있습니다.12:30

이것은 릴을 스크롤하는 화면 캡처입니다.12:38

혹은 클릭하시면 인스타그램 알고리즘이 여러분에 대해 어떻게 생각하는지 이해하실 수 있고,12:43

여러분의 관심사를 추가하거나 제거하고 자연어(로) 대화할 수도 있습니다.12:48

그리고 저희는 이 변화를 보게 될 것 같아요. 블랙박스 추천 알고리즘에서 벗어나,12:54

사용자가 알고리즘을 더 직접적으로 제어할 수 있게 되고, 알고리즘이 더욱 상호작용적으로 변하게 되는 거죠.13:00

방향을 잡을 수 있다는 점이 정말 기대돼요. 사용자가 자신의 목표에 맞춰 조종할 수 있고, 그것이 표현되기도 하니까요.13:05

단순한 좋아요나 댓글보다는 언어와 함께 표현될 수 있어서요.13:11

그리고 이 기반 모델이 추천 이유를 설명하기 시작할 수도 있다고 생각합니다.13:17

그래서 이번 예시에서는 제가 지금 시기에 FIFA 월드컵을 팔로우하고 싶다는 관심을 추가했습니다.13:24

그리고 모델은 제 사용자 기록과 함께 이 새로운 입력을 모두 받아서13:29

저에게 맞춤화된 추천을 해독할 수 있을 거예요. 예를 들어 메시가 넣은 이 프리킥처럼요.13:33

최근에 그렇습니다.13:40

이런 인터랙티브 추천 시스템이 정말 흥미로운 새로운 제품 형태로 자리 잡을 거라고 생각하고, 이런 경향은 여러 분야에서 나타나고 있습니다.13:44

업계에서 볼 수 있는 예시들이 있습니다. 스포티파이의 프롬프트 기반 재생 목록이나 유튜브의 맞춤형 피드, 그리고 DoorDash에게 물어보는 기능 등이 있죠. 관련해서 발표자분들께서 더 많은 이야기를 해주실 겁니다.13:51

이런 사례들을 곧 더 많이 들을 수 있을 거예요.13:57

마지막으로, 참여도에 따른 토큰의 프레임워크에 대해 말씀드리고 싶습니다.14:04

바로 이것입니다.14:09

모델 학습, 추론, 소비자 참여, 그리고 수익화로 시작한 순환 시스템인데, 이 순환 시스템은 콘텐츠 피드와 AI 채팅 앱에서도 공유되는 것과 같습니다.14:10

실제로 콘텐츠 피드와 AI 채팅 앱들이 사용하는 순환 시스템과 동일합니다.14:19

그리고 이것은 소비자를 대상으로 하는 어떤 앱이라도 평가할 수 있는 기준이 될 수 있습니다.14:26

앱이 학습 투자 수익 측면에서 성공하려면 얼마나 잘 번역될 수 있느냐가 중요합니다.14:30

프론티어 모델로 계산하는 것이 중요합니다. 추론 측면에서, 추론 토큰이 어떻게14:35

참여로, 그리고 수익화로 이어질 수 있는지 확인해야 합니다.14:42

콘텐츠 피드와 AI 채팅 앱을 비교해 본다면, LLM 추천 시스템이14:46

AI 채팅보다 구조적으로 토큰 효율성이 더 높다고 생각합니다.14:53

그래서 왼쪽에 인스타그램과 같은 콘텐츠 피드가 있고, 오른쪽에는 제미니, ChatGPT, 클라우드와 같은 대형 AI 채팅 앱들이 있습니다.14:57

페이스북, 틱톡, 유튜브는 왼쪽이고, 제미니, ChatGPT, 클라우드는 오른쪽에 있죠.15:00

콘텐츠 피드는 현재 약 10억에서 100억 개의 활성 파라미터를 사용하고 있습니다.15:07

반면, 채팅 앱들은 훨씬 더 큰 모델, 즉 100억에서 1천억 개의 활성 파라미터를 제공하고 있습니다.15:11

파라미터입니다. 콘텐츠 피드의 출력은 의미론적 ID 토큰인데, 기존 콘텐츠를 가리키는 포인터 또는 주소입니다. 왜냐하면 이 콘텐츠 피드에 제공되는 콘텐츠는 업로드된 것이기 때문입니다.15:16

또는 이미 존재하는 콘텐츠의 주소이며, 이 콘텐츠 피드에 공급되는 콘텐츠는 제작자가 업로드한 것입니다.15:24

콘텐츠를 제작하는 크리에이터들이 많습니다. 매우 활발한 크리에이터 경제가 형성되어 있어서 콘텐츠 공급은 사실상15:30

무료이거나 크리에이터들에 의해 업로드됩니다. AI 챗 앱의 경우, 모든 토큰을 해독해야 합니다.15:35

콘텐츠 자체이고, LLM 채팅 상호작용의 매번 대화에서 출력되는 토큰 수는 수천 개 정도 됩니다.15:42

그리고 LLM 채팅 상호작용 시마다 생성되는 토큰의 양은 수천 개에 달합니다.15:49

여기서 가장 큰 차이점은 모든 토큰을 앱에서 추론 시에 직접 만들어야 한다는 거예요.15:53

그렇기 때문에 이 두 앱을 비교해 보면요.15:59

소비자 참여 한 시간당 생성하는 데 사용되는 컴퓨팅 추론 비용에 대해 말씀드리겠습니다.16:03

콘텐츠 피드는 구조적으로 훨씬 저렴하며, 최대 100배 이상 차이가 납니다.16:11

AI 채팅 앱보다 콘텐츠 자체를 디코딩하는 것이 아니라 콘텐츠에 대한 포인터를 디코딩하기 때문에 더 저렴합니다.16:17

마지막으로, 왜 그런지 마무리하고 싶습니다.16:25

LLM-REXIS가 가장 중요한 소비자용 인공지능 애플리케이션 중 하나라고 생각합니다.16:27

하루 활성 사용자 수로 상위 앱을 보면, 이것들이 현재 상위 10개 앱입니다.16:33

이 중에서 10개 앱 중 4개가 콘텐츠 피드예요.16:38

그러니까 소비자 대상 애플리케이션으로서 정말 중요한 의미를 갖는다고 생각합니다.16:42

콘텐츠 피드를 살펴보시면, 16:47

소비자 앱의 참여도와 수익화 측면에서 거의 모든 성장이 이끌리고 있습니다.16:49

추천 모델과 광고 모델에 의해 완전히 변화될 예정입니다. LLM을 통해 완전히 바뀌게 될 것입니다.16:55

소비자 앱에서 매우 크고 토큰 효율적인 AI 활용 사례라고 할 수 있습니다.17:01

새로운 제품 경험이 스티어러블하고 인터랙티브한 추천 기능을 통해 많이 등장할 것으로 예상됩니다.17:08

추천에 대한 설명과 사용자에게 더 많은 권한을 부여하는 방식으로 진행될 것입니다.17:13

앱에서 사용자분들이 직접 경험을 통제할 수 있게 되는 거죠. 앞으로 정말 흥미로운 일들이 많이 나올 거라고 생각합니다.17:18

향후 1년 동안 소비자 에이전트와 추천 에이전트에 대한 연구가 활발하게 진행될 것으로 예상됩니다.17:24

그래서 제가 이 분야가 연구와 제품 모두 굉장한 잠재력을 가지고 있다고 생각하는 이유입니다. 그리고17:29

LLM과 추천 시스템이 만나는 지점이라고 할 수 있습니다.17:35

이것으로 끝입니다. 정말 감사합니다.17:41