와주셔서 감사합니다, 그리고 데반지 씨가 이 강연을 주최해 주셔서 감사합니다.00:12

저는 라그바브입니다. 저는 도어대쉬의 수석 머신러닝 엔지니어입니다.00:17

검색 및 개인화 관련 업무를 담당하고 있습니다.00:22

오늘,00:26

저희는 마켓플레이스 검색 기능 개선을 위해 LLM을 어떻게 통합하고 있는지에 대해 말씀드릴 예정입니다. 특히,00:27

총 네 가지 부분으로 나누어 설명드리겠습니다. 그리고 이러한 기본적인 요소들이 어떻게 통합 과정과 연결되는지 살펴보겠습니다.00:33

기존 REC에 LLM을 통합하는 방법들에 대해서도 말씀드릴 거예요.00:41

오늘 간단하게 제 주장을 시작으로 설명드리겠습니다.00:45

효과적인 검색을 구축하려면, 이 경우에는 DoorDash와 같은 마켓플레이스에서, 핵심 병목 지점은 의미론적 이해라는 주장이 있습니다.00:50

실질적인 문제는 의미 이해에 있다는 것입니다.00:57

그래서, 사용자들이 어떤 상품이 무엇을 의미하는지 맥락에 따라 파악하는 것을 말합니다.01:01

그리고 쇼핑객이 실제로 무엇을 원하는지를 이해하는 것입니다.01:08

도어대쉬와 같은 앱에서 사용자가 무엇을 하려고 하는지를 이해하는 것입니다.01:13

역사적으로 저희는 이러한 문제를 참여 최적화 문제로 다루어 왔습니다.01:17

하지만, LLM은 이것을 확장할 수 있는 진정으로 새로운 방법을 제공합니다.01:23

그래서 이번 발표는 LLM을 활용하기 시작할 수 있게 해준 네 가지 기본적인 요소에 대한 내용입니다.01:30

도어대쉬에서 발생했던 문제들을 해결하기 위해서입니다.01:38

아시다시피, 도어대쉬는 이제 식당을 넘어선 다양한 분야로 성장했습니다. 그래서 지금은 식료품점, 소매업에도 진출해 있습니다.01:41

반려동물 선물 등 다양한 분야를 다루고 있으며, 저희의 목표는 모든 구매 가능한 순간을 포착하는 것입니다.01:48

저희가 알고 있는 바로는 이러한 분야에서 사용자들은 종종 매우 광범위한 요구사항을 가지고 있습니다.01:56

쇼핑 미션을 말씀드리면, 예를 들어 고객님께서 저희 앱을 사용하시면서 '강아지를 입양했는데 이번 주에 뭘 사야 할까요?'라고 질문하실 수 있습니다.02:01

고객님께서 강아지를 입양하셨으니, 이번 주에 무엇을 준비해야 하는지 궁금해하시는 거죠.02:07

그리고 이 소비자는 강아지 사료를 찾는 것부터 시작할 수 있습니다.02:13

방금 강아지를 입양했기 때문입니다. 하나의 검색어는 이렇게 펼쳐질 수 있습니다.02:18

더욱 구체적인 검색어 재구성으로 이어질 수 있습니다.02:22

다른 쇼핑 니즈를 위한 상품 컬렉션에 방문하게 될 수도 있습니다.02:26

켄넬, 리드줄, 훈련 패드와 같은 추가적인 상품들을 결제 단계까지 포함하게 됩니다.02:30

그리고 이러한 과정은 여러 번의 세션에 걸쳐 일어날 수도 있습니다.02:38

며칠에 걸쳐서 이루어지는 경우가 많죠. 그 전체적인 흐름을 파악하는 게 쉽지 않은데, 여러 모델에 걸쳐서 나타나기 때문입니다.02:41

바로 이 지점이 제가 다룰 네 가지 기본적인 요소들이 필요한 이유이고요.02:47

특히 지도, 카탈로그, 의미론, 의미론적...02:54

이전에 말씀드린 것처럼 개인화 및 제어 가능한 콘텐츠 생성과 관련해서요.03:00

음, 이것은 저희가 이 부분을 매핑하는 데 도움이 되는 공유된 표현 체계입니다.03:04

지금 감독(supervision)을 사용하면 우리가 질문하는 것은 다음과 같습니다.03:10

질문하거나 다루려고 하는 것은 어떻게 검색 및 순위 결정 시스템에 '좋음'의 의미를 다양한 작업에 맞게 가르칠 것인가입니다. 간단한 예시가 있습니다.03:17

여기에는 간단한 예시가 있습니다.03:21

쇼핑객이 글루텐 프리 파스타를 검색하는데, 만약 참여도만으로 순위를 매긴다면03:27

매우 인기 있는 일반 스파게티가 나타날 수도 있습니다. 판매량이 좋기 때문이죠. 계속해서 그렇게 보일 수도 있습니다.03:33

심지어 글루텐 프리 화이트 빵도 '글루텐 프리'라는 키워드와 겹쳐서 검색 결과에 나타날 수도 있습니다.03:40

하지만 이 두 가지 모두 명확하게 정답이라고 할 수는 없습니다.03:46

우리가 실제로 원하는 것은 정확한 관련성입니다.03:50

진정한 글루텐 프리 파스타라면 높은 관련성을 가진 품목이어야 합니다.03:53

병아리콩 파스타가 괜찮은 대안이 될 수도 있습니다.03:58

그리고 일반 스파게티는 인기가 많지만, 사용자가 가진 제약 조건을 충족하지 못합니다.04:01

이 문제를 해결하기 위해서는 명확히 두 가지 진원지가 있습니다.04:06

사람의 주석을 참고할 수도 있겠습니다.04:11

하지만 그것은 비용이 많이 들고, 느리며, 저희의 카탈로그가 빠르게 변화하기 때문에 금방 쓸모없게 됩니다.04:14

두 번째는 행동 데이터 신호입니다. 이것들은 풍부하지만, 제가 말씀드린 것처럼 노출에 의해 편향되어 있습니다.04:20

위치, 가격, 프로모션, 그리고 이전 모델 선택 사항들이 있습니다. (Posisyeon, gagyeok, peuro moseon, geurigo ijeon modeul seontaek sangdeuri itseumnida.)04:27

따라서 부족한 신호는 확장 가능한 추론 신호입니다. (Ttara bukchugan sinhorun hwakjang ganeunheun chureon sinhoidamnida.)04:33

이 부분이 바로 LLM이 매우 유용한 이유입니다. 이런 작업들을 위해 지도 학습을 제공하는 방법이 될 수 있으니까요.04:37

저희의 경우, 파이프라인은 먼저 인간이 직접 만든 정답 데이터로 시작합니다.04:44

저희는 고품질의 예시 질의-아이템 쌍 시드 세트를 구축합니다.04:50

세 단계의 관련성 척도, 즉 0, 1, 2로 구성됩니다.04:55

의심스러운 사례들은 저희가 검토합니다. 예를 들어, 레이블러가 어떤 아이템이 관련성이 없다고 판단했지만05:00

그 아이템이 '장바구니에 추가'나 전환율에서 매우 좋은 성과를 보인다면요.05:04

해당 사례를 좀 더 세분화된 프롬프트를 사용하여 재평가할 수 있도록 더욱 강력한 LLM으로 보냅니다.05:10

또한, 예를 들어 저희의 쿼리-분류 체계 또는 카테고리 모델과 같이 다른 모델들과도 조율합니다.05:17

그리고 질문이 유효한 카테고리 집합에 매핑되는 경우, 해당 아이템들이 그 카테고리에 속하는 경우를 말씀드리는 겁니다.05:24

그 유효한 카테고리에 맞춰서 라벨을 적절히 조정할 수 있습니다.05:29

그리고 이 과정을 통해 저희는 상당히 높은 정확도의 이상적인 데이터셋을 확보할 수 있습니다. 그리고 그 위에05:34

예를 들어 GPT-4.0 미니와 같은 가벼운 LLM을 추가적으로 튜닝할 수 있습니다.05:39

그때가 정말 효과를 보는 때입니다.05:47

저희는 그렇게 미세 조정된 라벨러를 오프라인에서 활용할 수 있습니다.05:50

저희 전체 카탈로그를 활용해서 풀로 등급이 매겨진 질의-아이템 쌍을 생성하고, 그런 레이블들이 검색과 순위 결정 시스템 모두를 위한 하나의 공유된 목표가 됩니다. 이러한 패턴은 꽤 중요했습니다.05:54

이러한 방식은 검색과 순위 결정 시스템 모두에게 중요한 역할을 했습니다.06:01

지난 몇 년 동안 저희에게는 오프라인에서 비용이 많이 드는 추론을 사용해 왔습니다.06:07

그런 다음, 저렴하고 빠르게 서비스할 수 있는 모델로 증류하는 방식이었죠.06:14

먼저 검색(retrieval)에 대해 말씀드리겠습니다. 이커머스 규모에서 표준 임베딩은 관련성 구분이 빠르게 무너지는 문제가 있습니다.06:22

관련성의 차이를 빠르게 뭉개 버립니다.06:28

단순히 관련 있는 상품들이 실제로 일치하는 상품들 근처에 위치하게 됩니다.06:32

모델은 두 상품이 관련이 있다는 것을 알 수 있지만, 정확한 일치를 구분하지 못할 수도 있습니다.06:37

대체재나 보완재와 같은 것들입니다.06:44

그래서 저희의 해결책은 동일한 등급 레이블로 학습된 두 단계 대비 방법입니다.06:46

첫 번째 단계, 저희는 '마이닝'이라고 부르는데, 전반적인 구조를 다듬습니다. 두 개의 인코더와 멀티 레벨 지도형 대비 손실을 사용합니다.06:52

그 후에 그걸 활용해서...06:58

기본 모델을 사용하여 더 어려운 부정 샘플을 찾습니다. 이들은 모델이 혼동하는 항목들입니다.07:05

모델에서 순위가 너무 높게 매겨지는 어려운 부정 샘플이나, 순위가 너무 낮게 매겨지는 강력한 긍정 샘플들이 있습니다.07:12

그리고 그 다음 단계에서는 모델을 커리큘럼 학습시키기 시작합니다.07:17

그 어려운 부정 샘플들을 활용해서 재표시하고, 검색 레이어의 관련성을 사용합니다.07:24

그 이후로 성능이 눈에 띄게 향상됩니다.07:32

따라서 1단계 이후에는 관련 있고 중간 정도의 관련성이 있는 항목들 간에 중복되는 부분이 보이지만, 2단계 이후에는요.07:34

두 번째 단계에서는 상당한 차이가 발생합니다.07:41

이것은 검색 성능 개선을 위한 저희의 가장 중요한 요소 중 하나였습니다.07:43

관련성 기준 NDCG를 2.3% 향상시켰고, 다운스트림에서도 마찬가지였습니다.07:50

비즈니스 지표에도 그와 같은 결과가 나타났습니다.07:57

저희는 순위 모델에 대해서도 같은 작업을 진행했고, LLM의 추론 레이블을 추출했습니다.08:00

그것을 저희의 순위 결정 모형에 적용했습니다.08:07

하지만, 이 데이터를 사업 및 참여 목표와 결합하면서 여기 새로운 타워를 추가하게 됩니다. 이 경우 순위 관련성을 평가하는 타워를 LLM에서 평가된 레이블 위에 올립니다.08:08

이 경우 순위 관련성 타워를 LLM에서 평가된 레이블 위에 배치합니다.08:16

그리고 이 예측은 기존의 참여도 타워 옆에 바로 위치합니다. 클릭, 장바구니 추가, 전환과 같은 요소들을요.08:22

동일한 하위 계층을 공유하기 때문에 의미적 적합성도 함께 고려됩니다.08:30

그리고 관련성 적합성은 동일한 역전파 과정에서 추출됩니다.08:36

저희 모델은 다양한 수준에서 관련성의 확률을 예측할 수 있습니다.08:39

그리고 값 함수를 통해 블렌딩이 가능합니다.08:47

이를 바탕으로 다양한 표면에 대한 참여도와 관련성을 미세 조정할 수 있습니다.08:50

지금 보여드린 두 가지 예시는 저희가 유사한 프로젝트에서 진행해 온 연구의 더 큰 흐름의 일부입니다.08:59

필요하다고 판단되는 경우에는, 검색 및 순위 결정 시스템을 LLM으로 완전히 대체하지 않고 있습니다.09:05

하지만, 저희는 검색 및 순위 결정 시스템을 LLM으로 완전히 대체하는 대신, 추론과 이해를 활용하여 생산적인 순위 결정 아키텍처에 통합하고 있습니다.09:11

이렇게 하면 LLM을 사용하면서 모델을 빠르고 확장 가능하게 테스트하고 개선할 수 있습니다.09:17

이러한 서비스의 비즈니스 및 시스템 목표를 염두에 두고 있습니다.09:23

감독 체계를 갖추게 되면 다음 질문은 무엇일까요?09:29

어떻게 하면 방대하고 끊임없이 변화하는 상품 목록을 모든 모델이, 언어 모델이든,09:34

전통적인 검색 및 순위 결정 모델이든 이해할 수 있는 방식으로 표현할 수 있을까요?09:42

그리고 DoorDash의 규모를 생각해보면, 여러 가게에 걸쳐서 상품을 보여주고 있는데,09:48

실제로 국제적으로도 몇십억 개의 상품이 있는 것 같습니다.09:55

매장 내 상품 단위로 봤을 때, 해당 상품들은 고유한 SKU ID를 가지고 있지만, 의미적으로는 아무런 정보도 담고 있지 않습니다.10:00

그래서 저희는 사람이 직접 분류하고 정리한 분류 체계를 통해 이러한 상품들을 분류하고 있습니다.10:08

의미 있는 공간으로 분류할 수는 있지만, 종종 너무 광범위하고 경직되어 있습니다.10:13

예를 들어, 핫 소스 같은 경우에는 그냥 소스, 핫 소스, 그리고 분류법만 있을 뿐입니다.10:19

하지만 호이펑이나 프랭크스, 타바스코 간의 관계에 대한 정보는 알려주지 않죠.10:26

그래서 저희도 의미론적 ID를 적용하거나 채택하게 되었답니다.10:33

이전에도 이미 소개되었었는데요, 현재 저희 작업의 기반이 되고 있습니다.10:40

그리고 이것은 짧은 계층 구조 코드를 제공해 줍니다.10:47

그것은 저희의 분류 체계와 유사하다고 할 수 있습니다.10:53

하지만 세밀한 부분을 통제하고 그 결과를 조절할 수 있다는 점이 다릅니다.10:55

이 학습된 분류 체계의 특징은 각 항목이 이것을 갖는다는 것입니다.11:01

접두사는 넓은 범주를 나타내고, 후속 토큰들은 더 세밀한 내용을 표현합니다.11:06

구분들을 나타냅니다.11:13

예를 들어, 슬라이드에 있는 지도에서 보시는 것처럼, 핫 소스와 구조가 드러나는 것을 확인하실 수 있습니다.11:15

레이블이 없는 데이터입니다.11:23

각각 이 ID 시퀀스에서 첫 번째와 두 번째 접두사를 공유하지만, 이후에 분기됩니다.11:24

특징에 따라서 분류가 됩니다. 그래서 이제 멕시코, 카리브해, 한국 고추장 소스가 분리되고 있습니다.11:31

그리고 중요한 특징은 이 코드가 학습을 통해 얻어진 것입니다.11:38

제가 말씀드린 것처럼 접두사를 통해 비교 가능하고요,11:42

저희의 모든 후속 모델에서도 활용할 수 있습니다.11:46

그리고 그것은 우리에게 몇 가지 가능성을 열어줍니다. 첫 번째는 서로 다른 카테고리 간의 비교나 관계를 파악할 수 있다는 것입니다.11:51

칩, 살사, 과카몰리는 서로 다른 분류 체계에 있을 수도 있지만, 공유된 의미론적 ID 주변 공간을 갖게 됩니다.11:57

쇼핑 미션과 관련이 있을 수도 있다는 것을 나타낼 수 있습니다.12:04

두 번째로 콜드 스타트 문제를 해결할 수 있습니다. 종종, 매장에서 새로운 카탈로그 상품을 추가합니다.12:09

그리고 n-gram이나 바이트-부모 코딩과 같은 기술을 이용해서 이 토큰들을 확장 가능하게 희소 ID 특징으로 모델에 추가할 수 있습니다.12:15

세 번째는, 긴 꼬리 항목(tail coverage)에 대한 것입니다.12:21

그래서 희소한 아이템들은 의미적으로 관련된 아이템들로부터 많은 신호를 상속받습니다.12:26

아이템들로부터요.12:33

그리고 이러한 상품들이 소비자에게 노출되거나 충분한 판매량을 확보할 때까지 기다릴 필요도 없습니다.12:35

마지막으로, 좋은 점은 저희가 역으로 감사(audit)를 수행할 수도 있다는 사실입니다.12:43

그래서 저희는 카탈로그를 감사하고, 사람이 수동으로 라벨링한 내용과 의미적으로 학습된 라벨이 얼마나 잘 맞는지 확인할 수 있습니다.12:48

오늘 실제로 사용하고 있는 몇 가지 예시를 들어서, 구체적인 지표들을 보여드리겠습니다.12:56

이것은 저희의 랭커(rancor)를 개선한 가장 큰 개선 사항 중 하나였습니다.13:03

이번 경우에는, MRR을 4%에서 5% 사이로 개선하면서 실제로 랭커(rancor)도 향상되었습니다.13:07

그리고 그것은 상당히 큰 전환율 향상으로 이어졌습니다.13:14

제가 특히 좋아하는 또 다른 사례는 질의 재구성입니다.13:18

다시 한번, 핫 소스 예시로 돌아가서 말씀드리면요.13:23

스리라차는 고추 마늘 소스나 삼발, 올렉으로 이어질 수 있습니다.13:26

그리고 이러한 검색어들이 저희 카탈로그 기반의 의미론적 주변 영역에 매핑되기 때문에,13:31

그 결과 사용자에게 제시하는 검색어의 관련성이 훨씬 높아집니다.13:39

궁극적으로, 만약 이 검색어들이 DoorDash에서 재고가 없는 경우라면 의미가 없습니다.13:45

저희에게는 의미가 없고요. 그리고 이 쿼리 그래프에 시맨틱 ID를 추가하면서 실제로 가능해졌습니다.13:51

이 작업 덕분에 월간 반복 수익(MRR)도 상당히 증가하는 것을 확인할 수 있었습니다.13:55

지금까지는 상품 매핑과 관련성을 논의했는데, 다음 질문은 소비자(consumer)에 대한 것입니다.14:03

맥락이 중요합니다. 시스템이 쇼퍼에 대해 무엇을 알고 있으며, 그 지식을 모델 간에 재사용할 수 있나요?14:09

그래서 세 번째 기본 요소가 메모리입니다.14:16

이제 어젠다 컨텍스트에서 메모리는 상당히 잘 이해되고 있습니다. 같은 개념을 추천 시스템에도 적용하게 되는데요.14:23

사용자 임베딩은 명확히 매우 중요합니다.14:28

유용합니다. 저희는 소비자들의 다양한 표현 방식을 가지고 있지만, 그것들이 반드시14:35

소비자가 특정 의도를 가지게 된 이유나 선호하는 이유를 정확히 파악하게 해 주지는 않습니다.14:41

게다가, LLM에서는 이러한 임베딩을 쉽게 활용할 수 없습니다.14:50

토큰화해서 모델을 학습시켜 이를 익히도록 할 수도 있습니다.14:55

하지만 종종 LLM에서 네이티브하게 사용할 수 있는 명시적인 대응 모델을 가지고 있으면 매우 유용하며, 저희가 실제로 그렇게 발견했습니다.14:58

그래서 기억의 개념은 소비자를 여러 형태로 표현하는 것입니다. 의미론적으로,15:05

검사 가능하고 재사용 가능합니다. (Geomsa ganeunghago jaesaegongganhamnida.)15:12

저희가 기억에 대해 생각하는 방식은 세 가지 시간 척도입니다. (Jeohigga gioke daehae saenggakhaneun bangsig-eun se gaji siganeukcheokdoimnida.)15:17

그래서 장기 기억은 주문, 검색, 탐색, 지원 상호 작용을 통해 지속적인 선호도를 기록합니다.15:22

실시간 컨텍스트는 에이전트 상호 작용, 아, 죄송합니다. 세션 내 상호 작용을 포착합니다.15:31

그래서 카드 상태, 활성 검색, 그리고 명시적으로 밝혀진 선호도가 있습니다.15:38

이것은 에이전트와의 상호작용에서 비롯됩니다. 예를 들어 'Ask DoorDash'와 같이 소비자가 명확하게 자신의 의견을 표현할 수 있는 경우를 말씀드리는 것입니다.15:44

그분들의 제약 조건과 선호도 또한요.15:51

그리고 저희가 소비자를 표현하는 방식은요.15:55

이 장기 기억 내에서는 메모리 블록을 통해 이루어집니다.15:56

그리고 이러한 구조는 사용자의 새로운 차원을 추가할 수 있도록 해줍니다.16:02

식습관 선호도부터 식사 선호도까지,16:08

소비자에 대해 더 많이 알게 되면서 선호도를 대체해 나갈 수 있습니다.16:11

그리고 이것은 하위 시스템과 분리되어 있어서, 이 내용을 다시 해석할 필요가 없습니다.16:18

각자의 사용 사례에 맞게 활용할 수 있습니다.16:25

그래서 각 소비자의 기억은 여러 형태로 구체화됩니다.16:27

첫 번째는 텍스트 형태인데, 사람이 읽을 수 있고 소비자를 간결하게 표현합니다.16:32

네, 두 번째는 저희의...16:37

이것은 검색 및 순위 결정 시스템에 입력될 수 있는 메모리 블록의 잠재 벡터, 임베딩입니다.16:39

세 번째는 그래프나 트리, 또는 계층적 접근 방식입니다.16:44

소비자와 브랜드 간의 유형 관계, 분류 체계, 그리고 기억을 연결해 보여줍니다.16:49

선호도입니다.16:57

이것들은 머신러닝 모델과 LLM에서 다운스트림으로 사용되는 복합적인 메모리 객체를 구성합니다.17:00

스트림 형태로 나타납니다. 예를 들어 추출된 기억 개념과 소비자를 연결하는 컨텍스트 그래프가 있습니다. 그리고 그래프는 종종 쇼핑 여정에 자연스럽게 들어맞습니다.17:07

쇼핑 과정에서 여러 단계를 거치기 때문입니다.17:13

소비자 아이템 상호작용은 희소하고 다단계에 걸쳐 나타납니다.17:20

이 경우, 이러한 컨텍스트 그래프는...17:25

이전에는 관계를 알 수 없었던 메모리 개념을 연결할 수 있습니다.17:27

특히 저희의 경우 세분화된 분류 수준에서 큰 도움이 됩니다.17:34

그래프 기반 임베딩을 사용한 검색에서 기존 분류 기반 임베딩보다 성능이 더 좋다는 것을 확인하고 있습니다.17:41

오늘 이 메모리 프레임워크는 다음과 같이 나타납니다.17:49

세 가지 활용처가 있습니다. 첫 번째는 개인화된 컬렉션인데, 조금 더 자세히 나중에 말씀드리겠습니다.17:57

두 번째는 에이전트 기반의 개인화입니다. 예를 들어 DoorDash 같은 곳에서 사용하고 있죠.18:02

개인화된 세션을 제공하고, 세 번째는 검색 및 순위 모델에 활용됩니다.18:07

말씀하신 대로, 저희는 이 메모리 블록들을 인코딩하여 다운스트림 모델의 특징으로 사용합니다.18:13

따라서 네 번째 기본 요소는 조정 가능한 콘텐츠 생성입니다.18:22

이전에 말씀하신 내용과 이 발표에서 많이 들으셨을 텐데, 이 슬라이드는 제가 생각하는 방식입니다.18:25

이러한 기본 요소들을 어떻게 연결하고 있는지 설명드리겠습니다. 모든 입력 데이터, 즉 의미 ID, 메모리 블록,18:32

그리고 등급 기반 관련성 또는 LLM의 감독 정보는 여러 모델에 입력됩니다.18:41

LLM이든, 소규모 언어 모델이든, 아니면 전통적인 모델이든 상관없이 그렇습니다.18:47

그리고 이러한 입력으로부터 다양한 형태의 출력을 생성할 수 있습니다. 순위가 매겨진 의미 ID 목록, 캐러셀 제목, 부제 등이 있습니다.18:53

그리고 이러한 것들이 현재 도어대시의 다양한 화면에 나타나고 있습니다.19:00

이것의 직접적인 예가 바로 저희의 개인화된 스토어 페이지 컬렉션입니다.19:05

그래서 과거에는 도어대쉬 스토어 페이지의 컬렉션들이19:11

고정된 라이브러리나 속성 기반으로 만들어졌습니다.19:16

그리고 저희는 이를 확장할 수 있었습니다.19:21

소비자 수준의 컬렉션 생성을 통해 가능하게 되었고요.19:24

그리고 오늘 저희는 소비자 기억과 의미 ID를 받아들여 오프라인 LLM 프로세스를 진행하고 있습니다.19:28

제목, 부제부터 실제 아이템까지 전체 컬렉션을 합성하는 과정이죠.19:35

그리고 중요한 부분은 제어 가능성과 방향 조절 기능입니다.19:42

상황과 순간에 맞춰 필요한 컬렉션을 만들 수 있습니다.19:45

다양한 소비자들을 위해서입니다.19:53

서빙 시점에 이 모든 것이 배치 처리되어 LLM을 통해 오프라인에서 생성되기 때문입니다.19:55

아이템 정보 로딩 및 컬렉션 정렬과 같은 부분은 기존 검색 및 순위 결정 시스템을 계속 활용할 수 있습니다.20:02

이런 식으로 다양한 작업을 처리하고 있습니다.20:08

그리고 이것이 실제로 쇼핑객이 보는 화면의 예시입니다.20:11

식물성 제품 선호도가 있는 쇼핑객에게는 식물성 식품으로 구성된 카테고리를 생성할 수 있습니다.20:14

고양이만 키우는 가정이라면, 고양이 전용 식품 행을 생성할 수도 있습니다.20:19

그리고 세션에서 사용자가 주방 관련 어려움을 겪고 있다는 것을 파악하면요.20:23

재고를 보충할 때, 식료품 저장실 필수품 쪽으로 치우칠 수 있으며 초기 테스트 결과에 따르면,20:27

소비자들이 이러한 맞춤형 경험의 이점을 느끼는 것 같습니다.20:33

예를 들어, 반려동물 관련 분야에서 주문률이 약 1% 증가하고 활성 사용자도 0.6% 증가하는 결과를 얻었습니다.20:37

그래서...20:43

결론적으로, 이 강연에서 여러분께서 가져가셨으면 하는 세 가지 주요 내용이 있습니다.20:49

그리고 검색 및 추천에 LLM이 어떻게 활용되는지에 대해서도 말씀드리겠습니다.20:55

첫째, 검색은 의미론적 이해의 문제입니다.20:59

단순히 참여도에 대한 문제가 아닙니다. LLM을 통해 아이템의 의미에 대해 추론할 수 있는 방법을 제공합니다.21:02

그리고 도어대쉬의 경우를 예로 들자면, 쇼핑객의 의도까지 고려해야 합니다.21:08

둘째, LLM 추론을 기본적인 요소로 단순화해야 합니다.21:12

추론 과정을 오프라인에서 레이블, 의미 ID로 포착하고21:15

메모리에 저장한 다음, 더 작고 빠른 모델이 이를 처리하도록 하는 것입니다.21:21

온라인 LLM 호출은 종종 필요하신 제품 아키텍처가 아닙니다.21:26

세 번째로, 공유된 표현 방식은 다양한 활용 사례를 만들어냅니다.21:31

이러한 기본 요소들을 확보하시면 검색, 순위 결정, 콘텐츠 생성 등 다양한 기능을 구현할 수 있습니다.21:35

마지막으로, 가장 중요한 것은요.21:43

도와주신 도어대쉬의 모든 협력자분들께도 감사드립니다.21:45