자, JEV에 대해 이야기해 볼게요.00:00

JEV는 TypeSafe라는 스타트업에서 만든 새로운 AI 모델이에요.00:04

그리고 텍스트를 전혀 쓰지 않는 AI 모델이라 조금 특이해요.00:08

실제로 질문에 답할 때 목록에서 선택한 다음 각 답변에 대한 확률을 제공하는 방식이에요.00:14

TypeSafe에서는 이것을 새로운 유형의 AI 모델이라고 부르는데, 시스템 1 모델이라고 불려요.00:21

이 이름은 제가 가장 좋아하는 책인 다니엘 카너먼의 '생각에 관한 생각'에서 가져온 거예요.00:27

그리고 빠르게 생각하고 천천히 생각하는 거죠.00:34

카너먼은 인간의 사고 방식, 즉 두 가지 모드를 설명하는데, 그 첫 번째 모드는00:35

시스템 1 사고라고 불리며, 시스템 1 사고는 빠르고 자동적이에요.00:42

자, 두 곱하기는요?00:50

두 곱하기 두는 바로 답이 네라는 걸 머릿속으로 계산하지 않아도 알 수 있죠00:53

그게 시스템 원 사고 방식이고, 다른 유형의 사고 방식은 시스템 두 사고 방식으로 분류돼요.01:00

그리고 그것은 느리고 신중한 것이라서 제가 17 곱하기라고 물어본다면01:07

24, 아마 거기에 단계를 거쳐서 계산해야 할 거예요.01:14

그걸 단계별로 풀어내야 하거나, 화면에 답을 보면서01:17

텔레프롬프트인데, 음, 408이네요. 알겠습니다. 지금 대부분의 AI 모델은01:24

우리가 사용하는 모델들은 보통01:31

글을 쓰도록 만들어졌고, 챗봇은 답변을 한 토큰씩 생성해요.01:33

포드 패스에서 이제 이유가01:40

모델은 그걸 조금 더 나아가서, 생각 과정을 실제로 적어 내려가요.01:45

이 과정을 거치면서 무엇을 생각하고 있었는지 어느 정도 볼 수 있는데,01:50

거의01:57

AI가 가질 수 있는 시스템 2 모델과 비슷하지만, 소프트웨어 내부의 많은 결정은 실제로01:57

시스템 2가 아니에요. 그냥 빠른 판단일 뿐이죠. 예를 들어볼게요. 고객 지원 이메일이 있다고 가정해 봅시다.02:04

고객 지원을 위한 이메일이 있고02:10

그 이메일에서 이번 달에 두 번 청구되었으니 해결해달라고 합니다.02:17

알겠습니다. 그럼 어떻게 응답해야 할까요? 이 이메일을 처리하는 소프트웨어는02:21

아마 세 가지 유형의 질문을 살펴봐야겠죠.02:27

그 질문 중 하나는 환불 요청인지 여부입니다,02:34

예 또는 아니오. 다른 질문은 어느 팀이 필요할까요?02:39

이 이메일을 처리해야 하는 팀은 아마 청구팀일 수도 있고, 기술 지원팀일 수도 있고, 또는 영업팀일 수도 있어요.02:47

팀일 수도 있고, 그리고 이 요청이 얼마나 긴급한지, 얼마나 빨리 응답해야 하는지도 알아야 해요.02:53

사람은 그냥 그런 이메일을 훑어보면,03:00

환불 요청이라는 것을 바로 알 수 있죠. 네, 환불 요청이에요.03:04

이것이야말로 시스템 1 작업의 일종이고, JEV는 바로 이런 종류의 작업을 위해 만들어졌어요.03:11

그래서 이렇게 지원 이메일 문제를 자동화하는 일반적인 방법은03:17

이런 경우, LLM을 사용하여 이 이메일을 보내는 거예요.03:21

LLM에 보낸 후 답변을 받는 거죠. 바로 이런 질문들에 대한 답을요.03:25

구조화된 형식으로 결과를 얻는 것인데, 아마도 이 대규모 언어 모델을 통해 토큰을 출력하고03:31

이 토큰들이 JSON과 같은 형식을 나타내는데, 대부분은 잘 작동하지만 그렇지 않아요.03:37

신뢰할 수 있는... 형태로 돌아오지는 않아요.03:45

어떻게 작동하는지 살펴봅시다. 모델이 얼마나 확신하는지 봅시다. 이 질문에 대한 답을 맞혔다고 대규모 언어 모델이 얼마나 확신할까요?03:47

모델에게 물어볼 수는 있지만, 응답하는 내용은 모델이 이 답을 내기 위해 사용한 실제 확률과 반드시 일치하지 않을 수 있어요.03:54

이 답을 내놓기 위해 사용한 확률값을 제시하지만, 제브는 확률값을 제공해요.04:02

그래서 이 질문들을 Jev에 보내면 완전히 다른 형태의 응답을 받을 수 있어요.04:08

두 가지를 입력받아요. 상태라고 불리는 것을 입력받아요.04:13

결정이 내려지는 데이터는요04:21

해당 사항이 저희 지원 이메일이나 최근 고객 요금과 같은 내용을 포함할 수도 있어요.04:25

모든 데이터가 Jev 모델에 입력되고, 각 질문도 입력받아요.04:31

이 질문들04:38

입력으로 모델에 넣고, 저희의 세 가지 질문은 사실 세 가지 다른04:39

종류예요04:47

질문인데 환불은 예/아니오 질문이고 어떤 종류의04:48

안전 콜은 널, 팀04:55

이 팀 질문은 어떤 팀인지 선택하는 문제이기 때문에04:57

리스트에서 하나를 고르는 것이고, 긴급한 건 점수05:03

낮음부터 심각까지의 척도예요05:11

이제 이 세 가지 질문은 하나의 요청으로 들어가요05:13

LLM은 JSON 답변을 토큰 단위로 하나씩 작성하는 반면에,05:19

Jev는 텍스트를 생성하지 않아요. 그래서 세 가지 답변이 한 번에 모두 나와요.05:25

그리고 이것이 LLM보다 훨씬 빠르고 저렴한 이유도 큰 부분이에요. 이러한 유형의05:31

이제 질문을 입력으로 제공해요.05:38

무엇이 돌아오나요? 제가 말씀드렸듯이 제프는 텍스트를 제공하지 않아요.05:41

돌아오는 것은 출력으로 확률이에요.05:45

환불의 경우 단일 숫자가 될 거예요.05:51

예를 들어 0.9로 돌아온다고 가정해 볼게요. 그러면 90%의 확률이 있다는 뜻이에요.05:56

팀에게 환불 요청일 가능성이 있는데, 각각에 대한 확률이에요.06:02

옵션 중 하나에요.06:09

이 선택의 일부였던 예를 들어 세 가지 중 하나인 청구 옵션은 돌아올 수 있어요.06:10

확률 점수 0.85로 돌아오는데, 참고로 선택에 대한 답은 오직06:17

우리가 제공하는 옵션06:24

제공하기 때문에 팀의 경우 항상 청구, 기술 또는 영업으로 정해지고 긴급성은06:25

상당히 높은 수준에서 매우 중요하다고 판단될 때 다시 돌아올 수 있어요. 그래서06:31

꽤06:38

중요해요. 모델이 여전히 잘못된 옵션을 선택하거나 이러한 점수를06:39

질문들을06:46

물론 틀릴 수 있지만, 확률이 그것을 얼마나 가능하게 하는지 알려줘요. 그래서06:46

이렇게 정확한 확률을 내도록 모델을 어떻게 훈련시키나요?06:53

잠시 전통적인 LLM 훈련으로 돌아가 볼까요.06:59

대부분의 언어 모델은 사전 훈련이라는 단계를 시작해요.07:03

그래서 모델을 먼저 사전 학습시키죠.07:09

그게 모델이 엄청난 양의 텍스트를 읽고 다음 토큰을 예측하는 것을 배우는 거예요.07:12

그러면 모델은 많은 것을 알게 되지만, 아직 대화하기에는 쓸모가 없죠.07:17

그래서 이걸 챗봇으로 사용하려면 두 번째 단계인 포스트07:24

많은 포스트 학습에서 강화 학습이라는 기술을 사용해요.07:33

모델이 답변을 생성해요.07:41

어떤 것이 그 답변에 점수를 매기고 모델은 잘하는 답변 쪽으로 약간 밀려요.07:44

그래서 질문은 누가 점수를 매기는 건가요?07:50

글쎄, 한 가지 방법은 RLHF라는 기술을 사용하는 거예요,07:53

강화 학습이에요. 인간 피드백으로부터 학습하는 거죠. 그래서 사람들이 거기서 점수를 매기는 거예요.08:01

사람 평가자들은 모델의 두 가지 응답을 보고 더 마음에 드는 것을 선택해요.08:07

그리고 그 선택들이 보상 모델을 학습시키죠08:11

그 챗봇은 보상 모델이 높게 평가하는 답변을 하도록 훈련될 거예요.08:14

사람들은 자신감 있는 답변을 좋아하는 경향이 있어요. 그래서 RLHF의 안타까운 부작용은 모델이08:21

틀렸음에도 불구하고 정말 확신에 찬 것처럼 들리도록 학습할 수 있다는 거예요.08:27

하지만 그것은 단지 하나일 뿐이에요08:31

강화 학습의 한 형태이고, 또 다른 형태는 RLBR이라고 하는 것이에요.08:32

강화 학습이죠08:40

검증 가능한 보상으로, 여기의 점수는 자동으로 이루어지고 모델이08:41

정답을 얻었는지 확인하는 거예요.08:48

수학 문제에 대해, 작성한 코드가 단위 테스트를 통과하는지 그런 것들이 중요하고08:50

오늘날 추론 모델이 수학과 코딩을 아주 잘하게 된 큰 이유 중 하나예요.08:57

하지만 여기서는 보상이 최종 답이 맞았는지 여부만 확인해요.09:01

모델이 얼마나 확신해야 하는지 아는 것에 대해서는 보상을 해주지 않아요.09:06

그래야 해요. 그리고 그 모델들은 답을 내놓기 전에 생각 과정을 거치는 데 시간이 좀 걸리고09:09

답을 내요. 그러면 조금 느려지고 실행 비용이 많이 들 수 있어요.09:14

이제 Jev는 다른 형태의 강화 학습으로 훈련했어요.09:18

그것을 RLCD라고 불러요,09:23

보정된 의사 결정을 위한 강화 학습이죠.09:27

TypeSafe는 Jev의 아키텍처에 대해 많은 내용을 발표하지 않았기 때문에, 그들이 말한 내용만 따르겠어요.09:32

JEV가 각 옵션에 대한 확률을 제시한다는 건 알고 있죠,09:37

그리고 그 확률이 맞을 때 보상을 받는답니다.09:42

그래서 C는 바로 그거에 대한 거예요.09:46

모델이 교정되었다고 말하는 거죠. 그리고 교정된 모델은09:49

기본적으로는09:56

이런 식으로 보여요. 여기 아래 축에 확률을 매핑하고09:58

그리고 옆10:06

축에는 모델이 맞는지 여부를 매핑할 수 있어요. 잘 교정된 모델은10:07

대체로10:15

이런 대각선 형태를 가지고 있죠. 우리가 8010:16

80 확률, 80 확률10:24

약 80%의 경우 정확할 것이라는 의미인데, 이게 교정이에요.10:30

이제 환불 질문으로 돌아가서10:37

저희가 제프에게 던진 세 가지 질문 중 첫 번째 질문이었던 그 지원 이메일에 대한 질문인데, 만약10:40

확률이 있다면 코딩을 통해 활용할 수 있어요.10:46

이렇게 임계값을 두는 거죠. 저희는10:53

여기 확률 임계값이 있는데, 1은 확실하고 0은 절대 아니에요. 만약10:59

확률11:06

점수가 예를 들어 0.9 이상이라면, 아마 점수가 여기쯤 나올 거예요.11:07

그렇다면 이 지원 이메일을 처리할 수 있다는 뜻이에요.11:14

정당한 환불 요청으로 간주하고 바로 환불 처리 대기열로 보낼 수 있어요.11:18

처리하도록 할 수 있죠.11:26

하지만 점수가 여기와 0 사이 어딘가로 나온다면11:29

불확실성이 있어요.11:36

이런 숫자를 받은 코드는11:41

실제로 사람이 개입하도록 해야 하고, 지금은 확인을 위해 사람을 투입해야 해요. 왜냐하면11:46

확실하지 않고 점수가 0.1 미만으로 나오면11:52

환불 요청이 아니라고 할 수 있어요.11:59

침착하고 그냥 계속 진행해도 좋아요. 그건 아무것도 하지 않아도 되요. 왜냐하면 숫자들이12:02

보정되어 있고, 임계값은 자동 경로가 얼마나 자주12:09

틀린 경우요12:16

실수가 더 많이 비용을 발생시킬수록 임계값을 높게 설정할 거예요. 그런데12:17

더 많은 경우에 적용돼요12:24

물론, 고객 지원 이메일 외에도 제프는 다양한 곳에서 가이드레일 역할을 할 수 있어요12:25

다양한 종류의12:32

채팅봇 주변처럼, 들어오고 나가는 메시지를 확인해서, 음.12:33

탈옥 시도 같은 것들을 막을 수 있지만, 한계는 있어요. Jev는 현재 텍스트만 입력받고, 수학이나 계산은 잘 못 해요.12:40

수학이나 심지어 계산도 잘 못하니까 다른 것에 맡기는 게 좋고, 다른 AI 모델과 마찬가지로12:47

AI 모델은 읽는 데이터에 숨겨진 지시로 속일 수 있으니, 이제서야12:52

대규모 언어 모델을 완전히 버리고 시스템 원 모델로 대체할 때인가요? 아니, 거의 그렇지 않아요.12:58

하지만 두 가지를 함께 사용할 수 있어요. 워크플로우를 생각해 보면, Jev가13:05

워크플로우에서 빠른 판단을 내릴 수 있죠. 예를 들어 고객 지원 이메일을 분류해서 환불 관련인지 아닌지13:12

판단할 수 있고, 그런 다음 워크플로우에서 대규모 언어 모델로 넘어가서13:18

느린 작업을 할 수 있죠.13:26

고객에게 답장하는 것과 같은 작업이 필요할 때, 다시 Jev를 사용해서13:27

응답을 분류할 수 있어요.13:34

고객으로부터 받은 응답을 분류하는 방식으로, 다니엘 카너먼이 말했듯이 대부분의13:36

우리가 하는 일은 빠른 자동 시스템 원 프로세스에서 실행되죠. 그래서 이것들이요.13:43

두 단계예요.13:50

그리고 이 경우는 느리고 신중한 시스템 두, 즉 대규모 언어 모델이13:52

오직13:59

생각이 필요할 때 작동해요. 아, 그리고 제프라는 이름에 대해서도 말씀드리고 싶었어요.13:59

제프라는 이름도요. 제프는 윌리엄 스탠리 제본스에서 이름을 따왔어요.14:06

경제학자였고, 그는 지적했어요.14:13

1865년에 증기 엔진이 더 효율적으로 될수록 영국은 실제로 더 많은14:15

석탄을 사용했는데, 제본스 역설이라고 불려요. 어쩌면 시스템 원 모델에서도 같은 일이 벌어질 수 있을 거예요. 판단이14:22

매우 빠르고 저렴하다면, 제프처럼 LLM으로는 너무 느리거나 비싼 곳에도 활용될 수 있어요.14:29

오늘날에는 데이터베이스의 모든 행이나 로그 파일의 모든 줄에서처럼요. 누가 알겠어요?14:35

알죠, 제프입니다. 시스템 원 모델은 사용하시는 소프트웨어에 어떻게 들어맞을까요?14:43

댓글로 알려주세요.14:50