네, 안녕하세요 여러분.00:12

그리고 두 번째 층까지 와서 제 세션을 찾아주셔서 정말 감사합니다.00:18

네, 저는 크리스 매닝입니다. 오늘 발표하고자 하는 내용은 문 레이크의 시뮬레이션 생산 방식에 대한 내용입니다.00:22

실제 물리적 인공지능을 위한 기반 시설 구축에 대한 접근 방식을 말씀드리겠습니다.00:30

여기서의 전체적인 목표는 인공지능뿐만 아니라 인지과학에서도 항상 추구해 온 북극성 같은 것이라고 할 수 있는데, 바로 구현된 지능을 이해하고 구축하는 방법을 알아내는 것입니다.00:33

구체적으로 말하면, 구현된 지능을 이해하고 만들어내는 것이 항상 목표였습니다.00:39

오늘 제가 저희가 실용적인 형태로 접근하는 최근 연구에 대해 말씀드리려고 합니다.00:45

구체화된 인공지능의 한 형태에 대해서입니다.00:52

하지만, 아시다시피 저는 거기서부터 시작하지 않을 겁니다.00:55

왜냐하면, SWIC에서 말씀하시길, 그렇게 바로 시작하면 안 된다고 하셨거든요.01:00

두 개의 슬롯을 갖는 것이 좋고, 우선 오늘 여러분을 모시게 되어 기쁩니다. 제가01:07

역사에 대해 말씀해 주시는 분들이 있어야 하고, 사람들에게 역사에 대해 이야기해야 합니다.01:13

인공지능의 역사와 그 여정, 그리고 어떻게 여기까지 오게 되셨는지에 대한 이야기를 들으실 거예요. 잠시 앉아 주세요.01:17

이제 이야기 시간을 가질 예정이고요, 아주 느린 전개를 보여드릴 거니까 준비하세요.01:25

인공지능의 역사에 대해 20분 동안 자세히 듣게 될 거예요, 그리고 나서01:31

문레이크가 무엇을 하고 있는지에 대한 세부 사항도 듣게 될 겁니다.01:35

저기 보시면 정말 설득력 있어 보이네요, 그렇죠? 그런데 제가 이 이야기를 나누고 있을 때, 저는 머리 상태가 아주 안 좋았거든요,01:40

그래서 이 일에 동의할 여지가 거의 없었어요.01:47

그래서 제가 이렇게, 저희 모두가 이 순간까지 어떻게 오게 되었는지에 대한 장기적인 의견을 말씀드리려고 합니다.01:52

인공지능이 작동하지 않던 먼 옛날에서부터요?01:59

인공지능의 시작은 1956년 다트머스 하계 연구 프로젝트였습니다.02:03

바로 이처럼 여름 동안 그룹 프로젝트를 진행하기 위해 존(John)이...02:11

매카시가 인공지능이라는 용어를 만들고 이 사람들을 모았답니다.02:18

저기 뒤쪽 오른쪽 분이 바로 존 매카시입니다.02:24

저기 민스키가 보이네요. 보시면 아시겠지만 정말 지적인 분들로 보입니다.02:29

하지만 오른쪽 끝에 있는 멋있는 분이 제 개인적인 영웅입니다.02:35

클로드 샤넌 분은 언어 쪽 전문가이십니다.02:40

이것이 인공지능의 시작이라고 볼 수 있겠네요, 1956년입니다.02:44

여기서 인공지능이라는 용어가 생겨났습니다.02:48

하지만 사실 1956년보다 훨씬 전에 다른 연구들이 있었습니다.02:51

사실 1940년대부터 50년대 초반에 사이버네틱스 관련 연구가 시작되었답니다.02:55

사이버네틱스는 생물과 컴퓨터 모두에서 통신, 제어, 피드백을 연결하려는 시도였답니다.03:02

그래서 쿠버네티스는 사이버네틱스와 정말 같은 단어입니다.03:11

단지 영어식으로 좀 덜 변형되었을 뿐, 완전히 다른 의미를 가지고 있습니다.03:14

네, 그래서 이것은 인공 신경망과 퍼셉트론 네트워크에 대한 가장 초기 연구로 이어졌습니다.03:19

자, 프랭크 로젠블라트의 퍼셉트론이 있었는데, 아시겠지만,03:25

인공지능이라는 용어보다 훨씬 먼저 시작되었고, 보시는 것처럼 당시에는 전선으로 뉴럴 네트워크를 구현했었죠.03:30

지금은 현대적인 행렬 곱셈을 사용하고 있습니다.03:36

하지만 인공지능이라는 용어가 등장하기 전에 시작된 또 다른 것은 자연어 처리 분야에서 일들을 하는 것이 저의 오랜 관심사였습니다.03:40

자연어 처리는 제 오랜 관심 분야였던 것들입니다.03:46

그리고 자연어 처리는 기계 번역에서 시작되었습니다.03:52

그래서, 또다시 1954년으로 돌아왔습니다. 인공지능이라는 용어가 등장하기 두 해 전이죠.03:57

등장했고, 여기는 1954년 뉴욕 타임즈의 첫 페이지입니다.04:04

이제, 1954년 뉴욕 타임즈의 첫 페이지가 다음과 같은 특징을 가지고 있습니다.04:09

놀랍게도 2026년 뉴욕 타임스에서 볼 수 있는 문제점들과 매우 흡사합니다.04:14

정확히 같은 문제입니다, 정말이지요.04:19

대통령이 시민권 종료를 제안하고 있습니다.04:25

지난 75년 동안 큰 변화는 없었던 것 같습니다.04:28

다양한 종류의 행동에 대한 주장은 반역과 비슷하고, 매우 익숙하게 들립니다.04:34

하지만 이건 페이지 상단 부분이었고, 하단으로 내려가면 이 기사를 찾을 수 있었습니다.04:40

러시아어가 빠른 전자 번역기를 통해 영어로 변환됩니다.04:46

기계가 처음으로 성공적으로 사용된 것으로 보이는 것을 시연하는 공개 행사입니다.04:51

한 언어에서 다른 언어로 의미 있는 텍스트를 번역하는 데 사용되는 기계의 첫 번째 성공적인 활용으로 여겨지는 공개 시연이 어제 오후에 이곳에서 열렸습니다.04:56

그리고 그 시스템을 보여주는 짧은 비디오가 있습니다.05:02

네, 잠시 후에 다시 돌아오겠습니다.05:32

하지만 존 매카시가 인공지능을 창립한 이후로요.05:37

그 직후에 존 매카시가 스탠포드로 옮겨 스탠퍼드 인공지능 연구소를 설립했습니다.05:44

스탠퍼드 인공지능 연구소는 1963년부터 시작되었습니다.05:51

그리고 원래 스탠퍼드 인공지능 연구소는 이 건물, 산기슭에 위치해 있었습니다.05:55

혹시 아시는 분이 계실까요?06:02

사우스 베이요, 음, 라스트라도에 가본 적이 있다면, 바로 옆을 살펴보세요.06:04

라스트라도에서 포톨라 패스처스가 있는 곳이나, 말 타는 곳 옆을 보시면 돼요.06:09

말 타는 곳이요, 거기 AI 연구실이 있었고, 그곳은 인공지능의 많은 초기 작업들이 이루어진 장소였답니다.06:16

인공지능 분야의 중요한 기초 연구와 다른 여러 일들 또한 많이 진행되었던 곳이랍니다.06:21

그런 일들이 있었고, 스탠퍼드 인공지능 연구소는 최초의 비디오 게임 토너먼트가 열렸던 곳입니다.06:26

1972년에 진행되었습니다.06:32

매카시 자신은 수학적 논리학자였고, 그리고06:36

거의 그의 모든 작업이 이러한 수학적 논리의 개념들을 발전시키는 것이었습니다.06:43

하지만 그의 생각은 매우 포괄적이었습니다.06:48

그래서 그는 어떻게 하면 구현된 것을 만들 수 있을까 하는 아이디어를 좋아했습니다.06:52

인공 일반 지능에 대해 매우 기뻐하며, 다른 사람들이 이것을 탐구할 수 있도록 시설과 자금을 지원해 주셨습니다.07:00

다른 사람들이 이 분야를 연구하기 시작할 수 있도록 필요한 시설과 자금을 제공하는 것을 기꺼이 하셨어요.07:05

그래서 이것은, 스탠퍼드 인공지능 연구실의 아주 첫 번째 로봇이었고, 스탠퍼드 카트라고 불렸습니다. 그다지 화려하지는 않았죠.07:09

스탠포드 AI 랩 최초의 로봇인 스탠포드 카트였습니다. 그렇게 멋진 모습은 아니었고요.07:10

낡은 돛 건물입니다만, 오늘 저희가 이야기할 내용과는 더 관련이 있습니다.07:17

오늘 저희가 이야기할 내용과 더 관련이 있습니다.07:19

인공지능을 위한 시뮬레이션 인프라스트럭처와 관련된 또 다른 로봇이 있었는데, 스탠포드 SRI의 흔들리는 로봇이었어요. 마치 이런 로봇처럼요.07:25

이런 식으로 불렸던 로봇이 있었습니다.07:30

오디오입니다. 이 로봇은 주변 환경을 인지하고07:37

주변에서 이동하거나 상자를 옮기고 그런 일들을 할 수 있었습니다.07:44

네, 그래서 이것저것 탐색하기 시작한 아이디어가 있었는데,07:53

인공지능이 환경을 이해하고 상호작용할 수 있다는 개념이었죠.07:58

세상과 그 환경에 대한 것이고요, 딱 하나 작은 방해 요소가 있는데, 인공지능과는 관련이 없어요.08:04

여기 스탠퍼드와 관련된 분 계신가요?08:11

스탠퍼드 관련 분 계신가요? 혹시 버클리와 관련된 분 계신가요?08:15

버클리와 관련된 분들은 좀 적으시네요.08:20

혹시 두 곳 모두와 관련이 있으신 분 계신가요? 두 곳을 방문하신 분들이 몇 분 계시긴 하지만, 아니요. 네, 그럼 저는 제가 초기 스탠포드에 대한 광고를 조금 해야겠네요.08:23

알겠습니다.08:27

만약 인공지능 분야이시라면,08:34

초창기 이야기에서는 스탠포드와 관련된 내용이 전부입니다.08:35

제가 말씀드리면, 아시다시피 두 가지 이야기를 할 수 있을 것 같아요.08:43

만약 서부 해안 대학들의 역사에 대해 이야기한다면, 특히 20세기 초반에는요,08:46

두드러진 모든 일들은 버클리에서 이루어졌고, 스탠퍼드는 다소 변방의 학교라는 인식이 있었죠.08:53

하지만 20세기 후반으로 넘어가면 상황이 달라집니다.08:59

컴퓨터와 인공지능 시대가 바로 스탠포드에서 시작되었습니다.09:05

혹시 모르실 수도 있지만,09:11

인터넷의 시작과 같이 아르파넷을 살펴보면, 여기 있습니다. 1972년이고, UC 캠퍼스들과 UCLA와 연결되어 있습니다.09:14

1972년이고, UC 캠퍼스들과 UCLA와 연결됩니다.09:19

산타 바바라에 연결되고 스탠포드, MIT, 하버드와도 연결되지만 버클리는 없습니다. 1980년으로 넘어가 보겠습니다.09:26

버클리는 아직 인터넷의 일부가 아니었습니다. 하와이와 런던까지는 연결되었는데 버클리는 아직 안 됩니다.09:33

아직 거기에 없었어요.09:40

그리고 이 기간 동안 인공지능은 사실상 존재하지 않았습니다.09:42

버클리요. 제가 말씀드리면, 버클리에는 다른 일들도 많이 있었어요. 공정하게 말하자면 중요한 시스템 작업도 있었고, 인그레스 데이터베이스와 BSD 같은 것들이 있었습니다.09:47

물론 있었죠.09:51

혹시 저처럼 머리가 하얗게 되신 분들은 유닉스를 기억하실 수도 있을 거예요.09:56

하지만 대체로 60년대, 70년대 그리고 80년대 초반까지는요.10:00

버클리에는 인공지능이 전혀 없었고, 버클리에서 인공지능 연구가 본격적으로 시작된 건 사실입니다.10:07

1986년에 두 명의 신선한 스탠포드 박사 학위 취득자가 떠나면서 상황이 바뀌었습니다.10:12

지트렌드 말릭과 스튜어트 러셀이 교수직을 맡기 위해 스탠포드에서 버클리로 옮겼습니다.10:18

물론 지금 생각해보면 40년 전 일이죠. 그래서 이제 버클리에는 AI가 꽤 오랫동안 있었지만, 예전에는 없었습니다.10:25

이 오래된 역사에 대해 더 자세히 알고 싶으시다면요,10:33

몇 년 전, 저희는 실제로 처음 60년의 이야기를 정리해 보았습니다.10:36

스탠포드 대학교에서의 인공지능 연구에 대해서입니다.10:42

편의롭게도, 60년이라는 역사는 챗GPT가 등장하기 바로 직전에 끝납니다.10:44

거대 언어 모델에 대한 내용이고, 유튜브에서 찾아보실 수 있습니다.10:50

네, 간단히 인공지능의 역사를 요약해 드렸습니다.10:57

제 인생에서 뭘 했죠?11:03

글쎄요, 제 인생에서 제가 한 일은 자연어 처리 전문가가 된 것이었습니다.11:05

그래서 자연어 처리 분야에서 저희는 언어 모델을 개발했습니다.11:11

그리고 언어 모델은 어떤 형태로든 아주 오래된 역사를 가지고 있습니다.11:17

정말 오랜 시간 동안입니다.11:24

그래서 최초의 언어 모델은 마르코프 모델을 발명한 안드레이 마르코프에 의해 제안되었습니다.11:25

그래서 마르코프 모델의 아이디어를 개발하면서, 실제로 언어와 관련하여 적용해 보았습니다.11:32

푸쉬킨의 소설 'Eugene O'Nagan'을 가져와서 문자 수준에서 개발했죠.11:38

그걸 기반으로 언어 모델을 만들었어요. 하지만 유명한 건 클로드 섀넌으로 돌아가는 것이죠.11:44

앞서 보셨듯이, 정보 이론을 체계화하고 시작한 분이십니다.11:49

1940년대 후반에 단어와 문자 n-gram 언어 모델을 구축했는데, 이게11:55

우리가 계속 사용했던 주요 기술 중 하나였습니다. 특히 1975년에는요.12:02

다시 말씀드리면, 인공지능의 초기 단계로 돌아가서요. 12:09

IBM의 유명한 그룹, Fred Jelinek 박사 연구팀이 정의했습니다.12:13

실제로, 오늘날까지도 우리가 사용하는 '언어 모델'이라는 용어를 만들었습니다.12:18

그리고 그들은 텍스트의 확률적 모델이라는 개념을 정의했습니다.12:23

다양한 음성 및 자연어 처리 응용 프로그램의 기반으로 사용될 수 있었습니다.12:28

그러니까, 음성과 자연어 처리 분야에서 아주 초기부터 그랬습니다.12:34

언어 모델은 다른 분야의 사람들이 잘 알지 못했던 핵심 기술로 여겨졌습니다.12:39

다른 인공지능 및 머신러닝 분야에서는 정말 몰랐던 중요한 기술이었죠.12:44

그리고 그것이 가능하게 했습니다.12:50

흥미로운 좋은 일들이 초기 음성 인식 및 다양한 자연어 처리 분야에서 일찍 일어나도록 만들었습니다.12:54

그래서 초기 음성 인식 시스템뿐만 아니라, 구글에서 2007년경부터 얻기 시작한 번역도 있었습니다.13:00

그런 기술들은 기계 학습 분야에서는 잘 알려지지 않았습니다.13:07

언어 모델에 의해 상당히 많은 힘을 받았습니다.13:11

그래서, 개발 과정에서 흥미로운 이야기가 있는 것 같습니다.13:15

우리 현대 인공지능의 발전 과정과는 조금 다른 이야기입니다. 죄송합니다.13:20

대부분의 사람들이 기억하는 것과는 다릅니다.13:28

대부분의 사람들이 기억하는 것과는 조금 다른, 비전 중심적인 이야기가 주를 이루었거든요.13:30

신경망이 대규모로 활용되기 시작하는 관문으로 여겨졌던 것이 바로 비전이었으니까요.13:37

하지만 그럼에도 불구하고, 초기 언어 모델 연구의 한계를 지적하고 싶습니다.13:44

맞춤법 교정이나 기계 번역 등 다양한 용도로 사용되었지만, 이 시점에는...13:48

그 당시에는 아무도 언어 모델이 인공지능을 해결할 수 있을 거라고 생각하지 않았습니다.13:54

우리는 여전히 기억과 지식이 필요하다는 기존의 인공지능 이야기를 믿고 있었습니다.13:59

대표성, 계획 시스템, 추론 시스템, 이런 고전적인 인공지능 요소들 모두였습니다.14:04

그래서 자연어 처리 분야의 관점에서 큰 언어 모델의 역사에 대해 말씀드리겠습니다.14:11

그래서, 대규모 언어 모델이라는 용어가 처음 언급된 것은 1998년이었던 것 같습니다.14:18

제 기억으로는요, 하지만 정말로 그건 어떻게 정보를 저장할 것인가에 대한 고민이었습니다.14:23

이 텍스트를 이용해서 모델을 만들려고 합니다.14:28

그래서, 큰 언어 모델과 관련된 첫 번째 흥미로운 연결고리는 2000년이었어요.14:30

요슈아 벤지오와 동료들이 신경망 확률 언어 모델을 정의했을 때였습니다.14:36

최초의 신경망 언어 모델이었습니다.14:41

보시는 것처럼 3천 2백만 토큰의 코퍼스와 3만 1천 단어 어휘로 볼 때, 당시에는 매우 작은 모델이었어요.14:43

3만 1천 단어 어휘를 가지고 있었지만, 그 시점에서는 아주 작은 규모의 모델이었답니다.14:48

아직은 계산 능력이 부족해서 흥미로운 일을 할 수 없었어요.14:53

흥미롭게도, 구글에서는 2007년부터 이미 이런 일이 있었답니다.14:58

계산 문제와 데이터 문제를 해결할 수 있었습니다.15:03

음, 많은 사람들이 지금은 잊고 있지만, 2007년에 구글에서 언어 모델을 가지고 있었답니다.15:08

2조 토큰의 텍스트 데이터로 구축된 모델이었죠.15:15

알다시피, 현재 최고 수준의 모델에 비해서는 조금 작은 규모입니다.15:20

15조(경)의 텍스트 데이터를 기반으로 했지만, 실제로는 비슷한 규모라고 할 수 있죠?15:24

그래서 저희는 이미 20년 전에 데이터와 컴퓨팅 능력의 규모를 갖추게 되었답니다.15:29

언어 모델을 구축하기 위한 방법이었죠. 큰 문제는 충분한 모델의 유연성이 부족했다는 점입니다.15:37

지금 우리가 사용하는 강력하고 현대적인 신경망이 아직 발명되지 않았던 때였습니다.15:43

그래서 2018년이 돼서야 현대적인 대규모 언어 모델들이 등장하기 시작했습니다.15:49

트랜스포머를 사용했지만, 초기 버전은 다시 데이터 양이 적었습니다.15:56

그래서 초기 GPT 모델은 33억 개의 토큰밖에 사용하지 않았습니다. 즉,16:03

크기가 세 단계나 줄어들었습니다. 따라서 데이터가 충분하지 않은 상황으로 돌아갔습니다.16:08

그리고 2020년, GPT-3 이후에 비로소 모든 것들이 모여서 언어 모델이 지금 우리가 알고 있는 것처럼 발전하기 시작했습니다.16:14

그때 여러 가지 요소들이 한데 어우러져 언어 모델이 급격하게 성장했고, 현재의 모습을 갖추게 되었습니다.16:20

그래서 자연어 처리 분야에서 놀라운 승리가 있었습니다.16:27

솔직히 말해서, 대중 매체에서 그런 이야기를 들으면 조금 웃음이 날 정도입니다.16:32

요즘 인공지능에 대한 언급을 보신다면, 상당히 높은 확률로 대규모 언어 모델을 이야기하고 있을 거예요.16:37

이전에는 그렇지 않았던 방식이었죠.16:42

이전에는 자연어 처리 분야가 인공지능에서 상당히 주변적인 영역이었던 방식이었죠.16:46

그리고 우리 모두 아시다시피, 이 거대 언어 모델들은 우리가 놀라운 일을 해낼 수 있도록 해주었습니다.16:51

정말 놀라운 일들을 할 수 있게 되었고, 이러한 시스템들이 추론하고 복잡한 문제를 해결하는 능력은 정말 굉장합니다.16:56

특히 수학 문제와 같은 어려운 문제들을 푸는 모습은 정말 경이롭습니다.17:03

제가 말씀드리는 것처럼, 솔직히 저 같은 사람에게도 믿기 어려울 정도예요.17:07

저도 자연어 처리 분야에서 30년을 일해 온 사람이지만, 정말 믿기 힘들어요.17:10

정말 어렵고 제가 절대로 풀 수 없는 수학 문제들을 선택해서17:16

큰 언어 모델에 그냥 입력하면, 어떻게든 해결해 나가는 것을 보면 놀랍습니다.17:23

테스트 시간 동안 생각하고 정답을 찾아내고 있습니다.17:28

정말 예상치 못한 방향에서 놀라운 성과를 보여주고 있다고 할까요.17:32

그래서 제 세계의 대부분이었지만, 이제 다시 주제로 돌아가서, 음, 지금 어디쯤인지 이야기해 보겠습니다.17:38

본론으로 들어가서, 어디까지 왔는지 살펴보려고 합니다.17:44

왜 우리는 구체화된 인공 일반 지능을 목표로 삼아 바라봐야 할까요?17:48

그것을 주시해야 하는 걸까요?17:55

그리고 그 이유가, 지금까지 정말 놀라운 성과들이 있었음에도 불구하고요.17:56

대규모 (large) 모델로18:03

언어 모델의 경우, 여전히 세상에 대한 텍스트 기반 설명이 존재합니다.18:04

알고 보니, 텍스트 기반으로 세상을 설명하는 것만으로도 많은 일을 할 수 있습니다.18:10

저희가 상상했던 것보다 훨씬 더 많은 것을 할 수 있다는 게 사실이라고 생각합니다.18:16

세계를 텍스트 기반으로 설명하는 것으로는요.18:23

로봇 공학 및 컴퓨터 비전 분야의 저명한 분들께서도 한때는 10년 동안 말씀하시곤 하셨습니다.18:26

대규모 언어 모델로는 그런 일을 할 수 없을 거라고요. 하지만 실제로 대규모 언어 모델을 통해 많은 부분을 해낼 수 있게 되었습니다.18:32

하지만 결국에는 우리 주변의 세계와 상호작용하고 싶어합니다.18:39

그리고 저희 세상에서 작동할 수 있는 인공지능을 갖기를 원합니다.18:45

그래서, 어떻게 이런 구체화된 인공 일반 지능을 만들 수 있을까요?18:49

그래서 점차적으로 저는 좀 더 관심을 갖게 되었어요.18:55

시각적인 세계를 어떻게 통합하기 시작할 수 있을까요?19:01

그리고 저는 시각적 질문 답변과 그것을 어떻게 활용할 수 있는지 살펴보게 되었습니다.19:04

텍스트와 생성 모델, 그리고 시각 세계에 대해 추론하는 방법을 연결해 볼 수 있습니다.19:09

오늘 제가 그 부분을 어떻게 구축할 수 있는지 더 자세히 말씀드리겠습니다.19:16

이러한 업무 분야에서 시뮬레이션을 활용하여 구체화된 인공 일반 지능에 접근하기 시작할 수 있습니다.19:22

왜 시뮬레이션이 필요할까요?19:29

음, 대략 두 가지 방법이 있습니다.19:34

물리적 세계의 지능적인 모델을 구축하기 시작하는 방법에 대해 생각해 볼 수 있습니다.19:35

한 가지 방법은 실제 세계에서 직접 학습하는 것입니다.19:42

그래서 하드웨어를 설정하거나 실제 세계의 유튜브 영상을 수집할 수도 있습니다.19:49

어떻게 행동해야 하는지에 대한 지능적인 정책 학습을 시작하게 됩니다.19:57

이런 방식은 구글 X의 Q-Opt 프로젝트에서 사용되었던 접근 방식입니다.20:01

로봇 팔들이 일들을 수행하고 있고, 그 과정이 기록되고 있는 상황이죠. 그리고,20:06

실제 세계에서 정책을 학습하기 시작하는 것입니다.20:12

정말 불편한 방식으로 진전을 이루려고 하는 방법이네요.20:17

그러다 보니 이 분야에서 진전이 있을 때에는,20:22

약 1만 시간 정도의 원격 조작을 받으시는군요.20:26

그건 사람이 데이터를 통해 로봇을 움직여서 모델 학습을 시작하는 것을 의미합니다.20:31

상당히 매력적인 그림은 아니에요. 만약 우리가 일반적으로 좋은 로봇 기술을 시작하고 싶다면,20:37

이런 식으로 계속 진전해 나간다고는 생각하지 않아요.20:44

이 로봇들이 움직이는 속도 때문에 그렇습니다.20:48

하지만 흥미롭게도, 1970년대의 Shakey로 돌아가 보면요.20:51

쉐이키는 다른 답을 제시했습니다.20:58

쉐이키가 말하길, 주변 환경만 있는 현실 세계에만 의존해서는 안 된다고 했습니다.21:00

우리 주변의 실제 세계뿐만 아니라, 로봇 머릿속에도21:07

세상이 어떤 모습인지 내부적으로 표현하는 세계 모델이 있어야 합니다.21:12

그래서, 세계 모델이라는 개념이 세상의 추상화된 내부 표현으로서,21:19

시뮬레이션과 계획에 활용될 수 있습니다.21:25

그것은 인지 과학으로 거슬러 올라가는 아이디어입니다.21:28

그래서, 처음에 케네스 크레이그가 1940년대에 제안했습니다.21:31

그래서 그는 인간과 다른 생물체들이 스스로 생각하고 대안을 고려할 수 있도록 머릿속에 세계 모델을 가지고 있다고 주장했습니다.21:37

자신들의 머릿속에서 다양한 가능성을 생각해 볼 수 있도록 하는 것이라고 했습니다.21:43

그래서 상황이 어떻게 전개될 가능성이 있는지 미리 생각하고 행동하기 전에 좋은 계획을 세울 수 있습니다.21:48

저희도 로봇들이 같은 종류의 능력을 갖도록 하는 것이 목표입니다.21:56

그래서 이것이 쉐이키의 세계 모델이었습니다. 쉐이키는 블록 세상과 같은 곳에서 활동했는데, 사실은 격자 형태의 세상이었죠. 아마 AI 교재를 처음 보셨을 때 기억하실 수도 있을 겁니다. 하지만 그것은 다양한 장소에 무엇이 있는지 표현하고 있었습니다.22:04

각기 다른 장소에 무엇이 있는지 나타내는 것이었습니다.22:11

세상에 있는 것들과 각각의 물건들이 어떤 속성을 가지고 있는지 나타내는 것이었습니다.22:17

그리고 당시에는 이와 같은 논리적인 표현 방식으로 모두 저장되었습니다.22:21

그래서, 이제 21세기 버전의22:26

구체화된 인공 일반 지능을 어떻게 구축하기 시작할 수 있을까요?22:34

그리고 제가 생각하기에 올바른 방법은 좋은 행동-조건-세계 모델을 구축하는 방법을 찾는 것입니다. 22:37

오늘 저는 실용적이고 효과적인 시뮬레이션 구축 방법에 대해 이야기하고 싶습니다.22:44

구체화된 에이전트 인공지능의 기반으로 사용될 수 있는 인프라스트럭처입니다.22:51

그래서, 세계 모델이라는 개념은 보통 강화 학습 아이디어로 형식화됩니다.22:58

우리가 하는 일은 세상에 대한 관찰을 가지고 있다는 것입니다. 하지만 그 밑바탕에는,23:05

세상의 상태에 대한 의미적으로 추상화된 표현이 우리 안에 있다고 가정합니다.23:10

머릿속에 가지고 있어요. 그리고 세계 모델이 하는 일은 우리가 시도해 볼 수 있는 능력을 제공하는 것입니다.23:17

어떤 행동을 한 상태에서 어떤 새로운 상태가 나타날지 예측할 수 있도록 해 줍니다.23:23

그래서 중요한 점은, 세계 모델이 추상화되어 있고, 더 많은 의미를 담고 있다는 것입니다.23:30

사람들이 세계 모델에 대해 이야기할 때, 종종 이러한 점을 간과하는 경우가 많았습니다.23:37

분들은 추상화나 의미론적인 부분에 대해서는 깊이 생각하지 않으셨던 것 같습니다.23:43

단지 아름다운 생성형 인공지능 비디오를 만들 수 있는지 여부에 대해 이야기하고 계셨을 뿐입니다.23:48

자, 이것이 제니 3입니다. 라이리 굿사이드라는 분께서 보여주신 귀여운 예시라고 할 수 있습니다.23:55

그는 초기 LLM 시대에 뛰어난 프롬프트 엔지니어로서 많은 명성을 얻었던 바로 그 사람입니다.24:01

그리고 지금 제니 3를 가지고 실험하고 계시는 것 같아요.24:08

제니 3로 할 수 있는 일들을 보면 정말 아름답고 멋지네요.24:12

굉장히 부드럽네요.24:20

정말 멋져 보이지만, 이 시기의 대부분의 비주얼 AI는...24:22

지금까지는 픽셀만으로 평가되어 왔습니다. 아름다운 픽셀이 있다면, "1"에서 아름다운 소프트웨어라고 할 수 있겠지만, 그 픽셀들은 관찰을 시뮬레이션하려는 시도입니다.24:28

아름다운 소프트웨어라고 할 수 있습니다. 하지만 이 픽셀들은 관찰을 시뮬레이션하려고 노력하고 있습니다.24:33

세상의 의미를 실제로 가지고 있거나 표현하지 못합니다.24:40

그러므로 현실감을 잘 반영하지 못하고, 계획을 세우는 기반이 되기에도 적합하지 않습니다.24:45

실제 세계의 견고한 시뮬레이션 인프라를 구축하는 데는 적합하지 않습니다. 24:51

그래서 우리는 이런 종류의 시뮬레이션 인프라가 필요합니다. 왜냐하면 좋은...24:57

시뮬레이터는 실제 세계가 어떻게 작동하는지에 대한 인과 관계 지식을 가지고 있어서요, 25:01

어떤 상황에서도 일이 어떻게 진행될지 예측하고 계획할 수 있게 해줍니다.25:07

그래서, 바로 그것이 저희가 만들고 문레이크에서 제공하고자 하는 세상입니다.25:12

저희가 만들고 문레이크에서 제공하고자 하는 그런 세상을 원하고 있습니다.25:13

따라서 시작점은 실제 세계의 관찰입니다.25:20

그러므로 이미지나 작은 조각이 주어졌을 때,25:24

영상 같은 것들을 해석해서, 이것을 우리가 관찰로 받아들일 수 있도록 하고 싶습니다. 그런데, 25:28

항상 실제 세계의 일부만을 부분적으로 나타내는 것이죠.25:34

그리고 우리가 하고 싶은 것은25:39

이 세계의 모델을 재구성하여 실제로 그것을 할 수 있도록 하는 것입니다.25:40

그 안에 있는 것들을 보고, 어떻게 반응하는지 살펴보세요.25:47

이것을 통해 인과관계를 파악할 수 있는 기반을 마련할 수 있습니다.25:50

표현에 조건화된 방식으로 계획하고 추론하는 방법을 파악할 수 있게 해 주며, 이것이 기초가 됩니다.25:55

이를 통해 이 세계 안에서 지능적인 로봇의 행동을 가능하게 할 수 있습니다.26:02

그래서, 여기에서 무엇을 할 수 있을까요?26:08

음, 가장 먼저 할 수 있는 일은 그 사진을 저희 잘 알려진 제품 중 하나에 넣어서 사용하는 것입니다.26:10

다른 회사 제품들을 참고해서, '이 세계를 시뮬레이션해 보세요'라고 할 수도 있습니다.26:18

그래서 마블에서 이렇게 결과물을 얻게 됩니다. 그리고 이 세계의 꽤 괜찮은 시뮬레이션이라고 할 수 있습니다.26:24

그리고 만약 여러분이 이 세계를 돌아다니면서,26:30

다른 각도에서 보는 것을 원하신다면, 이것은 꽤 잘 작동합니다.26:36

질문은 이거 좋은 시뮬레이션인지 따지는 거예요.26:41

그리고 이게 좋은 시뮬레이션인지는 어떤 문제를 해결하느냐에 따라 달라집니다.26:44

실제 세계에서 해결하고 싶었던 문제가 무엇인지요.26:51

그리고 이것이 실제 세계의 문제를 해결하기에 충분한 정보를 제공하는지 확인해야 합니다.26:54

그리고 현실 세계에서 단순히 둘러보고 다양한 각도에서 경치를 감상하고 싶다면요,27:00

그렇다면 아주 좋네요. 이제 끝입니다.27:07

하지만 대부분의 경우에 실제 세계에서 하고 싶어 하는 것은,27:09

이 물체들이 여기 있다는 것을 이해하고, 그것들을 이용해서 무언가를 할 수 있는 것이죠?27:17

여기 물건들이 몇 개 있어요. 주전자가 있고, 상자도 있고, 컵도 있고요.27:21

하지만 마블 월드에서는 이 물건들로 실제로 할 수 있는 게 아무것도 없답니다.27:26

단순히 흩어져 다니는 무형의 존재처럼 행동할 수 있을 뿐입니다.27:32

그래서 로봇 제어 같은 많은 경우에...27:37

다른 물리적으로 정확한 세계에서 더 많은 이해가 필요합니다.27:42

우리 세계 모델에 더욱 상세하고 개선된 시뮬레이션이 필요하죠.27:47

그래서 문레이크에서는 사람들이 시뮬레이션으로 무엇을 하고 싶어하는지 파악하고 싶습니다.27:52

그리고 그들이 원하는 것을 지원할 수 있는 종류의 시뮬레이션을 구축하려고 합니다.27:57

그러다 보면, 아마 '세상 속의 오브젝트들을 움직일 수 있었으면 좋겠다'라고 생각하실 수도 있을 거예요.28:01

그래서 저희가 문레이크에서 시도하고 있는 일들의 시작점이 바로 그런 개념이에요.28:07

만약 저희가 물건들을 움직일 수 있는 세계를 만들고 싶다면요28:14

그러면 이미지 블래스트나 비슷한 시스템을 생각하는 것과 같다고 할 수 있습니다.28:20

이 세계를 실제로 분석해서 무엇이 있는지 이해해야 합니다.28:25

그리고 조작할 수 있는 오브젝트들을 가지고 있어야 합니다.28:30

그래서 배경과 그 배경 안의 오브젝트를 분리하게 됩니다.28:32

배경 세계를 어느 정도 구분해서 가질 수 있게 되는 거죠.28:38

대리석과 비슷한 표현 방식이죠. 하지만 전경에는 다양한 오브젝트들이 있어서 저희가28:43

조작하고 움직일 수 있습니다. 뭐, 이것부터 시작하는 거죠.28:50

하지만 이전 사진에서는 차 상자가 항상 닫혀 있었고,28:55

차 상자를 열어서 안에 무엇이 있는지 궁금해 볼 수도 있겠죠.29:02

그리고 음, 이것은 세계 관찰이 항상 부분적인 측면을 가지고 있다는 방식의 일부이기도 합니다.29:07

실제 사진에서 볼 수 있었던 것은 닫힌 차 상자였고, 차 상자를 전혀 볼 수 없었습니다.29:14

정말 잘 됐네요. 그런데 어떻게 안에 무엇이 있는지 알 수 있을까요?29:20

그리고, 답은요...29:25

21세기에 우리가 그 안에 무엇이 있는지 알 수 있는 방법은, 조금 조사를 해보는 것입니다. 웹에서 정보를 찾아보는 거죠.29:26

인터넷을 활용해서 정보를 얻는 방식으로요.29:33

헝겊 조각 같은 걸 이용해서29:40

어떤 내용인지 알아내고, 그러면 관련된 이미지들을 찾을 수 있습니다.29:42

웹에서 티 박스에 대한 정보를 더 자세하게 보여주네요.29:51

열었을 때의 모습이 담긴 사진과 함께 설명도 있습니다. 유기농 고급 티백 컬렉션이라고 묘사되어 있네요.29:54

가죽 상자는 크기를 알려주고, 이 제품에 대해 자세히 알아볼 수 있습니다.30:01

따라서 시뮬레이션에 이를 통합할 수 있습니다.30:05

차 상자 안에 내용물에 대한 이해가 함께 있는 차 상자입니다.30:09

정말 좋네요. 자, 이제 차 상자 안에 티백이 들어있는 상태로 만들 수 있습니다.30:13

하지만 아무것도 하지 않는다면, 그냥 거기 앉아있고 움직일 수 있는 것들뿐입니다.30:20

사실을 깨닫고 싶습니다. 잠깐만요.30:26

티백을 들어 올릴 수도 있고, 티 박스에서 꺼낼 수도 있습니다.30:29

그래서 이제는 이 티백들도 모델링된 오브젝트로서 가지고 있어야 합니다.30:35

저희 시뮬레이션 안에서 그 물체들이 크기를 가지고 조작될 수 있도록 만들고 싶습니다.30:41

그럼, 저희는 이걸 어떻게 구현하고 있는 걸까요?30:48

그래서 문레이크에서 일어나고 있는 일의 중요한 부분은 구축하는 것입니다.30:51

일부 과정은 시각 분야에 있지만요.30:57

우리가 하고 있는 일 중 많은 부분이 실제 코딩 세계로 다시 돌아가고 있습니다.31:01

그래서, 보통 언어라고 불리는 개념을 활용하는 것입니다.31:05

모델이라고 할 수 있지만, 요즘은 상징적인 모델들이 많이 사용되고 있습니다. 이 모델들은 단순히 인간의 언어뿐만 아니라31:11

수학 코드나 그런 것들도 처리할 수 있습니다.31:17

그것은 정말로 발전을 이룰 수 있는 강력한 기반이었습니다.31:21

그래서, 우리는 코드를 생성함으로써 조작 가능하고 제어 가능한 세계 모델을 만들고 있습니다.31:27

이 세계들의 제어 가능한 부분에 코드를 적용하여 구현하고 있습니다.31:34

특히, 저희는 이 방식으로 학습을 진행할 수 있습니다.31:40

많은 분들이 클로드에서 보셨을 법한 동일한 루프 엔지니어링 방식으로 이러한 코드 모델을 만들고 있습니다.31:43

우리는 코드를 작성하여 렌더링하는 루프를 가지고 있는데, 이 과정을 반복하고 있습니다.31:49

객체들을 배치하고 디퓨전 기반의 질감을 적용하는 등의 작업을 할 수 있습니다.31:57

그리고 나서 저희가 만든 렌더링 결과물이 실제 물리적 현실과 얼마나 잘 맞는지 평가할 수 있습니다.32:03

그리고 그 차이를 파악해서 코드를 수정할 수 있습니다.32:09

점차 더 나은 결과물을 얻을 수 있도록 개선해 나갈 수 있죠.32:15

그래서 이것이 바로 우리가 상세한 조건부 행동 모델을 구축하는 방식입니다.32:19

세상의 객체에 대한 함수적 행동을 취할 수 있도록 세계 모델을 만들고 있습니다.32:25

그러니까, 저희는 세계에 대한 일종의 신경-상징적 표현을 가지고 있다는 뜻입니다.32:31

여기서 신경-상징적 표현은 큰 장점을 가지고 있습니다.32:36

기호 기반 표현이 쉽게 인터페이스로 제어될 수 있다는 점이 중요합니다.32:42

그리고 저희 인간의 세상에서 편집하고 유지 관리하기도 용이하답니다.32:47

그래서 제가 전달하고 싶은 작은 메시지 하나가 있습니다.32:50

여기서 말씀드리자면, 아마 대부분의 분들이 마크 안드레센 씨의 유명한 발언을 15년 전쯤에 접했을 겁니다.32:57

소프트웨어가 세상을 지배할 것이라는 말이 있었습니다. 그리고 그 말은 대체로 맞았습니다.33:05

하지만 저는 그것이 완전히 옳은 말이라고 생각하지 않습니다.33:12

왜냐하면 소프트웨어가 물리적인 세계를 삼켰다는 것은 사실이 아니기 때문입니다.33:15

많은 부분이 가상화되었고, 그렇죠.33:21

세상의 많은 부분이 이제 컴퓨터 안에 들어와 있습니다.33:26

네, 그리고 관리하고 세는 모든 과정들을 삼켜버릴 수도 있겠죠.33:29

공급업체 정보나 공급 기록 같은, 가상 세계에 있는 모든 것들을 말이죠.33:35

하지만 소프트웨어가 현실 세계를 흡수할 만큼의 힘은 없었습니다.33:41

저희의 기대는 바로 이 새로운 능력, 즉 코드를 통해 검증 가능한 시뮬레이션을 구축할 수 있게 되는 것이었습니다.33:46

방금 제가 잠시 설명했던 그런 종류의 코드 기반으로 구동되는 것이죠.33:53

이것을 통해 실제로 검증 가능한 시뮬레이션을 할 수 있게 되고, 이것이 물리 세계를 변화시킬 수도 있을 겁니다.33:59

그래서 저희가 만든 것이 바로 그런 종류의 것입니다.34:06

여기서 계속 진행해서 더 많은 단계를 만들어갈 수 있습니다, 그렇죠?34:08

그러니 차 봉투를 호일 용기에만 넣고 싶지는 않을 겁니다.34:15

하지만 저희는 그걸 포일 용기에서 꺼낼 수 있으면 좋겠습니다.34:20

그리고 어떻게든 티백을 컵 안에 넣고 싶습니다.34:24

차를 만드는 데 있어서 그 단계가 유용하기 때문입니다.34:30

그리고 당연히 물통도 필요하겠죠.34:32

시뮬레이터인데, 저희는 시뮬레이터를 통해 물을 끓이고 차에 부을 수 있기를 원합니다.34:38

그리고 이렇게 괜찮은 세계 시뮬레이터가 있으면, 이 아이디어의 핵심은 이것이 한다는 것입니다.34:43

구축하고 있습니다.34:50

시뮬레이션된 세계의 모든 부분에서 효과적인 전달을 가능하게 할 것입니다.34:52

실제 세계로의34:59

이것을 고려하는 것이 중요합니다. 다양한 것들에 필요한 요소가 무엇인지에 대해 말이죠.35:00

다양한 종류의 전달 방식이죠.35:06

그리고 저희가 드리고 싶은 주장은, 아시다시피...35:08

보통 시뮬레이션은 모든 세부 사항까지 완전하고 정확하지 않습니다.35:14

왜냐하면 세상의 일부는 여러분에게 중요하고, 또 다른 일부는 그렇지 않기 때문입니다.35:22

저에게 중요하지 않은 부분들이 있습니다. 인간의 세계 모델과 마찬가지로요, 그렇죠? 우리가 항상 모델링하는 세상 전체는 아니지만, 우리에게 중요한 부분들만 모델링하고 있는 거죠.35:28

저에게 중요하지 않은 부분들이 있습니다. 인간의 세계 모델과 마찬가지로요, 그렇죠? 우리가 항상 모델링하는 세상 전체는 아니지만, 우리에게 중요한 부분들만 모델링하고 있는 거죠.35:32

어떤 것을 모델링해야 하는지 제어하는 것이 중요하고요,35:39

실제 시뮬레이션을 가능하게 하려면 그것을 사용하는 것이 필요합니다.35:43

실제 세계에서 효과적으로 사용될 수 있도록 하는 것이 중요합니다.35:49

그렇다면, 이것을 통해 어떤 종류의 응용 프로그램을 만들 수 있을까요?35:53

그래서 목표는 실제 세계에서 원격 조작을 통해 데이터를 1만 시간씩 수집하는 대신,35:58

데이터를 수집할 필요가 없도록 하는 것입니다.36:05

대신 정확한 시뮬레이션을 구축해서 실제 환경으로의 적용을 가능하게 할 수 있습니다.36:09

제가 이 부분에 대해 저희가 어떻게 진행해 왔는지 보여드리겠습니다.36:15

이것은 고상한 로봇공학과는 거리가 멀고요, 36:18

실제 세계 어디에서나 볼 수 있는 일종의 물리적 인공지능이라고 할 수 있습니다.36:22

물리적인 과정에서 이해하고 자동화할 수 있는 일들이 벌어지고 있다는 것입니다.36:28

이해하고 자동화할 수 있기를 원하시는 거죠.36:34

그래서 특히, 만약 우리가 미국의 위대한 제조업 경제로의 꿈을 실현하고자 한다면,36:39

미국을 다시 한번 강력한 제조 경제 국가로 되살려야 합니다.36:44

물리적인 세계에서 훨씬 더 많은 부분을 자동화할 수 있는 방법을 찾아내야 할 것 같습니다.36:47

음, 문레이크 AI 기술을 활용하면, 이제 이렇게 말할 수 있습니다.36:53

그래서 이 짧은 영상에서 정확한 시뮬레이션을 자동으로 생성할 수 있습니다.37:00

세상이 어떻게 움직이는지 충분한 디테일까지 담아 3D 세계로 만들 수 있습니다.37:05

물체들이 어떻게 움직이는지, 그리고 세상에 어떤 물건들이 있는지 파악해서 이것을 기반으로 구축해 나갈 수 있습니다.37:11

그리고 이를 실제 세계로 정확하게 전달되는 시뮬레이션 데이터의 기초로 활용할 수 있습니다.37:18

그래서, 이 모델을 통해 1만 시간의 시뮬레이션을 무료로 얻을 수 있습니다.37:24

그리고, 이를 바탕으로 로봇 시스템을 학습시킬 수 있습니다.37:32

작동하도록37:39

실제로 이 세상에서 무엇을 할 수 있는지 탐색하고 배우도록 하는 거죠.37:40

세상에서 작동하는 방법이죠37:47

그래서 잘 작동하고, 그러면 효과적이고 저렴한 로봇 시스템 훈련이 가능해집니다. 알겠습니다.37:49

음, 그래서 이게 이야기입니다. 모두에게 정말 감사하고요.37:57

질문하실 시간이 있을 거예요. 네, 그렇게 하겠습니다.38:10

대화 정말 감사드립니다. 제 첫 번째 질문은 이것이 게임 산업에 적용될 수 있는지, 그리고 그들이 어떻게 활용할 수 있는지인데, GTA 6를 보면서 모두가 궁금해하고 있습니다.38:17

혹시 게임 산업과 같이 그런 분야에서도 활용 가능할까요? 예를 들어 GTA 6처럼요.38:23

새로운 게임에 대해 이야기하고 있는데, 거기서도 굉장한 활용성을 볼 수 있을 것 같아요. 그들이 구축하는 세계 모델과 끝없이 상호작용할 수 있겠죠.38:30

혹시 게임 개발사와 협력하신 적 있으신가요? 로봇 공학 분야에도 적용될 수 있는 건가요?38:37

네, 그렇습니다.38:44

이 기술을 활용할 수 있는 또 다른 매우 좋은 분야는 게임 산업입니다.38:46

실제 세계는 일종의 가상 세계와 비슷하며, 시뮬레이션을 할 수 있습니다.38:52

자신의 게임 세계를 시뮬레이션하고 동일한 종류의 구체화된 지능을 구축할 수도 있습니다.38:59

게임 산업은 정말 매력적인 특징들을 가지고 있습니다.39:05

매우 많은 수의 게임 이용자들이 있기 때문에 데이터를 쉽게 수집할 수 있습니다.39:10

게임을 하는 사람들은 목표를 가지고 있습니다.39:15

그 목표는 비교적 명확하게 알려져 있기 때문에 강화 학습 루프 안에서 배우는 것이 가능합니다.39:19

좋은 행동 방식에 대한 방법들이 있습니다. 그리고, 물론, 문레이크가 탐색해 온 응용 분야 중 하나는39:24

게임 산업에서 찾아볼 수 있으며, 앞으로도 더욱 늘어날 가능성이 높습니다.39:30

하지만 최근에는 물리적 인프라에 특히 중점을 두고, 물리적 인프라 환경에서 시뮬레이션을 진행하고 있습니다.39:33

실제로 물리적 인프라와 관련된 시뮬레이션 작업을 강조하고 있답니다.39:36

정말 흥미로운 점은, 신경-기호 표현 방식으로 회귀하고 있다는 것이요.39:54

그 부분은 특히 인상적이네요.39:58

원래의, 일종의 구시대적인 인공지능은 온톨로지 개발과 관련이 많았고,40:04

지식 표현 및 논리와 그 표현 방식에 대한 역할이 있을까요?40:09

신경 상징적 표현을 심화하기 위해, 마치...처럼40:13

이전에 온톨로지가 어떻게 개발되었는지, 그리고 그것이 표현을 모델링하는 데 사용되었는지에 대해 말씀드리겠습니다.40:19

실제 세계와 관련해서, 그러한 부분이 확장 및 발전의 영역이 될 수 있다고 보십니까?40:25

네, 그렇습니다. 제가 작업하고 있는 도구 종류에 있어서 발전할 여지가 충분하다고 생각합니다.40:30

기존의 스타일의 온톨로지와 지식 표현 방식으로 되돌아갈 가능성은 낮다고 생각합니다.40:35

하지만 결국 우리가 하고 있는 일은 그런 것이 맞습니다. 물론, 약간 다른 방식이죠.40:40

새로운 코드로 옷을 입는 것과 같습니다.40:47

글쎄요, 흥미로운 공간이라고 생각합니다.40:52

좀 더 일반적인 내용으로 이야기해 볼 수 있을 것 같아요. 음, 완전히 신경망 기반의 접근 방식이 있죠.40:59

세계를 표현하는 잠재적 표현도 순전히 신경망으로 이루어진 그런 종류의 방식이죠.41:05

JEPRA 아키텍처가 추구하는 방향이 바로 그런 순수한 신경망 기반 접근 방식이라는 뜻입니다. 어느 면에서는 좋은 방법이죠.41:10

하지만 다른 한편으로는, 인간이 이해하고 연결하기가 매우 어렵다는 단점이 있습니다.41:17

어떤 식으로든 다른 응용 프로그램과 연결하거나 이해하기 어렵습니다.41:24

그래서 저희의 생각은 실질적인 물리적 인공지능 시뮬레이션 인프라를 구축하는 방법은...41:28

예상되는 가까운 미래에는 기호 표현에 기반을 두고, 이를 활용하는 것이 최선이라고 생각합니다.41:36

우리가 주변에서 흔히 볼 수 있는 코드의 엄청난 잠재력을 이용하는 것입니다.41:43

in the sort of codex, code-code era, that those kind of symbolic representations41:48

allow neural AI systems to reason, plan, and do all of these things excellently well.41:54

따라서 어느 정도는 예전 방식의 지식 표현 방식을 다시 가져오는 것과 같습니다.42:01

마이크가 계속 전원을 끄네요.42:14

안녕하세요, 안녕하세요. 아, 안녕하세요.42:21

그래서 저희가 현재 사용하고 있는 많은 산업용 로봇 활용 사례는...42:23

기존의 사람이 직접 많은 노력을 기울이는 공정들을 자동화하는 것이라고 볼 수 있습니다.42:29

투자라면...42:35

세계 모델 개발 과정에서, 새로운 방식으로 탐색할 수 있게 해 줄까요?42:38

새로운 공정을 가능하게 할까요?42:45

혹시 현재 인간의 노동력이나 기존의 산업 제조 공정으로는 접근하기 어려운 활동이나 작업들이 있을까요?42:47

그런 일들을 할 수 없을 정도로 제한적인 상황인가요?42:53

물론이죠, 그렇습니다. 네.42:58

마지막에 보여드린 예시가 아주 오래된 방식의 컨베이어 벨트 시스템이었죠.43:00

하지만 제가 말씀드리고 싶은 건, 정말 놀라운 일들이 휴머노이드 로봇 분야에서 많이 일어나고 있다는 점입니다.43:08

그리고 새로운 형태의 로봇 자동화에 있어서는,43:15

다른 경우로는 우주에서 무언가를 수행하는 것을 고려해 볼 수 있습니다.43:23

똑같은 문제가 발생할 겁니다. 인공지능 에이전트를 훈련시켜야 하는 것과 같습니다.43:26

다양한 상황에서 행동할 수 있도록 하는 것이 중요합니다.43:33

그리고 그런 것을 실행하는 것은 매우 비용이 많이 들고 어렵습니다.43:36

실제 환경에서 훈련하는 것이죠.43:43

그리고 실제 환경에서 훈련할 때, 드문 경우의 수를 다루기는 매우 어렵습니다.43:46

제가 말씀드리는 게 자율 주행에서 분명히 보셨을 거라고 생각합니다.43:53

자율 주행이 스탠리 돌파구 이후로 20년이나 걸려서 나타난 데에는 이유가 있습니다.43:57

자율 주행차 경주에서 승리하는 것과 실제로 웨이모가 널리 보급되는 것 사이에는 엄청난 차이가 있습니다.44:04

바로 이 긴 꼬리가 존재하는 것이 이유입니다.44:07

그리고 이러한 새로운 응용 분야, 즉 휴머노이드 로봇, 우주 로봇 등에서 그 긴 여지를 극복하는 방법은 좋은 시뮬레이션을 갖는 것입니다.44:12

감사합니다. 말씀 잘 들었습니다. 질문이 있습니다. 보여주신 영상에 물이 있었는데, 모든 것이 비디오를 통해 학습된 것인지 아니면 물리 법칙이 내재되어 있는 것인지 궁금합니다.44:17

말씀해주셔서 감사합니다.44:27

물에 대한 영상도 보여주셨는데, 질문이 있습니다.44:28

모든 것을 영상에서 배우는 건가요, 아니면 물리 법칙이 모든 것에 내재되어 있나요? 예를 들어, 모델이 물의 물리적 특성을 알고 있나요?44:35

예를 들어, 모델이 물의 물리적 특성을 알고 있나요?44:39

점성, 베르누이 법칙, 아니면 예를 들어 마찰력 같은 것들이요.44:43

자율 주행과 같이 어떤 경우에는 그런 것들이 중요하지 않다고 생각할 수도 있겠죠?44:47

속도 같은 것만 알아도 되지만, 다른 경우에는 이런 물리적 특성이 중요할 거라고 생각해요.44:51

그리고 저희는 확실히 물리학을 알고 있습니다.44:56

제가 말씀드리는 건, 바로 이 점이 신경-기호 통합 방식이, 음,…44:59

보수적인 접근 방식이라고 부를 수 있을 것 같은데, 확실히 활용하고 있습니다.45:06

물리 엔진과 생성 및 제어 과정에서 물리학 지식이 활용됩니다.45:11

움직임의 부분이죠?45:19

만약 여러분이, 음, 물의 이미지로 시작해서, 그게 어떻게 움직이는지 이해하고 싶을 때,45:20

물리 모델을 이용해서 그것이 어떻게 행동할지를 예측하는 것이죠.45:27

알겠습니다.45:36

네, 알고 있습니다. 혹시 다른 분도 마이크를 사용하실 시간이 있으신가요?45:40

안녕하세요. 교수님, 발표해주셔서 감사합니다.45:47

시뮬레이션과 실제 환경 간의 차이에 대한 질문이 있습니다. 시뮬레이션은 좋고, 저렴하고, 확장 가능하니까요.45:51

시뮬레이션과 실제 간의 격차를 줄이는 방법에 대한 제안이 있으신가요, 혹시라도...46:00

아시다시피...46:07

정확하게 시뮬레이션할 수 없는 고정된 부분 같은 것들, 그리고46:09

기계적인 오차나 백래쉬처럼 저희가 정확히 모방하지 못하는 모든 것들이 있습니다.46:15

시뮬레이션에 반영하기 어려웠습니다. 네, 그래서 전통적으로 문제가 항상46:22

“시뮬레이션과 현실 간의 격차”였고, 그 격차가 너무 커서 해결하기 어려웠습니다.46:28

훈련의 많은 부분이 실제 세계에서 이루어져야 했고, 저희는46:34

그것이 믿어집니다.46:42

알려주신 대로, 사실상 코드 루프를 끌어와서 지금 이 세상에 들어온 거죠. 이제 신경망 최적화를 할 수 있게 되었고,46:43

우리는…46:50

비디오를 통해 실제 세계에서의 행동과 시뮬레이션을 비교해 볼 수 있고, 저희는46:57

단순히 불가능했던 방식으로 시뮬레이션과 현실의 간극을 줄이면서 자동으로 학습할 수 있습니다.47:04

물리 시뮬레이션을 직접 손으로 작성하려는 사람들이 있을 때요.47:12

정말 좋은 논의였습니다. 감사합니다.47:22

방금 질문하신 내용과 약간 관련해서 말씀드리겠습니다.47:26

소셜 기술적인 요소를 추가할 때 가장 큰 어려움은 무엇이라고 생각하시나요?47:28

모형을 구성하는 요소들, 프로세스, 사람들, 그리고 의사 결정을 내리는 기관들을 말씀하시는 건가요?47:35

시뮬레이션하고자 하는 대상에 대한 가장 큰 어려움은 무엇이라고 생각하시나요?47:40

정확한 표현을 갖춘 시스템을 개발하는 데 있어서의 어려움들이 있습니다. 예를 들어, 저희가 전기차 통행료 모델링이나 예측을 하고 싶을 때47:45

예를 들어, 저희가 전기차 통행료 모델링이나 예측을 하고 싶을 때요.47:50

공항에서의 에너지 사용 같은 것들 말씀하시는 거군요. 꼭 로봇 공학 분야를 넘어 다른 활용 사례나 영역으로 확장하는 것은 아니겠죠.47:57

네, 그렇습니다. 다양한 사용 사례와 영역으로 적용될 수 있습니다.48:02

네, 정말 좋은 분야입니다. 솔직히 말씀드리면, 문레이크에서는 아직 본격적으로 다루고 있지 않습니다.48:06

아직 몇 가지 한계는 있지만요.48:16

방대한 양의 인간 행동 데이터를 흡수하는 대규모 언어 모델 덕분에,48:19

점차 더 능숙하게 모방할 수 있게 되고 있습니다.48:26

사람들이, 다양한 사람들이 어떤 상황에서 어떻게 행동하고 반응할지를 시뮬레이션하는 것이 가능해지고 있습니다. 그래서 저는 우리가48:33

어떤 상황에 맞춰 인간의 행동을 꽤 정확하게 모방할 수 있는 지점에 다가가고 있다고 생각합니다.48:39

꽤 괜찮은 인간 행동 시뮬레이터를 만들 수 있는 지점에 다가서고 있습니다. 그 시뮬레이터는 대규모 언어 모델의 지식을 기반으로 구동되고 있고요.48:46

몇몇 회사들이 이제 그러한 기술을 연구하기 시작하고 있습니다.48:53

멋지네요. 마지막 질문입니다.49:02

여기 있는 건 오랫동안 101 과정이었어요.49:09

감사합니다.49:16

아날로그 칩을 예로 들어보면, 물리학적 원리는 이해되지만...49:18

화학 공정 쪽으로 더 올라가 보면 열 같은 것들도 아직 사람들이 연구하고 있습니다.49:24

그래서 그걸 일반적으로 그렇게 부르지는 않죠.49:30

완전히 이해가 되었다고 말씀드릴 수 있습니다. 다른 예를 들어보자면, 제가 신장 관련 문헌이나 그런 것들을 살펴보고49:32

간과 관련된 자료들도 살펴보면서 이런 것들이요.49:38

꽤 좋은 답을 주는데요, 신장 관련 자료 같은 것들은 답을 주지만, 두 사람 간의 관계를 살펴볼 때49:44

어딘가 의사들이 연관성을 찾은 곳이 있습니다.49:49

그래서 제가 생각하기에, 저희가 완전히 잠재 공간에서 활동하고 인간 수준의 연결을 알지 못한다면49:54

우리가 인간적인 관계를 모르는 상태로 잠재 공간에서만 작업할 수 있을까요?50:02

잠재 공간을 완전히 탐색하고 숨겨진 연결고리를 찾을 수 있을까요?50:07

거기서 현실 세계로 이어질 수 있는 것들을 발견할 수 있을까요, 아니면 제가 잘못 생각하는 걸까요?50:11

정말 놀랍습니다. 제가 말씀드리는 바는, 상당히 괜찮은 시뮬레이션을 통해 예상치 못한 발견을 할 수 있을 거라고 생각합니다.50:16

실제로도 사실로 판명되는 놀라운 일들이 나타날 수도 있겠죠.50:21

시뮬레이션된 세계에서 정확하다고 할 수 있는 거죠.50:28

물론 양방향으로 진행될 수 있죠.50:31

실제 세계에서 사실로 판명될 가능성이 높은 것들일 수도 있습니다. 시뮬레이션에는 없었던 것들이요.50:35

모든 모델은 틀릴 수 있다는 유명한 말도 있죠.50:41

어떤 모델들은 유용하죠? 그리고 아무나의 세계 모델이든 상관없이,50:45

우리가 만들고 있는 모델이든지, 아니면 사람 머릿속에 있는 세계 모델이든지 말이죠?50:52

항상 옳은 것은 아니에요. 때로는 어떤 사람이 반응할 거라고 생각했는데,50:56

한 가지 방식으로 반응하고, 하지만 그럼에도 불구하고 대부분의 시간 동안에는...50:59

훨씬 더 넓게 탐색하고 새로운 사실과 연결고리를 발견할 수 있게 해 주죠.51:04

실제 세계에서는 미처 몰랐던 것들을 알 수 있게 되네요. 네.51:09

와, 끝났네요. 모두 감사합니다. 크리스 씨, 정말 고맙습니다.51:16