안녕하세요, 모두들! 그리고 저희 라이브 스트림 시청해주시는 분들도 환영합니다. 정말 몇 달을 손꼽아 기다려왔던 대화입니다.00:17

작년에 파리에서 다리 아마데이와 데미스 하사비스 두 분의 대화를 진행할 기회가 있었는데, 솔직히 말씀드리면 두 분이 아주 좁은 러브 시트에 쪼그리고 앉아 있는 모습이 가장 큰 화제가 되었던 것 같습니다.00:25

엄청나게 큰 소파에 앉아 있는데, 아마 내가 실수한 것 같아.00:39

그때 제가 말씀드렸듯이, 이건 제게 마치 비틀즈와 롤링 스톤즈가 대화하는 자리를 진행하는 것과 같았어요. 그들이 무대 위에서 대화한 적이 없었으니까요. 그러니까, 속편 같은 거죠. 다시 뭉치는 밴드들을 보게 되어서 정말 기쁩니다.00:42

굳이 설명이 필요 없을 거예요. 오늘 우리 대화의 제목은 'AGI 이후의 날'입니다. 하지만 약간 앞서가는 것 같으니, 먼저 우리가 얼마나 빠르고 쉽게 그 지점에 도달하게 될지부터 이야기해야 할 것 같아요.00:56

자, 그거 좀 업데이트하고 그 결과에 대해 이야기해 볼까요. 우선, 시간선을 보니까 다리오 씨가 작년에 파리에서 말씀하시길, 26년, 27년쯤이면 노벨상 수상자 수준으로 여러 분야에서 인간이 할 수 있는 모든 것을 할 수 있는 모델이 나올 거라고 했어요.01:08

26년이라는 시점이 맞으신가요? 아직도 그 일정대로 생각하십니까? 정확히 언제 어떤 일이 벌어질지는 알 수 없지만, 생각보다 크게 벗어나지는 않을 것 같아요.01:22

제가 생각했던 방식은, 코딩과 AI 연구 모두에 능숙한 모델을 만드는 거였어요.01:33

그리고 그걸 이용해서 차세대 모델을 만들고 속도를 높여서, 모델 개발 속도를 향상시키는 순환 구조를 만들 겁니다.01:42

코드 작성 모델을 기준으로 말씀드리면, Anthropic 안에서 엔지니어들이 '저는 이제 코드를 하나도 안 써요'라고 말합니다. 그냥 모델이 코드를 작성하게 하고, 제가 수정할 뿐이죠.01:52

전 주변의 일들을 처리해요. 음, 제가 생각하기에 모델이 소프트웨어 엔지니어의 대부분, 어쩌면 모든 업무를 처음부터 끝까지 처리하게 될 때까지 6개월에서 12개월 정도 걸릴 것 같아요. 그리고 나서 그 루프가 얼마나 빨리 닫힐지가 문제죠.02:03

그 루프의 모든 부분이 AI로 가속화될 수 있는 건 아니죠? 칩 생산, 칩 제조, 모델 훈련 시간 같은 것들이 있잖아요.02:18

음, 그러니까, 제 생각에는 불확실한 요소가 많을 것 같아요. 이게 몇 년이나 걸릴 수도 있다는 건 쉽게 짐작할 수 있겠죠.02:27

솔직히, 그 정도 시간이 더 걸릴 거라고 생각하기는 좀 어렵네요. 그래도 굳이 짐작해야 한다면, 사람들이 상상하는 것보다 훨씬 빨리 진행될 것 같아요.02:33

코드의 핵심 요소이고, 점점 더 연구가 상상하는 것보다 빠르게 진행될 거예요. 앞으로 이게 주요 동력이 될 거고, 얼마나 될지는 또 예측하기 어려워요.02:43

지수 함수는 우리를 가속화할 거야, 하지만 뭔가 빠르게 일어날 테니. 데모들은 작년에 좀 더 신중했지. 인간이 가진 인지 능력을 모두 보여줄 수 있는 시스템이 10년 안에 나올 확률이 50%라고 했었잖아.02:54

코딩 쪽에서, 다리우스 말마따나, 정말 놀라운 일이 많았네요. 혹시 본인의 예측은 여전히 유효하다고 생각하시는지, 그리고 지난 1년 동안 어떤 변화가 있었는지 궁금합니다.03:08

음, 글쎄요, 저는 아직 비슷한 흐름을 타고 있는 것 같아요. 놀라운 발전이 있었던 건 인정하지만, 엔지니어링이나 코딩, 뭐랄까 수학 같은 분야는 좀 더 명확하게 진행 상황을 파악할 수 있는 것 같네요.03:16

그것들이 부분적으로 자동화될 가능성이 있는데, 그 이유는 결과물이 검증 가능하기 때문입니다. 자연과학의 일부 분야는 그렇게 자동화하기가 훨씬 어렵습니다. 예를 들어, 합성한 화학 물질이나 물리학에 대한 예측이 맞는지 반드시 알 수 있는 것은 아닙니다. 실험적으로 검증해야 할 수도 있습니다.03:30

그리고 그 모든 것들은 시간이 더 걸릴 거고, 현재는 어떤 기능이 빠져 있는 것 같기도 해요. 단순히 기존의 추측이나 문제들을 해결하는 것뿐만 아니라, 실제로…03:45

질 자체를 떠올리거나, 이론이나 가설을 세우는 것, 그거야말로 훨씬 훨씬 어려운 일이라고 생각해요. 과학적 창의성의 최고봉이라고 할 수 있죠. 그리고 그런 시스템을 우리가 가질 수 있을지 명확하지 않다고 생각해요. 불가능한 건 아니라고 생각하지만, 아마 한두 개 정도는 있을지도 모르겠어요.03:57

누락된 재료가 있어서, 어떻게 알 수 있을지, 우선 이 우리가 다 같이 노력하고 있는 자기 개선 루프가 사람 없이 작동할 수 있을지, 그게 실제로 가능할지는 봐야 할 것 같아요. 그리고 그 시스템에는 위험도 있을 것 같은데, 방금 말씀하신 것처럼요. 나중에 꼭 이야기해야겠지만요.04:11

하지만 그런 시스템이 작동한다면 속도를 높일 수 있을 거예요. 위험한 부분은 잠시 후에 이야기하고요. 하지만 지난 1년간의 변화 중 또 다른 변화는, 마치 경쟁에서의 순위가 바뀌었다고 할까요, 그런 변화가 있었던 것 같아요.04:25

1년 전쯤에는 Deep Seek 순간이 있었고, 모두가 거기서 일어난 일에 대해 엄청나게 흥분했었죠. 그리고 아직도 구글 딥마인드가 OpenAI보다 약간 뒤쳐지고 있다는 느낌이 있었던 것 같아요.04:35

지금 상황이 꽤 달라진 것 같아요. 코드 레드 선언했다잖아요.04:47

정말 꽤 긴 한 해였네요. 혹시 올해 어떤 점들이 가장 놀라웠는지, 그리고 얼마나 잘 해냈는지, 또 어떻게 생각하는지 말씀해주실 수 있을까요? 라인업에 대해서는 질문드릴게요. 음, 저는 저희가…04:51

항상 리더보드 최상위권이나 SOTA급 모델 전반적으로 다시 돌아갈 수 있을 거라고 자신 있었어요. 저희가 항상 가장 깊이 있는 기술력을 가지고 있었다고 생각하거든요.05:03

그리고 가장 광범위한 연구팀을 구성하고, 그걸 모두 하나로 모아서 집중도와 핵심을 되찾고, 조직 전체에 다시 한번 스타트업 정신을 불어넣는 것이었습니다. 그리고요.05:14

정말 많은 일이 있었고, 음, 그런데 우리가 아직 할 일이 많다고 생각해요. 음, 하지만 이제부터라도, 음, 지금까지 우리가 한 노력을, 아시죠, 그, 그, 진행 상황을 조금이나마 볼 수 있을 거라고 생각해요.05:24

제미나이 3를 적용한 모델뿐만 아니라, 제미나이 앱의 제품 측면에서도 시장 점유율이 꾸준히 증가하고 있어서, 굉장히 좋은 진전을 이루고 있다고 생각합니다. 하지만 앞으로도 할 일이 정말 많고, 구글 딥마인드의 역량을 집중하고 있습니다.05:35

거의 구글의 엔진룸 같은 곳에서, 저희가 모델들을 제품에 훨씬 더 빠르고 꾸준히 적용하는 데 익숙해지고 있습니다.05:49

다리아 씨, 이 부분에 대해 질문 하나 드리겠습니다. 방금 보셨듯이, 굉장한 고평가에도 불구하고 새로운 라운드를 진행 중이신데요. 다른 분들과 달리, 독립적인 모델 제작자로서 활동하고 계신 만큼, 우려가 점점 커지고 있는 것 같습니다.05:56

독립 모델 제작자들이 수익이 발생하기 전까지는 오랫동안 지속하기 어려울 거라는 우려가 커지고 있습니다. 오픈AI의 경우, 이 부분에 대해 솔직하게 이야기해 왔는데요, 이에 대해 어떻게 생각하시는지 설명해주시고, 이어서 AGI 자체에 대해 이야기하겠습니다.06:10

음, 그러니까, 제가 생각하는 건, 우리가 그걸 어떻게 생각하느냐 하는 건, 더 좋고 더 좋은 모델들을 만들면서, 컴퓨팅 자원을 얼마나 투입하느냐와 모델의 인지 능력 사이에는 일종의 기하급수적인 관계가 있었던 것 같아요.06:22

하지만 인지 능력의 수준과 얼마나 많은 수익을 창출할 수 있는가, 그 사이의 균형을 맞추는 것이 중요합니다.06:37

그래서 지난 3년 동안 우리 매출은 제로에서 시작해서 2023년에는 1억 달러, 2024년에는 10억 달러, 그리고 2025년에는 100억 달러로 10배 성장했습니다. 바로 이러한 매출 수치입니다.06:41

음, 그 곡선이 진짜로 계속 이어질지는 모르겠는데, 만약 그렇다면 정말 엄청난 일이 될 거예요. 근데 그 수치들이 있잖아요, 세계에서 가장 큰 기업들의 규모랑 거의 비슷해지는 것 같아서요. 물론 불확실한 건 항상 있겠죠. 저희는 지금 뭐, 초기에 자원을 모으고 있는 중이에요.06:52

아무것도 없는 상태에서 시작해서, 정말 엄청난 일이에요. 하지만 우리가 집중하는 분야에서 최고의 모델을 만들 수 있다는 믿음이 있어요. 그러면 상황이 잘 풀릴 거라고 생각해요.07:06

음, 아시다시피, 저는 보통 그렇게 말할 것 같은데요. 구글과 엔트로픽 둘 다 좋은 한 해였다고 생각하고, 저희가 실제로 공통으로 가지고 있는 건, 음, 둘 다 연구에 집중하는 그런 회사라는 점인 것 같아요.07:17

연구자 주도로 모델에 집중해서 세상의 중요한 문제 해결에 힘쓰는 곳, 즉 어려운 과학적 난제를 북극성처럼 삼고 나아가는 회사들이 있죠. 그런 곳들이 중요하다고 생각합니다.07:32

미래에 성공할 기업들에 대해 말씀드리자면, 저희 역시 같은 생각을 하고 있다고 말씀드릴 수 있을 것 같아요. 연구진이 이끌지 않는 기업들의 운명에 대해 질문하고 싶은 유혹을 참아보겠습니다.07:47

제가 질문하시면 답해주시지 않겠지만, 그럼 이제 예측 부분으로 넘어가서… AI 이후의 날에 대해 이야기해야 하는데, 루프를 닫고, 모델을 얻을 확률에 대해 이야기해볼까요.07:59

그렇게 되면 루프를 완전히 닫고, 마치 스스로 전력을 공급하는 것처럼, 그게 바로 승자 독식 임계값 접근법의 핵심이라고 할 수 있겠죠.08:11

지금까지 우리가 그런 일이 일어날 거라고 믿고 있었나요, 아니면 팔로워나 따라잡기가 경쟁할 수 있는, 훨씬 더 일반적인 기술이 될까요?08:19

글쎄요, 저는 절대 일반적인 기술이 될 거라고 생각하지 않아요. 다라가 말했듯이 이미 코딩이나 연구의 몇몇 부분에서 도움을 주고 있긴 하죠. 하지만, 완전한 루프를 닫는 건 아직 알 수 없다고 생각해요.08:29

글쎄요, 저는 그렇게 하는 게 가능하다고 생각해요. 어떤 분야에서는 AGI 자체가 필요할 수도 있죠. 그런데, 음, 이런 분야들은 좀 복잡하고, 답을 빠르게 확인할 수 있는 게 아니거든요.08:43

음, MP 하드 도메인이 좀 있네요.08:56

음, 일단 더 많은 것들을 얻기 시작하면, 그리고 AGI, 물리적인 AI, 로봇 공학, 이런 것들을 포함해서, 하드웨어 루프가 도입되면, 자체 개선 시스템이 얼마나 빨리 작동할 수 있는지를 제한할 수도 있습니다.08:58

그런데 코딩이나 수학, 이런 분야에서는 분명히 작동할 거라고 생각해요. 그러면 더 궁금한 건 엔지니어링과 수학이 자연과학 문제를 해결할 수 있는 한계는 어디까지일까 하는 이론적인 질문이죠?09:12

다리아, 작년에, 아니 작년이었던 것 같은데, '사랑의 은총을 가진 기계들'이라는 글을 발표했었죠. 정말 긍정적이고 낙관적인 에세이였어요. 그 가능성을 보았다고 말씀하셨던 걸로 기억합니다.09:24

펼쳐서 말씀하시는데, 음, 어떤 데이터 천재를 국가 차원에서 지원하는 프로젝트라고 들었는데, 이거 업데이트하는 새로운 에세이를 쓰고 계신다고요? 그러니까, 기대하세요, 여러분.09:36

아직 안 나왔지만 곧 나올 예정인데, 혹시 한 해 뒤에 큰 그림을 보실 수 있을까요? 네, 제 생각은 변함이 없어요.09:49

제 생각에는 인공지능이 엄청난 힘을 갖게 될 거라는 게 항상 제 관점이었어요. 데미스와 저도 그 점에 대해 어느 정도 동의하는 것 같아요. 정확히 언제일지가 문제일 뿐이죠. 엄청난 힘을 가지게 되면 제가 '사랑하는 기계들'에서 얘기했던 것처럼 정말 멋진 일들을 많이 할 거예요.10:01

그레이스, 당신이 알고 있듯이 우리에게 암을 치료하는 데 도움을 줄 것이고, 열대 질병을 근절하는 데도 도움이 될 거야. 우주를 이해하는 데도 도움이 되겠지. 하지만 엄청나고 심각한... (문장 미완성으로 마무리)10:14

알고 있는 위험들을 우리가 해결할 수 없다는 점은, 제가 비관적인 건 아니지만, 하지만 우리가 그걸 생각하고 해결해야 한다는 점은 분명히 있습니다. 그래서 저는 '사랑의 은총을 빚어내는 기계'라는 책을 처음 썼습니다.10:26

솔직히 처음 쓴 글에 대한 뭔가 있어 보이는 이유를 대고 싶지만, 그냥 긍정적인 에세이가 부정적인 에세이보다 쓰기 편하고 재미있었을 뿐이에요. 아시죠?10:36

드디어 휴가를 좀 쓰면서, 위험에 대한 에세이를 쓰게 됐어요. 음, 위험에 대해 쓰면서도, 제가 아시다시피 긍정적인 사람이니까, 아, 어떻게 해야 할지... 좀 노력했죠.10:47

이러한 위험들에 대해 쓰고 있는 지금도, 저는 어떻게 하면 이 위험들을 극복할 수 있을까, 어떻게 싸울 작전을 세울 수 있을까, 하는 방식으로 적었죠. 제가 제시한 방식은 Carl Sagan의 영화 'Contact'에 나오는 장면처럼, 아시죠, 이런 느낌이었습니다.10:58

영화 버전 같은데, 뭐, 외계 생명체를 발견하게 되고, 그런 상황에서 국제적인 패널이 인류 대표를 뽑기 위해 인터뷰를 하는 내용인 것 같아.11:13

그리고 후보자들에게 던져진 질문 중 하나가, 외계인에게 어떤 질문이라도 할 수 있다면 뭘 묻겠느냐는 거였어요. 한 등장인물은 이렇게 말했죠, '어떻게 해냈어요?'라고 묻겠다고.11:26

와, 어떻게 기술적인 사춘기를 거치면서 자멸하지 않고 살아남았어요? 어떻게 해냈어요? 그 영화를 본 게 20년 전쯤 됐을 거예요, 되게 인상 깊었어요. 그게 제 생각의 틀이 됐죠.11:37

바로 우리가 정말 놀라운 능력의 문턱에 다가가고 있다는 것을 아시겠죠. 모래로 기계를 만드는 능력 말이에요. 솔직히 불을 다루기 시작한 순간부터 그런 일이 필연적으로 일어날 거라고 생각했어요.11:52

하지만 그것을 어떻게 처리하느냐는 필연적인 건 아니죠. 그래서 앞으로 몇 년 동안은, 음, 어떻게 하면 이처럼 고도로 자율적이고 인간보다 훨씬 똑똑한 시스템들을 통제할 수 있을지 다뤄야 할 것 같아요.12:08

어떻게 하면 개인이 그걸 오용하지 않도록 할 수 있을까요? 생물 테러 같은 일들에 대해 걱정도 됩니다. 어떻게 하면 국가들이 그걸 오용하지 않도록 할 수 있을까요?12:22

그래서 중국 공산당이나 다른 권위주의 정부들에 대해 그토록 우려하게 된 이유예요. 경제적 영향은 어떻겠어요, 그렇죠? 저는 노동 시장 대체에 대해 많이 이야기해 왔어요.12:33

그리고, 뭐, 우리가 생각하지 못했던 것들이 있을 거예요. 많은 경우, 그게 해결하기 가장 어려운 일일 수도 있죠. 그래서, 뭐, 제가 어떻게 그러한 위험들을 해결할지 고민하고 있습니다.12:42

그리고, 음, 각각 이런 것들마다 개별적으로 회사 리더로서 우리가 해야 할 일들과 함께 협력해서 할 수 있는 일들이 혼합되어 있고, 그리고 그 외에도…12:54

이런 문제들을 해결하려면 정부를 포함한 더 넓은 사회기관들의 역할이 필요할 거예요. 하지만, 솔직히 말해서, 매일매일 밖에서, AI를 벗어나서 정말 정신없는 일들이 많이 일어나고 있잖아요. 급한 마음이 드는 거죠.13:04

솔직히 말씀드리면, 일이 너무 빠르게 진행되는 것 같아서, 정말 심각한 위기라고 생각해요. 거의 모든 노력을 이 위기를 어떻게 헤쳐나갈지 고민하는 데 쏟아야 할 것 같아요. 그래서 제가 더 놀란 게 뭔지 판단하기가 어렵네요.13:19

휴가를 좀 내야 할 것 같아요. 휴가를 가면 AI의 위험성에 대해 생각하게 되고, 이 기술의 불안정한 성장기를 우리가 스스로 파괴하지 않고 헤쳐나갈 수 있을까 하는 식으로 에세이가 구성되어 있다는 걸 깨닫게 돼요. 머리가 살짝 어지럽네요. 그런데…13:32

그리고 읽을 날이 너무 기다려지네요. 그런데 몇 가지 중요한 부분들을 언급하셨잖아요. 우리 대화의 방향을 잡는 데 도움이 될 것 같아요. 먼저 일자리부터 시작해볼까요? 음, 관련해서 솔직하게 말씀하신 걸로 알고 있어요. 반 정도의 초급 사무직 일자리가 사라질 수 있다고 하셨던 것 같은데.13:46

다음 1년에서 5년 동안의 상황에 대해 말씀드리겠지만, 데미스 씨, 지금까지 노동 시장에 뚜렷한 변화가 나타나지 않았다는 점은 분명합니다.13:58

네, 미국에서 실업률이 조금 상승한 건 맞지만, 제가 살펴보고 저희가 다룬 경제 관련 연구들을 보면, 이건 팬데믹 이후 과도한 채용 때문이고, 인공지능 때문이 아니라고 보여집니다.14:07

솔직히 말씀드리자면, 사람들은 인공지능 역량을 구축하기 위해 채용하고 있습니다. 경제학자들이 항상 주장했듯이, 일자리가 줄어드는 덩어리라는 '고용 덩어리 오류'는 사실이 아니고, 새로운 일자리가 창출될 겁니다. 지금까지는…14:18

증거로 보아, 네, 뭐, 음, 단기적으로 보면, 아마 그런 일이 벌어질 거예요. 기술이 획기적으로 발전하면, 기존의 방식대로 진화하는 거죠. 어느 정도 직업들은 사라지겠지만, 더 가치 있고, 어쩌면 더 의미 있는 새로운 직업들이 생겨날 거라고 생각해요.14:33

음, 제 생각에는 올해 들어서 초급 및 신입 레벨의 일자리나 인턴십에 영향을 미치는 변화의 시작을 볼 수 있을 것 같아요. 뭔가 그런 증거가 있는 것 같고, 그렇게 느껴져요.14:47

저희도 아마 채용 속도가 늦춰질 수도 있다고 생각하는데, 그건 시중에 나와있는 놀랍고 창의적인 도구들 덕분에 충분히 상쇄될 수 있다고 생각해요. 사실상 누구나 쉽게 접근할 수 있거든요.14:58

만약 지금 당장 학부생들 강단에 서서 이야기해야 한다면, 저는 그들에게 이 도구들을 정말 엄청나게 능숙하게 다룰 것을 권할 겁니다. 마치 완벽하게 마스터할 정도까지요.15:08

저희같이 만들고 있는 사람들은 워낙 바빠서 제대로 탐색할 시간도 없어요. 심지어 오늘날의 모델이나 제품조차, 더더군다나 내일의 제품은 상상도 하기 힘들죠. 솔직히 이건 전통적인 인턴십보다 훨씬 더 나은 경험이 될 수 있을 것 같아요.15:20

본인이랄지, 스스로를 뛰어넘으면서 발전하는 그런 과정은 유용한 직업을 가지는 데 도움이 되는 것 같아요. 아마 앞으로 5년 안에 그런 변화가 일어날 거라고 생각합니다.15:35

아마 우리가 시간 문제에 대해 약간씩 다를 수도 있겠죠. 하지만 AGI가 도착한 후에 무슨 일이 벌어질지는 또 다른 질문이에요. 그때는 정말로 미지의 영역에 들어서게 될 거라고 생각해요.15:45

혹시 작년에 모든 디지털 백칼라 직업의 절반이 사라질 거라고 말했을 때보다 시간이 더 걸릴 거라고 생각하세요? 그때와 같은 의견을 가지고 있습니다. 사실 저는 당신과 데미스가 말했던 것처럼 그때 제가 그 발언을 했을 때 노동 시장에는 아무런 영향이 없었다는 것에 동의합니다.15:54

그 당시에 노동 시장에 영향을 미쳤다고 말한 건 아니었어요. 지금은 소프트웨어 코딩 쪽에서 아주 초기 단계의 시작을 보이고 있을지도 모르겠네요.16:06

앤트로픽 안에서도 그런 모습을 보게 됩니다. 언젠가 주니어 레벨의 구성원들이 더 기대할 수 있는 그런 시기가 오기를 바랍니다.16:16

그리고 중간 수준에서는 오히려 사람 수를 줄여야 필요하고, 더 늘릴 필요는 없어요.16:25

그리고, 아시다시피, 저희는 Anthropic 내에서 어떻게 처리할지, 뭐랄까, 합리적인 방식으로 고민하고 있어요. 6개월 전으로 거슬러 올라가면, 그때는 1년에서 5년 사이에 그 예측을 유지할 거라고 생각했어요.16:31

음, 제가 전에 말씀드렸던 거랑 연결지어서 생각해보면, 아시죠, 지금으로부터 1년에서 2년 안에, 어쩌면 조금 더 늦춰서라도, 인간보다 모든 면에서 뛰어난 인공지능이 나올 수도 있다는 뜻이에요.16:44

그거 잘 안 맞는 것 같은데. 이유는 딜레이랑 교체되는 이런 문제가 있어서 그래요.16:56

농업 시장이 적응력이 있다는 건 알죠, 그렇죠? 옛날에는 80%의 사람들이 농사를 지냈잖아요. 농업이 자동화되면서 공장 노동자가 되고, 그 다음에 지식 노동자가 된 것처럼요.17:04

알다시피, 여기에도 어느 정도 적응 가능성은 있는 거죠? 그리고 우리는 노동 시장이 어떻게 돌아가는지에 대해 경제적으로 똑똑해야 합니다.17:14

근데 제 걱정은 이 기하급수적인 성장이 계속 중첩되면서, 생각보다 시간이 오래 걸리지 않을 것 같아요. 결국 1년에서 5년 사이에 우리네 적응 능력을 압도할 거라고 생각해요.17:22

음, 데미스가 말하는 것과 같은 얘기를 하고 있을지도 모르겠어. 우리가 일정에 대해 의견이 달랐던 차이를 뺀다고 하면, 결국 코딩 연구의 피드백 루프를 얼마나 빨리 닫느냐에서 비롯되는 문제인 것 같아.17:33

정부 관계자들이 이 문제의 심각성을 제대로 인지하고 있으며, 어떤 정책적 대응을 해야 할지 고민하기 시작했다고 생각하시나요?17:43

이 문제에 대해 충분한 연구가 진행되고 있다고 생각하지 않아요. 이런 곳에서 경제학자들을 만나도 놀라워요. 왜냐하면 전문 경제학자나 교수들이 무슨 일이 벌어질지 고민하는지 전혀 보이지 않거든요.17:53

AGI로 향하는 과정뿐만 아니라, 다리오가 언급한 기술적인 부분들을 모두 해결하고, 일자리 감소 문제도 해결된다고 해도, 우리는 그 경제적인 측면에 대해 걱정하고 있죠. 하지만 어쩌면 이 새로운 생산성, 이 새로운 부를 좀 더 공정하게 분배할 수 있는 방법이 있을지도 모릅니다.18:07

그렇게 하려면 적절한 시스템이 있는지 확신할 수 없지만, 그 시점에는 그런 일이 있어야 할 것 같아요. 어쩌면 우리는 풍요의 시대를 맞이할 수도 있겠지만, 지금 저를 잠 못 이루게 하는 것보다 더 큰 질문들이 있을 겁니다.18:21

직장에서 얻는 의미나 목적, 그리고 경제적인 부분 외에도 많은 것들이 있는데, 그게 하나의 질문이긴 하지만, 이상하게도 인간에게 일어나는 일보다 해결하기 쉬울 것 같아요.18:33

전반적인 상황과 인류 전체의 관점에서 봤을 때, 저 또한 새로운 해답을 찾을 수 있다는 것에 대해 낙관적이라고 생각합니다. 요즘에는 익스트림 스포츠부터 예술에 이르기까지, 꼭 직접적인 관련이 없더라도 다양한 활동들을 많이 하고 있습니다.18:45

경제적인 이득도 얻을 수 있을 테니, 의미도 찾고, 더 정교해진 활동 버전도 나올 거라고 생각해요. 그리고 별을 탐험하게 될 수도 있고요.18:56

목적 자체를 고려해야 할 부분도 있고, 하지만 지금부터라도, 특히 제가 생각하는 5년에서 10년 정도의 시간 프레임 안에서 보면, 생각보다 짧은 시간이거든요, 곰곰히 생각해 볼 가치가 있을 것 같아요.19:08

인공지능에 대한 반발이 일어날 가능성이 어느 정도라고 생각하세요? 그 결과 정부가 제 관점에서 보면 어리석은 결정을 내리게 될 수도 있을까요? 과거를 되돌아보면...19:18

1990년대 세계화 시대였죠, 그 당시 일자리 감소가 분명 있었고, 정부가 충분히 대처하지 못했어요. 대중의 반발이 워낙 심해서 지금과 같은 상황이 된 것 같습니다. 지금 이 상황이 발생한 데 대해 어떻게 생각하세요?19:33

귀하께서 하시는 일과 관련된 기업들에 대해 정치적인 분위기에서 반감이 점점 커질 위험이 있다고 생각합니다. 확실히 위험이 있다고 생각하며, 그렇게 될 가능성이 있다고 봅니다.19:46

이런 일들, 예를 들어 일자리나 생계 같은 문제에 대해 불안감이나 걱정이 드는 건 당연하다고 생각해요. 앞으로 몇 년간은 지정학적으로도 매우 복잡하고, 또 여기 여러 요인들도 고려해야 하니까요. 저희도 노력하고 있고…19:58

알파폴드와 저희의 과학 연구, 그리고 이소모픽(Isomorphic), 저희 스핀-아웃 회사를 활용해서 모든 질병을 해결하고, 치료법을 찾고, 새로운 에너지원을 개발할 겁니다.20:12

저희 사회 전체적으로 봤을 때, 분명히 그런 방향을 바랄 거예요. 다만, 산업계에서 하고 있는 일들이 그런 활동들에 충분히 균형을 맞추고 있지는 않은 것 같아요.20:19

음, 저는 훨씬 더 많은 사례가 필요하다고 생각해요. 다리오도 분명히 동의할 거예요. 세상에 긍정적인 영향을 확실하게 주는, 알파폴드 같은 것들을 말이죠. 그리고 실제로 저는 이 업계와 저희를 포함한 선두 주자들이 그런 노력에 앞장춰야 한다고 생각합니다.20:27

더 보여주는 거죠, 그냥 말하는 게 아니라 실제로 보여줘야 합니다. 음, 그리고 그럴 때 다른 예상치 못한 혼란도 같이 생길 거고, 음, 하지만 다른 문제는 지정학적 경쟁이 있다는 거예요. 회사 간의 경쟁도 분명히 있겠지만요.20:38

저희와 중국이 주된 문제인데, 국제적인 협력이나 이해가 이 부분에 대해 마련되지 않으면, 예를 들어 배치를 위한 최소 안전 기준 같은 것들에 대해서는, 다리오도 동의할 거라고 생각해요. 저는 이게 정말 필요하다고 생각합니다.20:52

기술은 국경을 넘어갈 거고, 모두에게 영향을 미칠 거예요. 인류 전체에게 영향을 줄 겁니다. 아, 그리고 '컨택트'도 제가 제일 좋아하는 영화 중 하나인데, 신기하게 나도 봤었네요, 다리오. 그런데 이런 것들은 좀 더 다듬어져야 한다고 생각해요.21:06

음, 그리고, 만약 우리가 조금 더 느린 속도로 진행할 수 있다면 좋겠어요. 현재 예상하고 있는 것보다 조금 더 느린 페이스로 가는 게 사회적으로 봤을 때 더 좋을 것 같아요. 제 타임라인에도 적용해서 제대로 할 수 있도록요.21:21

네, 일정 조율이 좀 필요할 거예요. 그렇죠? 자, 다리오 씨, 이제 이 부분으로 넘어가죠. 파리에서 마지막으로 말씀드렸을 때 이후로21:32

지정학적 환경 자체가, 뭐랄까, 복잡해지고 미쳐 날뛰고, 어떤 표현을 써도 다 될 것 같아요. 게다가 미국은 이제 중국에 대해 훨씬 다른 접근 방식을 취하고 있어요. 거의 제재 없는, 뭐든지 다 던지는 식이라고 할까요?21:44

최대한 빨리 하되, 중국에 칩을 팔고 끝나는 거죠. 미국에 대한 태도가 좀 달라지고, 미국과 아주 이상한 관계가 되는 거예요.21:58

정치적으로 유럽과의 관계를 생각할 때, 제가 듣기로는 CERN과 비슷한 조직이 있으면 좋겠다고 말씀하셨는데, 지금 상황에서 그걸 만들려면 천 년은 더 걸릴 겁니다, 현실적으로는요.22:10

음, 현실 세계에서 지정학적 위험이 커지고 있는데, 그거에 대해 어떻게 생각하시는지, 또 혹시 뭔가 해야 한다면 어떻게 해야 할까요? 그런데 정부는 우리가 제안하는 것과 정반대로 하고 있는 것 같습니다. 아, 뭐랄까요, 저희는 그냥 최선을 다하려고 노력하고 있습니다.22:19

저희는 그냥 한 회사일 뿐이고, 지금 있는 환경에서 운영하려고 노력하고 있습니다. 아무리 비정상적이더라도요. 적어도 제 생각에는요.22:33

추천 내용이 바뀌지 않았어요. 아시겠지만, 칩 판매를 중단하는 것이 가장 중요한 일 중 하나인데, 이걸 처리할 시간을 확보하기 위해서죠.22:43

음, 아시잖아요, 아시잖아요, 전에 말씀드렸듯이, 데미스의 시간선이 더 좋다고 생각해요. 만약 5년에서 10년 정도 시간이 있었다면 좋았을 텐데. 어쩌면 제가 틀릴 수도 있겠죠, 하지만 일단 제가 맞다고 가정해보죠.22:56

오른쪽으로 할 수 있고, 1년에서 2년 안에 끝낼 수 있어요. 왜 데미스 타임라인을 늦출 수 없는 거에요? 그냥 늦출 수 있어요. 아니에요, 아니에요, 늦출 수 없는 이유는... 늦출 수 없는 이유는 우리쪽에서…23:08

지정학적 경쟁자들이 비슷한 속도로 동일한 기술을 개발하고 있기 때문에, 그들과 구속력 있는 합의를 하는 것은 매우 어렵습니다.23:19

좀 속도를 늦춰야 하고, 우리가 속도를 늦추면, 음, 만약 우리가 칩을 팔기만 안 하면, 이건 미국과 중국 간의 경쟁 문제가 아니에요. 이건 그냥 나랑 데미스와의 경쟁 문제일 뿐이고, 나는 그게 아주...23:29

우리가 협상해 낼 수 있다는 확신이 있고, 제가 이해하기로, 정부의 논리는 우리가 칩을 팔아야 미국 공급망에 묶어 놓을 수 있다는 건데, 어떻게 생각하세요? 아시다시피...23:42

시간 문제뿐만 아니라 기술 자체의 중요성도 중요한 문제라고 생각해요, 그렇죠? 만약 이게 통신이나 다른 무언가였다면, 미국을 확산시키는 이런 모든 것들이...23:56

저희는 전 세계에 저희 칩을 보급하여 이러한 무작위성으로부터 자유로울 수 있도록 하고 싶습니다.24:09

세계 여러 지역의 국가들은 화웨이 칩 대신 엔비디아 칩을 사용하는 데이터 센터를 구축하고 있습니다.24:18

이건 좀 더 결정 문제인 것 같아요. 북한에 핵무기를 팔아서 보잉사에 이익이 된다는 이유로 팔기로 할 건가요?24:25

여기서 우리는, 좋아, 이 사례들은 보잉에서 만들었다고 말할 수 있겠네요.24:37

미국이 이기고 있어요. 이거 아주 좋네요. 제가 이 균형을 어떻게 보는지 명확하게 보여주는 비유라고 생각해요. 저는 이게 말이 안 된다고 생각해요.24:40

그리고 중국이나 다른 상대국들에 대해 좀 더 공격적인 조치를 취해왔는데, 저는 그런 방식들이 이 조치만큼 효과적이지 않다고 생각합니다.24:51

제가 또 다른 부분 말씀드린 후에 질문 시간도 좀 가질 수 있으면 좋겠고, 또, 염세주의자들이 우려하는 잠재적 위험 요소 중 하나는 초강력하고 악의적인 인공지능인데, 두 분 다 이에 대해 어느 정도 회의적인 입장을 보이신 것 같습니다.25:02

두마 방식이었는데, 지난 해에 이러한 모델들이 속임수와 기만 가능성을 보여주는 것을 보았습니다. 그렇게 생각하시나요, 그렇게 생각하시나요?25:15

그 위험에 대해 지금과 1년 전 생각했던 것과 다르게 느끼시나요? 그리고 모델이 발전하는 방식에 대해 조금 더 우려해야 할 부분이 있을까요? 네, Anthropic이 시작될 때부터 그런 생각을 해왔습니다.25:26

이 위험에 대해서요. 그러니까, 저희 연구를 처음 시작했을 때 이론적인 내용이 굉장히 많았잖아요, 그렇죠?25:38

아시죠, 우리가 메커니즘 해석 가능성, 모델 내부를 들여다보면서 그 작동 원리를 이해하려는 개념을 처음으로 도입했는데요. 모델의 '두뇌' 내부를 들여다보면서 왜 그렇게 작동하는지 이해하려고 노력하는 거죠. 마치 인간 신경과학자처럼 말이에요. 사실 우리 둘 다 신경과학 분야 경험이 있답니다.25:44

음, 노력해서 이해하려고 노력하고, 뇌를 이해하려고 노력하는데, 시간이 지나면서 모델들이 나타내는 좋지 않은 행동들을 점점 더 많이 기록하게 되었고, 지금은 메커니즘 해석을 통해 이를 해결하려고 노력하고 있습니다. 그래서, 음, 저는 항상 이러한 위험에 대해 우려해 왔고, 데미스와도 여러 번 이야기했습니다.25:58

저는 항상 이러한 위험에 대해 우려해 왔고, 데미스와도 여러 번 이야기했습니다.26:09

음, 그가 위험에 대해서도 걱정하고 있을 거라고 생각해요. 저야 확실히 그렇고, 데미스도 마찬가지일 것 같아요. 하지만 직접 말씀해 보라고 해야겠죠. 저는 도그마티즘을 회의적으로 봐요.26:18

우리가 망했을 거라고 생각해요. 어쩔 수 없을 것 같고, 이게 가장 가능성 높은 결과일 거예요. 물론 위험이죠. 하지만 우리 모두 협력한다면 해결할 수 있고, 배우고 극복할 수 있어요.26:30

과학을 이용해서, 음, 제대로 관리하고, 그리고 방향을 제시해야, 우리가 만들고 있는 이런 결과물들을. 하지만 만약 우리가 제대로 만들지 못한다면, 너무 서둘러서, 음, 서두르다 보면…26:41

안전장치가 없다면 뭔가 잘못될 위험이 있다고 생각해요. 그래서 조금 더 넓은 맥락에서 질문을 드려볼게요. 지난 한 해 동안 기술이나 과학의 긍정적인 잠재력에 대해 더 확신을 갖게 되셨나요?26:55

혹시 많이 이야기했던 부분들이 있나요, 아니면 우리가 논의해왔던 위험에 대해 더 걱정되세요? 저는 이 일을 20년 넘게 해왔으니 이미 알고 있었고, 제가 그동안 시간을 쏟은 이유는...27:10

인공지능 분야에 헌신한 모든 것은 과학을 발전시키고 우리 주변의 우주를 이해하는 궁극적인 도구를 해결하는 데 따른 긍정적인 측면입니다.27:21

어릴 때부터 그거에 좀 집착해 왔고, 제대로 한다면 인공지능 개발이 그걸 위한 최고의 도구가 될 거라고 생각해요.27:28

저희는 디ープ마인드가 15년 전부터 생각해왔던 위험 요소들도 있습니다. 만약 긍정적인 측면을 얻게 된다면, 이 기술은 양날의 검이 될 수 있다는 것을 어느 정도 예상했죠. 즉, 악의적인 의도를 가진 사람들이 이걸 다른 목적으로 사용할 수도 있다는 뜻입니다.27:35

결국 해로운 결과로 이어질 수 있기 때문에, 그 점을 항상 염두에 두어야 했습니다. 저는 인간의 창의성을 믿는 편이지만, 중요한 건 시간을 갖고 집중하며 최고의 두뇌들이 협력하는 것입니다.27:48

이런 걸 활용하면 저 문제들을 해결할 수 있을 거라고 확신합니다. 만약 그걸 가지고 있다면 기술적인 위험 문제도 해결할 수 있을 거예요. 하지만 아마 없을 수도 있고, 그렇다면 또 다른 위험이 생길 거예요. 프로젝트들이 분산되고, 서로 경쟁하는 사람들이 생길 테니까요.28:00

그러면 우리가 생산하는 시스템이 기술적으로 안전한지 확인하기가 훨씬 더 어려워지죠. 하지만 시간과 여유가 있다면, 충분히 해결 가능한 문제라고 생각해요. 질문 있으시면 하나만 여쭸어요.28:13

짧게 부탁드려요, 시간이 두 분밖에 없어서요. 안녕하세요, 정말 감사합니다. 저는 필립, 스타클라우드의 공동 창업자로, 우주에 데이터 센터를 짓고 있습니다. 살짝 철학적인 질문을 드리고 싶은데요.28:26

제가 생각하기에, 둠리즘을 뒷받침하는 가장 강력한 주장은 페르미 역설, 즉 우리 은하계에서 지적인 생명체를 발견하지 못한다는 개념입니다. 혹시 그 점에 대해 어떻게 생각하시는지 궁금합니다. 네, 저도 그 점에 대해 많은 생각을 해봤는데요, 그럴 수 없을 것 같아요. 왜냐하면 우리는 모든 인공지능이...28:40

그래서, 혹시 들어보셨을 수도 있는데, 왜 그런 일이 일어날지 정확히 설명하기는 어렵죠, 그렇죠?28:52

만약 페르미 역설의 이유가 외계인이 자신의 기술에 의해 제거된다면, 우주 어느 곳에서든 우리를 향해 종이 클립 같은 것이 날아와야 할 텐데, 그런데 그런 게 없네요.28:57

우리는 다이슨 스피어나 인공지능이든 자연적인 생물학적 구조든 아무것도 발견하지 못했죠. 제 생각에는 다른 답이 있어야 해요. 페르미 역설에 대해서는 제 나름대로 가설이 있지만, 지금은 다음 한 분을 위해 넘어가야 할 것 같아요. 그냥 그렇게 느껴져요, 음.29:08

제 예측이자 느낌은 우리가 '큰 걸림돌'을 이미 넘었다는 거예요. 만약 추측해야 한다면, 아마 다세포 생물이 진화하는 게 엄청나게 어려웠을 거예요. 따라서, 우리는 이미 그 단계를 지나간 거죠.29:23

아시잖아요, 다음이 어떻게 될지 편안하게 예측할 수 있는 그런 게 없다는 거. 우리 인간으로서 다음을 어떻게 만들어갈지 스스로 써내려갈 수 있는 거겠죠. 이건 정말 좋은 논의가 될 수 있지만, 다음 36초로는 벗어나야 하고, 각 15초씩, 다음에 만날 때쯤, 내년에 뵙기를 바라면서요, 음.29:35

셋이서 뭘 바뀔까, 음, 제가 좋다고 생각하는 건 뭐랄까, 가장 중요하게 봐야 할 건 인공지능 시스템이 인공지능 시스템을 만드는 건데, 어떻게 진행될지 지켜봐야 할 것 같아요.29:48

어떻든 방향이 정해지고, 그게 결국 우리가 거기에 도달하기까지 몇 년 더 걸릴지, 아니면 엄청난 기적과 멋진 일이 일어날지 결정하게 될 거예요.30:01

우리가 마주해야 할 AI 시스템 관련 긴급한 상황이 앞에 놓여 있다는 것에 동의합니다. 그래서 그 부분에 대해 꾸준히 소통하고 있죠. 하지만 그 외에도 다른 문제들도 있다고 생각합니다.30:15

음, 흥미로운 아이디어들이 연구되고 있는데요. 세계 모델, 지속적인 학습 같은 것들이요. 자, 자기 개선만으로는 충분히 효과를 내지 못하면 이런 것들을 해결해야 할 것 같아요. 그리고 이걸 잘 작동시켜야 하니까.30:25

로봇공학 같은 분야가 뭔가 큰 전환점을 맞이할 수도 있겠지만, 방금 말씀하신 내용을 생각해보면, 조금 더 시간을 끌었으면 좋겠다고 생각해요. 우리 모두를 위해서요. 저는 그렇게 되면 더 나을 것 같아요. 여러분들이 뭔가 대처할 수 있도록. 두 분 모두 정말 감사합니다.30:37