구글 딥마인드 팟캐스트에 다시 오신 것을 환영합니다. 저는 한나 프라이 교수입니다.00:00

소셜 미디어를 스크롤하다가 놀라운 영상을 보게 됩니다.00:04

화산 폭발의 클로즈업 슬로우 모션이나 마을을 휩쓸고 지나가는 토네이도 영상, 또는00:08

시위 영상 말이죠. 많은 사람들이 같은 질문을 던진다고 생각합니다.00:15

그것은 진짜일까요? 사람이 만들었나요, 아니면 기계가 만들었나요?00:18

AI가 텍스트, 이미지, 오디오, 비디오를 생성하는 능력이 향상됨에 따라, 그것은 가장 어려운 것 중 하나가 되고 있습니다.00:22

우리 시대의 질문이죠. 그런데 이제 답이 훨씬 더 복잡해졌습니다.00:29

AI가 자연에서 존재하지 않던 생물학적 분자와 구조를 설계할 수 있는 세상으로 진입하고 있습니다.00:35

일부는 해를 끼치도록 설계될 수도 있습니다.00:41

그렇다면 위험한 것이 만들어지기 전에 어떻게 막을 수 있을까요?00:45

답변은 사실 눈에 보이는 곳에 숨겨져 있을지도 모릅니다. 내장되어00:50

보이지 않게 여러분이 보고 있는 것, 또는 합성하려는 분자에00:54

워터마크입니다. 주식 사진에서 볼 수 있는 투박한 로고가 아니라 훨씬 더 미묘한 것01:01

something mathematical. And today I am joined by two people who are working on this from01:06

푸쉬메 콜리는 구글 딥마인드의 과학 부사장이며,01:11

SynthID는 현재 AI 업계 전반에 채택되고 있는 워터마킹 시스템이에요.01:16

제레미 러드클리프는 생물 보안 연구가인데, 그의 팀은 이 기술을 생물학에 적용했어요.01:21

팟캐스트에 두 분 모두를 환영합니다. 제레미 씨부터 시작할게요.01:28

AI가 만들어내는 모든 것을 워터마크로 표시하는 것이죠. 좋은 생각이지만, 좀 더 자세히 설명해주시겠어요?01:31

왜 이것이 도움이 될까요? 생물학의 경우 워터마크를 표시할 수 있는 동기는 바로 이 정보의 출처를 알 수 있기 때문입니다.01:37

기원을 추적하고 이 서열이 어디에서 왔는지 명확히 말할 수 있도록 하는 것이 필요해요.01:43

실제로 우리가 구분하려는 것은 자연에서 비롯된 서열과01:47

AI 시스템의 결과물로 생성된 것과 구별하려고 합니다. 특히, AI 시스템과 관련하여 우리가 생각하는 위험은01:53

AI 시스템과 관련해서 우리가 생각하는 위험은 AI가 생성한 시퀀스가 우리에게 알려진 문제점을 가질 수 있다는 것이에요.01:58

문제가 될 수 있지만, 서열 자체에서 그것이 그렇다는 것을 식별할 수 없을 수도 있어요.02:02

이러한 문제가 되는 특성을 가지고 있다는 것이에요. 좋은 워터마크는 무엇일까요?02:06

사람들이 이 용어를 생각할 때 지폐나 여권처럼 생각하는 것 같아요.02:09

좋은 워터마크로 간주되려면 규칙이 있나요?02:15

특히 우리에게 있어서 인간의 인지 불가능성이 중요해요.02:18

데이터의 어떤 부분이 워터마크 처리되었는지 알아채기 어렵게 만드는 것이에요.02:22

그렇지 않으면 쉽게 지울 수 있겠죠. 높은 검출 가능성을 갖는 것이 중요해서, 어떤 시스템이 들어가서 실제로 식별02:27

워터마크를 높은 신뢰도로 식별하고, 또한 좋은 일반화 성능을 갖춰서02:33

최소한 여러 시스템에서 작동할 수 있는 워터마킹 방법이 필요하고, 모든 데이터 유형마다 맞춤형으로 만들어야 하는 것이 아니라서.02:37

피쉬미 씨, 어떻게 생각하세요? 제가 말씀드린 게 생물학을 넘어 더 넓게 적용될까요?02:43

네, 우리가 DeepMind에서 워터마킹 프로젝트를 시작한 주된 이유는02:47

딥마인드에서 거의 8년 전부터02:54

사용자가 보고 있는 콘텐츠의 출처를 알 수 있도록 하기 위해서였어요.02:57

텍스트든 이미지든 비디오든 다양한 형태에 적용할 수 있어야 하고,03:04

10년 전에는 오늘날처럼 이미지를 만들고03:09

비디오를 만들 수 있는 시스템에 대해 이야기할 거라고 예상하기 어려웠어요.03:17

오디오, 텍스트, 그리고 사람이 만들거나 자연에서 존재하는 것과 구별할 수 없는 단백질이나 효소03:19

사람이 만든 것이나 자연에 존재하는 것과 같아요.03:26

그리고 사용자에게 이런 인식을 심어주는 중요한 요소예요03:30

보시는 것이 사실이라고 믿을 수 있다는 거죠.03:35

그럼 워터마크에 무엇이 필요할까요? 세 가지 속성이 필요해요.03:40

첫째, 품질을 저하시켜서는 안 돼요. 그렇지 않으면 전체 목적이 사라지니까요.03:45

사람들이 사용하지 않을 거예요. 두 번째 요소는 공격이나 변환에 대한 강건성이에요.03:49

만약 사람들이 제거하려고 한다면 제거하기 어려워요. 신호에 변경을 가해도 남아있다는 의미에서요.03:55

그리고 세 번째 요구사항은 사용하기 쉬워야 한다는 거예요, 그렇죠?04:02

신호에 통합하기도 쉽고 신호에서 감지하기도 쉬워야 해요.04:07

그래서 이것이 은닉성, 견고함, 확장성이 세 가지 중요한 특징이에요.04:13

저희는 모든 워터마킹 시스템을 이 기준으로 설계해 왔습니다.04:18

사용자가 더 많은 제어 권한을 갖도록 하는 것이 목표입니다.04:22

그리고 자신이 보고 있는 것에 대해 더 잘 이해하게 되도록 돕는 거죠.04:27

또는 사용하거나 디자인하는 것들에 대해서도요.04:31

워터마킹이라는 주제가 올여름에 큰 화제가 된 것 같아요.04:35

하지만 생성형 AI가 대중에게 공개된 지는 꽤 시간이 흘렀어요.04:39

프라쉬미, 왜 이렇게 늦어졌을까요? 왜 지금이 되어서야 이렇게 널리 퍼지게 된 걸까요?04:45

이미지 편집 소프트웨어가 매우 정교해지기 시작했을 때, 사람들은04:50

이 이미지가 진짜인지 아니면 조작된 것인지에 대해 상당히 우려했어요.04:57

수정되었나요?05:04

이미지를 분석하고,05:04

조작된 이미지에 존재하는 미세한 차이를 발견해서, '아, 이건 가짜 이미지에요' 또는 '수정되었어요'라고 말할 수 있는 시스템들이 있었어요.05:12

이미지 조작되었거나 이런 식이었죠. 하지만 생성형 AI가 더 정교해지면서,05:19

그 미세한 차이점들은 사라졌죠.05:25

그러자 자연스럽게 이런 질문이 생겼어요. '이제 게임 오버인가? 인간이 생성된 콘텐츠를 감지할 수 없을 정도가 될까요?'05:27

인간이 무언가가 생성되었는지 감지할 능력을 잃게 되는 것인가?05:34

바로 이 시점에서 워터마킹이 등장했어요.05:41

우리는 인간이 항상 콘텐츠의 출처를 이해할 수 있도록 하려면,05:43

이해하는 것이 중요하다고 생각했어요.05:50

어떤 신호가 어디에서 왔는지의 출처를 파악하는 방법은 신호를 주입하는 것입니다05:51

특정 편향을 갖도록 하여서05:59

모델이 완벽하고 이미지를 생성할 수 있는 능력도 있어도 사라지지 않도록06:01

카메라가 관찰하는 것과 구별할 수 없거나 사람이 작성한 텍스트와 같은06:06

저희는 사용자가 나중에 이 원본이 저희 AI 모델에서 비롯된 것을 감지할 수 있도록 알아차릴 수 없는 것들을 특수하게 주입했습니다06:12

저희 AI 모델에서 비롯되었습니다.06:19

여기서 '우리'라고 말씀하실 때 정말 문자 그대로의 '우리'를 의미하시는 건가요?06:24

이 문제를 해결할 수 있는 확장 가능한 솔루션을 개발한 게 바로 여러분 팀이었죠.06:29

네, 저희 팀은 거의 8년 동안 이 문제에 대해 연구해 왔습니다06:34

저희는 사람들의 우려 때문에 가짜 뉴스나 허위 정보 등에 사용될 수 있는 이미지부터 시작했습니다.06:37

가짜 뉴스나 허위 정보 등 그런 문제들이 있었어요.06:43

그래서 그 문제를 해결하려는 동기가 생겼죠.06:46

동시에, 앞서 말씀드린 견고성, 감지 불가능성, 효율성, 확장성과 같은 특성 때문에06:51

우리가 방금 언급한 견고성의 이유로06:55

견고함, 감지 불가능성, 효율성, 확장성을 고려하더라도 이미지는 엄청난 양의 데이터예요.06:59

100만 화소 이미지에는 대략 백만 개의 숫자 정도가 있어요07:07

또는 인코딩 방식에 따라 삼백만 개의 숫자처럼 보일 수도 있고요.07:13

정보를 숨기는 것이죠. 콘텐츠는 변경하지 않고, 그래서 저희는 워터마크07:16

이미지 워터마킹 시스템을 먼저 개발한 후, 나중에 텍스트와 같이 차원이 더 낮은 다른 방식에 어떻게 적용할 수 있을지를 고민하게 되었어요.07:23

이것을 어떻게 해야 할까요?07:30

이미지처럼 차원이 높지 않은 텍스트와 같은 다른 방식에서는 실제로는 매우07:31

신호의 양이 적어요. 문장 내 숫자 백만 개를 보면 있나요? 네, 맞아요. 몇 단어 정도예요.07:37

그 몇 단어를 바꿀 수는 없고, 내용의 의미가 바뀌지 않도록 매우 조심해야 해요.07:44

내용이에요.07:51

그래서 텍스트 워터마킹을 위해 개발한 방법은 이미지와 같은 고차원 신호에 사용하는 것과 상당히 달랐어요.07:52

이미지, 비디오, 심지어 오디오와 같은 고차원 신호 워터마킹과는 달라요.07:59

여러분들이 개척한 이 워터마킹이라는 개념은 이제 법으로 제정되었어요.08:05

EU 내 모든 생성 콘텐츠는 일종의 워터마크를 포함해야 하는 것이 중요해요.08:10

전 세계 규제 기관과 국가들이 사용자에게 어떤 정보를 제공하고 싶어한다는 것을 알게 되었어요.08:15

소비하는 콘텐츠의 출처에 대한 정보를 제공해야 해요.08:22

그리고 중요한 기술 중 하나로, 확장 가능하면서도 강력한 해결책으로 여겨지는 것이 워터마킹이에요.08:28

바로 그래서 이 아이디어가 업계 전반에 걸쳐 수용되고 있는 이유이기도 하고요,08:35

업계에서08:42

SynthiD가 NVIDIA에서 사용되고, OpenAI와 같은 다른 파트너에서도 사용된다는 사실은08:43

그런데08:50

생성형 AI 분야의 많은 파트너들이 이 기술을 채택한 것은 놀라운 일이에요.08:51

기술이죠. 그리고 제레미, 이번 에피소드에서는 AI 워터마킹의 두 가지 다른 응용 분야에 대해 이야기할 건데요,08:59

AI 워터마킹에 대한 내용이에요. 텍스트, 비디오, 오디오 등 다양한 콘텐츠와 함께 생물학적09:05

구조 및 서열도 있고요. 두 경우의 해결책이 상당히 비슷한가요?09:11

네, 유사한 원칙에 의해 동기가 부여되었고, 저희는 많은 것을 채택할 수 있었어요.09:16

이미 수행된 작업들을 활용할 수 있었고, 오픈 소스 Syntheti Text 라이브러리를 사용해서 다른 시스템에 직접 임베딩하는 방식도 포함되었어요.09:20

맞아요. 같은 트릭뿐만 아니라 때로는 실제 코드가 동일하기도 해요.09:26

그냥 픽업해서 드롭할 수 있어요. 적어도 시작점은 같아야 하고요.09:31

사람들은 이게 어떻게 작동하는지 이해하고 싶어 할 거예요, 왜냐하면 단 한 문장에09:35

워터마크를 임베딩할 수 있다는 게 거의 마법처럼 들리니까요.09:42

공백이나 쉼표를 숨기는 것과는 아무 상관이 없어요.09:46

단어 자체가 어떻게 생성되었고 어디에서 왔는지에 대한 기록을 숨기고 있어요.09:51

기원했는지 말이죠. 피쉬미, 괜찮으시다면 텍스트에 대해서 이게 어떻게 작동하는지 간단히 설명드려도 될까요?09:58

가장 이해하기 쉬울 것 같아요. 텍스트에 대해 알아보기 전에, 이미 온라인에서 AI가 생성한 텍스트인지 아닌지를 판단한다고 주장하는 소프트웨어가 있을 뿐만 아니라10:03

이미 나와 있어요.10:09

그것과 여러분이 만든 것의 차이는 무엇인가요?10:16

네, 오랫동안 사용되어 온 전통적인 접근 방식은10:20

머신 러닝 모델을 훈련시켜 분류 문제를 해결하고, 구분하는 것입니다.10:24

모델이 생성한 것과 자연 세계에서 포착된 것을 말이죠.10:31

그리고 이것은 기본적으로 매우 많은 양의 데이터로 이 머신 러닝 모델을 훈련하는 것을 포함합니다.10:38

맞죠? 초기 대규모 언어 모델과 이러한 대화형 에이전트가 등장했을 때10:44

분명히 알 수 있었어요. 음, 이건 대규모 언어 모델이에요.10:50

특징이 있어요. 음… X가 아니에요, Y예요. 네, 맞아요.10:55

‘조용히’라는 단어를 너무 많이 사용하거나… 모델이 점점 더 정교해짐에 따라10:59

그 특징들이 덜 자주 나타나고, 따라서 이 머신을 훈련한다면...11:06

분류기를 학습시키면서 분류 정확도가 시간이 지남에 따라 떨어져요11:11

생성형 AI 모델이 목표를 달성하는 것을 모방하는 능력이 더 좋아지면11:17

좋아요, 그럼 워터마킹 시스템이 어떻게 작동하는지 살펴볼까요. 단계별로 해봐요.11:25

단계별로 설명할게요. 먼저 대규모 언어 모델이11:29

문장 내 다음 단어를 선택하는 과정을 살펴볼까요?11:35

텍스트 워터마킹을 할 때11:38

이 토큰이나 단어들이 대규모 언어 모델에서 생성된다는 개념이에요.11:41

그리고 대규모 언어 모델은 본질적으로11:48

생성할 수 있는 토큰에 대한 분포를 가지고 있어요.11:52

예를 들어 제가 한나에게 오늘 아침으로 무엇을 먹었냐고 물어본다면?11:57

I로 시작할 수도 있고, push me라는 단어로 시작할 수도 있어요,12:02

저를 부르는 거예요. 그리고 이것들이 여러분이 가질 수 있는 선택지예요.12:09

만약 시작점으로 동등하게 유효하다면, 선택의 여지가 생긴다는 거죠.12:12

텍스트 워터마킹은 바로 이 선택지를 활용하는 곳이에요,12:16

키가 우리에게 무엇을 말해주는지 보는 거죠. 그런데 이게 중요한 포인트예요, 그렇죠?12:20

때로는 단어 선택지가 있을 때, 그 뒤에 숨겨진 키가 있어요,12:27

이 단어들을 다른 단어보다 더 많이 사용하도록 지시하는 비밀 키죠. 그리고 나서12:32

텍스트 전체를 살펴보면, 그 단어들이 반복해서 나타난다면,12:39

생성된 텍스트일 가능성이 높아요. 오히려12:44

단어 자체가 아니라, 그 단어들의 패턴이 중요해요. 특정 단어가 꼭 필요하지 않아요.12:49

반복될 필요는 없지만 패턴이 감지기가 어떻게 나타나는지를 활용해요12:54

어떤 식으로 바뀌는지 정확히 맞아요, 네, 좋아요. 그러니까 은밀하게 맞으시는 거네요, 그렇죠.13:00

그렇게 비밀스러운 건 아니에요, 팟캐스트에서 이야기하시는 것만큼은요. 하지만 배경에서 코드가 실행되고 있어요13:06

어떤 비밀 키가 있는데, 그걸로 나중에 텍스트 조각을 살펴볼 수 있죠.13:11

텍스트를 살펴보면서 '잠깐만, 이건 AI가 생성한 것 같아'라고 말할 수 있어요.13:15

이것뿐만 아니라 다른 AI 모델들이 서로 다른 키를 사용한다면,13:19

이 모델에서 생성되었는지, 아니면 다른 모델에서 생성되었는지 확인할 수 있어요.13:26

네, 그러니까 이건 Gemini이고, 다른 모델일 수도 있죠.13:32

키가 있다면요. 네, 키가 있다면요. 네, 알겠어요.13:38

네, 하지만 몇 단어만 있으면 사용할 수 없어요.13:41

그럼 일부 텍스트는 워터마크가 불가능하다는 건가요?13:47

네, 아주 짧은 텍스트 조각이라면 그렇죠?13:51

예를 들어 프랑스의 수도가 무엇인가요? 파리입니다.13:58

거기서 우리가 바꿀 수 있는 것은 거의 없어요.14:02

그러니 그것은 워터마크되지 않을 거예요.14:06

이 경우 워터마킹 접근 방식의 한계입니다.14:09

단도직입적으로 말해서 학생들은 이제 에세이 표절을 할 수 없다는 건가요?14:13

AI가 생성한 모든 것을 감지할 수 있게 된 건가요?14:18

다른 연구실에서 발표하는 것처럼 전체 생태계는 워터마킹으로 이동하고 있다고 생각해요.14:22

하지만 그렇다고 해서 그들이 모두 검출기를 공개적으로 사용할 수 있게 되는 것은 아니에요.14:29

공개적으로 사용 가능한 감지기가 있더라도, 사람들이 그걸 피하는 방법을 배우려는 동기가 될 수 있어요.14:33

이런 머신러닝 기반 분류 시스템과 마찬가지로14:39

워터마크가 적용된 텍스트 예시들을 많이 사용하고 있어요,14:45

감지기가 공개되어 있고 계속해서 쿼리를 보낼 수 있다면,14:48

특정 공개 감지기의 구성을 회피하는 것을 만들 수 있을지도 모릅니다.14:52

공개 감지기에 제시된 키 구성에 맞춰서요.14:57

알겠습니다. 그렇다면 어떤 AI 생성물도 확실하게 탐지할 수 있는 방법은 아직 아니에요,15:00

이것은 그 방향으로 나아가는 큰 진전이에요.15:07

공개적으로 사용 가능한 감지 시스템을 모든 키 버전에 대해 갖는 방식으로는 적어도 안 되는 것 같아요.15:10

이미지와 비디오의 경우도 같은 아이디어인가요?15:17

설명하신 것처럼 숨길 공간이 훨씬 더 많아요. 네, 이미지에서는 접근 방식이 좀 달라요.15:22

제가 언급했던 텍스트 워터마킹 방식과는 다르죠.15:28

이미지에서는 아직 워터마크가 적용되지 않은 이미지를 가져와요.15:32

그런 다음 신경망이 그 이미지를 분석해서 아주 미세하게 수정하여 신호를 포함시키죠.15:40

매우 미묘한 방식으로 신호를 포함시킵니다.15:47

이 워터마크를 통합하는 특정 모델은 감지기와 함께 공동으로 학습되고 있고요.15:50

신경망입니다.15:57

그리고 둘 다 다음과 같은 목표를 달성하려고 노력하고 있어요.16:00

Watermark에 있는 이미지를 얻게 되는데, 워터마크 생성기는 아주 작은 신호를 주입해요.16:04

인식이 안 되어야 해요. 만약 인식이 된다면 좋지 않다고 봐요.16:11

사용자가 그걸 보고 이미지 품질이 저하될 거예요.16:15

그 중간에는 적대적 에이전트가 있어요,16:19

이미지에 수정 사항을 적용하려고 할 거예요.16:23

이미지를 축소하거나 확대하고, 잘라내고, 회전시키거나,16:28

노이즈를 추가하는 등 다양한 변환을 할 수 있어요.16:35

그리고 디텍터는 통과되는 원본 이미지가 워터마크가 있는지 없는지 여전히 감지해야 해요.16:39

좋아요. 둘 다 적대자가16:46

중간에 무엇을 했든 워터마크가 여전히 감지될 수 있도록 함께 훈련돼요.16:53

그럼 사용자에게는 어떤 의미일까요?16:57

가장 중요한 건 텍스트에만 국한되지 않는다는 거예요.16:59

다양한 모달리티에 대한 것이에요. 그리고 사람들이 SynthiD를 사용하는 것을 보면17:05

SynthiD가 출시된 지난 몇 년 동안 정말 놀라웠어요.17:10

제가 가장 좋아하는 뉴스 웹사이트를 열면 기자들이 말하겠죠,17:16

자, 이 특정 집과 관련된 이미지들이 언론에 떠돌아다니는 것을 보면서17:23

마법처럼 캘리포니아 산불에서 피해를 입지 않았거나 이런 이미지가17:29

이란 전쟁이나 다른 주제에서 나왔어요.17:36

그리고 저희는 Synth ID를 실행해서 이것이 AI17:42

생성된 것을 확인했어요. 그래서 갑자기, 갑자기 AI가17:46

분명히 없어야 할 곳에 나타나는 거죠. 그리고 Synth ID가 실제로17:53

실시간으로, 대규모로 잘못된 정보를 해결하는 데 사용되고 있어요. 그럼 아무나 해도 될까요?18:01

방금 하신 것처럼 누구나 이미지나 텍스트, 비디오를 Synth ID에 넣어서18:08

AI 모델이 생성했는지 확인할 수 있나요?18:14

예를 들어, 제미나이에 탐지 기능을 내장했어요.18:16

오늘 제미나이에 들어가서 이 이미지를 보면서18:22

AI가 생성되었는지 물어보면 Synth ID 검사기를 실행해서 네, 이것은18:28

구글 이미지 모델이 생성한 것이라는 식으로 말할 수 있어요.18:35

비슷한 기능들이 이제 다른 회사에서도 사용 가능하게 되었고18:38

저희 모델을 채택한 회사들도 있고요.18:44

각 모델은 해당 모델이 생성했는지만 감지할 수 있나요?18:49

제미나는 제미나이가 생성한 콘텐츠만 감지할 수 있나요?18:52

워터마크를 콘텐츠에 주입하는 사람들은 키를 공유해야 해요.18:55

맞아요. 키를 공유하면 저희는 그걸 감지할 수 있어요.19:02

그래서 중앙 서비스가 있을 수 있어요.19:06

SynthID 포털에 가서 무언가가 AI 생성인지 물어보면,19:09

파트너 기관에서 우리에게 주어진 모든 키를 살펴보고, 모든19:16

그 파트너들을 위해서도 AI 콘텐츠를 감지할 수 있어요. 알겠습니다. 그런데 특정 연구실에서 키 공유를 원하지 않으면 안 될까요?19:23

네. 좋아요, 제레미, 이제 생물학에 대해 이야기해 볼까요? SynthID-Bio라는 개념 증명 시스템을 개발했으니까요.19:28

텍스트 대신19:32

오디오 및 비디오에 워터마크를 하는 대신 생물학을 위해 설계되었고, 여기서 AI가 생성한 단백질19:38

서열과 3D 생체 분자 구조에 워터마크를 하고 있어요.19:45

그 두 시스템에 대해 말씀해 주세요.19:50

그래서, 곧 발표될 논문에 소개될 SynthID-Bio 구조는 특히19:53

서열이 주어졌을 때 예측된 단백질 구조에 워터마킹하는 것을 살펴보고, 이를 바탕으로19:58

AlphaFold3를 기반으로 합니다. 두 번째 기술은 합성 생열서열로, 서열에 워터마크를 도입하는 것을 살펴봅니다.20:03

서열 자체에 워터마크를 넣는 것으로, 서열에 존재하는 아미노산 문자열을 말합니다. 하지만 이 두 가지는 관련이 있나요?20:08

하지만 이 두 가지는 서로 연관되어 있잖아요. 접힌 단백질 구조 하나하나가 그 아래에 있는 아미노산 문자열이니까요.20:14

네, 기본적으로 같은 종류의 데이터의 다른 버전에 대해 이야기하는 것인데, 실제 워터마크를 임베딩하는 방식은20:21

두 가지에 대해서는 매우 다릅니다. 구조 워터마킹의 경우, 개별 원자의 위치를 실제로 변경합니다.20:27

따라서 두 원자 사이의 거리나 두 원자 사이의 각도가 약간 변하는 것을 생각해 볼 수 있습니다.20:33

반면 합성 생열서열의 경우, 개별 아미노산의 선택을 실제로 변경합니다.20:39

구조의 경우, 여전히 같은 원자들이지만 약간 다른20:43

배열은 콘텐츠가 실제로 바뀌는 것 같아요. 하지만 기능적인 의미는 크게 달라지지 않을 수도 있고요.20:47

무슨 의도일까요? 왜 필요하신 건가요?20:53

몇 가지 유용한 활용 사례를 생각해 봤어요.20:56

AI가 생성한 콘텐츠의 출처를 알 수 있고, 어떻게21:00

DNA 합성 회사에 주문하는 것이 AI 시스템에서 나온 것인지 감지할 수 있을 거예요.21:05

생물학자가 아닌 분들은 잘 모르는 부분이겠죠?21:10

본질적으로 프린터라고 부를 수 있는 곳에 보내서21:13

이 시퀀스를 만들고 싶다고 요청하면, 만들어 줄 거예요.21:19

하지만 말씀하시는 건 위험한 것을 인쇄하도록 속일 수 있다는 뜻인가요?21:21

여기서 '프린트'라는 용어를 아주 느슨하게 사용하고 있어요. 그것이 본질적인 문제죠.21:27

걱정되는 부분이에요. 네, 걱정되는 것 중 하나예요.21:31

산업계 그룹과 학자들은 스크리닝 절차를 더욱 강력하게 만드는 방법에 대해 연구하고 있어요.21:33

그것이 저희가 기여할 수 있는 부분이라고 생각해요.21:39

하지만 가장 큰 우려는 누군가가 DNA를 입수해서,21:44

그들이 실험실에서 우리가 원하지 않는 것을 생성하거나 규제를 회피할 수 있는 접근 권한을 얻게 되는 거죠.21:51

누군가가 회사에서 DNA를 주문해서 실험실로 가져가서 만들 수 있을까요?21:55

예를 들어 멸종된 팬데믹 같은 것을 만들 수 있죠, 인스턴트 독감처럼요. 알겠습니다.22:01

저는 그거는 안 좋은 일이라고 말씀드릴게요. 일반적으로 그렇고, 전반적으로도요.22:04

네, 네. 그리고 만약 이 회사들이 무언가가 AI인지 감지할 수 있다면,22:08

어떤 추가적인 안전장치를 마련하고, 계속 진행하기 전에 일종의 중단점을 두는 것 같아요. 네.22:14

워터마크를 감지하면 이 데이터가 내장된 안전 장치를 가진 시스템에서 파생되었음을 확신할 수 있어요22:20

다른 AI 모델이나 자연에서 비롯된 것과는 구별되는 거죠.22:22

네, 현재 그 회사들은 무엇을 만들지 않도록 어떤 안전 시스템을 갖추고 있나요?22:29

정말 위험한 것을 만들지 않도록 하고 있어요. 합성 회사들은 주로 개인의 주문을 받아 신원 정보를 확인할 수 있도록 하죠.22:35

대부분의 경우 '저는 학자입니다'라는 절차를 두고 있어요.22:42

제 소속 대학은 이러이러합니다. 제가 말하는 사람이 맞습니다. 그리고 보내는 특정 사서함 주소는 연구실을 위한 것이에요.22:46

제가 지하실에 있는 아무나 원하는 게 아니라는 거죠. 그리고 그 주문들을 받아 비교해요22:52

주문의 구체적인 내용을 알려진 위험 물질 데이터베이스와 비교해요.22:59

그리고 몇 가지 다른 알고리즘을 사용하여 해당 제출물을 데이터베이스와 비교하고, 만약 어떤 것이라도23:03

일치하면 주문을 막고 이것을 합성할 수 없다고 말하거나,23:09

주문한 사람에게 돌아가서 무엇 때문에 주문했는지 동기를 파악하고23:14

필요한 라이선스가 있는지 확인하는 등, 일부 학자들이 지적하는 이러한 AI 시스템의 위험은23:18

다른 학자들이 보여주듯이 시퀀스 공간에서 매우 다를 수 있는 것을 만들 수 있다는 것입니다.23:23

걱정스러운 것으로 접힐 수 있는 병원체 데이터베이스에 있는 것과는 다른23:29

아미노산 서열은 무해해 보이지만, 일단 자연 단백질이 생성되면 정말 해로울 수 있습니다.23:34

네, 제한 주문 데이터베이스에 있는 것과 동일한 방식으로 작동할 수도 있습니다.23:41

현재 시스템으로는 이를 잡아낼 수 없습니다. 확실히 우려되는 부분이며, 특히 이러한 시스템이 점점 더 좋아짐에 따라,23:46

시퀀스 공간에서 기존 보호 기능을 회피할 수 있는 더욱 먼 것을 얻을 수도 있습니다.23:52

아미노산 리본에 정말 기이한 무언가가 아직 접힐 수 있는 것23:57

기본적으로 그들의 탐지 시스템을 교묘하게 피해서, 자르고 붙여넣을 수 있고요.24:02

다른 서열에 붙여넣을 수 있어서요. 예를 들어 어떤 부분에서24:08

차단될 만한 부분이 있다면, 걱정스러운 무언가를 잘라 붙여넣어 아주24:12

제한된 데이터베이스에서 멀리 떨어진 곳에 넣고, 실험실에서 원래 있던 위치로 다시 옮길 수 있죠.24:17

원래 왔던 곳으로 되돌릴 수 있어요. 알겠습니다. 그리고 여기서 워터마킹을 하는 아이디어는24:23

반드시 유해한 것을 탐지할 수 있다는 의미는 아니에요.24:29

최소한 인공 지능이 생성했다는 걸 알 수 있죠.24:33

기존 데이터베이스와 비교할 때 기존에 있던 것과 다를 수도 있으니 주의하세요.24:38

어떤 시스템에서 나왔는지도 알 수 있고요. 그리고 DNA 합성 회사로서, 워터마크 외 다른 이유로 이 인공 지능 시스템을 신뢰하기 때문에24:43

이 방법을 통해 생성되었다는 확신을 가질 수 있을 거예요.24:50

여기서 단백질 설계 과정을 설명해주시겠어요? 워터마크를 시스템에 어떻게 넣나요?24:53

텍스트나 이미지와 동일한 방식으로요? 음, 다행히도24:59

ProteinMPNN이라는 구조-시퀀스 모델에서 사용하는 방식이25:04

트랜스포머 기반 모델이 텍스트를 생성하는 방식과 상당히 유사해요.25:09

ProteinMPNN은 서드파티 도구예요. 구글에서 개발한 것이 아니에요.25:13

오랫동안 세상에 공개되었고, 거의 AlphaFold와는 반대예요.25:16

시퀀스에서 구조로 가는 것이 아니라, 구조에서 시퀀스로 가죠.25:21

그리고 이것은 원래 3차원 공간에서의 상호작용을 기반으로 타겟을 선택하는 단백질 설계 파이프라인에서 중요한 부분이에요.25:25

3차원 공간에서 어떻게 상호작용할지를 기준으로 타겟을 선택하게 되죠.25:30

이 모델은 단순히 그 표현을 가져와서 예측된 시퀀스를 생성해요.25:34

특정 구조로 접힐 수 있도록 하는 것이 중요해요. 중요한 포인트이죠?25:39

매우 복잡하게 접힌 구조를 가질 수도 있지만, 각 단백질은25:43

아미노산 리본처럼 아미노산 문자열로 구성돼요.25:48

그 비유가 어디에서 왔는지도 바로 그거예요. 아미노산 문자열이 텍스트 문자열과 비슷하죠.25:52

네. 단백질을 접는 과정에서 개별 아미노산 간에 교체가 가능한 위치가 있어요.25:55

어쩌면 특정 성질이 비슷한 것들끼리요. 류신과 아이소루신은 매우 유사한 경우도 있죠.26:02

그래서 저희는 합성 생열쇠열 내에서26:07

동일한 구조를 유지하면서 유사한 기능을 갖도록 개별 아미노산을 선택하여 워터마크를 삽입할 수 있어요.26:11

그래서 비슷한 기능을 하겠죠. 잠깐만요, 어떻게 확신할 수 있죠?26:17

교체해도 괜찮다고 말씀하셨잖아요. 교체가 중요하지 않다는 걸 어떻게 확신할 수 있죠?26:21

네, 그래서 저희는 이 과정에서 그것을 특별히 테스트해요.26:26

이 연구의 전체적인 아이디어는 워터마크를 주입하는 것이었어요26:29

그리고 생성된 서열, 이 경우에는 아미노산 서열이,26:36

단백질을 만드는 것이 같은 기능을 하도록26:41

저희가 디자인하려던 기능을 유지하도록 하는 것이었어요.26:46

그리고 그것이 아주 멋진 이유는,26:50

저희가 이제 워터마크된 단백질을 가지고 있게 되었어요.26:52

이것들은 실제 물건들이에요. 시뮬레이션이 아니에요. 이것들은 실제로 무언가를 하는 실제 물건들이에요,26:58

하지만 워터마크가 되어 있어서 항상 감지될 수 있어요.27:04

그리고 중요한 것은 저희 연구실 실험 결과, 기능이 전혀 변하지 않는다는 것이에요.27:08

그래서 단백질 결합체를 만들었어요. 붙는 것들을 만들었죠. 직접 만드신 거예요? 저희가 만들고 실험실에서 테스트했어요.27:13

단백질 결합체를 만드는 과정에서 얻을 수 있는 측정값 중 하나는 히트 레이트 같은 것들이 있어요.27:18

실험실에 보낸 디자인의 수 중에서 실제로 결합하는 것이 몇 개인지 살펴보고, 어떤 것이 얼마나 잘 결합하는지 확인할 수 있고, 그런 두 가지 측정 기준 모두에서27:22

워터마크가 적용된 것과 다른 방식으로 워터마크가 적용된 것과 워터마크가 적용되지 않은 단백질 결합체를 비교하면27:30

거의 동일한 히트 레이트와 거의 동일한 양적 결합 측정값을 보였어요.27:33

기대하면 조금 잃을 수도 있잖아요. 아마도요. 솔직히 말씀드리면, 저희가 실험실 데이터를 받기 전에는27:40

이것이 얼마나 잘 작동할지 조금 회의적이었는데, 실제로 모든 사람들의 마음을 사로잡았어요.27:47

정말 쉬웠다는 점이 놀랍고, 생물학적으로 증명하는 것은 저희 모두에게 약간의 놀라움이었어요.27:50

지금은 개념 증명 단계라는 것을 알고 있어요. 작동하는지, 그리고 가능하다는 것을 보여주고 계신 거네요.27:57

향후 어떤 연구실이라도 여러분의 워터마크를 읽을 수 있다는 말씀이세요?28:02

네, 그리고 이것이 궁극적인 목표라고 생각해요. 아니면 어쩌면 이걸 저희 워터마크로 규정하지 않을 수도 있고요.28:08

아마 다른 사람들이 사용할 수 있는 기술일 거예요. 실제로 이걸 운영하는 데 참여할 다양한 플레이어들이 있어야 한다는 것을 알고 있어요.28:12

모델 개발자들, 새로운 도구나 시스템을 만들어 새로운 단백질을 생성할 수 있는 사람들 말이죠,28:18

이들은 자체 계획에 워터마킹을 통합할 수 있도록 동의해야 할 거예요.28:24

그리고 저희가 코드를 공개 소스하기 때문에, 저희와 조정할 필요도 없이 이 작업을 수행할 수 있어요.28:29

그리고 합성 측면에서는 교환할 수 있는 기능이 있어야 하고요,28:34

모델 제공업체와 DNA 합성 회사 간에 워터마킹에 대한 키와 기타 세부 정보를 교환할 거예요.28:39

이것들은 일어날 필요가 있는 몇 가지 다른 조정 사항들이에요.28:46

저희 측면에서 볼 때 워터마크를 감지 가능하게 하고 잠재적으로 조금 더 쉽게 삽입할 수 있도록 추가적인 엔지니어링 여유 공간을 활용할 수 있다는 것을 알고 있어요.28:48

삽입하기 조금 더 쉬워요. 현재 진행 중인 작업에서 이를 알 수 있어요.28:55

이런 활동들이 커뮤니티에서 보편적으로 채택되도록 돕기 위해 필요해요.28:58

관련된 모든 플레이어들에게 중요합니다. 텍스트도 마찬가지인가요? 이것이 보편적으로 무엇인가를 감지할 수 있나요?29:06

아니면 사용된 특정 키에 따라 달라지는 건가요?29:12

만약 누군가가 저희가 공개적으로 사용할 수 있도록 만든 구현을 가져와서29:16

자신의 시스템에 통합한다면 키와 함께 컨텍스트 길이를 공유할 수 있다면29:20

워터마킹을 위해 이전 컨텍스트가 얼마나 중요한지를 변경할 수 있는 또 다른 영역이에요.29:25

워터마킹입니다. 그 두 값을 공유할 수 있다면, 그것들이 외부로 나올 때 감지할 수 있을 거예요.29:29

어떤 시스템에서 이미 작동하고 있나요? 현재 어느 단계에 와 있나요? 저희의 경우29:33

이번 논문에서 거의 개념 증명을 할 수 있었어요. 저희는29:40

워터마킹을 수행할 수 있는 기술을 오픈 소스화할 예정입니다. 이것은 약간 다른 방식이에요.29:43

구글에서 콘텐츠에 워터마크를 하는 방식과는 조금 다른데요, 저희는29:47

필연적으로 내부적인 단백질 디자인 서비스가 없기 때문에, 저희는 많은29:51

업계의 다른 사람들과 에코시스템 내에서 모델 개발 측면에서도29:55

합성 스크리닝 측면에서도 대화를 촉진하고 싶어요.29:59

이 기술을 어디까지 발전시킬 수 있는지, 실제로 구현하는 것에 대한 대화를 이끌어내고 싶습니다.30:02

저희가 표준을 정할 필요도 없고요, 저희는30:07

사람들이 단백질을 주문하는 기관이 아니기 때문에, 적어도30:11

다양한 서비스에서 구현될 수 있도록 촉매 역할을 하는 것이 저희의 현재 역할이라고 생각합니다.30:16

그리고 실제로 단백질을 프린팅하고 만드는 사람들에게 이야기했을 때 그들의 반응은 어떠한가요?30:23

저희가 일반적으로 그런 것에 대해 회의적인 경향이 있기 때문이라고 생각합니다.30:29

제 성격에 따른 건데요, 생각보다 훨씬 더 흥분하신 것 같아요.30:36

저희가 마지막 단계를 계속 진행하면서 정말 고무적인 경험이었던 것 같아요.30:41

이걸 현실 세계로 내놓는다는 게 어떤 의미인지에 대한 몇 가지 단계를 거치면서, 저희는 긍정적이라고 생각해요.30:46

저희가 얻을 수 있는 관심의 정도에 대해서도 최소한 긍정적이에요. 한 가지 말씀드리고 싶은 건데요.30:51

생명공학 분야에서 정말 놀라운 점은 그들이 얼마나 인지하고 있는지예요.30:55

오늘의 위협뿐만 아니라 내일의 위협까지도요.31:03

그래서 그들은 기술에 매우 호의적이었어요.31:10

매일 어려움을 겪고 있기 때문이에요.31:17

유전자 합성 주문을 받고 있거든요.31:19

단백질을 만들 수 있는 것과요.31:24

그리고 그들은 문제가 있는 주문을 걸러낼 수 있는 필터를 가지고 있어요31:27

하지만 그것들이 완벽하지 않다는 것을 알고 더 개발해야 할 일이 많다고 생각해요31:32

그리고 그들은 해당 분야와 커뮤니티와 협력하고 싶어해요31:38

해결책을 찾고 싶어해요. 앞으로 바이오 레질리언스라는 주제는31:44

점차 사람들의 마음속에 자리 잡을 거예요.31:49

다른 분야에서는 어떤 일을 하고 있나요? 2개월 전쯤에 나온 메모가 있었는데,31:54

구글 딥마인드의 전체적인 비전과 아이소모픽 랩스가 생각하는 바이오 레질리언스에 대해 설명하고 있어요.32:00

그리고 그것은 영국 생물학적 안보 전략에 기반한 여러 노력과 일치하며, 예방, 탐지,32:05

대응을 포함하고 있어요.32:12

우리 팀은 그와 관련된 여러 노력을 진행하고 있으며, 넓게 보면 AI를 활용하여 생물학적 위험을 줄이는 방법을 모색하고 있어요.32:13

자연적인 위협과 AI 기반 증강된 위협 모두에 초점을 맞추고 있어요.32:20

특정 영역에 정말 특화된 프로젝트도 몇 가지 가지고 있습니다.32:25

SynthetiBio가 좋은 예시라고 생각해요. 여기서 저희는 AI 기반 AI 설계에 대해 깊이 고민하고 있어요.32:27

그리고 그것이 병원체 감지에 어떤 의미가 있을지 생각하고 있습니다. 자연적인 위협 영역에 더 초점을 맞춘 다른 개념들도 있어요.32:32

그리고 일부는 양쪽을 연결하기도 합니다. 저희의 변화 이론은 생물학을 악용하려는 사람들에게 덜 유용하게 만들면,32:38

본질적으로 그들이 그것을 사용하는 것을 막을 수 있다는 거예요.32:45

저희에게는 새로운 역량과 도구를 만들어 전체 공중 보건 시스템을 더욱 강력하게 만들면32:49

또는 역학자들이 유행병을 식별하기 쉽게 만들면, 그것 자체로 유행병 발생 가능성을 낮출 수 있습니다.32:56

이것의 긍정적인 측면을 원하잖아요. 이점 같은 것들을 원하고33:02

잠재적인 부정적인 영향까지는 함께 하고 싶지 않겠죠.33:06

물론이죠, 정말 그렇습니다. 그리고 AI는 인체 건강과 생물학 전반에 대한 엄청난 긍정적인 영향을 미칠 거라고 생각해요.33:09

인간의 건강과 광범위한 생물학적 이해에 기여할 거예요.33:17

이미 우리 주변에서 벌어지고 있다고 해도 과언이 아니에요.33:22

아이소모픽 랩스 같은 회사들과 많은 기업들이 AI를 활용해서 신약 개발을 하고 있고요,33:25

인간의 건강에 대한 이해 등 다양한 분야에서요. 하지만 동시에 문제가 될 만한 사용 사례도 있을 거예요.33:30

활용될 것이고, 그런 상황을 막기 위해 우리가 할 수 있는 모든 통제와 조치를 마련해야 해요.33:36

그런 작업들이 어렵거나 불가능해지도록 해야 합니다.33:43

잠시 디지털 미디어 환경으로 돌아가서 말씀드리면, 지금은 상당히 파편화되어 있다고 생각해요.33:49

어떤 것이 AI가 생성한 것인지 알려주는 중앙 공간이 생길까요?33:56

그럴 거라고 생각해요. 이 분야는 그렇게 발전하고 있어요.34:02

전반적으로 업계의 합의가 이루어지고 있어요.34:07

기업들이 표준에 동의하며, 출처 정보 솔루션이 필요하다는 데 의견이 모아지고 있고요.34:12

수정 사항이 있을 때34:19

생성형 AI가 사용될 때, 그 정보를 파일과 함께 배치하는 것과 같이요.34:25

문제는 메타데이터가 제거될 수 있다는 것이고, 그래서 강력한 결합이 필요해요.34:32

워터마크가 제공하는 것이 바로 그것이에요. 이러한 접근 방식을 결합함으로써34:38

그리고 커뮤니티의 모든 사람에게 도움이 되는 솔루션을 구축함으로써,34:44

표준을 만들 수 있을 거라고 생각해요.34:51

하지만 그런 부분에서 진전이 있는 것 같아요, 다만 시간이 걸릴 거예요.34:55

하지만 생물학적인 측면에서도 같은 질문이 있네요.34:59

그럼 목표는 언젠가 모든 사람이 사용할 수 있는 산업 표준이 생기는 것인가요?35:04

많은 요소들이 있고, 논의 과정에서 우리가 알 수 있는 것처럼 개선할 여지가 많이 있어요,35:10

G 값을 계산하는 방식이나 워터마크를 도입하는 방식 모두에 있어서요. 표면적으로는 저희가 믿고 있어요.35:16

시퀀스 자체에 보이지 않게 워터마킹하는 것이 앞으로 나아갈 수 있는 가장 좋은 방법 중 하나일 거라고 생각해요.35:22

AI가 생성한 시퀀스의 출처를 파악할 수 있도록요.35:29

하지만 여기 숨바꼭질이 조금 진행되고 있는 것 아닌가 하는 생각도 들어요.35:32

시스템이 더 보편화될수록,35:36

규칙과 구현 방식이 명확해지겠죠,35:40

다른 시스템을 통해 이를 무효화하는 것이 더 쉬워지지 않을까요?35:45

네, 그래서 이것은 매우 큰 위험이라고 생각해요.35:50

바로 그래서 우리에게 이런 조치가 중요하다고 생각해요, 이35:53

비밀 키를 이용해서 신호 자체에 워터마크를 삽입할 수 있는 것들이 필요하죠?36:01

단백질 서열이든 이미지든 그렇고, 또 다른 것들인데36:06

없애기 어렵게요, 이상적인 상황은 제거하기 어려울 정도로36:13

탐지 신호를 없애려면 기능을 변경해야 하는 정도까지36:19

원래의 기능이나, 설계했던 작업 능력을 파괴해야 하고36:23

그 안에 너무 깊숙이 내장되어 있어서 완전히 되돌릴 수 없죠, 하지만36:30

말씀하신 대로 이것이 반드시 최종적인 방법은 아니고, 초기 단계인 것 같아요36:35

초기 단계인데, 생물학적 객체 안에36:40

그 수준에서 어디에서 왔는지에 대한 이야기를 담고 있다니 정말 놀랍네요.36:47

저희가 워터마크를 처음 만든 건 아니라고 생각하지만, 저희는36:53

알 수 있을 정도로 인지할 수 없도록 하고 기능 보존을 보여주었으며, 시험관 내 및 실험실 기반 결과도 포함했어요.36:56

정말 놀랍네요. 정말 굉장한 내용이에요. 함께 해 주셔서 정말 감사합니다.37:04

정말 멋졌어요. 감사합니다.37:08

AI와 관련해서 가드레일이나 안전과 같은 단어들이 자주 사용되죠.37:11

하지만 여기 있는 이것은 이 연구실이 말처럼 행동하는 것을 증명하는 확실한 증거예요.37:14

다른 연구실들이 생각하기도 전에 AI 생성 콘텐츠에 워터마크를 찍는 기술을 개척했어요.37:19

확장 가능성을 증명했고, 출력 품질이나 속도에 영향을 미치지 않는다는 것을 보여줬어요.37:26

이제 그들의 아이디어는 규정에 반영되었어요.37:30

하지만 자만하지 않고 다음 위협이 무엇인지 예측하고 어떻게 하면 세계를 건설하는 데 도움을 줄 수 있는지 이미 생각하고 있어요.37:34

이 기술의 힘과 잠재력을 활용할 수 있는37:41

해로운 점들이 자리 잡지 못하게 하는 동시에.37:45

그리고 그들은 위협이 완전히 현실화되기 전에 그렇게 하고 있어요.37:48

궁극적으로 미래는 진위 여부 인증서와 함께 찾아올 거예요.37:52

저는 프로페서 한나 프라이와 함께 구글 딥마인드 팟캐스트를 진행해 왔습니다.37:57

이번 시리즈에는 더 많은 내용이 준비되어 있습니다. 그때까지 다른 에피소드를 확인하시고 곧 다시 만나요.38:01