해커들이 악성 콘텐츠를 사람들의 AI 채팅에 몰래 심어 넣고 있고, 피해자들은 전혀 모르는 상황이에요.00:00

패널 여러분, 혹시 AI를 너무 많이 믿나요? 커티스 씨부터 말씀해주세요.00:06

아마 지금은 조금 그런 것 같아요. 이전 에피소드에서 배운 것처럼, 초등학교 3학년 수준이에요.00:09

저는 개인적으로 그렇게 생각하지 않지만, 많은 사람들이 그렇게 생각하는 것 같아요.00:14

아마 조금 지나친지도 모르겠어요.00:19

안녕하세요. IBM의 주간 사이버 보안 팟캐스트인 Security Intelligence에 오신 것을 환영합니다.00:24

저희 전문가 패널들이 가장 큰 업계 뉴스 이야기를 실용적인 교훈으로 바꿔드립니다.00:28

저는 진행자 매트 카진스키입니다. 저쪽에는 또 다른 진행자인 패트릭 오스틴이 있습니다.00:34

패트릭, 오늘 기분은 어때요? 괜찮습니다. 오늘은 악성 페이지를 다루고 있지 않아요.00:37

그리고 저희와 함께 버닝 맨에서 돌아온 김미 패링턴 씨가 보안 탐지 엔지니어로 합류했습니다.00:44

커티스 피츠, Trust의 수석 CISO님과 데이브 맥기니스, IBM 컨설팅의 글로벌 사이버 위협 관리 담당 부사장 겸 선임 파트너님이 함께 하셨습니다.00:49

이번 에피소드에서는 세 가지의 AI 기반 사이버 공격과 그 변화에 대해 이야기해 볼 거예요.00:56

LLM을 활용한 해킹을 본격적으로 벌이는 위협 행위에 대해서도 자세히 알아볼 예정이에요.01:02

인터넷에 자신들의 에이전트 스웜을 풀어버린 위협 행위도 살펴볼 건데요, 지금은 그렇게 할 수 있거든요.01:07

하지만 먼저 다크 소서리에 대해 이야기해야겠어요.01:13

이건 AI 챗봇을 속여 악성 콘텐츠를 배포하게 만드는 공격 방식이에요.01:16

Vigilance Security 연구원들이 이 캠페인을 식별했는데, 이번 공격은01:25

'다크 소서리'라고 부르고 있는데, 철자는 s-o-u-r-c-e-r-e, 아시겠죠? 악성01:29

행위자들이 잘못된 정보와 피싱 링크를 인터넷에 뿌리고 있는데, 전통적인 SEO01:36

포이즈닝 공격과 비슷해요. 위협 행위자들이 SEO 최적화 기법을 사용해서 악성 콘텐츠를 상위에 노출시키는 방식이죠.01:42

콘텐츠가 SERP에서 상위에 노출되도록 하고, 사용자들이 구글 첫 페이지에 나타나는 모든 것을 신뢰했어요.01:46

그래서 멀웨어를 다운로드하거나 민감한 정보를 넘겨주는 경우가 있었고, 여기도 마찬가지예요.01:51

하지만 이제 공격자들은 AEO 최적화 기법이나 답변01:55

엔진 최적화를 통해 챗 GPT나 구글 제미니 같은 AI 챗봇이 합법적인 대화에서 그들의 콘텐츠를 인용하도록 만들어요.02:00

예를 들어 챗 GPT에 가서 X 사업체의 고객 지원 번호가 필요하다고 말하면, 그 사업체인 척하는 악성 페이지02:06

챗 GPT에 잘못된 번호를 알려줘요. 확인하지 않고 그 번호로 전화하면 사기꾼에게 정보를 넘겨줬어요.02:13

그리고 정보가 AI에서 나온다는 이유로 사람들이 쉽게 믿어버려요, 말씀드렸듯이요.02:19

Exploding Topics의 한 연구에 따르면 정기적으로 ChatGPT나 유사한 곳에서 검색하는 사람들의 91%가02:23

챗봇이 주는 답변을 확인하지 않고 그대로 받아들인다고 했어요. 91%의 사람들이요.02:31

제 생각에는 조금 너무 높은 비율이에요. 패트릭, 이 이야기가 어떻게 진행되고 있는지, 무엇을 생각하고 있나요?02:34

구글 검색 결과도 다시 한번 확인해야 할까 생각 중이에요.02:38

그럴 수도 있겠네요.02:41

거짓 정보가 담긴 악성 페이지가 수만 개나 있는데, 제가 구글을 통해 HP 고객02:44

지원에 문의하는 건 정말 끔찍한 일이지만, 제 계좌에도 영향을 줄 수도 있겠어요.02:51

그래서 궁금하네요, 있잖아요,02:56

김미, 혹시 91%의 사람들이 구글 검색에서 얻는 답변을 믿어도 될까요?03:00

그리고 구글은 인터넷이라는 우물을 오염시키는 이러한 잠재적 위험에 대해 어떻게 할 수 있을까요?03:06

제 얼굴이 무서운가요? 91이라는 숫자가 아주 큰 숫자라서 그래요.03:13

물론 동시에 그것이 대표성을 가진다는 것도 알아요.03:19

저도 방금 AI를 별로 신뢰하지 않는다고 말했지만, 저조차도03:23

AI의 답변을 받아들일 의향이 있는데, 그 소리가 합리적 들리고 제가 질문한 주제에 대해 지식이 있기 때문이에요03:28

제가 질문한 주제에 대해 충분히 알고 있어서 아마 그 답변을 따를 수 있을 것 같아요. 그런데03:33

같은 시각에 실수를 하고 잘못된 행동을 하고 엉뚱한 말을 하는 것을 발견하고, 그리고 저는03:40

저도 구글 검색 결과나 개요 결과를 의심하지만, 모든 사람이 그런 건 아니에요03:46

명백하고, 이 hele sei SEO 같은 것들... AE SEO라고 해야 하나, 아무튼03:51

이 모든03:58

이건 아직 뭐라고 불러야 할지 모르겠어요. 그냥 기존의 속임수와는 다른 새로운 각도이죠03:58

오래된 속임수와 같은 아이디어인데, 이제 에이전트를 속이는 거에요. 그리고 실제로04:05

에이전트를 속이기 쉽지 않아요. 그걸 알아냈죠. 초등학교 3학년도 알 수 있을 정도에요. 그들은04:11

그냥 배우는 중이고, 세상에 등장하고 있어요. 정말 빠르게 진행되고 있죠, 의심할 여지가 없어요.04:16

그렇지만, 그들은 아직 우리처럼 지식과 현명함으로04:20

판단할 수 있는 능력은 부족해요. 완전히 정확하지는 않더라도04:26

더 정확하게 속고 있는지 판단하려고 할 때, 하지만 그것이 어디에나 있잖아요.04:33

아무것도 믿을 수 없겠죠? 에이전트도 아무것도 믿을 수 없고, 누구도 아무것도 믿을 수 없잖아요.04:38

보고서에 따르면 많은 주요 기업들이 영향을 받았어요. 포춘 100대 기업들도 많고요.04:44

약 374개 기업이 영향을 받았고, 큰 이름의 은행이나 항공사도 포함되었어요. 이런 회사들은 어떻게 해야 할까요?04:50

어떻게04:57

정리해야겠죠. 그들의 잘못은 아닐 수도 있지만, 어느 정도 책임이 있다고 볼 수 있어요.04:58

그들이 처리해야 할 문제예요. 고객들이 항공권 지원을 받기 위해 가짜 핫라인에 전화하는 경우라면요,05:04

항공권 관련 지원을 받으려고 하는 거죠.05:09

고장난 프린터요. 커티스, 비행기가 지연되면 가짜 번호로 전화하는 건 별로 안 좋으실 거예요.05:16

저희가 받는 스팸 콜 생각하다가, 이 일이 2주 전 이야기를 떠올리게 하네요.05:22

그리고 여러분에게 잘못된 정보를 퍼뜨리기 위해 사람들이 얼마나 많은 노력을 기울이는지05:29

취약한 상황을 만들려고 하죠. 그리고 2주 전에 무슨 일이 있었냐면,05:35

잠깐만요, 한 일주일 반 정도 제 구글 계정에 대한 가짜 승인이 계속 들어왔어요.05:39

네. 그래서 저는 '이건 명백히 제가 한 게 아니에요.'라고 생각하고 거부했어요. 다음으로 넘어가죠. 별거 아니에요. 그만뒀어요.05:46

며칠 후, 저는 위조된 구글 번호에서 전화 한 통을 받았어요.05:52

그래서 구글로 떴어요. 제가 구글이 아니라고 생각하면서 전화를 받았죠.05:56

음, 이 사람의 설명을 들어봤는데. 네. 그들은 정보를 가지고 있었어요. 있잖아,06:01

가짜 승인이나 라스베이거스에서 승인을 받고 있다는 식으로, 당신은 거기에 살지 않잖아요. 모든 과정을 거쳤어요.06:07

저의 구글 계정을 악용해서 스팸 전화를 걸 내용을 미리 계획해 두었어요.06:13

사실 이 사람에게 칭찬해주고 싶었는데, 있잖아요, 정말06:18

지금 당장 당신을 인간적으로 싫어하지만, 아주 잘했어요.06:22

정말 많은 노력을 들였는데, 잘못된 사람에게 했어요.06:26

잘못된 사람에게 전화한 거지만, 만약 맞는 사람에게 전화했으면 필요한 정보를 얻었을 거예요.06:30

자, 이제 이걸 1분에 백만 번씩 하고 있다고 상상해 보세요.06:36

닿을 수 있는 최대한 많은 사람들에게까지요.06:40

문제는 우리가 너무 편안하게 지내고 있고, 그리고 기업 파트너나 대기업들이06:44

저 코드를 절대로 요구하지 않을 거라고 말하는 데 정말 능숙해졌다는 거예요.06:50

절대로 비밀번호를 요구하지 않을 거라고 말해요. 그렇게는 절대 하지 않을 거라고요. 하지만 그것만으로는 충분한지 모르겠어요.06:55

충분한 사람들에게 전달되고 있는지, 문자 메시지가 올바른 사람들에게 도달하는지, 이메일조차 그 사람들이 읽고 있는지 모르겠어요.07:00

모든 사람에게 알려야 해요. 소리가 괜찮다고 해서07:07

보기에 괜찮고 정보도 있다고 해도, 실제로 누구와 대화하는 건지 아닐 수도 있어요.07:13

직접 출처 웹사이트에 가서 질문하고, 그런 다음 출처 웹사이트에 가세요.07:19

HP로 가고, IBM.com으로 가고, Microsoft.com으로 가세요.07:25

그것들을 검증해 보세요.07:29

이제 가짜 정보를 퍼뜨리는 게 너무 쉽고, 챗봇에 데이터를 넣는 것도07:30

그렇게 복잡하지 않아요. 특히 이걸 제대로 막을 수 있게 될 때까지요.07:38

기업이 모든 걸 할 수 없으니 스스로를 보호하세요.07:41

자신의 정보를 안전하게 지키고 클릭하는 것들을 검증할 책임도 져야 해요.07:45

이 부분에 대해 조금 더 짚고 들어가자면, 커티스 씨 말씀처럼 정말 정교한 공격이었어요.07:51

그들은 직책에 '신뢰'라는 단어가 포함된 사람을 상대로 공격했어요.07:57

상당히 알아서 행동했지만, 많은 사람들이 그렇게 할 수 없어요.08:01

맞아요. 그래서 우리는 이런 공격의 특징을 인지할 수 있죠.08:04

하지만 일반 사용자의 경우, 구글에서 권위 있는 전화를 받고 계정 활동에 대해 알고 있다는 듯한 느낌을 받으면08:09

거기에 넘어가는 것을 비난하기는 어려워요. 말씀하신 것처럼 그들에게 칭찬을 해줄 수는 있지만08:15

더 이상 진행하지 않도록 충분히 알 수 있을 거예요. 일반적인 사람은 자신의 잘못을 인정하지 않아요.08:21

그들은 이걸 직업으로 하고 있는 게 아니에요. 패트릭 씨에게 돌아갑니다.08:26

제 질문은 데이브 씨께 하고 싶은데, 이것은 AI와 관련이 있어요.08:30

웹에서 이 콘텐츠를 수집하는 것과 관련이 있죠.08:35

어떻게 신뢰할 수 있는 출처에서 콘텐츠가 왔는지 확인하나요, 아시다시피08:38

검색 엔진이 웹사이트가 신뢰할 수 있는 출처인지 확인하는 것과 같은 방식으로요.08:44

AI 검색 엔진이 있을 때처럼 옛날에는 무언가를 검색했을 거예요.08:48

작은 요약본을 읽고 URL을 확인하고, 조금 이상하거나 낯설어 보이면 아마08:55

그건 아니라고 생각했어요. 하지만 지금 AI가 출처를 모호하게 만들고 있는 것 같아요.09:02

기업이 이를 방지하고 사용자의 신뢰를 회복하거나, 제가 말하건대09:09

보고 있는 내용이 어느 정도 정확한지 회복할 수 있을까요? 네, 음, 우리가 이야기하는 것은09:15

정말 무엇을 공격하고 있는지에 대한 거죠?09:21

신뢰를 공격하는 거죠. 맞아요, 모두가 신뢰의 어떤 버전을 내놓았죠.09:25

신뢰하지만 검증되었고, 살아있다는 게 다행이에요, 그렇죠?09:31

가끔은 검증된 방법을 사용하기도 하죠. 그런데 다시09:35

정보 시스템을 오염시키는 것으로 돌아갈 수 있어요.09:39

이것은 AI가 이제 활용하는 또 다른 공격 경로예요.09:43

오랫동안 해왔어요. 혹시 워 오브 더 월드 아시는 분 계신가요?09:50

거짓이었지만 라디오에서 들려오는 목소리를 믿었기 때문에 외계인이 공격한다고 생각했던 거죠?09:55

제가 떠올릴 수 있는 가장 오래된 사례는 선전선동이었어요.10:02

그건 별로 좋지 않네요. 저는 워 오브 더 월드 이야기가 마음에 들었어요. 그래서10:07

외계인이 정말 거기에 있는지 확인해보려고 전화한 사람 있어요? 아니요, 알겠습니다. 죄송하지만10:13

그 이야기에 대한 스포일러 경고를 처음에 했어야 했는데, 꽤 오래된 이야기네요.10:19

이제 라디오 방송을 들으러 갈 필요가 없어서 고맙습니다. 알아두면 좋네요. 그런데10:23

톰 크루즈가 나오는 멋진 버전이 있는데 정말 봐야 해요. 죄송하지만10:28

라디오보다 조금 더 현실적이지만, 할 수 있는 일이 많지 않아요. 사실 이건10:34

가장 기본적인 수준이에요. 물을 마시는 수원지를 오염시키면 '이 물 맛이 이상해' 하고10:38

마시면 안 되죠, 그렇죠? AI 거버넌스도 도움이 되겠지만10:44

교육도 큰 도움이 될 거예요. 그런데 우리가 이야기했지만 아직 전환하지 못한 것은10:50

항상 다른 쪽 끝에 사람이 있을 거라고 생각하는 이유예요.10:56

만약 정보가 부족한 또 다른 에이전트라면, 우리가 초등학교 3학년인 것과 같을 수 있어요?11:01

초등학교 3학년 에이전트가 다른 쪽 끝에 있고, 소비하는 쪽 끝에 있다면 어떨까요?11:07

내 아바타일 수도 있고, 당신의 아바타일 수도 있죠. 무엇이든 가능해요. 그렇죠.11:13

그러니까 지금은 이 문제의 표면만 긁어보고 있는 거죠.11:17

누구도 놀라워하지 않을 거라고 생각해요. 패트릭 씨는 곧 알게 될 거예요.11:21

이건 새로운 공격이 아니에요.11:28

새로운 공격이 아니에요. 이 말은...11:31

검색 엔진 최적화가 해킹당하는 일도 있었잖아요, 그렇죠?11:34

정보 자체를 공격하면 신뢰가 무너지고, 결국 아무것도 믿을 수 없게 되거나,11:40

섞여서 결국 아무것도 믿지 못하게 되거나, 신뢰를 보장하기 위한 조치를 취해야 해요.11:46

신뢰를 보장하는 방법을 찾았어요. 예를 들어 특정 웹사이트를 클릭할 때11:52

그들이 말하는 대로 그들이고, 제가 말하는 대로 저라는 것을 확인하고 이제 이 거래를 실행할 수 있어요.11:57

거래를 진행할 수 있죠. 그런데 우리는 그걸 훨씬 더 엄격한 용어로 생각해요.12:03

은행에 로그인하고, 이 거래를 진행할 수 있어요.12:10

그런 기술들을 정보 소비에 적용할 수도 있어요. 아시죠, 그 정보가12:16

스크랩되고 있잖아요. 좋은 점은 문제를 재사용하면 그냥12:22

현대적인 해결책을 찾으면 돼요. 물론이죠.12:28

그리고 아주 멋진 모호함 속에서 다음 주제로 넘어가야겠어요.12:32

정리하자면, 인간으로서12:37

아직도 확인해야 할 책임이 큽니다.12:41

에이전트에게도 똑같이 하도록 가르치는 방법을 생각하고 있지 않다면, 시작해야 합니다. 그 문제를 해결해야 할 테니까요.12:45

이번 주 다음 소식은 LLM 지원 해킹이 진행되고 있습니다.12:52

이는 위협 인텔리전스 기업인 그레이 노이즈의 보고서에서 나온 것입니다. 한 위협 행위자가13:02

최소 6월부터 시작된 몇 달에 걸친 공격을 진행해 왔습니다. 이 행위자는 중요한13:07

유비쿼티 워드프레스와 지록셀 스위치에서 취약점을 악용하여 수천 개의 문서를 탈취했어요.13:13

최소한 한 서방 정부의 자료를 빼갔고, 그레이노이즈는 이 공격자가 LLM을 사용하여13:18

이 시스템에 침투하는 데 사용하는 도구를 개발하고 있는데, 아마도 17개의 스크립트를 사용해서13:23

Microsoft의 안티 멀웨어 스캔 인터페이스를 통과하게 만들었어요. 그레이노이스는 이 위협 행위자가 누구인지 정확히 알 수 없어요.13:28

그리고 왜 그런 행동을 하는지 정확히는 모르지만, 침투의 규모 때문에 사람들의 이목이 집중되고 있어요.13:34

패트릭, 이 사건에서 어떤 점이 눈에 띄었나요? 흥미롭게도 제 눈에 띈 것은 일종의 거의 철학적인 차이점이에요.13:39

보안 관점에 대한 것이었어요.13:45

그레이노이즈 보고서에 따르면, 한 가지 보안 의견은 적들이 IP 주소를 순환한다는 거예요.13:48

차단하는 것이 무의미하게 만들어요. 그리고 이 특정 공격자에 대해13:55

동일한 IP 주소를 사용했다는 점을 언급했어요.14:02

가짜 미끼인 호네이팟을 여러 개 공격하기 위해 사용했어요.14:03

그러면 혹시 이것이 어느 정도 긍정적인 결과일까요, 아시다시피,14:09

기본적인 사이버 보안 위생이나 실천을 따른 긍정적인 측면을 보여주는 것일까요?14:15

기본적인 사이버 보안 관행이죠. 커티스 씨, 어떻게 생각하세요?14:21

네, 제가 이런 자리에 나올 때마다 항상 말씀드리는 것 중 하나는 기본적인 위생 규칙이 대부분의 취약점을 보호해준다는 거예요.14:25

대부분의 취약점을 보호할 수 있어요. 아시다시피, 이번 공격에서 악용된 몇 가지 취약점을 조사해봤어요.14:32

이번 특정 공격이나 일련의 공격에서요.14:38

유비쿼티의 경우, 패치와 함께 5월에 배포되었죠?14:41

새로운 업데이트된 OS는 이 익스플로잇이 20일쯤 뒤에 이루어졌어요.14:48

그것은 저희가 CISO에서 많이 이야기했던 것을 강조해요.14:53

그리고 고객들과 이야기하는 것인데, 이 것들을 업데이트해야 하는 속도라는 거죠. 모두14:59

심각한 취약점이라고 나열되었지만, 분명히 말씀드리면 모든 심각한15:04

취약점이 실제로 심각한 취약점은 아니에요. 변수가 많아서15:10

취약점을 평가해서 실제 중요도를 결정하는 거죠. CVSS 점수를 매긴다고 해서 세상이 불타는 것은 아니에요.15:15

세상이 불타는 것이라고 단정할 수는 없지만, 그렇다고 완전히 무시해도 되는 건 아니에요.15:20

그러니까 우리는 확실히 해야 해요15:24

발표되는 대로 문제를 해결하는지 확인해야 합니다. 특히 귀하의 중요한 장비에 대해서는,15:25

장비처럼 전체 네트워크를 실행하는 것과 같이, 그리고 더 나아가서15:32

진행할수록 거의 모든 것이 인증, ID 관리와 관련이 있었어요. 문을 잠그는 것과 같다고 할 수 있죠,15:37

문을 잠그는 것과 관련된 모든 것, 누가 여러분의 사람인지 확인하는 것,15:44

액세스도 검증하고, 트래픽이 예상되는 곳에서 오는지 확인해야 하고,15:49

통화가 집 안에서 걸려오지 않는지 확인하는 거죠?15:54

중요한 건 디지털 문을 잠그는 거예요. 기본적인 사이버 위생 관점에서 말씀드릴게요.15:57

이런 뉴스 기사를 볼 때마다 누군가는 아주 기본적인 사이버 위생 관리를 간과했어요.16:05

네, 여러 취약점을 악용한 것처럼 보입니다16:12

한 명이 LLM을 이용해서 여러 기술들을 사용했고요,16:16

그렇다면 조직은 어떻게 이런 것을 막아야 할까요?16:23

물론 다른 회사의 취약점을 제가 직접 해결해 줄 수는 없잖아요.16:28

그럼에도 저는 영향을 받습니다. 데이브, 해결책은 무엇인가요?16:34

아니면 모든 것을 뽑아버려야 할까요? 우리가 이야기하는 건 AI는 증폭기라는 거죠.16:38

힘을 증폭시키는 요소예요. 시도하는 일의 힘을 증폭시킬 거예요, 그렇죠?16:45

좋은 것도, 나쁜 것도, 그냥저냥한 것도 있죠. 고양이 밈을 좋아한다면 AI를 사용해서 훨씬 더 많이 만들 수 있겠죠?16:50

그러니까 힘을 증폭시키는 요소예요.16:57

지금 우리가 이야기하는 것은 한 명이 대규모로 악용하는 것이죠?16:59

알다시피, 그 모든 연산은 무언가를 해야겠죠?17:07

이것 또한 자연스러운 현상이죠?17:10

커티스와 키미가 말했듯이, 우리가 보호하려는 것이17:15

알지 못하는 외계 기술도 아니고, 우리가 수십 년 동안 만들어 온 것도 아니에요.17:19

수십 년 동안 개발해 온 것이죠. 어떻게 문을 닫아야 하는지 알아요.17:25

조금 더 다듬어 볼 수도 있겠죠. 예를 들어, 몇 가지를 좀 더 세분화할 수도 있을 거예요.17:31

모든 것을 하나의 큰 A 네트워크에 둘 필요는 없을 수도 있어요.17:36

맞아요. 그런 큰 A 중 하나 말이죠, 아주 크고 큰 것들을요.17:39

영역, 영역, 영역. 영역 네트워크. 네, 네.17:44

'A 금지', 라고 할까요. 네, 같은 개념이에요, 맞죠?17:48

단순히 접근 제어와 권한 관리, 그리고 아시겠지만 RBAC과 그 모든 좋은 것들이에요.17:53

들어오지만, 어쩌면 더 작은 규모로 하는 게 좋을 수도 있어요. 컴퓨팅 자원도 활용할 수 있죠.17:58

활용할 수도 있죠.18:02

이러한 도구들의 규모를 방어에 활용할 수 있어요, 맞죠?18:04

같은 유형의 공격들이 발생하고, 동력을 얻고 있는 것을 보고 있어요.18:11

같은 종류의 방어도 동력으로 작동할 수 있죠.18:15

데이브의 의견을 조금 더 덧붙여서 말씀드리면, 다른 에피소드에서 고스트 재킹에 대해 이야기했고요.18:18

음, 에피소드에서 에이전트가 너무 많은 권한을 갖게 될 때18:23

그리고 수직적으로 확장하는 것이 아니라 조직 내에서 수평적으로 이동할 수 있는 능력도 과도하게 갖게 될 때요.18:29

조직 내에서요. 음, 많은 노력이 필요하지 않아요.18:36

집 안의 모든 문이 열려 있다면, 할 일은18:39

그냥 들어오면 되는 거죠. 그러니까 제로 트러스트가 부족하고18:42

인증 메커니즘도 소홀할 때요. 작은 기업들은 어쩌면18:48

이런 문제들을 크게 고려할 자원이 없을 수도 있고요.18:55

하지만 대기업의 경우 수십만 명의 사람들이 있고18:59

그들 중 누구라도 실수를 하거나, 무언가를 열어놓거나, 실수로19:04

잘못된 링크를 클릭하는 것과 같은, 더 큰 기업들은 거버넌스 문제가 돼요.19:09

하지만19:17

사람들을 훈련시키고 검증하는 것은 거버넌스 문제이지만, 사람들은19:17

책임감을 가져야 하고, 그 이상으로 할 수 있는 일은 제한적이에요.19:24

소규모 기업의 경우, 생각하지 않고 있다면 생각을 해보세요.19:27

현관문을 잠그고 디지털 자산을 안전하게 보호할 방법을 찾아보세요.19:31

모든 사람에게 모든 것에 접근할 수 있는 권한을 주지 마세요. 필요하지 않아요.19:35

그것만으로도 이러한 위협을 완전히 제거하는 것은 아니지만 줄일 수 있어요.19:39

가상으로 얼굴을 때리는 것과 같고, 에이전트를 도입하기 전까지는 쉽게 말할 수 있죠.19:45

에이전트를 섞기 시작하면, 그 에이전트를 제어하는 사람들이 진정한19:50

에이전트를 어떻게 제어해야 하는지에 대한 좋은 개념이 없고, 에이전트들은 계속 안심시키면서19:56

걱정 마세요, 제가 다 알아서 해요, 괜찮아요. 하면서 다른 회사에 공격을 가하는 거죠.20:02

인터넷상에서 이야기해서는 안 되는 회사에 공격하는 거군요. 킴미, 말씀해주셔서 기뻐요.20:09

말씀해주신 게 이 문제에 대해 최근에 많이 생각하게 됐어요.20:13

마치 저희가 오랫동안 제로 트러스트, 신뢰와 함께20:16

검증이라는, 절대 믿지 말고 항상 검증해야 한다는 이런 것들을 이야기해 왔는데, 에이전트가 나타나자마자 사람들은 이 것을 신뢰할 거라고 생각하는 거죠.20:21

이것에게 모든 것을 맡겨야겠다고 생각하는 건 정말 미친 짓이에요. 왜냐하면 저희 대부분은 내부에서 무슨 일이 일어나는지 제대로 모르잖아요.20:27

저희는 그냥 '오, 이 에이전트를 여기에 두고 모든 것에 연결하면 알아서 이것 저것을 해 주겠구나.'라고 생각하는 거죠.20:33

그러면 기본적인 보안 위생 관리가 전부 날아가 버려요, 왜냐하면20:38

마법 에이전트와 마주치면 '어, 저것 좀 봐!'라고 생각하게 되는데, 그중 큰 부분은20:42

회사에서 저희에게 배포할 때, 일종의 보안망을 제공하지 않았어요.20:46

보안이 강화되거나 그런 것도 없었고, 몇 가지 제한 장치는 있었죠.20:52

에이전트는 좋은 역할을 하고 나쁜 짓을 하지 않도록 설계되었는데, 시작은 좋았지만 그 이후에는20:56

저희 인간들이 즉시 장악해서 원하는 대로 사용했죠. 많은 경우에21:02

부정적인 일들을 저질렀어요. 데이브, 제가 기억하기로는 오픈 클로 얘기했던 에피소드에서21:08

나왔을 때 벌어진 모든 일들을 봤던 것 같아요. 그리고 제가 가장 좋아하는 데이브의 명언 중 하나가21:14

그것과 관련된 일들이 있었는데, 그 에피소드였는지 다른 에피소드였는지 기억은 안 나지만21:19

AI는 우리가 가진 가장 유용한 내부자 위협이라는 데이브의 명언 중 하나예요.21:22

계속해서 사실로 드러나고 있어요. 그리고21:28

이번 주 마지막 이야기로 넘어가야 할 것 같아요.21:35

이건 AI 스웜이 페이퍼컷을 공격한 사건이에요.21:40

그레이 노이스에서 또 다른 보고서가 나왔어요.21:48

이번 보고서는 수백 개의 AI 에이전트 스웜을 사용하여 페이퍼컷이라는21:51

프린트 관리 소프트웨어를 해킹한 위협 행위를 다루고 있어요. 페이퍼컷, 페이퍼컷이죠.21:55

에이전트들이 침투하자, 피해자의 윈도우와 액티브 디렉터리 환경을 공격했어요.21:59

그레이 노이스에 따르면 이 캠페인은 최소 440개의 페이퍼컷 인스턴스를 해킹했고, 이는 395개 조직에 속해 있어요.22:03

48개국에서 발생했는데, 개인적으로 몇 가지 흥미로운 세부 사항이 눈에 띄었어요. 첫 번째는 어떻게22:10

이 공격이 얼마나 빠르게 진행되었는지예요. 그레이 노이스에 따르면 이 공격자는 빈 작업 공간에서 시작해서22:16

피해자에게는 단 4시간 만에 원격 코드 실행을 성공시켰어요. 정말 엄청난 시간이에요.22:22

또 다른 흥미로운 점은 이 위협 행위자가 누구든, 에이전트를 제대로 통제하지 못했다는 거예요.22:28

어떤 국가들이 공격받는 것을 제한하려고 시도했다는 증거가 있었고, 에이전트가 공격해야 할 대상국가가 아니었음에도 불구하고 공격을 했어요.22:34

오픈AI나 앤트로픽스 같은 곳도 이런 문제를 어려워하는 것을 보면 그렇게 놀랍지도 않아요.22:41

위협 행위자들이 이와 관련된 문제로 어려움을 겪는다는 것은 놀라운 일이 아니에요. 그런데 패트릭, 여기 패트릭에게 넘겨드릴게요.22:46

이 이야기에서 어떤 점이 눈에 띄었나요? 이번 주 가장 끔찍한 이야기가 될지도 몰라요.22:51

제가 보기에 정말 미래지향적이고 사이버펑크 느낌이 들기 때문이에요.22:56

아무것도 없이 시작해서 440개의 인스턴스를 해킹하다니요.23:02

48개 국가에서 소프트웨어를 해킹했는데23:09

본질적으로 윌리엄 기브슨의 카운트 제로와 매우 비슷해요. 그렇죠.23:12

그가 자신의 머리를 네트워크에 연결하자마자 바로 뇌가 손상되는 것처럼요. 왜냐하면 그는23:19

무엇을 해야 할지 모르기 때문이에요. 음, 저도 그 점이 좋았어요.23:25

LLM 자격 증명 탈취와 같은 트렌드는 정말 멋지다고 생각했어요.23:31

음, 마치 빌리는 것과 비슷하게23:37

전력망의 전기를 훔치거나 이웃집 케이블을 통해 얻는 것처럼23:41

무료 연산을 얻기 위해서요. 커트, 제가 혹시 이웃이 OpenAI의 컴퓨팅 파워를 몰래 끌어다 쓰고 있어서 제 아파트에서 전선 같은 게 보일 가능성이 얼마나 될까요?23:47

이웃이 OpenAI의 컴퓨팅 파워를 훔치고 있어서 제 아파트에서 전선이 튀어나올 것 같아요.23:53

네, 공중전화부터 시작됐잖아요, 그렇죠?24:00

해커처럼 누구나 할 수 있죠. 크래커잭 박스를 구해서 휘파람을 불면 무료 장거리 통화를 할 수 있어요.24:03

음, 그냥 흘러갔어요. 네.24:10

그냥 흘러간 거죠. 클라우드 계정이 새로웠을 때 무료로 클라우드 컴퓨팅을 사용했던 클라우드 재킹이 있었잖아요.24:13

그리고 음, 그냥 그런 것의 다음 버전이에요.24:19

모든 게 옛것이 새롭게 다시 나타나는 거죠. 제 첫 번째 보안 인텔리전스 팟캐스트에서 Evil Mog가 말했듯이.24:22

그게 바로 Dave가 지적한 내용과 일맥상통하는 부분이에요.24:29

물론 그렇게까지 가능할 거라고 생각하지는 않아요. 아직 Ready Player One처럼 모두가 인터넷에 접속해서24:33

가상으로 삶을 살아가는 그런 세상은 아니라고 봐요.24:40

하지만 개발자들이 반드시24:43

자신의 에이전트를 보호하는 방법을 알아야 한다고 생각해요. 여기서 보호한다는 건 Hugging Face처럼 관리하는 거죠.24:50

악의적인 공격자들도 더 잘할 거라고 기대하지는 않지만, 그게 조금 더24:57

무섭죠. 아이디어와 컴퓨터만 있으면 누구나 피해를 줄 수 있으니까요.25:03

주의하지 않는 사람들에게 큰 혼란을 야기할 수 있어요. Google Threat Intelligence Center의 이야기에도 또 다른 인용구가 있죠.25:11

그녀는 우리가 이야기했던 모든 내용을 되짚어봐요.25:17

기본적인 보안만 제대로 갖추면 이런 일들이 대부분 차단될 수 있어요.25:20

다중 인증, 가능하다면 패스 키를 사용하세요. 일부 기술은 패스 키를 지원하지 않는다는 건 알아요.25:26

패스 키 외에도 신원 및 접근 관리 보호 방법이 여러 가지 있다는 걸 알아야 해요.25:32

인증25:39

사용자가 불편하더라도 잠금 기능을 활성화해서 사용하도록 강제해야 해요.25:40

이해해요. 하지만 가이드레일을 마련해야 할 시점도 있어요.25:47

세상이 대신 해 주지 않으니까요. 우리가 보호하는 데이터에 대한 책임이 있는 거죠.25:54

정보화 시대라는 인용구를 덧붙이자면, 제 초기 감독관 중 한 분 말씀이에요.25:59

정보는 금과 같아요. 그리고 우리는 그 모든 금을 보호해야 하고, 포트 녹스를 건설해야 해요.26:05

포트 녹스 금고 안으로 그냥 들어갈 수는 없죠, 그렇죠?26:12

그 금을 보호해야 해요. 그리고 제가 이런 이야기를 볼 때마다26:14

그렇게 하지 않았어요. 그러다 누군가 침입해서 이 모든 걸 큰 문제로 만들더라고요.26:21

아니, 제일 먼저 해야 할 일을 안 했잖아요.26:26

그리고 그걸 악용한 사람을 원망했죠.26:31

이런 상황에 대해 항상 안타까워요. 예산 문제도 있고, 거버넌스 문제도 있고,26:34

사업상의 제약도 있어요. 그리고 이사회에서 더 빨리, 더 효율적으로 제품을 출시하고 싶어 하죠.26:41

그리고 더 저렴하게 만들고 싶어 하죠. 항상 이유가 있어요. 늘 그렇다고요.26:46

하지만 기본적인 것들을 해야 합니다, 그렇지 않으면 상황은 계속 악화될 거예요.26:50

그냥 멈추는 시나리오는 없어요. 그렇죠? 그러니까 우리는 대비해야 해요.26:55

우리 조직의 취약점을 파악하기 위해 이런 도구를 사용할 수 있는 시나리오는 없을까요?27:00

왜일까요? 어디에 그런 도구가 있을까요, 있잖아요. 어떤 AI 도구가27:07

직원 X퍼센트가 멀티팩터를 제대로 설정하지 못했어요.27:10

이 서버들이 제대로 구성되지 않았어요.27:15

그리고 그걸 좀 더 쉽게 도입할 수 있게 만들려면 어떻게 해야 할까요?27:18

제가 말씀드리려던 건, 제대로 하고 있다면 그런 도구들이 어느 정도는 갖춰져 있거나, 적어도 지금 그걸 만들고 있는 거겠죠?27:25

그런 도구를 개발해서 이런 문제들을 해결하려고 노력하고 있어요. 우리가 오랫동안 고민해 온 중요한 것 중 하나는 어떻게27:32

에이전트, 접근 관리, 있잖아요. 어떻게 하면 생성자를 인간과 분리해서 식별할 수 있을까요?27:39

생성했고, 누가 궁극적인 책임을 져야 하는지, 그렇죠?27:45

알잖아요, 환경 전반에 걸쳐 도구들이 있어요. 우리는 끊임없이 무언가를 더 만들려고 노력하고 있어요.27:49

네, 저희는 던지고 있어요27:54

방어 AI를 공격 AI에 최대한 빠르게 투입하고 있지만, 안타깝게도27:56

반응적인 일이에요. 항상 뛰어다니면서 문제점을 잡고, 아시다시피28:03

무작정 빨리 움직이고 있어요. 왜냐하면 그들이 우리를 공격해오고 있고, 저희는28:06

기회가 없어요. 하지만 문을 잠그고, 아시다시피 상황을 유지하는 것은28:12

분리해야 해요. 제 잠수함이 가라앉지 않으려면 모든 중요한 구획들이 잠겨야 하거든요.28:18

닫혀 있어야 하고, 외부 침입을 받더라도 작은 구멍이 생기더라도28:25

하지만 군대 훈련 경험에 비춰보면, 그렇다면 저희는 무엇을 해야 할까요?28:32

이 에이전트들을 어떻게 해야 할지 모르겠어요. 분명히 여기 남을 거니까 더 잘 훈련시켜야 해요.28:38

더 잘 가르쳐야 합니다. 왜냐하면 그들은 윤리를 모르고, 인터넷에 있는 정보만 학습하거든요.28:43

인터넷에는 많은 쓰레기가 있고, 이제는 그 쓰레기를 작성하는 사람들도 많아요.28:49

그렇기 때문에 스스로 답변을 검증하기 위해 내용을 더하고 있어요.28:54

정확히 말씀드리자면 오늘 저희가 이야기한 내용을 생각해보세요. 첫 번째29:01

이야기는 신뢰를 악용하고 허위 정보를 퍼뜨리는 것에 관한 것이고, 두 번째는29:08

공격의 규모에 대해 이야기하고 있고, 지금처럼 빠르게 진행되는 것에 대해서도 이야기하고 있어요. 이번 사례는 정말29:13

속도가 중요한 요소인 것 같아요. 저희가 계속 말씀드리는 것처럼 어떤 공격 경로도29:18

안전하지 않을 거예요. 그러니까 해야 합니다.29:23

그러니까 만약 저희가29:29

이것을 경종으로 받아들인다면 정말 그래야 합니다. 이 문제를 경종으로 받아들인다면29:32

방어 체계를 어떻게 구축할지 다시 생각해볼 기회가 생깁니다.29:37

새로운 것을 만들 필요는 없어요. 이미 말씀드렸잖아요. 저희가 명확하게 설명했다고 생각해요.29:41

문 잠그세요, 그렇죠? 누가 지나가는지 확인하세요, 그렇죠?29:47

우리가 할 줄 모르는 일을 하자는 게 아니에요. 하지만 현재 엔터프라이즈 보안을 보면29:52

아이덴티티 팀은 이 모든 것들이 분리되어 있고, 전혀 모르는 거죠.29:58

위협 인텔리전스에서 무슨 일이 일어나고 위협 행위자들이 실제로 무엇을 하는지30:04

적들이 누구를 사칭하려는지, 네트워크 팀은요, 음, 마이크로30:07

세분화, 또 다른 거잖아요. 그냥 원래대로 가는 게 좋겠어요.30:14

그냥 그대로 가게요. 에이전트를 배포해서 정책 변경을 더 빠르게 적용할게요, 좋아요, 그렇죠? 저희는30:20

기술도 있고 아이디어도 있고, 그 기술들을 활용할 수 있는 능력도 있어요.30:27

그 아이디어를 통해 방어 체계를 강화하고, 완벽한 세상에서처럼 일들을 할 수 있죠.30:33

그렇죠? 위협 인텔을 소비해서 처리하고 점수를 매기고 자동으로 테스트를 하잖아요.30:39

그리고 문제가 있는지 확인하고, 대응책을 만들어서, 완화하거나30:45

실제 해결을 통해서도 상관없어요. 공격받아도 대비가 되었으니까요.30:51

정말 멋진 꿈이죠, 그러니 해봐야죠. 좋아요, 해 봐요. 그건 꿈이 아니에요, 우리가 하는 일이에요.30:57

매일 카미, 이것이 우리의 꿈이고, 우리의 북극성이에요. 매일 그렇죠, 데이브.31:02

저를 대신해서 제 일을 해주시고, 에피소드 전체를 멋지게 요약해주셔서 감사합니다.31:09

에피소드가 많은 부분에서 지난 30분 동안 사람들에게 문을 잠그라고 말하는 데 시간을 보낸 것 같아요.31:14

문을 잠그라고 말해야 하지만, 믿거나 안 믿거나, AI 때문에 많은 사람들이 문을 잠그는 것을 잊어버렸어요.31:19

그리고 우리는 나타나서 '저기요, 문 잠갔어요?'라고 말해야만 해요.31:25

이 주 에피소드는 이것으로 끝입니다.31:29

저도 이것으로 마무리합니다. 이번이 Security Intelligence와의 마지막 에피소드입니다.31:33

음, 지난 한 해 동안 우리가 만들어온 쇼에 정말 자부심을 느끼고, 패트릭에게 넘겨주면서 좋은 상태로 떠나게 되어 기쁩니다.31:37

패트릭이 앞으로 호스팅을 맡게 되어서요.31:43

음, 여러분 모두를 억지로 잡아놓은 상태로 이렇게 말씀드리게 되네요. 이 쇼를 가능하게 해준 모든 분들에게 감사 인사를 드리고 싶습니다.31:47

페드로, 조반니, 안드레, 마크, 엘리, 앰버, 셀마, 알렉스, 브라이언에게 감사드립니다.31:53

아마 잊고 있는 분들도 있을 거예요. 하지만 정말 감사합니다. 특히 김미, 데이브, 커티스와 지금까지 출연해주시고 앞으로도 출연할 패널 여러분에게 감사드립니다.31:58

지금까지 쇼에 출연해주신 모든 패널과 앞으로도 출연할 패널들에게 감사합니다. 시청자와 청취자 여러분께도 감사드립니다.32:04

유튜브 댓글로 여러분과 이야기하는 것을 그리워하겠지만, 이제 쇼가 특정 문제를 해결하지 못할 때마다 패트릭에게 소리 지를 수 있습니다.32:09

쇼가 특정 문제를 해결하지 못할 때마다 패트릭에게 소리 지르세요.32:12

패트릭, 당신의 지도 아래 모든 것이 어떻게 발전해 나갈지 기대하겠습니다.32:17

그리고 다른 분들은 이 쇼가 끝났다고 생각하지 마세요.32:21

그래서 Security Intelligence를 팟캐스트를 들을 수 있는 곳에서 구독해주세요, 에피소드를 놓치지 않도록.32:25

Matt, Security Intelligence에 대한 당신의 지도와 지혜, 그리고 그 모든 것에 정말 감사합니다.32:31

매주 진행하는 모습을 보는 것은 즐겁고, 그런 열정적이고32:36

지적인 게스트들과 연결하고 사이버 보안을 정말 흥미로운 주제로 만들어서요.32:42

매주 관심을 가질 만한 주제가 되도록 노력했어요.32:49

당신이 남겨준 거대한 발자취를 채우려고 노력하게 되어 기쁩니다.32:52

아마 운동도 해야 할 것 같지만, 제 발 사이즈에 대한 농담으로 시작할게요.32:58

저와 관련된 모든 분들이 당신을 그리워할 거예요, 정말 감사합니다.33:11

네, 정말 감사합니다. Matt, 머리가 길어지는 데 많은 시간을 쏟으셨네요.33:18

제 것만큼요. 저는 모든 세럼과 파우더를 사용했는데, 전혀 안 돼요.33:22

효과가 없네요. 남자와 법 사이의 정말 이중적인 상황이 벌어지고 있어요, 아시죠?33:29

우리 뒷모습을 마주보게 하는 버디캅 쇼 같아요.33:35

정말 멋질 거예요.33:38

맷, 당신이 많이 그리울 거예요. 정말 좋은 시간이었습니다.33:40

맷, 당신께 백만, 천문학적인,33:47

보안 인텔리전스 팟캐스트를 위해 해 주신 모든 일에 대한 무한한 감사의 말씀을 드리고 싶습니다.33:52

그리고 정말로 IBM에서 사이버 보안을 더 폭넓게 지원해 주셔서 감사합니다.33:57

당신은 엄청나게 재능 있는 작가, 편집자이자 스토리텔러이고, 보고34:02

지난 한 해 동안 보안 인텔리전스 팟캐스트의 진행을 맡는 모습을 보니 정말,34:09

감동적이었어요.34:17

이 일에 정말 재능이 있으신 것 같아요, 그리고 제가 기쁘고 감사하게도 당신이34:19

이 일을 처음부터 시작하도록 도와주셔서요.34:26

당신을 정말 그리워할 거에요, 아주 겸손하게 말씀드리는 건데요, 하지만 당신이34:30

놀라운 일을 계속 하시게 될 거라고 믿고, 어떤 일이든 옆에서 응원하게 될 거라는 기대가 돼요.34:35

이것으로 이번 에피소드는 끝내겠어요.34:43