오신 분들 모두 감사합니다. 에이전트 오케스트레이션을 사용하여 다양한 드론들을 제어하고00:12

앞에 놓인 여러 가지 과제를 달성하는 방법에 대해 이야기하겠습니다.00:20

이 프레젠테이션을 조금 다시 생각해보려고 슬라이드 바로 시작하는 것보다는, 일단 드론을 날려보도록 하겠습니다.00:24

왼쪽에는 실시간으로 보이는 화면이 있습니다.00:30

지금부터 진행할 내용을 보여드릴게요. 혹시 화면이 보이나요?00:36

제가 조종하고 있습니다.00:41

자, 가세요. 좋아요. 음, 저희는 지금 남쪽 도시 어딘가에 있는데, 여기가 우리00:43

본사 위치입니다.00:50

드론이 몇 대 떠 있고, 지금 발사 버튼을 누르려고 합니다. 이 드론들은 도킹 스테이션에 있습니다. 저희는 이걸 인프라스트럭처 드론이라고 부르고 있는데, 실제로...00:50

기지국 형태로 설치되어 있는 드론들을 말합니다. 그래서 저희는 이것을 인프라스트럭처 드론이라고 칭하고 있으며, 실질적으로...00:57

이 드론들이 이제 전국 각지의 전력 회사, 공공 안전 기관, 그리고 건설 회사에 수천 대씩 심어져 있습니다.01:03

제가 지금 키보드를 이용해서 아주 간단하게 조작하고 있습니다.01:09

여기 날아갈 수 있습니다. 이 지역을 아시는 분들은 아시겠지만, 이곳은 산마테오입니다. 혹시 조금 확대해 본다면, 안개 때문에 희미하게는 SF의 스카이라인을 볼 수도 있을 겁니다.01:15

안개가 낀 상태입니다.01:21

도시가 항상 여기에 있으니까요, 혹시 산호세 공항을 잠시 인사를 나눌 수 있겠네요.01:28

비행기가 이륙하는 모습도 보입니다. 만약 비행기 추적 앱이 있다면 실시간으로 확인할 수 있을 거예요.01:33

거기에 있는 것들 말이죠. 그래서 저희가 구축해 온 것은 완전 자율 주행 스택입니다. 차량이 어떻게 자율적으로 작동하는지, 클라우드 시스템은 어떻게 운영되는지, 그리고 클라우드 서버는 어떻게 작동하는지에 대한 부분입니다.01:38

차량이 어떻게 자율적으로 운행하고, 여기 클라우드 시스템은 어떻게 운영되며, 클라우드 서버들은 어떻게 작동하는지에 대해 알아볼까요?01:44

그리고 다양한 수준의 지능과 자동화가 어디에서 이루어져야 하는 걸까요?01:48

저희가 안정적으로 이 일을 처리하기 위해서는 제가 여기에서 '어, 저기'라고 말할 때처럼 상황이 발생했을 때 대응할 수 있어야 합니다.01:53

여기에서 사고가 발생했으니 대응해야 합니다. 동시에 여기로 돌아가서 말할 수도 있습니다.01:58

나라 다른 편에서 무슨 일이 일어나고 있나요? 만약 우리가 실행한다면 어떨까요?02:04

그렇게 하는 대신, 그게 진행되는 동안 저는 콜로라도에서 무언가를 발사하겠습니다.02:08

콜로라도에서 이 상황을 상상해 보세요. 예를 들어, 여러분의 지역에 화재 사고가 발생한 경우를 생각해 봅시다.02:14

전력선 상황을 확인하기 위해 나가서 점검해야 했는데, 콜로라도에 선착장이 열리고 있습니다. 그리고 첫 번째 드론은 아직 안전하게 비행 중이고02:19

지금 콜로라도에서 새로운 공간이 열리는 동안, 첫 번째 드론은 계속해서 안전하게 비행하고 있습니다.02:24

안전을 위한 점검을 모두 마치도록 잠시 기다려 볼까요. 발사 전에 필요한 모든 안전 점검을 진행하고 있습니다.02:29

이 모든 과정은 회의 Wi-Fi 트래픽으로 이루어지고 있으니, 잘 보이실 거예요.02:33

지금 제 노트북을 닫아도 모든 것이 안전하게 뒷에서 처리될 수 있다고 상상해 보세요.02:37

첫 번째 부분이 아직 진행 중인 동안 이걸 진행할 거예요. 이제 첫 번째 드론으로 돌아가 보겠습니다.02:43

다시 한번 명령을 내릴 수도 있겠네요. 우선 첫 번째 드론 주변을 살펴보겠습니다.02:52

두 번째 드론이 작동을 시작했고, 아마도 몇몇 차들이 있는 것 같습니다.02:57

저기 주변을 돌아다니면서 아마 추적할 수 있을 것 같아요.03:01

자, 이제 이 차가 어떻게 움직이는지 추적해 보겠습니다. 좋아요, 지금 이 차를 추적하고 있습니다.03:04

아마 저희가 추적해야 할 도주 차량일 수도 있겠네요. 지금은 제가 개입하지 않겠습니다.03:11

제가 설정해 놓은 다양한 상호작용을 통해 자율 시스템이 작동하고 있는 것 같습니다.03:15

그리고 동시에,03:22

이것이 진행되는 동안에, 우리는 마지막으로 할 수 있는 일인 또 다른 드론을 배치할 수 있습니다.03:24

본사는 시스템을 다시 가져오고 있습니다.03:29

그리고 저희는 이렇게 말할 수 있죠, '세 번째 드론도 실행해 볼까요?'03:32

우리가 만들고 있는 것은 어떻게 하면 대규모 자율성을 가능하게 할 수 있을지 고민하는 것입니다. 전통적으로 역사적으로 봤을 때,03:37

처음에는 이렇게 시작되었으니까요.03:39

15년 전에는 가정에 드론이 하나쯤 있을 수도 있었습니다.03:46

취미로 드론을 가지고 이것저것 만지작거리거나, 제어 소프트웨어와 함께 작업하실 수도 있었죠.03:50

그리고 약 10년 전쯤에 드론이 훨씬 더 많이 보편화되기 시작했고, 도구로 사용되기 시작했습니다.03:55

많은 산업 분야에서 드론을 사용하기 시작했어요. 트럭에 실고 현장으로 나가는 거죠.04:01

배치해서 사용하게 됩니다. 그리고 저희가 지향하는 다음 시대는 드론 인프라 구축입니다.04:06

이러한 시스템을 상상해 보세요. 이번 컨퍼런스를 위해 잠시 '에이전트'라고 부르겠습니다.04:11

이것은 다양한 용도에 맞춰 언제 어디든 항상 사용 가능한 물리적이고 실체화된 에이전트입니다.04:15

저희가 관심을 가지고 있는 여러 가지 사례에서 자동으로 실행하고, 발동할 수 있습니다.04:20

업무를 수행하도록 합니다. 그리고 필요한 최소한의 자율성은 어느 정도여야 하며, 미래 인터페이스는 어떤 모습일까요?04:26

현재는 모두가 전담 조종사가 되어야 합니다. 저는 인증 훈련을 받았습니다.04:32

안전 기준에 대해서도 좀 더 고려해 봐야 할 것 같습니다만, 몇 년 후에는 안전이 자율 시스템에 의해 결정될 거라고 상상할 수 있습니다.04:37

그리고 인터페이스는 상당히 고수준으로 바뀔 수 있습니다. 마치 슬랙 봇처럼, '여기 무슨 일이 일어났어요'라고 알려주는 그런 형태가 될 수도 있겠죠.04:45

드론을 보내서 확인해 보는 건 어떨까요? 드론이 발사되었다는 사실조차 모를 수도 있습니다.04:51

그동안 제가 모든 드론에게 일시 정지하고 기착하도록 지시하겠습니다.04:55

네, 이것들을 모두 기착지로 되돌리기 시작할게요. 그리고 그동안 발표 준비를 하겠습니다.05:04

지금까지 보여드린 것은 단순한 개념이 아니에요. 실제로 생산 환경에서 사용되고 있는 시스템들입니다.05:14

말씀하신 대로, 저희는 미국 내 드론 제조사 중 가장 큰 규모를 자랑합니다. 그리고 이 기술을 통해 사람들에게 초능력을 부여하고 싶습니다.05:20

여기 계신 분들이 무엇을 하고 있는지 간단히 살펴보겠습니다.05:29

이곳은 미국 동북부 해안으로, 저희 고객께서 발전소 옆에 시스템을 설치하신 곳입니다. 그리고,05:31

일반적인 순찰 활동에 활용하고 계십니다.05:39

그리고 그들이 순찰을 하던 중, 기둥 안쪽에서 불이 타고 있다는 것을 발견했고, 05:40

정말 여기에서 눈에 띄기 시작했습니다. 이 기둥은 언제든지 넘어질 수 있었고, 그렇지 않았다면 화재 위험을 초래했을 것입니다.05:46

사람들을 직접 파견하지 않고서도 적발할 수 있어서 비용도 많이 절약됩니다.05:52

다음으로, 공공 안전 분야에서의 활용 사례를 살펴보겠습니다.06:00

이곳은 샌프란시스코입니다. 저희는 SFPD와 매우 긴밀하게 협력하고 있습니다.06:03

보통 차량 절도 사건이 발생하면, 도시에서 고속 추격전이 벌어지는 것을 볼 수 있습니다.06:08

꽤 위험한 상황입니다.06:11

하지만 드론을 배치해서 차 안에 있는 사람들이 드론이 뒤따르고 있다는 사실조차 모르게 할 수 있다면 어떨까요?06:12

오른쪽에 차를 훔친 사람이 있는데, 지금 번호판을 교체하려고 하고 있습니다.06:19

도구를 꺼내기 위해 여기로 이동하고 돌아옵니다.06:26

다행히, 번호판을 위로 향하게 해서 드론이 볼 수 있도록 했고, 저희는 정확히 무엇을 하는지 알 수 있습니다. 하지만 이제 차 안에서 번호판을 교체하고 있어요.06:30

새 번호판으로 바꾸는 동안, 그들은 자신이 추격 중이라는 사실조차 모르는 것 같습니다.06:38

이분들이 공개적으로 행동하는 모습이나 외부에서 보이는 모습은 상당히 다릅니다. 그리고 작전 수행 방식도 훨씬 안전합니다.06:42

그런 방식으로 진행되니까요.06:49

이제 창문을 농담처리할 예정이지만, 이렇게 하면 경찰이 가장 안전한 위치에 전략적으로 배치하여06:50

고속 추격전을 벌이는 대신 적절한 시점에 개입할 수 있습니다.06:57

다음 슬라이드입니다.07:02

이것들은 여러 산업 분야에서 사용되고 있으며, 저희는 정말 시작하고 있습니다.07:04

이것을 매일 밤낮으로, 비가 오거나 해가 쨍쨍한 날에도 운영될 수 있는 인프라로 취급해야 합니다.07:11

알래스카에는 매우 추운 날씨에 몇 개의 도크가 설치되어 있고, 텍사스에는 극심한 더위에 몇 개의 도크가 설치되어 있습니다.07:16

이 장비들은 99.999%의 높은 신뢰도를 유지해야 하며, 저희는 시뮬레이션 테스트를 통해 이를 증명하고 있습니다.07:22

오늘 저희가 준비한 것은...07:29

이 인프라를 중심으로 반경 두 마일 안에 약 16백만 명의 사람들이 살고 있으며, 공공 안전과 전력 회사에서 이 기술을 활용하여 이러한 사고에 대응할 수 있습니다.07:32

현장에 직접 가지 않고도 유사시 신속하게 대처할 수 있도록 전력 회사에서는 이 기술을 활용할 수 있습니다.07:38

규모가 커졌을 때 실제로 무슨 일이 벌어지는 걸까요?07:44

드론을 조종해 보신 분들, 손 들어주실 수 있을까요? 몇 분 정도 손을 들어주시네요.07:49

처음 날려봤을 때, 진짜 몇 시간이나 걸려서 완전히 익숙해지더라고요.07:53

FPV를 착용하니까 훨씬 더 까다로웠지만, 그 전문성을 갖추게 되니 좋았어요. 마치 기술을 배우는 것 같기도 하고요.07:57

숙련도를 높이는 기술이 되시는 겁니다. 그리고 시간이 지나면서 그 기술을 발전시키게 되고요. 숙련된 한 명의 사람에게는, 08:03

드론 옆에 배치해서 일을 시작하게 할 거예요. 하지만 이제부터는...08:09

이런 인력들이 더 많이 필요해서, 경찰 기관이나 기반 시설 관련 회사들은 이런 사람들을 좀 더 적극적으로 채용해야 합니다.08:13

어느 단계에서 보면, 이게 정말로 한계에 부딪히기 시작합니다. 911 신고 건수가 늘어나고 경고 알림이 많아질수록, 시스템이 잘 확장되지 않습니다.08:19

그래서 이 초기 일인칭 시청 참여가 무엇을 의미하는지 다시 생각하고 있습니다.08:25

이러한 시스템과 어떻게 하면 이를 가장 전략적인 다중 에이전트 관점으로 전환할 수 있을까요?08:31

목표를 염두에 두고 전체 제휴사를 다소 명령할 수 있다는 뜻입니다. 비행 자체를 걱정할 필요 없이요.08:37

한 번 확인해 보겠습니다, 제대로 작동했는지. 좋습니다, 모두 착륙했습니다.08:42

그렇게 성공할 때 정말 기쁘네요. 비록 항상 그렇게 되어야 하지만요.08:46

자, 이 부분으로 다시 돌아가 볼까요.08:52

네, 계속 진행하겠습니다.08:58

그럼, 여러 가지를 출시하기 시작할 때 그게 무슨 의미일까요? 제가 방금 출시하는 걸 보셨을 겁니다.09:03

아직도 그거에 대해 생각하고 있었어요, 네, 이걸 발사해야 하고, 저걸 발사해야 하고, 또 저걸 발사해야 해요.09:06

저조차도 이 일에 익숙하지 않아서 인지적인 어려움이 조금 있을 것 같아요.09:11

저희의 비전은 잠재적으로 감독 없이 여러 개를 많이 발사할 수 있도록 하는 과제들이 있습니다.09:15

이런 것들은 어떤 명령을 따르는 걸까요? 저희가 어떻게 '거기 나가서, 발사하고, 이 지역에서 검색하고, 찾아'라고 지시하게 만들 수 있을까요?09:21

실종된 사람일 수도 있고, 이 차를 찾아서 그 자리에 머무르셔야 합니다.09:27

그런 일을 하기 위해서는 어떻게 해야 많은 것을 얻을 수 있을지 진지하게 고민해야 합니다.09:32

자율 비행에서 필요로 하는 신뢰성 확보가 중요합니다.09:38

그래서 저희는 이 분야에서 경쟁 우위를 점하고 있는데, 스카이디오에서는 직접 제어를 하고 있습니다.09:42

하드웨어, 소프트웨어, 클라우드, 사용자 인터페이스까지 모두 관리할 수 있도록 해야 합니다.09:46

특히 자율 비행 기능을 통해 저희의 기본적인 시각 시스템에 대해 어떻게 생각해야 할지 고려할 수 있습니다.09:51

환경을 인식하고, 환경에 맞게 적절하게 행동할 수 있어야 합니다. 고도가 높든, 흐린 날씨이든, 빠른 속도이든 상관없이,09:56

어떻게 대응해야 할까요?10:00

비가 오고 있네요. 왼쪽 아래에는 도시에서 어떻게 길을 찾고, 큰 규모의 계획을 세울 수 있는지 보여주고 있습니다.10:05

도시에서 GPS 기기를 사용해 본 분들은 아시겠지만, 심지어 저희 휴대폰도 제대로 작동하지 않는 경우가 많습니다.10:10

그걸 어떻게 안정적으로 할 수 있을까요? 그리고 많은 가려짐이 있을 때 추적은 어떻게 해야 할까요?10:16

이것들이 다양한 기도와 관련된 부분입니다. 여기서 저희는 흔히 AI 시스템, 즉 모델이라고 불리는 것들을 어떻게 훈련해야 하는지 고민하고 있습니다.10:22

모델이라는 단어 자체도 여러 곳에서 다른 의미를 가지고 있는데, 이것이 우리에게 어떤 의미가 있는지 조금 설명드리겠습니다.10:28

하지만 저희가 이걸 정말 활용하려면 학습을 진행해야 합니다.10:37

끊임없이 움직이는 거죠. 이게 저희가 만들어가는 학습의 선순환입니다. 데이터를 수집하고, 운영하면서, 그리고 다시 돌아와서 반복하는 과정을 통해 매번 비행할 때마다 기록을 남길 수 있습니다.10:41

저희는 데이터를 수집하고, 운영하며, 다시 돌아와서 그 과정을 반복합니다. 그렇게 하면 매번 비행할 때마다 로그를 기록할 수 있습니다.10:45

데이터를 정리해야 합니다. 구글 스트리트 뷰처럼, 데이터를 안전하게 처리하는 것을 고려해야 합니다.10:50

개인 정보가 남아있지 않도록 확인하고, 고객님들이 저희와 공유하시는 내용에 대해 정확히 알고 계시는지 확인해야 합니다.10:54

하지만 만약 그렇게 할 수 있다면, 저희는 엄청난 양의 데이터를 확보할 수 있고, 매번 드론에 명령을 내릴 때마다 그 데이터로부터 배울 수 있습니다. 하지만 드론은 이렇게 행동했습니다.11:02

저희가 이 일이 일어날 것이라고 생각할 때마다 실제로 이런 일이 발생했다면, 그런 정보는 저희의 학습 에이전트나 강화 학습 시스템으로 다시 피드백될 수 있습니다.11:09

재훈련하고 평가해서 다시 보내고, 그 회전체를 계속 돌려서 저희가 그걸 가질 수 있도록 하는 것이 가능해야 합니다.11:16

견고한 프레임워크를 구축할 수 있습니다.11:23

그리고 저희가 가진 또 다른 장점은 드론 자체의 자율성뿐만 아니라,11:25

앞서 말씀드린 것처럼, 이제는 엣지 디바이스에서도 자율성을 활용할 수 있는 여유가 있습니다.11:30

클라우드에서도 자율성을 갖추고 있습니다. 방금 보여드렸던 영상 피드나 모든 텔레메트리 데이터는 클라우드 서버를 통해 처리되고 있습니다.11:36

GPU를 설정하고 추론 엔진을 구축하여 그렇게 할 수 있습니다.11:42

더 많은 연산 작업이나 장기적인 계획은 클라우드에서 처리하고, 즉각적인 자율 행동은11:46

드론 자체에서 수행하며, 성공적인 결과를 얻기 위해 필요한 균형을 항상 고려해야 합니다.11:51

하지만 한 가지 분명한 것은, 클라우드에 에이전트를 두기 시작하면 클라우드로 들어오는 데이터의 양이 정말 중요해진다는 점입니다.11:58

클라우드에 에이전트들을 배치하기 시작하면, 클라우드로 전송되는 데이터의 양이 매우 중요하다는 것을 알 수 있습니다.12:02

저희가 이렇게 생각하고 있습니다.12:06

서버로 전송되는 최고의 영상 품질을 지원하는 방법에 투자하고 있습니다.12:08

대역폭이 낮은 지역에서는, 이를 최적화하고 인코딩할 수 있도록 하는 것이 중요합니다.12:16

정보를 더 작은 크기로 압축하여 선명하게 디코딩할 수 있습니다.12:24

이를 통해 네트워크 환경이 동일하면서도 훨씬 더 높은 품질을 유지할 수 있습니다, 그리고12:28

저희가 투자를 하는 부분 중 하나는 이러한 클라우드 기반 인프라를 구축하여 규모에 맞춰 관리할 수 있도록 하기 위함입니다.12:33

그래서 그렇게 되면, 저희가 가지고 있는 모델들을 좀 더 개략적으로 살펴보려고 합니다.12:41

저희 시스템 내에서 이 모든 것을 조율할 수 있도록 하는 것들이 있습니다.12:48

먼저, 모델에 대해 말씀드리겠습니다. 이 부분은 월드 모델에 대한 내용이고, 지도를 기준으로 세계를 설명하고 싶습니다.12:54

웨이모가 사용하는 방식과 크게 다르지 않게, 전 세계 지도를 기반으로 한 월드 모델을 이야기해 보겠습니다.12:58

그리고 그들은 그 세계 안에서 길을 찾고, 로컬 인식도 하고 글로벌 계획도 세웁니다.13:04

도시의 A지점에서 B지점으로 가려면 건물들을 계속해서 부딪히면서 헤쳐나갈 수는 없습니다.13:08

가는 길에 최적의 경로를 어떻게 설정해야 할지 고민해 봐야겠어요.13:15

처음에는 많은 사전 정보를 가지고 시작해서, 단순히 건물을 기반으로 하는 것뿐만 아니라 이것들을 융합하게 되죠.13:18

데이터도 있지만, 전력선이나 도로 같은 벡터 데이터도 있을 수 있습니다. 위치 정보가 필요할 때 활용할 수 있죠.13:25

특정 지역에서 다른 방식으로 작동하도록 설정하고 싶을 때 유용합니다.13:30

그리고 이러한 자원들을 어떻게 결합하여 계획을 세울 수 있는 지도를 만들지 고민합니다.13:33

그리고 드론은 항상 이 지도를 알고 있어서 이를 활용하여 이동할 수 있습니다.13:38

그렇지만 지도와 마찬가지로, 지도는 오래될 수 있습니다. (Geureotjiman jidowa matchumanaro, jidoeun oraedoel su itsseumnida.)13:43

다행히 하늘에 많은 눈이 있어서 생각할 수 있습니다. (Dahaenghi haneure maneun nuni isseoseo saenggakhaleu sseu itsseumnida.)13:48

지도 유지 및 업데이트 방법에 대해 어떻게 관리하는지 생각하고 있습니다.13:53

왼쪽에는 렌더링을 진행하고 있습니다.13:56

저희는 세계 지식을 영상 피드 위에 점으로 표시하고 있습니다.13:59

하지만, 모든 곳에서 완벽하게 일치하는 것은 아닙니다. 여기 몇몇 구간이 있는데, 제가 조금 확대해 보면...14:05

여기에는 새로운 건설 현장이 세워진 구역들이 있습니다. 하지만 저희는 이 부분에 대해 알지 못했습니다.14:12

드론이 날기 시작하면서, 이건요.14:17

드론 하나뿐만 아니라 드론 함대가 이제 이 것들을 관찰하고 있습니다.14:22

이 정보가 지도 동기화 과정에 반영되어 다시 돌아올 수 있습니다.14:25

데이터를 수집하고, 이제 다음 반복 과정에서 모든 드론들이 세계 지도 정보를 업데이트받습니다.14:30

드론들은 이 최신 지도를 활용하여 모든 계획을 세울 수 있습니다.14:34

두 번째 유형의 모델은 오늘날 좀 더 일반적인 머신 러닝 추론 모델이라고 할 수 있습니다.14:45

객체를 추적하고 장면 속에서 이해할 수 있는 능력, 바로...14:51

객체를 가리고 있을 때도 추적할 수 있습니다.14:59

따라서 장면 뒤에 숨겨진 암시적 표현은 일종의 세계 표현이라고 할 수 있습니다.15:02

객체가 이 건물 뒤로 사라졌고, 다른 쪽에서 다시 나올 수도 있습니다.15:07

따라서 제가 그 객체를 따라갈 수 있도록 경로를 조정해야 할지, 아니면 다른 방향으로 이동해서 그렇게 해야 할지 결정해야 합니다.15:11

아마 다섯 년 전이라면 좀 더 전통적인 방식으로 처리했을 거예요.15:18

이전에는 이동하는 방법을 직접 고민해야 했지만, 이제는 강화 학습을 활용할 수 있습니다.15:22

스타일 기법이든지, 아니면 모든 예외 상황을 직접 엔지니어링하지 않고도 정말 도움이 될 수 있는 종단 간 학습 방식이 있을 수도 있습니다.15:27

그렇게 들어갈 수 있죠. 그리고 당연히...15:34

어떻게 하면 이것을 안정적으로 구현할 수 있을까요? 비, 눈, 낮, 밤, 그리고 시각 정보만 사용해서요.15:36

추적 측면에서 저희가 하고 있는 또 다른 일은 최소한의 추적 기능을 가지고 있습니다.15:45

기기가 직접 처리하거나 엣지에서 발생했던 일들이 있습니다. 하지만 클라우드에서 더 상위 레벨의 추적을 수행할 수도 있습니다.15:49

클라우드에서 전체 지도를 좀 더 폭넓게 이해하고, 판단할 수 있을 것입니다.15:53

더 무거운 모델을 사용하거나, 응답 속도가 느린 VLM을 사용하여, 예를 들어15:57

초당 7에서 10회 정도의 빈도로 작동하지만, 1~2초의 지연 시간으로 피드백을 제공할 수 있습니다.16:05

그 정도면 저희가 어디로 이동할지 폭넓은 결정을 내리는 데 충분합니다.16:11

저희 인프라 고객분들께서는 많은 의미론적 추론을 수행하고 계십니다.16:17

그럼 장면에는 무엇이 있나요?16:22

여기에서 저희가 유틸리티 기둥에 대해 생각하는 모습을 보여주는 그림이 있습니다. 그리고 지시사항이 있을 때,16:24

지시 사항이 들어오면, '저 선을 확인해 보세요, 뭔가 잘못됐어요.' 드론은 그곳으로 가서 상황을 이해해야 하고, 그 안에서 조치를 취해야 합니다.16:31

저희는 끊임없이 이러한 기본 요소와 도구를 어떻게 구축할 수 있을지 고민하고 있습니다.16:38

궁극적으로 오늘 저희가 코딩하는 것은, 언제든지 에이전트가 이러한 도구에 접근하여 더 나은16:42

드론이 보고 있는 것을 이해하고 그에 대해 무엇을 할 수 있는지 파악할 수 있도록 돕기 위함입니다.16:49

에이전트 시스템이 실제로 작동하는 예시 중 하나가 시각 언어 모델입니다.16:55

왼쪽 상단에서 사용자가 입력하고 있습니다.17:00

흰색 지프를 찾고, 일종의 탐색 및 추적을 수행하고 있습니다.17:03

특정 경로를 명령하기 위해 드론 API에 접근하여 실행합니다.17:08

그 일이 진행되는 동안, 감지 모듈은 일종로, VLM이 여기에서 작동하면서 이렇게 말합니다.17:13

저기, 장면에서 제가 무엇을 찾고 있는지 알려주세요. 무언가를 발견하면 도구에 접근할 수 있습니다.17:19

드론이 추적하고 따라갈 수 있도록 하는 기능들이 있습니다.17:24

그리고 그건 특정 규칙을 코딩하는 대신에, 다음과 같은 방식으로 이루어집니다.17:26

마치 에이전트처럼, 필요한 모든 도구를 제공해서 스스로 판단할 수 있도록 하는 것이죠.17:32

드론의 상태를 이해하고, 주어진 정보와 상황에 맞춰 결정을 내릴 수 있게끔 만드는 것입니다.17:36

그러면 자율주행 분야에서 흔히 볼 수 있는 장기적인 비전 같은 것도 항상 있죠.17:46

지금 당장 또는 어떤 로봇 시스템이든, 만약 원시 센서 데이터를 그냥 제공할 수 있다면 어떨까요?17:51

그러면 완벽한 결과가 나오게 됩니다.17:57

아마 작동 방식이 그럴 수도 있고, 드론의 방향과 관련될 수도 있으며, 드론이 이동하는 곳과도 관련이 있을 겁니다. 저희는 확실히 많은 테스트를 진행하고 있습니다.18:02

그리고 강화 학습을 활용하여 어떤 모습인지 시험해 보고 있습니다.18:09

만약 이 행동의 여러 구현체가 있다면,18:11

정확한 범위에 도달하는 걸까요? 저희가 작업을 할 때마다 가장 중요한 고려 사항은, 물리적인 시스템을 다룰 때는 종종 매우 높은 수준의 신뢰성을 확보해야 한다는 점입니다.18:16

신뢰성의 볼륨이 정말 높기 때문입니다.18:22

말씀드린 것처럼, 많은 '나인(nine)' 수준의 안정성을 확보하는 것이 있습니다.18:28

그리고 완전한 엔드투엔드 시스템을 구축하는 것은 문제가 발생했을 때 관찰 가능성이 어렵다는 점에서 어려움이 따릅니다.18:33

그리고 신뢰성 보장에 있어서는 현재 매우 어렵습니다. 저희가 지속적으로 방향을 설정하고 탐색하고 있지만, 어떻게 해야 할지 알아내는 과정입니다.18:39

어떤 부분을 전체 시스템에서 분리해야 하는지를 결정하는 것이죠.18:45

더욱 세계 모델 표현 방식으로 전환해야 할 것 같아요.18:47

항상 이런 상황에 놓이게 되는데, 제가 직접 처리해야 하는 부분들이 있습니다.18:53

이걸 엔지니어링해야 하고, 제가 특별히 코딩을 해야 합니다. 이런 규칙들을 살펴봐야 해요. 예를 들어 수색 구조는 이런 것들 중 하나인데, '저 나무들을 찾아봐'라고 하잖아요. 그런데 안 되면,18:59

나무를 찾지 못하면 여기 아래를 살펴보거나 열화상 카메라를 켜야 하고, 또 여기서 찾지 못하면 저기서 찾아야 하는 식으로요.19:06

코드 안에서 이 모든 if 문을 사용할 필요 없이, 그리고 이러한 분기 전략들을 벗어나서, 에이전트가 고수준의 도구를 활용하여 지시를 내릴 수 있도록 하는 것을 목표로 하고 있습니다.19:11

저희는 에이전트가 고수준의 도구를 활용하여 지시를 내릴 수 있도록 하는 방향으로 나아가고 있습니다.19:14

드론에게 내릴 아주 고수준의 명령들입니다.19:20

오늘 쿼드콥터에 대해 말씀드렸지만, 사실상 훨씬 더 큰 규모로 비슷한 작업을 진행하고 있습니다.19:26

더 작고 가벼운 드론으로 만들 수 있고, 이제 고정익 항공기에서도 어떻게 구현될지 살펴보기 시작했습니다.19:30

모두 인프라 환경에서 가능하도록 하여 발사할 수 있습니다.19:35

어디서든 시작하고, 어디서든 복구 가능하며, 궁극적으로 우리가 가장 이상적인 지점을 찾을 수 있습니다.19:40

매우 빠르게 클라우드에서 이러한 것들을 관리할 수 있게 하고, 저희가 방법을 찾아나가고 있습니다.19:44

생각해보면, 이 시스템들이 기본적인 API나 상호작용 기능을 갖도록 하는 것을 의미합니다.19:48

클라우드 에이전트가 이를 활용하여 의사 결정을 내리고 궁극적으로 매우 효율적인...19:53

드론을 사용할 때 고차원적인 사고가 필요합니다.20:00

여기서 많은 강연에서 말씀드렸듯이, 저희는 채용 중입니다.20:03

말씀드린 것처럼 저희는 풀스택으로, 엔드 투 엔드까지 모든 것을 담당합니다. 하드웨어, 소프트웨어, 자율 주행 기술까지요.20:08

풀스택, 프론트엔드, 백엔드, 무선 네트워킹, 모든 기술을 다루고 있습니다.20:13

저희 휴대폰에서 사용하고 있습니다. 이제는 날리게 만들고 있어요. 저희에게 인사하러 오시거나 웹사이트를 방문해 보세요.20:18

더 이야기 나누고 싶습니다. 감사합니다.20:25