안녕하세요, 여러분. 오늘 런던에 와서 정말 반갑습니다. 기트네이션 여러분, 초대해 주셔서 감사합니다. 오늘 저는 리액트 네이티브 AI, 리액트 네이티브에서 온디바이스 모델을 실행할 수 있는 라이브러리에 대해 이야기할 거예요.00:04

그리고 여기서는 React Native를 사용해 보셨거나 React Native로 작업하신 분 중에 손을 들어주시면 감사하겠습니다. 와, 꽤 많은 분들이네요. 예상하지 못했습니다. 그리고 여기 계신 분 중에 Vercel의 AISDK를 사용해 보신 분은?00:17

손도 한번 들어주시겠어요. 네, 그보다 리액트 네이티브를 사용하시는 분이 적네요.00:31

아, 정말 놀랍네요. 자, 오늘 저희는 AISDK를 리액트 네이티브와 연결해서 어떤 결과가 나올지 살펴보겠습니다.00:35

하지만 시작하기 전에 간단하게 저를 소개해 드릴게요. 제 이름은 사이먼 리브작이라고 합니다. 저는 시니어 리액트 네이티브 개발자입니다. 콜스택에서 일한 지 19년 됐고, 많은 리액트 네이티브 라이브러리를 만들었습니다.00:44

리액트 네이티브 AI도 그중 하나입니다. 저는 트위터에 많은 정보를 올리고 있어요. 리액트 네이티브 콘텐츠가 좋으시다면, 저를 팔로우해주세요.00:54

네, 아시다시피 AI는 두 곳에서 실행할 수 있습니다.01:02

물론 클라우드에서 AI를 실행할 수 있죠. 그리고 대부분의 고성능 모델은 거기에서 추론됩니다. 제미니 3처럼, 모든 모델이 거기에서 추론되는 이유는 클라우드는 엄청난 컴퓨팅 파워를 가지고 있기 때문입니다.01:09

하지만 사실, AI를 기기에서도 실행할 수 있어요. 그리고 우리가 가지고 다니는 기기들은 정말 강력하답니다.01:23

얼마 전, 작년 여름쯤이었던 것 같아요. 모바일 기기에서 AI를 실행할 수 있을까 고민했었죠. 지난 네댓 년 동안 모바일 앱 개발을 해왔었으니까요.01:33

SwiftUI와 React Native를 사용하면서 좋은 모바일 앱을 가지고 노는 것을 정말 좋아합니다.01:47

저도 당연히 리액트 네이티브 개발자라서, 리액트 네이티브에서 온디바이스 AI를 실행할 수 있을까요? 라는 생각을 했었는데요. 최근 아이폰들의 통계를 살펴보니, 두…01:52

몇 년 전부터 성능이 정말 좋았습니다. 예를 들어, 싱글 코어 기준으로 보면 아이폰 15 프로의 성능이 일부 아이패드 에어와 비슷하다고 합니다.02:06

정말 저희가 주머니에 가지고 다니는 기기들이 얼마나 강력한지 보여주었습니다.02:16

또 다른 영감을 준 지점은 구글 CEO가 새로운 이니셔티브, 즉 실험적인 이니셔티브에 대해 트윗한 내용이었습니다.02:22

구글 크롬에 제미니 모델의 일부, 몇 기가바이트 정도가 탑재되어 누구나 구글 크롬을 통해 접근할 수 있게 될 예정입니다. 따라서 인터넷 연결이 좋지 않은 상황에서도 인터넷 연결이 가능하게 됩니다.02:34

혹시 저희가 연결이 끊어지더라도, 그것으로 놀 수도 있고 질문도 할 수 있으며, 필요하다면 대체 수단으로도 활용할 수 있을 것입니다. 정말 좋았습니다.02:45

정말 빠르더라고요. 제 맥에서 직접 사용해봤는데, 굉장히 좋았어요. 그래서 이 주제에 대해 조사하기 시작했는데, 크롬 윈도우 AI의 소스 코드를 열어봤을 때 AI SDK의 프로바이더에 대해 알게 됐어요.02:54

그리고 프로바이더의 아이디어는 바로, AISDK에는 텍스트 스트리밍, 텍스트 생성 등 다양한 기능들이 있고, 기본적으로 프로바이더는 그 기능들을 구현한 것입니다.03:09

그래서 하나의 API, 통합된 API를 가지고, 예를 들어 Anthropic, Gemini, OpenAI API 같은 경우, 단순히 제공업체를 만드시는 겁니다.03:22

몇몇 원본 일반 제공업체가 있습니다. 예를 들어 Vercel 팀에서 만든 것과 같은 업체나 커뮤니티 제공업체가 있습니다.03:32

누구나 하나씩 만들 수 있어요. 스키마는 공개되어 있고, 그걸 만들어서 generate text, stream text 같은 다양한 AI SDK 기능 아래에 연결할 수 있습니다. 그래서 제가 생각했죠, 음, 한번 만들어보자고.03:40

그리고 저는, 정말로 Vercel AI SDK를 너무 좋아합니다. 아직 사용해보지 않으셨다면, 꼭 한번 사용해보시기를 추천드립니다.03:55

이것은 리액트 네이티브 AI에 AI 모델을 연결해야 하는 코드 양입니다.04:00

그게 당시의 생각이었어요. AI 패키지에서 generate text나 stream text 함수를 불러와서 사용하시고요. 그리고 그걸 호출하시고, 모델과 프롬프트를 전달하시면 돼요.04:10

아마 메시지 기록이나 다른 설정 프로퍼티들이 있을 거예요. 그걸 정말 멋지게 할 수 있으면 좋겠다고 생각했죠.04:21

그리고, 아시겠지만, 사용하시려면 웹 구현 부분의 두 줄 정도만 수정하시면 React Native AI를 사용하실 수 있습니다.04:30

저는 분명히 JS 쪽에서, 그리고 TypeScript 쪽에서도 그걸 적용하고 싶다고 생각했어요. 하지만 실제로 어떻게 작동시킬 수 있을지 방법을 찾아야 했죠.04:39

안드로이드, iOS, 그리고 리액트 네이티브가 지원하는 다른 플랫폼에서도 답변을 전달하고 추론을 실행할 수 있는 엔진이 필요하다고 생각했어요. 그래서 MLCLM이라는 엔진을 발견했죠.04:51

정말 멋진 프로젝트인데, 보편적인 엔진이거든요.05:04

그래서, React랑 같은 아이디어예요. 하나의 코드로 여러 플랫폼 어디에서든 기본적으로 실행할 수 있죠. 그리고 여기에는 하나의 모델이 있고, 이 또한 여러 플랫폼에서 실행할 수 있어요. 그래서, 음, 해보자 하고 생각했어요.05:08

여기서는 유니버설 리액트가 있고, 여기서는 유니버설 엔진이 있잖아요. 정말 멋진 분위기예요. 이 두 조각을 연결해 봐요.05:22

그리고, 예상보다 조금 더 시간이 걸렸습니다, 아시다시피, 실증 개념을 만들어내는 데 있어서는요.05:29

시간이 좀 흐르고, 몇 번의 긴 저녁 시간을 거치면서, React Native에서 온-디바이스 LLM을 실행하는 최초의 데모 버전을 만들게 되었습니다.05:36

자, 미리 녹음해 둔 시연 영상이 있습니다. 모델은 제가 선택했고, 현재 네트워크에서 다운로드되었습니다.05:45

모델을 한 번 다운로드 받으면 됩니다. 그리고 나서 안전합니다. 캐시되어 있습니다. 이제 비행기 모드를 켜보겠습니다.05:52

인터넷 연결이 안 돼요. 질문을 할 수 있어요.06:00

리액트 네이티브가 뭐예요? 그리고 잠시 후, 스트림이 올라오고, 전부 기기에서 실행되죠.06:04

아이폰 15 프로에서 실행되고 있는데, 성능에 정말 놀랐어요. 그리고 인터넷 연결이 필요 없어서, 원하는 질문을 얼마든지 할 수 있었고, 잘 작동했습니다.06:10

그리고 멋졌는데, 아시겠지만, 한 가지가 필요했어요. 예를 들어, 모든 사용자가 몇 기가바이트짜리 모델을 다운로드해야 했는데, 그렇게 좋지는 않았죠.06:22

맞죠? 제가 발표 초반에 보여드린 차트를 다시 한번 살펴보면, 온디바이스 모델은 크게 두 부분으로 나눌 수 있습니다.06:33

네트워크에서 다운로드하는 외부 모델들이 있으며, 이것은 다양한 목적으로 사용될 수 있습니다.06:45

하지만 모든 사용자가 다운로드해야 해요. 앱 스토어에 묶어 넣을 수도 없어요, 왜냐하면 앱이 너무 커지거든요. 그리고, 일반적으로 좋은 방법은 아니에요.06:51

하지만, 내장된 온디바이스 모델을 항상 꿈꿔왔어요. 그래서 iOS나 안드로이드가 운영체제 자체에 모델을 함께 배포된다고 상상해 보세요.07:02

그러니까 모두가 그걸 가질 수 있죠. 모두가 같은 모델을 사용하게 될 거예요. 그리고 그게 제가 이 주제에 대해 한동안 작업하면서 항상 꿈꿔왔던 일이기도 합니다.07:13

네, 그렇습니다. 올해 6월에 열린 WWDC 2025에서 애플에서 관련 내용을 발표했습니다. 애플은 파운데이션 모델 프레임워크를 발표했습니다.07:25

그래서 애플에서 만든 온디바이스 LLM을 iOS, macOS, iPadOS에서 실행할 수 있는 방법입니다.07:38

정말 이 부분에 대해 흥분했었어요. 그리고 늘 그렇듯이, 저는 콜스택 동료들과 함께 WWDC를 지켜봤습니다.07:48

저희도 그런 게시물을 올리는 일도 하고 있었고, 아시다시피 저희는 React Native를 사용하고 있어서 Flutter에 대해서 농담도 주고받았어요.07:57

네, 맞아요. 트위터에도 말씀드렸듯이, 항상 누가 React Native에 새로운 API를 먼저 가져올지 경쟁하는 분위기예요. React Native에서 사용할 수 있도록 새로운 네이티브 API를 제공하는 거죠.08:06

도구였고, 컨퍼런스에서 보고 나서 트윗으로 올렸습니다.08:18

음, 요리를 시작했거든요. 좀 가지고 놀아봤어요. 그리고 사실, 아주 긴 저녁을 보낸 뒤에, 같은 날짜에 애플 파운데이션 모델을 연결하는 데 성공했어요. Xcode를 업데이트해야 했었죠.08:22

정말 실험적이었어요. 일부 부분에서는 이 결정에 후회하기도 했지만, 그래도 괜찮았어요.08:35

자, 애플의 기반 모델, 즉 React Native AI를 사용한 애플 LLM을 React Native 환경에서 실행하는 데모를 보여드리겠습니다. 성능이 정말 놀랍습니다. 여기 텍스트 생성 기능이 있습니다.08:40

애플 모델을 React Native AI 헬퍼 함수와 함께 가져왔고, 오른쪽에는 제 아이폰 15 프로가 있습니다. 비행기 모드를 켜겠습니다. 중요한 사실은 모델을 다운로드할 필요가 없다는 것입니다.08:54

모델이 운영체제와 함께 배포되고, 지금은 스트리밍도 제공되지 않아요. 예전에 스트리밍이 없었는데요, 정말 정말 빠르답니다.09:07

그리고 스트리밍으로도, 지금은 스트리밍을 지원합니다. 물론 아주 멋진 답변을 해 줍니다. 네, 정말 기대했던 부분이기도 하고요. 그리고 네, 답변들이 정말 의미 있게 느껴집니다.09:16

저희에게 애플도 이것에 투자하는 것을 보게 되어 정말 좋았습니다. 그리고 네, 물론 트위터에 데모 영상을 올렸고, 사람들이 '좋네요, 코드를 공유해 주실 수 있나요?'라고 물어봤어요.09:31

네, 물론입니다. 이 코드는 리액트 네이티브에서 실행하는 데 필요한 코드입니다. 정말 멋지죠. 저희가 이 코드를 정말 자랑스러워하고 있다는 뜻이세요.09:44

VersaLi SDK와 React Native AI Apple 패키지 덕분에, 제공자를 전달하고 함수를 호출하는 것만으로 결과를 얻으실 수 있습니다.09:54

그런 다음, 사용자 인터페이스 코드나 채팅 앱, 또는 원하시는 곳에 연결하신 후 도구와 호출을 전달하시면 됩니다. 어떤 방식으로든 가능합니다.10:04

트위터에서 정말 많은 사람들이 좋아했습니다. 현재 마이크로소프트에서 VS Code와 Copilot을 개발하고 계신 자레드 팔머처럼, 온장치(on-device) CEO이시기도 합니다.10:13

애플 모델에 AI SDK를 적용했으며, 24시간 이내에 배포했습니다.10:24

마이크, 저희 CTO의 트윗입니다. React Native AI와 저희가 구축한 다양한 헬퍼 함수 및 생태계 덕분에 온디바이스 LM을 활용한 반복 속도를 크게 향상시킬 수 있었습니다.10:29

저희, 어느 정도 시간이 지난 후에 출시했습니다. 물론 코드는 깨끗하게 정리했습니다.10:43

그리고 지금은 다양한 기능을 지원하고 있습니다. 구조화된 출력도 지원하고 있고요, 물론, 저희는 최고의 가상 ASDK 지원도 제공하고 있습니다.10:48

그리고 파트너로서, 어느 정도 시간이 지난 후, 다양한 SDK 문서에도 소개되었답니다.10:56

그래서 저희는 공식 커뮤니티 제공업체라고 할 수 있겠네요.11:01

텍스트 생성, 스트리밍, 도구 호출 기능이 있습니다. 실제로 매우 강력한 기능인데, 이걸 이용해서 도구 호출을 만들 수도 있습니다.11:05

그리고 예를 들어, '캘린더 이벤트 생성'과 같은 도구를 만들어 보세요. 그리고 아마 이렇게 질문하실 겁니다. 인터넷 연결 없이, '혹시 부탁드려도 될까요?'11:15

오늘 저녁 파티를 위한 캘린더 이벤트를 생성해 주세요. 캘린더의 네이티브 API를 활용하여 인터넷 연결 없이도 캘린더에 이벤트를 추가할 수 있습니다.11:24

임베딩과 트랜스크립션을 지원하고, 또 TTS와 STT도 지원해요. 그리고 네, AISDK와 통합하면 정말 멋진 소프트웨어가 되어서 정말 자랑스러워요.11:37

혹시 아직 사용해보지 않으셨다면, 다시 한번 사용해보시기를 강력하게 추천드려요. 그리고, 네, 저장소도 시작해주세요. React Native AI로 놀고 싶으시다면, 사용자분들이 많이 참여해주시면 정말 좋을 것 같습니다.11:52

라이브러리에 문제나 질문이 있으시면 이슈를 제기해주세요. 저희는 거의 1000개의 스타를 달성했고, 앞으로도 멈추지 않고 온디바이스 모델을 위한 더 많은 제공자를 출시할 예정입니다.12:06

네, 이것으로 마치겠습니다. 정말 감사합니다. 혹시 안드로이드 내장 모델에 대한 소식은 있는지 궁금하신가요? 네, 사실 있습니다.12:21

구글 픽셀 9 프로에서 실제로 적용되었고, 앞으로 출시되는 모든 구글 픽셀 기기에도 제미니 모델이 탑재될 예정입니다.12:32

네, 현재 해당 기능과 연동을 시도하고 있으며, React Native AI에서 공식적인 지원을 제공할 예정입니다.12:42

네, 좋네요. 그리고 실제 모바일 앱이나 도구에서 이 기술이 어떻게 활용될 수 있을까요? 개인 정보 보호 측면에서, 예를 들어 개인 정보 보호와 관련된 기능은 어떻게 제공될 예정인가요?12:49

물론, 어떤 정보를 다루고 있을 때, 혹시 클라우드에 데이터를 전송하지 않거나, 누구와 공유하지 않고 계신다면, 개인적인 정보가 있을 경우에도 오프라인으로도 접속하실 수 있습니다.12:58

네, 개인 정보 보호, 오프라인 기능, 그리고 필요한 사항들이 있겠죠. 이미 건강 관련 사례에 대해서도 들어보셨을 겁니다.13:10

PDF 파일을 업로드하거나, 의사로부터 받은 결과지 등 다양한 정보를 통합하여 사용할 수 있는 앱입니다.13:18

업로드하시면, 기기 내 모델이 이를 읽고 분석할 수 있으며, 요약 등 다양한 활용 사례를 만들 수 있습니다.13:27

네, 이것이 저희가 확인하고 있는 내용입니다. 좋습니다. 혹시 제가 방금 전에 이미 물어봤나요? 잠시만요.13:34

괜찮습니다. 혹시 시뮬레이터에서도 작동하나요?13:43

네, 맞습니다. 혹시 Mac OS 26을 사용하시고 Apple Intelligence를 다운로드하여 활성화하시면, iOS 측면에서도 시뮬레이터로 플레이하실 수 있습니다.13:47

안드로이드 쪽에서는 물리적인 픽셀 온라인 프로가 필요합니다. 네, 멋지네요.14:00

안드로이드에 내장 모델에 대한 소식이 있나요? 네, 있네요. 방금 그 질문을 하셨잖아요. 제가 그랬어요, 제가 미쳤나 하고. 괜찮아요, 다 잘 되고 있어요.14:06

네, 있을 거예요. 좋아요, 완벽하네요. 음, 오프라인에서만 사용한다면 LLM을 훈련할 수 있나요? 온라인 모델에서 보이는 것만큼 효과가 있을까요?14:14

물론 오프라인 모델은 클라우드에서 실행되는 모델만큼 강력하지 않습니다. 이것은 불가피한 절충안이라고 할 수 있습니다.14:23

제가 말씀드린 것처럼 이 부분에 대해서도 장단점이 있습니다. 예를 들어 개인 정보 보호 문제나, 굉장히 매우 빠른 점 같은 것들이 있죠.14:32

인터넷 연결이 필요하지 않습니다. 항상 작업에 적합한 도구를 사용하세요. 네, 좋습니다. 누가 당신에 대해 더 알고 싶어하네요. 당신의 일상적인 역할은 무엇인가요?14:38

지금 하시는 일은 무엇인가요? 네. 저는 컬스택에서 리액트 네이티브 시니어 개발자로 일하고 있습니다. 저희는 다양한 리액트 및 리액트 네이티브 솔루션을 개발하고 있습니다.14:51

지난 몇 달 동안 리액트 네이티브 앱 개발 프로젝트를 진행하며, 인공지능을 활용하여 텍스트를 앱에 통합하는 작업을 했습니다.15:00

그리고 만들었던 경험이 정말 굉장했고, React Native를 활용한 많은 AI 앱들이 앱스토어에서 상위 10위 안에 랭크되는 것을 보는 것도 정말 멋진 경험이었습니다.15:10

최근 몇 달 동안 계속 그랬습니다. 그리고 그 외에도 레그너티브 AI, 레그너티브 프레임워크 등 다양한 오픈 소스 프로젝트와 멋진 새로운 기능들을 진행하고 있습니다.15:24

정말 흥미롭네요. 모델이 얼마나 자주 업데이트되나요? 사실, 그거 정말 좋은 질문이에요. 애플에서 계속해서 업데이트하고 있답니다.15:35

공개적으로 공유하지 않는다면 변경 로그가 있다는 것을 알지 못합니다.15:45

저희가 애플 포럼에 툴 콜링 기능이 완벽하게 작동하지 않는 문제들을 많이 접수했는데, 실제로 애플 쪽에서 수정 작업을 진행하고 관련 내용을 업데이트하고 있더라고요. 지속적으로 개선 작업을 하고 있는 것 같습니다.15:51

앱에 React Native AI Apple 지원을 구현하시면, 일종의 구독 서비스를 이용하게 되시는 것입니다.16:06

애플에서 제공하는 지속적인 업데이트 덕분인데요, 왜냐하면 만약 애플이 새 기기에 자체 LLM을 탑재한다면, 더 나은 LLM을 개발할 수 있을 테니까요. 사용자는 별도로 어떤 조치를 취할 필요 없이, 그냥 편리하게 사용하시면 됩니다. 좋으시죠?16:16

그리고 이 라이브러리로 RAG를 구현할 수 있을까요? 네, 가능합니다. 임베딩에 대한 지원도 있고, 사용하시는 엔진에 따라 다르지만, 일반적으로 저희도 추가했습니다.16:30

네, 그거 좋네요. 그런데 모델이 기기에 내장되어 있을 때 사용자 데이터를 통해 업데이트가 이루어지는 건가요? 아이폰은 앱이 언제 어떤 기능을 사용하는지 파악해서 추천해 주기도 하잖아요. 혹시 그 데이터를 활용할 수 있을까요? 데이터를 가져오지 않고서도요?16:45

하지만 흐름에 따르는 것이 좋겠죠. 네, 모델이 기기에서 다른 앱의 사용자 데이터를 학습한다고 하시는 거죠? 네, 그렇습니다. 애플이 내부적으로 그렇게 하는지 잘 모르겠습니다. 저는 그렇게 생각하지 않는데요.16:59

솔직히 말씀드리면, 아마도 광범위한 취약점과 같은 문제가 발생할 가능성이 높습니다. 그런데, 네, 잘 모르겠습니다. 애플은 그 부분에 대한 정보를 공유하지 않아서요...17:12

알아보겠어요. 무엇을 이미 구현하거나 시도해 보셨나요?17:23

혹시 제가 직접 만들 수 있는 기능이 있을까요? 죄송하지만, 다시 한번 여쭤봐도 될까요? 음, 어떤 툴 콜을 사용하나요? 아, 툴 콜이군요. 네, 저희 리포지토리에 있는 예제 앱을 다운로드하고 사용해 보실 수 있습니다.17:32

말씀드린 것처럼, 저희는 일종의 달력 도구를 개발했는데, 그걸 이용해서 오늘 일정을 확인하실 수 있고, 달력에 일정을 새로 만드실 수도 있습니다.17:45

iOS 또는 Android에서 접근 가능한 모든 네이티브 API에 접근할 수 있습니다.17:56

그래서 배터리 잔량 확인이 가능하고, 알림도 확인하실 수 있고, 혹시 알림을 보내거나, 일정을 잡으시거나, 네이티브 iOS에 있는 API들을 활용하실 수도 있습니다.18:01

그리고 혹시 API 요청 같은 것도 해 보실 수 있고요, 원하시는 대로 하실 수 있습니다.18:13

거기에 JavaScript 코드를 얼마든지 실행하실 수 있습니다. 멋지네요. 그리고 모델이 기기의 데이터에 접근할 수 있나요?18:17

사진이나 파일, 특정 앱 같은 것들을 말씀하시는 건가요? 네, 그렇습니다. 만약 사용자가 적절한 권한을 허용하고, 예를 들어 사진을 가져오는 등 적절하고 관련성 있는 도구를 사용한다면 잘 작동할 겁니다.18:24

네, 멋지네요. 혹시 애플 파운데이션 모델에 사용할 시스템 프롬프트를 제공해 주실 수 있나요? 네, 그럼 진행하셔도 좋습니다. 네, 네. 물론이죠. 네, 그렇게 하셔도 됩니다. 네, 애플은 시스템 프롬프트 호출 구조를 지원합니다.18:35

결과물이 나오는데, 이 API와 웹사이트에 정말 공을 많이 들이셨네요. 혹시 온디바이스 모델들을 더 학습시키거나, 특정 사용 사례에 맞게 사전 정의된 컨텍스트를 제공하는 것이 가능할까요?18:47

모델 말씀이신가요? 잘 모르겠습니다. 시스템 프롬프트를 제공할 수는 있지만, 포스트 트레이닝이 가능한지는 잘 모르겠어요. 저희도 지원하는 커스텀 엔진인 MLCLM을 사용하시면, 더 큰 회사이고 직접 모델을 훈련할 수 있다면, 그것도 사용하실 수 있습니다.19:02

더 큰 회사에서 자체 모델을 훈련하거나 사용하실 수도 있습니다.19:15

네, 범용 엔진을 사용하시면 많은 기능을 활용하실 수 있습니다. 훨씬 더 많은 기능을 지원하지만, 다른 측면에서는 사용자분들이 이 모델을 다운로드해야 한다는 단점이 있습니다.19:19

운영체제에 포함되어 있지 않기 때문에, 사용자 정의 모델을 학습하거나 사용하려면 모든 사용자가 다운로드해야 합니다. 하지만 온디바이스 모델을 사용하면 운영체제에 포함되어 있습니다.19:33

네, 음, 기기 내 LLM이 이미지나 비디오, 3D 출력을 생성할 만큼 충분한 컴퓨팅 파워를 가질 수 있을까요? 네, 그렇게 생각합니다.19:45

현재 React Native AI를 통해 이미지나 비디오를 생성하는 것을 지원하지 않지만, 관련 데모를 많이 봤습니다. 예를 들어, 안드로이드 API를 통해 이미지를 생성할 수 있게 해주는 기능들이 있습니다.19:58

비디오에 대해서는 잘 모르겠지만, 우리가 지금 쓰고 있는 AI는 앞으로 더 못 쓸 최악의 버전일 거예요. AI는 계속 업데이트되고 있고, 마우스마다 새로운, 더 나은 모델이 나오고 있답니다.20:10

매년 AI 분야에서 획기적인 발전이 있어요. 미래의 마우스에서 이미지 생성, 비디오 생성, 그리고 여러 가지 일들을 할 수 있는 가능성이 있을 거라고 정말 생각해요.20:22

정말 흥미로운 미래를 위한 일들이 있네요. 이 기기 모델들의 파라미터 크기에 대해 어느 정도 아시나요? 그리고 다른 오픈 소스 모델들과 비교했을 때 어떤가요?20:35

네, 벤치마크 결과들이 좀 있습니다. 정확한 숫자는 기억이 안 나네요. 하지만 예제 앱으로 이것저것 만져보고, 저희도 이 API를 구현하고 있는데, 정말 훌륭합니다.20:46

멋진 모델이네요. 그리고, 이 모델은 프로파일링이 되어 있는데, 제가 주로 말씀드리는 건 OS와 함께 배포되는 애플 모델이에요. 제가 가장 많이 사용해 봤기 때문입니다.20:57

최신 아이폰에 맞춰 설계되었기 때문에, 제대로 된 금속을 사용하고, 적절한 수의 CPU와 GPU를 갖추고 있습니다.21:10

그리고, 아시겠지만, 애플 엔지니어들은 많은 시간을 투자하시는데, 일반적인 용도의 모델, 특히 오픈 소스 모델의 경우, 일부는 각 기기에 제공되지 않습니다.21:22

아시겠지만, 일반적인 모델들은 자원을 전부 활용하지 못하거나, 때로는 적절하게 자원을 배분하지 못하고, 메모리 사용량도 제대로 관리하지 못하는 경우가 있습니다.21:31

네, 애플 모델은 정말 빠르고, 자사 기기에서는 꽤 똑똑하다고 할 수 있습니다. 그럼 다른 AI 앱들에게는 어떤 의미일까요?21:44

제미니, 챗GPT, 클로드 소네트 같은 것들을 말하는 건데요. 솔직히 말씀드리면, 최신 OpenAI 모델을 가지고 놀기 위해서 챗GPT를 다운로드 받으세요?21:55

제미니도 마찬가지고, 저희가 매일 사용하는 다른 앱들도 마찬가지입니다. 하지만 개인 정보 보호 앱, 오프라인 앱, 인스타 같은 경우에도 온디바이스 AI를 사용하는 경우가 있을 거라고 생각해요.22:09

만약 어떤 앱이 클라우드 모델을 사용하는데 인터넷 연결이 되지 않는다면, 조금 성능이 떨어지는 모델로 대체하거나, 기기 내 모델을 사용할 수 있습니다.22:25

제가 보기에는 그 기능이 구현될 것 같지 않은데, 다른 활용 방안도 있을 것 같고, 혹시 이 라이브러리가 React Native 컴포넌트의 컨텍스트 인지 기능을 가지고 있나요?22:38

시스템에 전달했을 때 문제가 발생하면 네, 맞습니다. MLC가 유일한 런타임인가요?22:51

네, mlx나 유사한 것으로 교체할 수 있을까요? 아, 그런데 mlx는 현재 지원하지 않습니다. 검토해 본 결과, mlx를 지원하지 않은 이유는 저희가 특정 방식으로 구현하고 싶었기 때문입니다.23:00

처음에는 범용 엔진을 고려했었고, 그래서 MLCLM 엔진을 선택했지만, 사실은…23:14

리액트 네이티브 인공지능 및 MLX에 더 많은 엔진을 지원하는 방안을 적극적으로 검토하고 있습니다. 좋은 정보 감사합니다.23:23

내장 버전과 다운로드 받은 모델의 메모리 사용량은 어떻게 비교되나요?23:33

정말 좋은 질문이네요. 실제로 다운로드한 모델들은 경우에 따라 많은 RAM을 사용하기도 합니다.23:41

안드로이드 기기에서 사용하다 보면 가끔 멈추는 경우가 있었습니다. 심할 때는 기기를 강제 재부팅해야 할 정도였어요. iOS 쪽은 조금 더 성능이 좋았지만, 그래도 멈춤 현상이 있는 편이었습니다.23:52

써드파티 모델과 같은 모델들은 기기에 4기가바이트의 RAM을 사용하는 것과 비슷한 수준이었기 때문에, 여전히 상당히 많은 양이었습니다.24:06

하지만 운영체제와 함께 배송되는 것들은 성능이 정말 좋습니다.24:14

약 200~300메가바이트 정도의 RAM을 사용하고 있어서, 다른 써드파티 프로그램보다 훨씬 적게 사용합니다. 그 이유는요...24:21

애플 프로필 모델 같은 것들은 아이폰에 적용되고, 안드로이드 쪽에도 제미니와 함께 적용되었어요. 멋지네요. Llama.rn이랑 Whisper.rn의 차이점은 뭐예요?24:34

네, 읏퍼는 받아쓰기를 위한 것이랍니다.24:49

네, 그렇게 생각합니다. 이 프로젝트를 직접 사용해보지는 않았지만, React Native AI와 Versatile ASDK를 지원하는 데 적극적으로 검토하고 있습니다.24:52

솔직히 말씀드리면, 아직 이것저것 제대로 만져볼 시간이 없었어요.25:04

네, 그렇긴 하지만 좋은 이야기는 들었습니다. 그리고 네, React Native로 기기에서 데모를 보면 사람들이 실제로 이러한 패키지들을 많이 사용하시는 것 같습니다.25:10

마지막 질문 하나만 여쭤봐도 될까요? 혹시 기기가 Pixel 9처럼 인공지능 기능을 지원하는지 확인해 주실 수 있을까요?25:21

네, 네, 네, 물론이죠. 음, API 같은 것이 있어서요. 앱을 개발할 때마다, 안드로이드 앱을 개발하신다면, 앱이 수천 개의 다양한 기기에서 다운로드될 수 있습니다.25:28

음, 기기를 만드는 회사들이 정말 많고, 버전도 다양하고, 아이폰 버전도 여러 가지가 있습니다.25:41

그러면 해당 기기에서 모델이 지원되는지 확인하기 위한 API를 사용할 수 있고, 그걸 바탕으로 로직을 구현하실 수 있습니다.25:49

시몬 님, 정말 멋지셨습니다. 아이코닉했어요. 진심으로 감사합니다.25:58