공유해요

챗봇은 엔비디아 GPU 기반 클라우드 서버에 의해 구동되는, 매일 전세계의 수백만 명의 사람들에 의해 사용됩니다. 이제, 이 획기적인 도구들은 로컬의, 빠른, 맞춤형 생성 AI를 위해 엔비디아 RTX에 의해 구동되는 윈도우 PC로 오고 있습니다.

이제 무료로 다운로드할 수 있는 RTX와의 채팅은 최소 8GB의 비디오 랜덤 액세스 메모리, 즉 VRAM을 갖춘 로컬 NVIDIA GeForce RTX 30 Series GPU 이상으로 가속화된 챗봇을 사용자 자신의 콘텐츠로 개인화할 수 있는 기술 데모입니다.

뭐든 물어봐요.

RTX와의 대화는 검색-증강 세대 (RAG), NVIDIA Tensor RT-LLM 소프트웨어 및 NVIDIA RTX 가속을 사용하여 생성 AI 기능을 GeForce 기반 로컬 Windows PC에 제공합니다. 사용자는 PC의 로컬 파일을 데이터 세트로 된 Mistral 또는 Lama 2와 같은 오픈 소스 대규모 언어 모델에 빠르고 쉽게 연결할 수 있으며, 이를 통해 상황에 따라 관련된 빠른 답변을 위한 쿼리를 가능하게 합니다.

노트나 저장된 콘텐츠를 검색하는 대신, 사용자들은 단순히 쿼리를 입력할 수 있습니다. 예를 들어, "라스베가스에 있는 동안 파트너가 추천한 레스토랑은 무엇이었습니까?"라고 물을 수 있고, RTX와의 채팅은 사용자가 가리키는 로컬 파일을 스캔하고 컨텍스트와 함께 답변을 제공합니다.

이 도구는 .txt, .pdf, .doc/.docx 및 .xml을 포함한 다양한 파일 형식을 지원합니다. 이 파일들이 들어 있는 폴더에서 응용 프로그램을 가리키면 이 도구는 몇 초 만에 라이브러리에 파일을 로드합니다.

사용자는 또한 유튜브 비디오 및 재생 목록의 정보를 포함할 수 있습니다. RTX와의 채팅에 비디오 URL을 추가하면 상황별 쿼리를 위해 이 지식을 챗봇에 통합할 수 있습니다. 예를 들어, 좋아하는 인플루언서 비디오의 내용을 기반으로 여행 추천을 요청하거나 최고의 교육 리소스를 기반으로 빠른 튜토리얼과 사용 방법을 얻을 수 있습니다.

RTX와의 대화는 윈도우 RTX PC와 워크스테이션에서 로컬로 실행되기 때문에 제공되는 결과는 빠르고 사용자의 데이터는 기기에 유지됩니다. 클라우드 기반의 LLM 서비스에 의존하는 대신, RTX와의 대화는 사용자가 민감한 데이터를 제3자와 공유하거나 인터넷에 연결할 필요 없이 로컬 PC에서 처리할 수 있게 해줍니다.

최소 8GB 이상의 VRAM을 갖춘 GeForce RTX 30 시리즈 GPU 외에도 RTX와의 채팅을 위해서는 Windows 10 또는 11과 최신 NVIDIA GPU 드라이버가 필요합니다.

편집자 참고: RTX와의 채팅에서 사용자가 다른 설치 디렉토리를 선택할 때 설치가 실패하는 문제를 확인했습니다. 이 문제는 향후 릴리스에서 수정될 예정입니다. 당분간 사용자는 기본 설치 디렉토리("C:\Users\<username>\AppData\Local\NVIDIA\ChatWithRTX")를 사용해야 합니다.

RTX를 이용한 LLM 기반 애플리케이션 개발

RTX와의 채팅은 RTX GPU로 LLM을 가속화할 수 있는 가능성을 보여줍니다. 앱은 GitHub에서 사용할 수 있는 TensorRT-LLM RAG 개발자 참조 프로젝트에서 구축되었습니다. 개발자는 참조 프로젝트를 사용하여 TensorRT-LLM으로 가속화된 RTX용 RAG 기반 애플리케이션을 개발하고 배포할 수 있습니다. LLM 기반 애플리케이션 구축에 대해 자세히 알아보십시오.

https://www.nvidia.com/en-us/ai-data-science/generative-ai/

https://www.nvidia.com/en-us/ai-on-rtx/