macsplex.com 로그인

검색

Extra Form
출처/참고/홈페이지 https://blogs.nvidia.com/blog/chat-with-rtx-available-now/

nvidia-chatwithrtx-ss.png

**번역본 뉴스입니다. 오역이 있을수 있습니다.
테크 데모는 RTX GPU를 가진 모든 사람에게 개인화된 GPT 챗봇의 힘을 제공합니다.

 

공유해요

 

챗봇은 엔비디아 GPU 기반 클라우드 서버에 의해 구동되는, 매일 전세계의 수백만 명의 사람들에 의해 사용됩니다. 이제, 이 획기적인 도구들은 로컬의, 빠른, 맞춤형 생성 AI를 위해 엔비디아 RTX에 의해 구동되는 윈도우 PC로 오고 있습니다.

이제 무료로 다운로드할 수 있는 RTX와의 채팅은 최소 8GB의 비디오 랜덤 액세스 메모리, 즉 VRAM을 갖춘 로컬 NVIDIA GeForce RTX 30 Series GPU 이상으로 가속화된 챗봇을 사용자 자신의 콘텐츠로 개인화할 수 있는 기술 데모입니다.


뭐든 물어봐요.

 

RTX와의 대화는 검색-증강 세대 (RAG), NVIDIA Tensor RT-LLM 소프트웨어 및 NVIDIA RTX 가속을 사용하여 생성 AI 기능을 GeForce 기반 로컬 Windows PC에 제공합니다. 사용자는 PC의 로컬 파일을 데이터 세트로 된 Mistral 또는 Lama 2와 같은 오픈 소스 대규모 언어 모델에 빠르고 쉽게 연결할 수 있으며, 이를 통해 상황에 따라 관련된 빠른 답변을 위한 쿼리를 가능하게 합니다.

노트나 저장된 콘텐츠를 검색하는 대신, 사용자들은 단순히 쿼리를 입력할 수 있습니다. 예를 들어, "라스베가스에 있는 동안 파트너가 추천한 레스토랑은 무엇이었습니까?"라고 물을 수 있고, RTX와의 채팅은 사용자가 가리키는 로컬 파일을 스캔하고 컨텍스트와 함께 답변을 제공합니다.

이 도구는 .txt, .pdf, .doc/.docx 및 .xml을 포함한 다양한 파일 형식을 지원합니다. 이 파일들이 들어 있는 폴더에서 응용 프로그램을 가리키면 이 도구는 몇 초 만에 라이브러리에 파일을 로드합니다.

 

사용자는 또한 유튜브 비디오 및 재생 목록의 정보를 포함할 수 있습니다. RTX와의 채팅에 비디오 URL을 추가하면 상황별 쿼리를 위해 이 지식을 챗봇에 통합할 수 있습니다. 예를 들어, 좋아하는 인플루언서 비디오의 내용을 기반으로 여행 추천을 요청하거나 최고의 교육 리소스를 기반으로 빠른 튜토리얼과 사용 방법을 얻을 수 있습니다.

 

Chat-with-RTX-Screenshot-672x378.jpg.webp.jpg

RTX와의 대화는 윈도우 RTX PC와 워크스테이션에서 로컬로 실행되기 때문에 제공되는 결과는 빠르고 사용자의 데이터는 기기에 유지됩니다. 클라우드 기반의 LLM 서비스에 의존하는 대신, RTX와의 대화는 사용자가 민감한 데이터를 제3자와 공유하거나 인터넷에 연결할 필요 없이 로컬 PC에서 처리할 수 있게 해줍니다.

 

최소 8GB 이상의 VRAM을 갖춘 GeForce RTX 30 시리즈 GPU 외에도 RTX와의 채팅을 위해서는 Windows 10 또는 11과 최신 NVIDIA GPU 드라이버가 필요합니다.

 

편집자 참고: RTX와의 채팅에서 사용자가 다른 설치 디렉토리를 선택할 때 설치가 실패하는 문제를 확인했습니다. 이 문제는 향후 릴리스에서 수정될 예정입니다. 당분간 사용자는 기본 설치 디렉토리("C:\Users\<username>\AppData\Local\NVIDIA\ChatWithRTX")를 사용해야 합니다.


RTX를 이용한 LLM 기반 애플리케이션 개발

RTX와의 채팅은 RTX GPU로 LLM을 가속화할 수 있는 가능성을 보여줍니다. 앱은 GitHub에서 사용할 수 있는 TensorRT-LLM RAG 개발자 참조 프로젝트에서 구축되었습니다. 개발자는 참조 프로젝트를 사용하여 TensorRT-LLM으로 가속화된 RTX용 RAG 기반 애플리케이션을 개발하고 배포할 수 있습니다. LLM 기반 애플리케이션 구축에 대해 자세히 알아보십시오.

 

https://www.nvidia.com/en-us/ai-data-science/generative-ai/

https://www.nvidia.com/en-us/ai-on-rtx/





--------------------------------------------------광고(Advertising)-------------------------------------------------------------------------------------


TAG •

Who's DNAVI

profile

안녕하세요 macsplex.com 웹마스터 DNAVI입니다.

오픈소스를 좋아하고 컴퓨터에서 돌아가는 OS와 소프트웨어를 설치하고 웹사이트를 운영하는데 관심이 많습니다.

 

가지고 있는 제품리스트

PC  :

homebuilt computer(Intel i7-4790K, ASUS MAXIMUS Ranger Vii, AMD Radeon R290),

homebuilt computer(AMD Phenom X4 630, GIGABYTE GA-61P-S3, NVIDIA GT8600),

Apple iMac 2009 late(Intel E7600)

Apple MacMini 2018(Intel i5-8500B, A1993)

homebuilt computer(AMD Ryzen 3200G, Asrock B450 Steel Legend)

Beelink SER(AMD Ryzen 7840HS, 64GB)

 

Notebook :

Apple Macbook Air 2022 (M2, A2681)

Lenovo LEGION 5 Pro 16ACH R7 STORM (AMD R7-5800H, NVIDIA RTX3060 laptop)

Lenovo Thinkpad T420s(Intel i5-2540M)

Apple Macbook Air 2011 Mid( i5-2467M, A1370)

 

Server :

Dell PowerEdge R420(Intel XEON E5-2407)

Dell PowerEdge R710(Intel XEON E5620 x2, 32GB)

HP Proliant Microserver Gen8(Intel XEON E3-1230V2)

 

NAS :

Synology.DS218+

BUFFALO LinkStation Live LS-XL/E

 

Smartphone:

Motorola Edge 20 pro

Apple iPhone 12

Apple iPhone 15 Pro Max

Samsung Galaxy S8

Xiaomi Redmi Note 4, Mi 8

Lenovo Phab2 Pro

Apple iPhone 5

Huawei X3, Nova Smart

Blackberry 9790

 

Tablet :

Apple iPad Air2

Samsung Galaxy Tab S7+

 

Game Console :

Sony PSP, PS3, PS4 Pro, PS5

Microsoft Xbox 360, Xbox One X

Nintendo DS Lite, 3DS XL, Switch Lite, Switch

HardKernel Odrid Go Advance Black Edition

Gamepark GP2X-F100

  • profile
    DNAVI 2024.02.16 01:58

    다운로드해서 압축풀면 38.3GB정도 나오고 작업관리자에서 GPU메모리 25.9GB라고 나와서 설치를 시도했는데 설치가 안됩니다. GPU전용메모리 8GB이상이 필요합니다. 진지하게 그래픽카드 구매하는것을 생각하게 하네요!! 게임도 많이 하는것도 아닌데 4060 16GB를 사야하는지..


List of Articles
분류 제목 글쓴이 날짜
제품 ASRock, 두 개의 새로운 AI 도구로 AI QuickSet 2024 1분기 업데이트 공개 1 file DNAVI 2024.04.02
제품 NVIDA Blackwell 아키텍쳐 새로운 산업혁명의 엔진. file DNAVI 2024.03.19
제품 아틱 Freezer 36 쿨러시리즈는 인텔 LGA1851 소켓을 지원합니다. file DNAVI 2024.03.06
제품 뭐라고요? RTX와의 채팅으로 엔비디아 RTX AI PC에 맞춤형 챗봇 제공 1 file DNAVI 2024.02.16
제품 Nvidia RTX 2000 Ada는 가장 작은 GeForce RTX 4000 GPU와 16GB VRAM 및 70W TGP를 결합합니다 file DNAVI 2024.02.15
MS 원도우즈 윈도우 11은 AI를 사용하여 게임을 자동으로 업스케링을 가능하게 합니다. file DNAVI 2024.02.14
유출/루머 AMD Radeon RX 8800 XT는 3GHz이상으로 부스트되고, 4nm 공정에서 제조되는 Tensor 유닛을 지원합니다. file DNAVI 2024.02.12
유출/루머 인텔 애로우 레이크 데스크톱 CPU에 120Gbps 썬더볼트 5 및 더 많은 PCIe 5.0 레인 제공, 바로우 릿지 컨트롤러가 출시됩니다. file DNAVI 2024.01.24
제품 삼성 EVO 990 SSD 소개합니다. file DNAVI 2024.01.24
제품 삼성, 5,000만 화소, 200만 화소 카메라를 탑재한 갤럭시 S24, S24+, S24 울트라 출시 file DNAVI 2024.01.18
제품 삼성이 엑시노스 2400에 대한 자세한 정보를 공개했습니다 file DNAVI 2024.01.18
업계동향 애플, 애플워치 혈중 산소 기능 제거를 강조하기 위해 웹 사이트 업데이트 file DNAVI 2024.01.18
업계동향 Microsoft, 코파일럿 및 Windows AI 기능의 최소 요구 사양으로 16GB RAM 설정 file DNAVI 2024.01.18
제품 AMD, 데스크탑용 Ryzen 8000 프로세서 출시: Zen 4c 및 Ryzen AI를 탑재한 하이브리드 CPU file DNAVI 2024.01.11
제품 MSI, 코어 울트라를 탑재한 세계 최초의 게이밍 핸드헬드 클로를 공개합니다. file DNAVI 2024.01.09
제품 게인워드, 지포스 RTX 40 SUPER 시리즈 그래픽 카드 출시 file DNAVI 2024.01.09
제품 CES 2024 새로운 레노버 LQQ 15 라인업 출시 file DNAVI 2024.01.09
제품 팀그룹(Team Group), T-FORCE GE PRO NVMe 5세대 SSD 출시 file DNAVI 2024.01.05
제품 ePMR 및 UltraSMR을 기반으로 28TB HDD를 준비하는 Western Digital file DNAVI 2023.08.02
제품 에이텐 테크놀로지, 새로운 초강력 USB-C 워크스테이션 KVM 출시 file DNAVI 2023.06.29
Board Pagination Prev 1 2 3 4 5 6 7 Next
/ 7