Вчера компания NVIDIA официально представила чат-бота Chat with RTX для Windows, который работает на базе TensorRT-LLM и доступен бесплатно для всех желающих. Стоит отметить, что приложение Chat with RTX чрезвычайно простое в использовании — утилита разработана как локальная система, что означает, что у вас будет персонализированный чат-бот, доступный в любое время на вашем ПК без необходимости подключения к Интернету. И лучшая новость заключается в том, что данный чат-бот работает практически на всех видеокартах RTX 40 и RTX 30.

Сами разработчики приложения Chat with RTX объяснили, что их софт использует программное обеспечение NVIDIA TensorRT-LLM и Retrieval Augmented Generated (RAG), которое было анонсировано для ПК на Windows в прошлом году, и полностью использует тензорные ядра видеокарт RTX-серии для выполнения вычислений. После бесплатной загрузки Chat with RTX пользователи могут подключить его к локальному набору данных, доступному на ПК (в форматах .txt, .pdf, .doc, .docx, .xml), а затем задействовать возможности больших языковых моделей Mistral и Llama 2. Вы также можете вставлять конкретные URL-адреса, например, для видеороликов на YouTube или целых плейлистов, чтобы дополнительно улучшить результаты поиска в наборе данных. Довольно интересная новость, которую стоит изучить, потому что эта утилита работает очень достойно и вполне способна справляться со сложными базами данных и наборами информации из разных источников.