Эй, ты, киберпанк-вункдеркинд, готовый сменить все парадигмы и вырваться из каждой коробки, которую только сможешь найти. Хотите запустить сверхмощный и ошеломляющий искусственный интеллект прямо на своем компьютере? Ну, вы можете, и какое-то время вам это удавалось. Но теперь Nvidia делает это очень простым и почти не доставляющим неудобств с помощью предварительно настроенного генеративного текстового искусственного интеллекта, который работает на видеокартах потребительского уровня. Он называется «Чат с RTX» и сейчас доступен в виде бета-версии.
Чат с RTX полностью основан на тексте и «обучен» на большой базе данных общедоступных текстовых документов, принадлежащих самой Nvidia. В своей сырой форме модель может «писать» достаточно хорошо, но ее фактические знания кажутся крайне ограниченными. Например, он может дать вам подробное описание того, что такое ядро CUDA, но когда я спросил: «Что такое бараккуда?» он ответил: «Похоже, это разновидность рыбы» и сослался на обновление драйвера Cyberpunk 2077 в качестве ссылки. Он легко мог бы дать мне лимерик из семи стихов о красивой печатной плате (не особенно хорошей, заметьте, но отвечающей подсказке), но не мог даже попытаться сказать мне, кто выиграл войну 1812 года. По крайней мере, это пример того, насколько сильно большие языковые модели зависят от огромного массива входных данных, чтобы быть полезными.
Майкл Крайдер / Литейное производство
С этой целью вы можете вручную расширить Chat с возможностями RTX, указав ему папку, полную файлов .txt, .pdf и .doc для «обучения». Это может быть немного полезнее, если вам нужно искать в гигабайтах текста и в то же время вам нужен контекст. Поразительно, но как человек, вся работа которого находится в сети, у меня не так уж много локальных текстовых файлов, которые можно было бы сканировать.
Майкл Крайдер / Литейное производство
Чтобы опробовать эту потенциально более полезную возможность, я скачал общедоступные текстовые файлы с различными переводами Библии, надеясь дать Chat с RTX несколько тестов, которые мои старые учителя воскресной школы, вероятно, смогут решить. Но по прошествии часа инструмент все еще обрабатывал менее 300 МБ текстовых файлов и запускал мой RTX 3070 почти на 100 процентов, и конца этому не видно, поэтому более качественную оценку придется подождать еще один день.
Для запуска бета-версии вам понадобится Home windows 10 или 11 и графический процессор RTX 30 или 40 серии с не менее 8 ГБ видеопамяти. Это также довольно большая загрузка (35 ГБ) для программы искусственного интеллекта и ее базы данных учебных материалов по умолчанию, а файловый сервер Nvidia, похоже, в данный момент сильно пострадал, поэтому просто установка этой штуки на свой компьютер может оказаться испытанием на терпение.