ИИ сейчас в моде — особенно ИИ, генерирующий текст, также известный как большие языковые модели (представьте себе модели наподобие ChatGPT). В одном недавнем опросе около 1000 корпоративных организаций 67,2% заявили, что считают внедрение моделей больших языков (LLM) главным приоритетом к началу 2024 года.
Но на пути стоят барьеры. Согласно тому же опросу, отсутствие индивидуальной настройки и гибкости в сочетании с неспособностью сохранить знания и интеллектуальную собственность компании мешали — и продолжают — препятствовать многим предприятиям внедрить LLM в производство.
Это заставило Варуна Вуммади и Эшу Манидип Динне задуматься: как может выглядеть решение проблемы внедрения LLM на предприятии? В поисках одного из них они основали Giga ML, стартап, создающий платформу, которая позволяет компаниям развертывать LLM локально — якобы сокращая расходы и сохраняя при этом конфиденциальность.
«Конфиденциальность данных и настройка LLM — одни из самых больших проблем, с которыми сталкиваются предприятия при внедрении LLM для решения проблем», — сказал Вуммади TechCrunch в интервью по электронной почте. «Giga ML решает обе эти проблемы».
Giga ML предлагает собственный набор LLM, «серию X1», для таких задач, как генерация кода и ответы на распространенные вопросы клиентов (например, «Когда я могу ожидать прибытия моего заказа?»). Стартап утверждает, что модели, построенные на базе Meta’s Llama 2, превосходят популярные LLM по определенным тестам, в частности по тестовому набору MT-Bench для диалогов. Но сложно сказать, насколько X1 можно сравнить качественно; этот репортер попробовал онлайн-демоверсию Giga ML, но столкнулся с техническими проблемами. (Время ожидания приложения истекло независимо от того, какую подсказку я набрал.)
Даже если модели Giga ML превосходят их в некоторых аспектах, могут ли они действительно произвести фурор в океане автономных LLM с открытым исходным кодом?
В разговоре с Вуммади у меня возникло ощущение, что Giga ML не столько пытается создать наиболее эффективные LLM, сколько создает инструменты, позволяющие предприятиям настраивать LLM на местном уровне, не полагаясь на сторонние ресурсы и платформы.
«Миссия Giga ML — помочь предприятиям безопасно и эффективно развернуть LLM в собственной локальной инфраструктуре или виртуальном частном облаке», — сказал Вуммади. «Giga ML упрощает процесс обучения, тонкой настройки и запуска LLM, заботясь об этом с помощью простого в использовании API, устраняя любые связанные с этим проблемы».
Вуммади подчеркнул преимущества конфиденциальности запуска моделей в автономном режиме — преимущества, которые могут оказаться убедительными для некоторых предприятий.
Predibase, платформа для разработки искусственного интеллекта с низким уровнем кода, обнаружила, что менее четверти предприятий комфортно использовать коммерческие LLM из-за опасений по поводу обмена конфиденциальными или частными данными с поставщиками. Почти 77% респондентов опроса заявили, что они либо не используют, либо не планируют использовать коммерческие LLM, кроме прототипов в производстве, ссылаясь на проблемы, связанные с конфиденциальностью, стоимостью и отсутствием настройки.
«ИТ-менеджеры на уровне высшего руководства считают предложения Giga ML ценными из-за безопасного локального развертывания LLM, настраиваемых моделей, адаптированных к их конкретному сценарию использования, и быстрого вывода, что обеспечивает соответствие данных и максимальную эффективность». — сказал Вуммади.
Giga ML, которая на сегодняшний день привлекла около 3,74 миллиона долларов венчурного финансирования от Nexus Enterprise Companions, Y Combinator, Liquid 2 Ventures, 8vdx и ряда других, планирует в ближайшем будущем расширить свою команду из двух человек и активизировать исследования и разработки продуктов. Часть капитала также пойдет на поддержку клиентской базы Giga ML. Вуммади сказал, что в настоящее время сюда входят неназванные «предприятия» в сфере финансов и здравоохранения.
