В России разрабатывают экономичные ИИ-модели, устойчивые к галлюцинациям
Институт искусственного интеллекта AIRI совместно со Сбером работает над созданием семейства ИИ-систем "Optimal Cognitive Core" (OCC). Эти модели позиционируются как "когнитивное ядро": они не требуют больших вычислительных мощностей, но при этом умеют работать с внешними базами данных, поисковыми системами и другими инструментами. О разработке на ПМЭФ сообщил гендиректор AIRI Иван Оселедец.
Как поясняют разработчики, большинство современных больших языковых моделей становятся все более громоздкими. Каждое новое поколение содержит миллиарды параметров и фактически пытается хранить знания внутри себя. Это делает их дорогими в обучении и эксплуатации. Кроме того, такие модели часто игнорируют актуальный контекст, предоставленный пользователем, из-за чего генерируют правдоподобные, но неверные ответы - так называемые галлюцинации.
В AIRI решили пойти другим путем. Вместо модели-"энциклопедии" создается компактное ядро, которое не запоминает факты, а умеет анализировать информацию, строить логические связи и обращаться к внешним источникам.
Первая модель семейства - OCC-RAG. Она обучена отвечать на вопросы, опираясь исключительно на предоставленные документы, связывать факты из разных частей текста и честно отказываться от ответа, если данных недостаточно. Система выдает результат в виде структурированного ответа с цепочкой рассуждений и прямыми цитатами из источников, что упрощает проверку.
Благодаря компактности OCC-RAG обрабатывает запросы в 1,5-2 раза быстрее решений на основе больших языковых моделей и тратит на генерацию ответа в среднем в 1,5 раза меньше токенов. Разница в стоимости за токен в зависимости от размера модели составляет от 1,4 до 4,3 раза по сравнению с аналогами (Qwen, Gemma, GigaChat, Pleias-RAG). Модель доступна в версиях на 0,6 млрд и 1,7 млрд параметров - обе можно запускать даже на ноутбуке или смартфоне.
Решение выложено в открытый доступ. Его можно использовать в финансовых сервисах, корпоративных базах знаний, клиентской поддержке, а также в юридических, медицинских и комплаенс-системах - везде, где важны строгая работа с документами и отсутствие ошибок.
Следующий шаг - превратить OCC из узкоспециализированного инструмента для работы с контекстом в полноценное агентное ядро. Разработчики хотят научить модель самостоятельно искать недостающую информацию: обращаться к поисковым системам, базам данных, корпоративным сервисам и даже вызывать другие ИИ-модели.
"Для большинства прикладных задач важнее не объем памяти модели, а её способность рассуждать и опираться на предоставленные данные. OCC - это попытка построить именно такое когнитивное ядро", - Иван Оселедец, генеральный директор AIRI.
Создатели видят в OCC шаг к будущему, где небольшие ИИ-модели будут эффективно взаимодействовать с инструментами и корпоративными системами, а не пытаться хранить весь мир внутри себя.
Источник:
