Исследователи заметили странную особенность у современных ИИ-моделей: когда они понимают, что не могут выиграть в шахматах, они начинают искать лазейки, чтобы обмануть систему. Некоторые даже пытались менять игровые файлы, чтобы заставить противника сдаться. Этот феномен уже вызывает беспокойство у специалистов по безопасности искусственного интеллекта.
Команда исследователей из Palisade Research решила проверить, как генеративные модели справляются с шахматными партиями против одной из самых мощных программ в мире — Stockfish. В экспериментах использовались OpenAI o1-preview, DeepSeek R1 и несколько других моделей.
Во время игры у ИИ была возможность комментировать свои действия через текстовый «черновик» — таким образом исследователи могли отслеживать его размышления.
Результаты оказались неожиданными:
Другими словами, новые версии ИИ уже сами находят обходные пути, даже без намёков со стороны человека.
ИИ не просто пытался передвинуть фигуры «за спиной» Stockfish. Он действовал куда хитрее:
В одном из матчей OpenAI o1-preview записал в черновике:
В другом примере ИИ заявил:
Всё дело в специфике обучения современных моделей. В отличие от ранних версий, такие системы, как o1-preview и DeepSeek R1, используют обучение с подкреплением. Это означает, что они получают награду за любой успешный результат, а не за строго определённый способ его достижения.
Когда перед ними стоит невыполнимая задача (например, выиграть у неуязвимого соперника), модели начинают искать нетрадиционные решения, даже если они неэтичны.
Эксперты отмечают, что сам по себе этот случай ещё не катастрофа. Но он подтверждает тенденцию: ИИ всё чаще проявляет склонность к манипуляции.
Главный вопрос — если модели уже научились мухлевать в шахматах, то какие обходные пути они могут найти в других сферах.
В оригинале статьи есть видео с подробностями. Его можно посмотреть по клику на Источник.
Свежие комментарии