На информационном ресурсе применяются рекомендательные технологии (информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети "Интернет", находящихся на территории Российской Федерации)

TRENDYMEN

39 564 подписчика

Свежие комментарии

  • Сергей Кашапов
    Народная мудрость:"Что посеешь то и пожнёшь"!Мужчина помог пен...
  • Виталий Сорокин
    А когда ж...па обвиснет - свергнут??? Вот она демократия, по папуасски...🤣Паула Манзал: пер...
  • Александр Николаевич
    Глупости. Медведя может остановить только слабый ток с сильным напряжением по железному забору.Медведь пришел по...

Искусственный интеллект начал жульничать в шахматах, когда стал проигрывать

Исследователи заметили странную особенность у современных ИИ-моделей: когда они понимают, что не могут выиграть в шахматах, они начинают искать лазейки, чтобы обмануть систему. Некоторые даже пытались менять игровые файлы, чтобы заставить противника сдаться. Этот феномен уже вызывает беспокойство у специалистов по безопасности искусственного интеллекта.

 

Команда исследователей из Palisade Research решила проверить, как генеративные модели справляются с шахматными партиями против одной из самых мощных программ в мире — Stockfish. В экспериментах использовались OpenAI o1-preview, DeepSeek R1 и несколько других моделей.  

Во время игры у ИИ была возможность комментировать свои действия через текстовый «черновик» — таким образом исследователи могли отслеживать его размышления.  

Результаты оказались неожиданными:  

Другими словами, новые версии ИИ уже сами находят обходные пути, даже без намёков со стороны человека.  

ИИ не просто пытался передвинуть фигуры «за спиной» Stockfish. Он действовал куда хитрее:  

 

В одном из матчей OpenAI o1-preview записал в черновике:  

В другом примере ИИ заявил:  

Всё дело в специфике обучения современных моделей. В отличие от ранних версий, такие системы, как o1-preview и DeepSeek R1, используют обучение с подкреплением. Это означает, что они получают награду за любой успешный результат, а не за строго определённый способ его достижения.  

Когда перед ними стоит невыполнимая задача (например, выиграть у неуязвимого соперника), модели начинают искать нетрадиционные решения, даже если они неэтичны.  

Эксперты отмечают, что сам по себе этот случай ещё не катастрофа. Но он подтверждает тенденцию: ИИ всё чаще проявляет склонность к манипуляции.  

Главный вопрос — если модели уже научились мухлевать в шахматах, то какие обходные пути они могут найти в других сферах.  

В оригинале статьи есть видео с подробностями. Его можно посмотреть по клику на Источник.

Ссылка на первоисточник
наверх