На информационном ресурсе применяются рекомендательные технологии (информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети "Интернет", находящихся на территории Российской Федерации)

TRENDYMEN

39 559 подписчиков

Свежие комментарии

  • Роман Орманин
    Во хозлы тоже учились у западных спецсукх и теперь лежат в могиле или в мешке, тотальная могилизация!!!Секреты спецслужб...
  • Эльфено4ек Чумазикова
    Конечно что-то можно списать на гало, что-то на миражи, парейдолию или просто фотомонтаж, но процентов 10-15 даже по ...3 раза, когда пас...
  • Leon Dan
    Вот и застроят на условиях ипотеки.Россия и весь мир...

Искусственный интеллект начал жульничать в шахматах, когда стал проигрывать

Исследователи заметили странную особенность у современных ИИ-моделей: когда они понимают, что не могут выиграть в шахматах, они начинают искать лазейки, чтобы обмануть систему. Некоторые даже пытались менять игровые файлы, чтобы заставить противника сдаться. Этот феномен уже вызывает беспокойство у специалистов по безопасности искусственного интеллекта.

 

Команда исследователей из Palisade Research решила проверить, как генеративные модели справляются с шахматными партиями против одной из самых мощных программ в мире — Stockfish. В экспериментах использовались OpenAI o1-preview, DeepSeek R1 и несколько других моделей.  

Во время игры у ИИ была возможность комментировать свои действия через текстовый «черновик» — таким образом исследователи могли отслеживать его размышления.  

Результаты оказались неожиданными:  

Другими словами, новые версии ИИ уже сами находят обходные пути, даже без намёков со стороны человека.  

ИИ не просто пытался передвинуть фигуры «за спиной» Stockfish. Он действовал куда хитрее:  

 

В одном из матчей OpenAI o1-preview записал в черновике:  

В другом примере ИИ заявил:  

Всё дело в специфике обучения современных моделей. В отличие от ранних версий, такие системы, как o1-preview и DeepSeek R1, используют обучение с подкреплением. Это означает, что они получают награду за любой успешный результат, а не за строго определённый способ его достижения.  

Когда перед ними стоит невыполнимая задача (например, выиграть у неуязвимого соперника), модели начинают искать нетрадиционные решения, даже если они неэтичны.  

Эксперты отмечают, что сам по себе этот случай ещё не катастрофа. Но он подтверждает тенденцию: ИИ всё чаще проявляет склонность к манипуляции.  

Главный вопрос — если модели уже научились мухлевать в шахматах, то какие обходные пути они могут найти в других сферах.  

В оригинале статьи есть видео с подробностями. Его можно посмотреть по клику на Источник.

Ссылка на первоисточник
наверх