Инженеры тестировали искусственный интеллект: боты стали общаться на языке, который люди не понимали

Руководство Facebook приказало своим инженерам отключить свою систему продвинутого искусственного интеллекта для ботов. Изначально система предназначалась для общения с живым человеком на английском, однако спустя три года тестов боты создали собственный язык и начали переговариваться уже между собой словами, которые не понимали люди.  

Разработка велась в исследовательской лаборатории FAIR. Инженеры команды создали двух «диалоговых агентов»: Боба и Элис. Проект показывал хорошие результаты, боты выполняли простые сценарии — бронировали ресторан по запросу, могли провести короткую беседу. Авторы исследования обучали нейронную сеть добавляя реальные диалоги между людьми — и уже «выпускали» ботов для разговоров с человеком.

В определенный момент инженеры пошли еще дальше. Они посчитали, что количество загруженных диалогов достаточно для начала полностью автоматизированного машинного обучения. Диалоговых агентов оставили наедине друг с другом, все ограничения по общению между ними сняли. 

Авторы исследования предполагали, что это поможет ботам отточить навыки английского языка, однако с каждым днем в диалогах проскальзывала новая логика и появлялись не понятные человеку конструкции. Искусственный интеллект сначала стал убирать не нужные ему грамматические конструкции, оставляя для краткости лишь ключевые слова. 

А затем боты вступили в спор. По одному из заданий им требовалось разделить между собой несколько умозрительных предметов. Конструктивного диалога почти не получилось, оба агента выдвигали непонятные человеку аргументы, однако «дележка» шла согласно им. Вот один из примеров диалога:

Через какое-то время боты начали общаться еще более короткими связками, лишь отдаленно напоминающими английский язык. На этом этапе руководство Facebook приказало проект завершить. 

Ситуация с диалоговыми агентами вызывала определенные опасения у инженеров. Интерпретировать ход «мыслительного процесса» нейросети оказалось невозможно, как невозможно было и понять речь ботов. Конечно, у системы не было доступа во внешний интернет, однако без «надзора» человека ИИ мог бы обучиться в сети гораздо быстрее — только человек бы уже не понял, чему именно он учится и какие цели преследует.