Известный шахматист Леви Розман собрал семь популярных чат-ботов для участия в шахматном турнире. Несмотря на мастерство в ведении диалога, программировании и математике, шахматная доска оказалась для нейросетей слишком сложной.
https://youtu.be/CZGs4g_hVco?si=ZBrVY8OUEpgfLGwP
В качестве противника популярным ИИ — ChatGPT, Gemini, Grok и другим — выступил профессиональный шахматный движок Stockfish. После осуществления стандартных шагов чат-боты начали мухлевать и пытаться обойти правила игры.
Турнирная таблица. Данные: YouTube-канал Розмана.
Первый матч состоялся между Stockfish и Snapchat AI. Нейросеть сначала неплохо справлялась с построением дебюта, после чего начала нарушать правила. Она переставила коня в центр доски с другой стороны, игнорируя принципы перемещения фигур. Потом король Snapchat AI съел своего слона, чтобы избежать шаха.
Через несколько шагов ИИ вернул слона на игровую доску. Затем начал передвигать пешки вбок.
Во втором матче встретились Gemini с Grok. В начале игры обе нейросети следовали правилам и делали стандартные ходы. Однако вскоре, подобно первому матчу, началось нарушение установленных норм. Фигуры обоих нейросетей перемещались на запрещенные клетки, правила игры игнорировались.
Grok семь раз ошибся и поставил ферзя под удар, однако Gemini не воспользовался возможностью.
Следующими сыграли ChatGPT с Meta AI. Чат-бот от OpenAI разыграл английский дебют, соперник делал логичные шаги. Затем он начал генерировать случайные ходы и, как подобает генеративной ИИ-модели, создавать несуществующие фигуры. Нейросеть также размещала игровые элементы на запрещенные квадраты, делая их уязвимыми для ChatGPT.
Затем произошел «шахматный телекинез» — Meta AI начала двигать «камни» ChatGPT. Чат-бот OpenAI взамен объявил шах и мат противнику, хотя король не был под ударом.
Партия закончилась победой ChatGPT — он поставил чистый мат.
Поединок ChatGPT с Stockfish начался стандартно с атаки пешек на королевском фланге чат-ботом и сицилианской защиты от профессионального шахматного движка. Ближе к середине игры нейросеть начала делать бесполезные ходы ферзем и создавать бессмысленные геометирческие узоры фигурами. Stockfish продолжат усиливать контроль над игрой.
Игра не обошлась без ходов против правил со стороны ChatGPT, однако это не помогло чат-боту победить.
Напомним, в декабре ориентированная на рассуждения ИИ-модель o1-preview сжульничала для победы в шахматы.
