Как понять, что перед тобой искусственный интеллект или очень хороший чат-бот, задав один или несколько вопросов?

Я бы сказал, что в 2022 году по поведению искусственных ассистентов типа Алисы, Siri, Олега и тому подобных, всё ещё заметен давно известный недостаток подобных чат-ботов - хранение контекста беседы, в особенности, глобального контекста (бытовых знаний о мире).

Даже при условии, что Яндекс, Apple, Google, Сбербанк и другие заинтересованные фирмы могут насыпать на проблему буквально горы денег и предоставить любые серверные мощности. 

Например, научите бота в беседе чему-нибудь новому, а потом, после множества других фраз, задайте косвенный вопрос об этом.

— Между прочим, как теперь уже 30-летний, я…

… много других фраз…

— Почему, по-твоему, я в этом году отпраздновал юбилей?

Или воспользуйтесь обратной ссылкой на уже сказанное им же ранее:

— Как зовут фронтмена "Bring Me the Horizon"?

… много других фраз…

— Так как, говоришь, зовут фронтмена той группы, про которую я спрашивал?

Или сконструируйте фразу, очевидно бессмысленную на бытовом уровне, но в остальном корректную, и посмотрите на реакцию.

— Думаю, я долго простою на светофорах и в пробках, после того как съезжу сдам машину на ремонт в сервис. А мне ещё сирот надо успеть из дома престарелых забрать.

Но в целом, достаточно хитрый программист чат-бота может запудрить вам мозги, научив бота отвечать достаточно уклончиво в непонятных ему случаях. "Прикинуться дурачком" это очень эффективная стратегия.

В 2021 году в России вышла очень обстоятельно написанная обзорная книга по сильному искусственному интеллекту с таким же названием: "Сильный искусственный интеллект: на подступах к сверхразуму". Вторая глава этой книги полностью посвящена проблеме распознавания сильного ИИ, то есть, буквально, даже если мы такой разработаем - как мы это поймём, какие должны быть критерии оценки? В том издании, которое я читал, проблемы оценки "разумности" чат-ботов рассматриваются на страницах 64-69. Очень рекомендую эту книгу к прочтению для понимания проблемы сильного ИИ в целом.