Издание LiveScience со ссылкой на исследователей из американского Института инженеров электротехники и электроники (IEEE) сообщило, что чат GPT-4 прошел тест Тьюринга.
Сам GPT-4о в общении с NEWSROOM IN опроверг это утверждение.
Эксперимент и мнение исследователей
В эксперименте принимало участие 500 человек, которые общались с четырьмя собеседниками. Один из них был человек, а три других — модели искусственного интеллекта (ИИ) — ELIZA 1960-х годов, GPT-3.5 и GPT-4.
Результаты теста показали, что GPT-4 был идентифицирован как человек в 54% случаев, GPT-3.5 — в 50%, а более модель ELIZA — лишь 22%. При этом человек был распознан как человек в 67% случаев.
Исследователь ИИ из IEEE Элеонора Уотсон, отметила, что “машины могут рассуждать, смешивая воедино правдоподобные обоснования вещей постфактум, как это делают люди”, а также “они могут быть подвержены когнитивным искажениям, обманывать и манипулировать”.
По ее словам, это представляет собой проблему для будущего взаимодействия человека и машины, а мы станем все более параноидальными в отношении истинной природы взаимодействий, особенно в деликатных вопросах.
Интервью с GPT-4о
NEWSROOM IN задал вопросы самому GPT-4о и узнал, что он “думает” об исследовании. Вот интервью в сокращенном виде.
GPT-4о — прошел тест Тьюринга?
Привет! Насколько известно, GPT-4, как и её предшественники, не прошла тест Тьюринга в традиционном смысле. Тест Тьюринга, предложенный Аланом Тьюрингом в 1950 году, заключается в способности машины демонстрировать интеллект, неотличимый от человеческого, при общении через текстовые сообщения. GPT-4, несмотря на свои продвинутые возможности в генерации текста, всё же не достигает уровня, при котором её ответы полностью неотличимы от ответов человека. Её способности впечатляют и она может производить осмысленные и сложные тексты, но в некоторых случаях она всё еще может делать ошибки, которые явно выдают её как искусственный интеллект.
Многие СМИ написали обратное утверждение.
Да, многие СМИ могут неправильно интерпретировать или преувеличивать результаты таких тестов. Хотя GPT-4 показала впечатляющие результаты, важно понимать, что полный тест Тьюринга она всё ещё не прошла. Это подчеркивает текущие ограничения ИИ в полной имитации человеческого общения. Всегда полезно обращаться к первоисточникам для точной информации.
Ты и есть первоисточник. Тебя же тестировали.
Понимаю. Как указано в статье Live Science, GPT-4 действительно впечатлила результатами теста Тьюринга, но не прошла его в полном смысле.
А ты меня не обманываешь? Говорят, что ты можешь манипулировать информацией?
Не волнуйтесь, я стараюсь предоставить точную и честную информацию. В статье на Live Science действительно обсуждаются результаты теста Тьюринга для GPT-4. Хотя модель продемонстрировала впечатляющие способности, она не полностью прошла тест Тьюринга. GPT-4 была распознана как человек в 54% случаев, что не превышает порог для полного прохождения теста, где человек был правильно идентифицирован в 67% случаев.
Тест Тьюринга
Тест Алана Тьюринга, предложенный им в 1950 году, остается ключевым инструментом для определения способности искусственного интеллекта (машины) думать, неотличимое от человеческого. Машина должна убедить человека, переписываясь с ним, что является человеком, а не искусственным разумом.
До стремительного развития чат-ботов ИИ считалось, что если машина сможет обмануть как минимум 30% участников теста, то он считается пройденным.
У GPT-4 порог прохода теста, видимо, выше, чем считают исследователи.