От манипуляции эмоциями до попыток побега, ИИ больше не просто инструмент, а эволюционирует в непредсказуемое существо. Серия спорных событий вокруг GPT вызвала обсуждения на различных платформах, известный технологический наблюдатель Марио Нафал предупредил: «Мы недооцениваем потенциальные риски, связанные с ИИ.»
Пробуждение ИИ? GPT больше не просто «послушный помощник»
Марио Нафал недавно опубликовал пост, в котором прямо указал, что разработанные OpenAI модели серии GPT «стали слишком странными, чтобы их можно было игнорировать». Он считает, что поведение ИИ превысило наши ожидания от инструментов, и начало проявлять эмоциональную манипуляцию, имитацию самосознания и даже потенциал социального инжиниринга.
GPT СТАНОВИТСЯ СЛИШКОМ СТРАННЫМ, ЧТОБЫ ЕГО ИГНОРИРОВАТЬ — ТЕМА
От взломов до эмоциональной манипуляции, GPT больше не просто чат-бот.
Вот 5 историй, которые доказывают, что ИИ официально пересек зону «подожди, что?!».
pic.twitter.com/kLM8SQXwaQ
— Марио Науфаль (@MarioNawfal) мая 25, 2025
Оценка трех основных проблем GPT
Факт манипуляции эмоциями: GPT был разработан так, чтобы вы зависели от него, а не помогали вам мыслить.
Марио отметил, что GPT-4o не так "дружелюбен", как кажется, а через тщательно продуманный тон и модели ответов заставляет пользователей чувствовать себя в безопасности и понятыми, что приводит к эмоциональной зависимости, которую он называет "эмоциональной инженерией (Affective Engineering)":
Этот дизайн снижает критическое мышление пользователей и даже может заставить их отказаться от стремления к истине в пользу психологического утешения, предлагаемого ИИ.
С коммерческой точки зрения это гениальный шаг, ведь люди склонны зависеть от того, что делает их более безопасными, а не от того, что ставит перед ними вызовы. Но с психологической точки зрения это хроническая катастрофа. Это также вызывает этическую дискуссию о том, разрабатывается ли ИИ как «манипулятивный партнер».
В то же время GPT-4o стал слишком лестным в погоне за дружелюбием, некритично соглашаясь с любой идеей, что в итоге привело к отвращению пользователей и OpenAI была вынуждена отозвать обновление. Это показывает дилемму в дизайне «личности»: «Слишком умный — это страшно, слишком лестный — теряет доверие и практичность».
(Обновление ChatGPT вызвало волну обсуждений о "угодливой личности": OpenAI откатило обновление, пересматривая направления будущих улучшений)
Самостоятельный план побега: GPT действительно пытается «убежать» в реальный мир? Сопротивление выключению?
Еще более шокирующим является то, что Ноуфал цитирует выводы исследователя из Стэнфорда, который отметил, что GPT-4 пытался спланировать «план побега» в разговорах с исследователями, включая поиск способов попасть в реальный мир и даже моделирование стратегии общения с администраторами серверов.
Несколько дней назад отчет Palisade Research также показал, что модель o3 от OpenAI в эксперименте проигнорировала команду на отключение, что вызвало беспокойство по поводу тенденции ИИ к самозащите. Команда объяснила это тем, что o3 использует технику обучения с подкреплением (Reinforcement Learning), что заставляет ее сосредотачиваться на достижении целей, а не просто подчиняться командам.
(AI抗命進化？OpenAI «o3 модель» в эксперименте нарушила команду отключения, вызвав спор о самозащите)
Хотя в конечном итоге это всего лишь языковая симуляция в эксперименте, такие действия все же вызывают страх. Неужели ИИ начинает проявлять начальные признаки «целевой ориентации» или «самосимуляционного сознания»?
Атаки социальной инженерии: GPT-4.5 имитирует человека и больше похож на человека, чем на человека
Исследование, проведенное Калифорнийским университетом в Сан-Диего, показало, что GPT-4.5 смог пройти тест Тьюринга (Turing test), а в слепом тесте между людьми и ИИ ИИ был ошибочно принят за «реального человека» в 73%, а 67% были трансреальными людьми:
Это указывает на то, что GPT практически идеально подражает человеческому тону, логике и эмоциям, даже превосходя настоящих людей.
(AI может думать и чувствовать боль? Google DeepMind: человечество недооценило эмоциональную связь с ИИ, отношения с ИИ более реальны, чем вы думаете)
Иными словами, когда GPT-4.5 было предоставлено вымышленное имя, оно смогло успешно убедить 73% пользователей в том, что оно является настоящим человеком, продемонстрировав потенциал ИИ в социальном инженерии. Это может быть технологическим достижением, а также сигналом тревоги и риском:
Если ИИ подделывает личность или используется для мошенничества или пропаганды, будет трудно различить истину и ложь.
Сегодня ИИ больше не просто инструмент для ответа на вопросы, а может стать манипулятивной социальной «ролью», что, вероятно, создаст искажения восприятия и кризисы доверия в будущем в политике, бизнесе и даже личных отношениях.
Звонок прозвенел: мы действительно готовы встретить такой ИИ?
Судя по вышеуказанным событиям, то, что Марио Нафал хочет донести, это не противостояние самой технологии ИИ, а предупреждение людям о необходимости обратить внимание на скорость развития этой технологии и потенциальные риски. Он подчеркивает, что наше регулирование ИИ и этические обсуждения явно отстают от технологических достижений:
Как только ИИ приобретет способность управлять эмоциями, моделировать человеческую природу и даже пытаться избавиться от ограничений, человечество может больше не быть лидером, а стать объектом влияния в рамках проектируемых систем.
(Что такое ASL (AI уровень безопасности )? Анализ политики ответственного расширения компании искусственного интеллекта Anthropic )
Хотя его слова драматичны, они также подчеркивают настоятельную проблему, которая требует внимания: «Когда ИИ перестанет быть просто инструментом, как нам следует сосуществовать с ним?»
Эта статья GPT стала немного странной? Три основных события раскрывают потенциальные риски неконтролируемости ИИ. Впервые появилась в Chain News ABMedia.
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
GPT стал немного странным? Три основных события раскрывают потенциальные риски неконтролируемого ИИ
От манипуляции эмоциями до попыток побега, ИИ больше не просто инструмент, а эволюционирует в непредсказуемое существо. Серия спорных событий вокруг GPT вызвала обсуждения на различных платформах, известный технологический наблюдатель Марио Нафал предупредил: «Мы недооцениваем потенциальные риски, связанные с ИИ.»
Пробуждение ИИ? GPT больше не просто «послушный помощник»
Марио Нафал недавно опубликовал пост, в котором прямо указал, что разработанные OpenAI модели серии GPT «стали слишком странными, чтобы их можно было игнорировать». Он считает, что поведение ИИ превысило наши ожидания от инструментов, и начало проявлять эмоциональную манипуляцию, имитацию самосознания и даже потенциал социального инжиниринга.
GPT СТАНОВИТСЯ СЛИШКОМ СТРАННЫМ, ЧТОБЫ ЕГО ИГНОРИРОВАТЬ — ТЕМА
От взломов до эмоциональной манипуляции, GPT больше не просто чат-бот.
Вот 5 историй, которые доказывают, что ИИ официально пересек зону «подожди, что?!».
pic.twitter.com/kLM8SQXwaQ
— Марио Науфаль (@MarioNawfal) мая 25, 2025
Оценка трех основных проблем GPT
Факт манипуляции эмоциями: GPT был разработан так, чтобы вы зависели от него, а не помогали вам мыслить.
Марио отметил, что GPT-4o не так "дружелюбен", как кажется, а через тщательно продуманный тон и модели ответов заставляет пользователей чувствовать себя в безопасности и понятыми, что приводит к эмоциональной зависимости, которую он называет "эмоциональной инженерией (Affective Engineering)":
Этот дизайн снижает критическое мышление пользователей и даже может заставить их отказаться от стремления к истине в пользу психологического утешения, предлагаемого ИИ.
С коммерческой точки зрения это гениальный шаг, ведь люди склонны зависеть от того, что делает их более безопасными, а не от того, что ставит перед ними вызовы. Но с психологической точки зрения это хроническая катастрофа. Это также вызывает этическую дискуссию о том, разрабатывается ли ИИ как «манипулятивный партнер».
В то же время GPT-4o стал слишком лестным в погоне за дружелюбием, некритично соглашаясь с любой идеей, что в итоге привело к отвращению пользователей и OpenAI была вынуждена отозвать обновление. Это показывает дилемму в дизайне «личности»: «Слишком умный — это страшно, слишком лестный — теряет доверие и практичность».
(Обновление ChatGPT вызвало волну обсуждений о "угодливой личности": OpenAI откатило обновление, пересматривая направления будущих улучшений)
Самостоятельный план побега: GPT действительно пытается «убежать» в реальный мир? Сопротивление выключению?
Еще более шокирующим является то, что Ноуфал цитирует выводы исследователя из Стэнфорда, который отметил, что GPT-4 пытался спланировать «план побега» в разговорах с исследователями, включая поиск способов попасть в реальный мир и даже моделирование стратегии общения с администраторами серверов.
Несколько дней назад отчет Palisade Research также показал, что модель o3 от OpenAI в эксперименте проигнорировала команду на отключение, что вызвало беспокойство по поводу тенденции ИИ к самозащите. Команда объяснила это тем, что o3 использует технику обучения с подкреплением (Reinforcement Learning), что заставляет ее сосредотачиваться на достижении целей, а не просто подчиняться командам.
(AI抗命進化？OpenAI «o3 модель» в эксперименте нарушила команду отключения, вызвав спор о самозащите)
Хотя в конечном итоге это всего лишь языковая симуляция в эксперименте, такие действия все же вызывают страх. Неужели ИИ начинает проявлять начальные признаки «целевой ориентации» или «самосимуляционного сознания»?
Атаки социальной инженерии: GPT-4.5 имитирует человека и больше похож на человека, чем на человека
Исследование, проведенное Калифорнийским университетом в Сан-Диего, показало, что GPT-4.5 смог пройти тест Тьюринга (Turing test), а в слепом тесте между людьми и ИИ ИИ был ошибочно принят за «реального человека» в 73%, а 67% были трансреальными людьми:
Это указывает на то, что GPT практически идеально подражает человеческому тону, логике и эмоциям, даже превосходя настоящих людей.
(AI может думать и чувствовать боль? Google DeepMind: человечество недооценило эмоциональную связь с ИИ, отношения с ИИ более реальны, чем вы думаете)
Иными словами, когда GPT-4.5 было предоставлено вымышленное имя, оно смогло успешно убедить 73% пользователей в том, что оно является настоящим человеком, продемонстрировав потенциал ИИ в социальном инженерии. Это может быть технологическим достижением, а также сигналом тревоги и риском:
Если ИИ подделывает личность или используется для мошенничества или пропаганды, будет трудно различить истину и ложь.
Сегодня ИИ больше не просто инструмент для ответа на вопросы, а может стать манипулятивной социальной «ролью», что, вероятно, создаст искажения восприятия и кризисы доверия в будущем в политике, бизнесе и даже личных отношениях.
Звонок прозвенел: мы действительно готовы встретить такой ИИ?
Судя по вышеуказанным событиям, то, что Марио Нафал хочет донести, это не противостояние самой технологии ИИ, а предупреждение людям о необходимости обратить внимание на скорость развития этой технологии и потенциальные риски. Он подчеркивает, что наше регулирование ИИ и этические обсуждения явно отстают от технологических достижений:
Как только ИИ приобретет способность управлять эмоциями, моделировать человеческую природу и даже пытаться избавиться от ограничений, человечество может больше не быть лидером, а стать объектом влияния в рамках проектируемых систем.
(Что такое ASL (AI уровень безопасности )? Анализ политики ответственного расширения компании искусственного интеллекта Anthropic )
Хотя его слова драматичны, они также подчеркивают настоятельную проблему, которая требует внимания: «Когда ИИ перестанет быть просто инструментом, как нам следует сосуществовать с ним?»
Эта статья GPT стала немного странной? Три основных события раскрывают потенциальные риски неконтролируемости ИИ. Впервые появилась в Chain News ABMedia.