Источник изображения: создан с помощью инструмента Unbounded AI
Многие модели ИИ предполагают, что люди всегда уверены в своих решениях. Это может иметь печальные последствия.
Для многих из нас технологии предлагают способ разрешить неопределенность. Если мы не можем вспомнить факт или чего-то не понимаем, мы можем просто поискать его и получить ответ. В каком году завершилась Парижская мирная конференция? Погуглите… 1920 год. Сколько миль составляет пробежка 10 км? 6,2 мили. Кто играет вместе с обладателем Оскара Бренданом Фрейзером в его дебютном полнометражном фильме «Человек из Энсино»? Шон Эстин и Поли Шор.
Интересно, что все чаще происходит обратное — компьютеры полагаются на людей для проверки своей работы. Системы ИИ «человек в цикле» полагаются на вмешательство человека, чтобы гарантировать, что ИИ не неправильно интерпретирует информацию и не делает неточных прогнозов. Эта ситуация зачастую более критична, чем моменты из фильмов.
Например, радиолог изучит рентгеновский диагноз ИИ, чтобы определить, не пропустил ли он перелом или повреждение. Затем люди смогут исправить любые ошибки и обеспечить пациенту соответствующее лечение. Это отличное партнерство, но есть небольшая проблема: люди редко бывают на 100 процентов уверены в своих выводах.
Тот же рентгенолог может увидеть на рентгеновском снимке участок костной ткани другого цвета и задаться вопросом: «Это поражение или нарушение самого рентгена? Если это поражение, то в чем причина?» доброкачественна она или злокачественна?» «Даже высококвалифицированные эксперты – и, возможно, особенно эксперты – часто включают такого рода неопределенность в свои наблюдения и решения. Если они считают, что вероятность того, что будет еще один диагноз, составляет 10%, они могут обсудить это с пациентом и спланировать лечение соответствующим образом.
Хотя нам это кажется естественным, человеко-машинные системы обратной связи не рассуждают таким образом. Они рассматривают вмешательство человека как бинарное: либо люди знают то, что знают, либо нет. В свою очередь, это может ограничить способность систем искусственного интеллекта снижать риск человеческих ошибок в партнерских отношениях.
Так могут ли эти системы лучше понимать нюансы принятия решений человеком, тем самым улучшая свои возможности и нашу собственную производительность? Команда исследователей из Кембриджского университета проверила этот вопрос в новой исследовательской работе.
**вы уверены? **
В первом тесте исследователи использовали концептуальные модели — модели машинного обучения, которые улучшают прогнозы за счет обратной связи с людьми — на двух наборах данных. Первый набор данных, названный «CheXpert», классифицирует рентгеновские снимки грудной клетки. Другой набор данных, называемый UMNIST, суммирует числа в образцах почерка. Как и большинство концептуальных моделей, ни одна из моделей ранее не была обучена работе с неопределенностью, поэтому исследователи хотели посмотреть, как они будут справляться с неопределенностью.
Кэтрин Коллинз, ведущий автор исследования и аспирантка инженерного факультета Кембриджского университета, сказала: «Многие разработчики усердно работают над устранением неопределенности в моделях, но меньше работы над решением неопределенности с человеческой точки зрения». посмотрите, что происходит, когда люди выражают неуверенность, что особенно важно в условиях критической безопасности».
Ответ: не очень хорошо. Исследователи обнаружили, что производительность модели снижалась даже тогда, когда неопределенность моделирования была низкой, и продолжала снижаться по мере увеличения неопределенности. Это говорит о том, что эти модели, хотя и точны при полностью детерминированном вмешательстве, «не распространяются на условия, в которых пользователи вмешательства не уверены в природе определенных концепций».
В следующем тесте исследователи использовали набор данных классификации изображений птиц и представили реальных участников-людей. Участникам было предложено определить особенности птиц на изображениях. Птица разноцветная, однотонная, пятнистая или полосатая? Имеет ли его хвост форму вилки, круга, веера или квадрата? и т. д.
Однако фотографии не всегда лучше всего изображают птиц. Птица на картинке может представлять собой силуэт на ярком фоне, либо ее хвостовые перья могут быть затенены ветвями деревьев. Поэтому исследователи дали участникам-людям возможность использовать «мягкие ярлыки» — концепции, которые не являются «или-или», а вместо этого позволяют людям обозначать уровни уверенности от 0 до 100 (0 — не знаю, 100 — абсолютно уверен). .
Например, если испытуемые считают весьма правдоподобным то, что форма крыла птицы широкая, они могут переместить ползунок на 80. Но если они не уверены, крылья круглые или заостренные, они могут переместить ползунок меньше (например, на 20 и 10 соответственно).
Исследователи обнаружили, что когда машины заменяются людьми, производительность снижается. Однако они также обнаружили, что обучение модели неопределенности может облегчить некоторые ошибки, допущенные участниками-людьми. Однако эти модели не идеальны. Иногда человеческая неопределенность помогает, а иногда она вредит эффективности модели.
«Нам нужны более совершенные инструменты для перекалибровки этих моделей, чтобы люди, которые их используют, имели возможность высказаться, когда они не уверены», — сказал Мэтью Баркер, соавтор исследования. «В некотором смысле эта работа поднимает больше вопросов, чем дает ответов, но даже несмотря на то, что люди могут совершать ошибки, когда дело доходит до неопределенности, мы можем повысить надежность этих систем человеко-машинной обратной связи, принимая во внимание степень и надежность человеческого поведения».
Исследователи из Принстонского университета, Института Алана Тьюринга и Google DeepMind также присоединились к команде Кембриджа в исследовании. Они представили свой доклад на конференции AAI/ACM по искусственному интеллекту, этике и обществу 2023 года в Монреале. В настоящее время статья размещена в виде препринта на arXiv.
Навстречу неопределенному будущему
Исследователи надеются, что их статья поможет однажды разработать человеко-машинные системы обратной связи, которые учитывают неопределенность, тем самым снижая риск ошибок человеческого и искусственного интеллекта. Однако данное исследование является лишь первым шагом на пути к этой цели.
Это также раскрывает несколько проблем для будущих исследований. Эти задачи включают в себя: как разработать модели ИИ и стратегии вмешательства, которые учитывают хорошо известные ошибки человеческого прогнозирования (например, предвзятость самоуверенности); создать интерфейсы, которые помогут людям измерить свою неопределенность; и научить модели ИИ справляться с различными типами неопределенности, такими как как разница между сомнением в собственных знаниях и тем, как будут проявляться случайные эффекты.
Если эти проблемы удастся решить, человеческая неопределенность может лучше поддержать «человеческую» часть «цикла человек-машина» и, таким образом, помочь улучшить производительность этих моделей.
«Как сказали некоторые наши коллеги, неопределенность — это форма прозрачности, и это действительно важно», — добавил Коллинз. «Нам нужно выяснить, когда доверять моделям, когда доверять людям и почему. В некоторых приложениях мы фокусируемся на вероятности, а не на правдоподобии».
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Исследование: станет ли неопределенность в принятии решений человеком ключом к улучшению ИИ?
Автор Кевин Дикинсон
Источник: FreeThink
Для многих из нас технологии предлагают способ разрешить неопределенность. Если мы не можем вспомнить факт или чего-то не понимаем, мы можем просто поискать его и получить ответ. В каком году завершилась Парижская мирная конференция? Погуглите… 1920 год. Сколько миль составляет пробежка 10 км? 6,2 мили. Кто играет вместе с обладателем Оскара Бренданом Фрейзером в его дебютном полнометражном фильме «Человек из Энсино»? Шон Эстин и Поли Шор.
Интересно, что все чаще происходит обратное — компьютеры полагаются на людей для проверки своей работы. Системы ИИ «человек в цикле» полагаются на вмешательство человека, чтобы гарантировать, что ИИ не неправильно интерпретирует информацию и не делает неточных прогнозов. Эта ситуация зачастую более критична, чем моменты из фильмов.
Например, радиолог изучит рентгеновский диагноз ИИ, чтобы определить, не пропустил ли он перелом или повреждение. Затем люди смогут исправить любые ошибки и обеспечить пациенту соответствующее лечение. Это отличное партнерство, но есть небольшая проблема: люди редко бывают на 100 процентов уверены в своих выводах.
Тот же рентгенолог может увидеть на рентгеновском снимке участок костной ткани другого цвета и задаться вопросом: «Это поражение или нарушение самого рентгена? Если это поражение, то в чем причина?» доброкачественна она или злокачественна?» «Даже высококвалифицированные эксперты – и, возможно, особенно эксперты – часто включают такого рода неопределенность в свои наблюдения и решения. Если они считают, что вероятность того, что будет еще один диагноз, составляет 10%, они могут обсудить это с пациентом и спланировать лечение соответствующим образом.
Хотя нам это кажется естественным, человеко-машинные системы обратной связи не рассуждают таким образом. Они рассматривают вмешательство человека как бинарное: либо люди знают то, что знают, либо нет. В свою очередь, это может ограничить способность систем искусственного интеллекта снижать риск человеческих ошибок в партнерских отношениях.
Так могут ли эти системы лучше понимать нюансы принятия решений человеком, тем самым улучшая свои возможности и нашу собственную производительность? Команда исследователей из Кембриджского университета проверила этот вопрос в новой исследовательской работе.
**вы уверены? **
В первом тесте исследователи использовали концептуальные модели — модели машинного обучения, которые улучшают прогнозы за счет обратной связи с людьми — на двух наборах данных. Первый набор данных, названный «CheXpert», классифицирует рентгеновские снимки грудной клетки. Другой набор данных, называемый UMNIST, суммирует числа в образцах почерка. Как и большинство концептуальных моделей, ни одна из моделей ранее не была обучена работе с неопределенностью, поэтому исследователи хотели посмотреть, как они будут справляться с неопределенностью.
Кэтрин Коллинз, ведущий автор исследования и аспирантка инженерного факультета Кембриджского университета, сказала: «Многие разработчики усердно работают над устранением неопределенности в моделях, но меньше работы над решением неопределенности с человеческой точки зрения». посмотрите, что происходит, когда люди выражают неуверенность, что особенно важно в условиях критической безопасности».
Ответ: не очень хорошо. Исследователи обнаружили, что производительность модели снижалась даже тогда, когда неопределенность моделирования была низкой, и продолжала снижаться по мере увеличения неопределенности. Это говорит о том, что эти модели, хотя и точны при полностью детерминированном вмешательстве, «не распространяются на условия, в которых пользователи вмешательства не уверены в природе определенных концепций».
В следующем тесте исследователи использовали набор данных классификации изображений птиц и представили реальных участников-людей. Участникам было предложено определить особенности птиц на изображениях. Птица разноцветная, однотонная, пятнистая или полосатая? Имеет ли его хвост форму вилки, круга, веера или квадрата? и т. д.
Однако фотографии не всегда лучше всего изображают птиц. Птица на картинке может представлять собой силуэт на ярком фоне, либо ее хвостовые перья могут быть затенены ветвями деревьев. Поэтому исследователи дали участникам-людям возможность использовать «мягкие ярлыки» — концепции, которые не являются «или-или», а вместо этого позволяют людям обозначать уровни уверенности от 0 до 100 (0 — не знаю, 100 — абсолютно уверен). .
Например, если испытуемые считают весьма правдоподобным то, что форма крыла птицы широкая, они могут переместить ползунок на 80. Но если они не уверены, крылья круглые или заостренные, они могут переместить ползунок меньше (например, на 20 и 10 соответственно).
Исследователи обнаружили, что когда машины заменяются людьми, производительность снижается. Однако они также обнаружили, что обучение модели неопределенности может облегчить некоторые ошибки, допущенные участниками-людьми. Однако эти модели не идеальны. Иногда человеческая неопределенность помогает, а иногда она вредит эффективности модели.
«Нам нужны более совершенные инструменты для перекалибровки этих моделей, чтобы люди, которые их используют, имели возможность высказаться, когда они не уверены», — сказал Мэтью Баркер, соавтор исследования. «В некотором смысле эта работа поднимает больше вопросов, чем дает ответов, но даже несмотря на то, что люди могут совершать ошибки, когда дело доходит до неопределенности, мы можем повысить надежность этих систем человеко-машинной обратной связи, принимая во внимание степень и надежность человеческого поведения».
Исследователи из Принстонского университета, Института Алана Тьюринга и Google DeepMind также присоединились к команде Кембриджа в исследовании. Они представили свой доклад на конференции AAI/ACM по искусственному интеллекту, этике и обществу 2023 года в Монреале. В настоящее время статья размещена в виде препринта на arXiv.
Навстречу неопределенному будущему
Исследователи надеются, что их статья поможет однажды разработать человеко-машинные системы обратной связи, которые учитывают неопределенность, тем самым снижая риск ошибок человеческого и искусственного интеллекта. Однако данное исследование является лишь первым шагом на пути к этой цели.
Это также раскрывает несколько проблем для будущих исследований. Эти задачи включают в себя: как разработать модели ИИ и стратегии вмешательства, которые учитывают хорошо известные ошибки человеческого прогнозирования (например, предвзятость самоуверенности); создать интерфейсы, которые помогут людям измерить свою неопределенность; и научить модели ИИ справляться с различными типами неопределенности, такими как как разница между сомнением в собственных знаниях и тем, как будут проявляться случайные эффекты.
Если эти проблемы удастся решить, человеческая неопределенность может лучше поддержать «человеческую» часть «цикла человек-машина» и, таким образом, помочь улучшить производительность этих моделей.
«Как сказали некоторые наши коллеги, неопределенность — это форма прозрачности, и это действительно важно», — добавил Коллинз. «Нам нужно выяснить, когда доверять моделям, когда доверять людям и почему. В некоторых приложениях мы фокусируемся на вероятности, а не на правдоподобии».