Fonte da imagem: gerada pela ferramenta Unbounded AI
Muitos modelos de IA assumem que os humanos estão sempre certos sobre as suas decisões. Isto pode ter consequências infelizes.
Para muitos de nós, a tecnologia oferece uma maneira de resolver a incerteza. Se não conseguimos lembrar de um fato ou não entendemos algo, podemos simplesmente procurá-lo e obter a resposta. Em que ano terminou a Conferência de Paz de Paris? Pesquise no Google… 1920. Quantas milhas equivale a uma corrida de 10 km? 6,2 milhas. Quem estrela ao lado do vencedor do Oscar Brendan Fraser em sua estreia no cinema, The Encino Man? Sean Astin e Paulie Shore.
Curiosamente, o oposto está acontecendo cada vez mais - os computadores dependem de humanos para verificar o seu trabalho. Os sistemas de IA “human-in-the-loop” dependem da intervenção humana para garantir que a IA não interprete mal as informações e faça previsões imprecisas. Esta situação costuma ser mais crítica do que os destaques do filme.
Por exemplo, um radiologista analisaria o diagnóstico de raios X da IA para determinar se não detectou uma fratura ou lesão. Os humanos podem então corrigir quaisquer erros e garantir que o paciente receba o tratamento adequado. É uma grande parceria, mas há um pequeno problema: os humanos raramente têm 100% de certeza das suas conclusões.
O mesmo radiologista pode ver uma área de tecido ósseo de cor diferente em uma radiografia e se perguntar: "Isso é uma lesão ou uma irregularidade na própria radiografia? Se for uma lesão, qual é a causa, e é benigno ou maligno?" ?" Mesmo especialistas altamente treinados - e talvez especialmente especialistas - muitas vezes incorporam esse tipo de incerteza em suas observações e decisões. Se eles acharem que há 10% de chance de haver outro diagnóstico, eles podem discutir o assunto com o paciente e planejar adequadamente.
Embora isto nos pareça natural, os sistemas de loopback homem-máquina não raciocinam desta forma. Eles vêem a intervenção humana como binária: ou os humanos sabem o que sabem, ou não sabem. Por sua vez, isto pode limitar a capacidade dos sistemas de IA para reduzir o risco de erro humano nas parcerias.
Então, será possível que estes sistemas compreendam melhor as nuances da tomada de decisão humana, melhorando assim as suas capacidades e o nosso próprio desempenho? Uma equipe de pesquisadores da Universidade de Cambridge colocou essa questão à prova em um novo artigo de pesquisa.
**tem certeza? **
Num primeiro teste, os investigadores usaram modelos baseados em conceitos – modelos de aprendizagem automática que melhoram as previsões através de feedback humano – em dois conjuntos de dados. O primeiro conjunto de dados, denominado "CheXpert", classifica as radiografias de tórax. Outro conjunto de dados, denominado UMNIST, soma os números em amostras de caligrafia. Tal como a maioria dos modelos baseados em conceitos, nenhum dos modelos tinha sido previamente treinado na incerteza, pelo que os investigadores queriam ver como lidariam com a incerteza.
Katherine Collins, principal autora do estudo e estudante de pós-graduação em engenharia na Universidade de Cambridge, disse: “Muitos desenvolvedores estão trabalhando duro para lidar com a incerteza nos modelos, mas há menos trabalho abordando a incerteza de uma perspectiva humana”. veja o que acontece quando as pessoas expressam incerteza, o que é particularmente importante em ambientes críticos para a segurança."
A resposta é: não muito bem. Os investigadores descobriram que o desempenho do modelo diminuiu mesmo quando a incerteza nas simulações era baixa, e continuou a diminuir à medida que a incerteza aumentava. Isto sugere que estes modelos, embora precisos quando expostos a uma intervenção totalmente determinística, “não generalizam para ambientes onde os utilizadores da intervenção estão incertos sobre a natureza de certos conceitos”.
No teste seguinte, os pesquisadores usaram um conjunto de dados de classificação de imagens de pássaros e apresentaram participantes humanos reais. Os participantes foram solicitados a identificar características específicas das aves nas imagens. O pássaro é multicolorido, sólido, manchado ou listrado? Sua cauda tem o formato de um garfo, um círculo, um leque ou um quadrado? etc.
No entanto, as imagens nem sempre representam melhor os pássaros. O pássaro na foto pode ser uma silhueta contra um fundo claro ou as penas da cauda podem estar obscurecidas por galhos de árvores. Assim, os investigadores deram aos participantes humanos a capacidade de usar "rótulos suaves" - conceitos que não são ou/ou, mas que permitem aos humanos rotular níveis de confiança entre 0 e 100 (0 sendo não sei e 100 sendo absolutamente certo). .
Por exemplo, se os participantes acharem altamente verossímil que o formato da asa de um pássaro seja largo, eles poderão mover o controle deslizante para 80. Mas se eles não tiverem certeza se as asas são redondas ou pontiagudas, eles podem mover menos o controle deslizante (como 20 e 10, respectivamente).
Os pesquisadores descobriram que quando as máquinas são substituídas por humanos, o desempenho diminui. No entanto, também descobriram que treinar o modelo na incerteza poderia aliviar alguns dos erros cometidos por participantes humanos. No entanto, esses modelos não são perfeitos. Às vezes, a incerteza humana ajuda; outras vezes, prejudica o desempenho do modelo.
“Precisamos de ferramentas melhores para recalibrar estes modelos, para que as pessoas que os utilizam tenham a capacidade de se manifestar quando estão incertas”, disse Matthew Barker, co-autor do estudo. “De certa forma, este trabalho levanta mais questões do que respostas, mas mesmo que os humanos possam cometer erros quando se trata de incerteza, podemos melhorar a fiabilidade destes sistemas de loopback homem-máquina, tendo em conta o grau e a fiabilidade do comportamento humano”.
Pesquisadores da Universidade de Princeton, do Instituto Alan Turing e do Google DeepMind também se juntaram à equipe de Cambridge na pesquisa. Eles apresentaram seu artigo na Conferência AAI/ACM 2023 sobre Inteligência Artificial, Ética e Sociedade em Montreal. O artigo está atualmente publicado como pré-impressão no arXiv.
Rumo a um futuro incerto
Os investigadores esperam que o seu artigo ajude um dia a desenvolver sistemas de loopback homem-máquina que tenham em conta a incerteza, reduzindo assim o risco de erros humanos e de inteligência artificial. No entanto, este estudo é apenas um primeiro passo em direção a esse objetivo.
Também revela vários desafios para pesquisas futuras. Esses desafios incluem: como desenvolver modelos de IA e estratégias de intervenção que levem em conta erros de previsão humana bem conhecidos (como viés de excesso de confiança); criar interfaces que ajudem os humanos a medir sua incerteza; e treinar modelos de IA para lidar com diferentes tipos de incerteza, como como a diferença entre questionar seu próprio conhecimento e como os efeitos aleatórios ocorrerão.
Se estas questões puderem ser abordadas, a incerteza humana poderá apoiar melhor a parte “humana” do “ciclo homem-máquina” e, assim, ajudar a melhorar o desempenho destes modelos.
“Como disseram alguns dos nossos colegas, a incerteza é uma forma de transparência e isso é muito importante”, acrescentou Collins. "Precisamos descobrir quando confiar nos modelos, quando confiar nas pessoas e por quê. Em algumas aplicações, nos concentramos nas probabilidades e não nas possibilidades."
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Investigação: Será a incerteza na tomada de decisões humanas a chave para melhorar a IA?
Escrito por Kevin Dickinson
Fonte: FreeThink
Para muitos de nós, a tecnologia oferece uma maneira de resolver a incerteza. Se não conseguimos lembrar de um fato ou não entendemos algo, podemos simplesmente procurá-lo e obter a resposta. Em que ano terminou a Conferência de Paz de Paris? Pesquise no Google… 1920. Quantas milhas equivale a uma corrida de 10 km? 6,2 milhas. Quem estrela ao lado do vencedor do Oscar Brendan Fraser em sua estreia no cinema, The Encino Man? Sean Astin e Paulie Shore.
Curiosamente, o oposto está acontecendo cada vez mais - os computadores dependem de humanos para verificar o seu trabalho. Os sistemas de IA “human-in-the-loop” dependem da intervenção humana para garantir que a IA não interprete mal as informações e faça previsões imprecisas. Esta situação costuma ser mais crítica do que os destaques do filme.
Por exemplo, um radiologista analisaria o diagnóstico de raios X da IA para determinar se não detectou uma fratura ou lesão. Os humanos podem então corrigir quaisquer erros e garantir que o paciente receba o tratamento adequado. É uma grande parceria, mas há um pequeno problema: os humanos raramente têm 100% de certeza das suas conclusões.
O mesmo radiologista pode ver uma área de tecido ósseo de cor diferente em uma radiografia e se perguntar: "Isso é uma lesão ou uma irregularidade na própria radiografia? Se for uma lesão, qual é a causa, e é benigno ou maligno?" ?" Mesmo especialistas altamente treinados - e talvez especialmente especialistas - muitas vezes incorporam esse tipo de incerteza em suas observações e decisões. Se eles acharem que há 10% de chance de haver outro diagnóstico, eles podem discutir o assunto com o paciente e planejar adequadamente.
Embora isto nos pareça natural, os sistemas de loopback homem-máquina não raciocinam desta forma. Eles vêem a intervenção humana como binária: ou os humanos sabem o que sabem, ou não sabem. Por sua vez, isto pode limitar a capacidade dos sistemas de IA para reduzir o risco de erro humano nas parcerias.
Então, será possível que estes sistemas compreendam melhor as nuances da tomada de decisão humana, melhorando assim as suas capacidades e o nosso próprio desempenho? Uma equipe de pesquisadores da Universidade de Cambridge colocou essa questão à prova em um novo artigo de pesquisa.
**tem certeza? **
Num primeiro teste, os investigadores usaram modelos baseados em conceitos – modelos de aprendizagem automática que melhoram as previsões através de feedback humano – em dois conjuntos de dados. O primeiro conjunto de dados, denominado "CheXpert", classifica as radiografias de tórax. Outro conjunto de dados, denominado UMNIST, soma os números em amostras de caligrafia. Tal como a maioria dos modelos baseados em conceitos, nenhum dos modelos tinha sido previamente treinado na incerteza, pelo que os investigadores queriam ver como lidariam com a incerteza.
Katherine Collins, principal autora do estudo e estudante de pós-graduação em engenharia na Universidade de Cambridge, disse: “Muitos desenvolvedores estão trabalhando duro para lidar com a incerteza nos modelos, mas há menos trabalho abordando a incerteza de uma perspectiva humana”. veja o que acontece quando as pessoas expressam incerteza, o que é particularmente importante em ambientes críticos para a segurança."
A resposta é: não muito bem. Os investigadores descobriram que o desempenho do modelo diminuiu mesmo quando a incerteza nas simulações era baixa, e continuou a diminuir à medida que a incerteza aumentava. Isto sugere que estes modelos, embora precisos quando expostos a uma intervenção totalmente determinística, “não generalizam para ambientes onde os utilizadores da intervenção estão incertos sobre a natureza de certos conceitos”.
No teste seguinte, os pesquisadores usaram um conjunto de dados de classificação de imagens de pássaros e apresentaram participantes humanos reais. Os participantes foram solicitados a identificar características específicas das aves nas imagens. O pássaro é multicolorido, sólido, manchado ou listrado? Sua cauda tem o formato de um garfo, um círculo, um leque ou um quadrado? etc.
No entanto, as imagens nem sempre representam melhor os pássaros. O pássaro na foto pode ser uma silhueta contra um fundo claro ou as penas da cauda podem estar obscurecidas por galhos de árvores. Assim, os investigadores deram aos participantes humanos a capacidade de usar "rótulos suaves" - conceitos que não são ou/ou, mas que permitem aos humanos rotular níveis de confiança entre 0 e 100 (0 sendo não sei e 100 sendo absolutamente certo). .
Por exemplo, se os participantes acharem altamente verossímil que o formato da asa de um pássaro seja largo, eles poderão mover o controle deslizante para 80. Mas se eles não tiverem certeza se as asas são redondas ou pontiagudas, eles podem mover menos o controle deslizante (como 20 e 10, respectivamente).
Os pesquisadores descobriram que quando as máquinas são substituídas por humanos, o desempenho diminui. No entanto, também descobriram que treinar o modelo na incerteza poderia aliviar alguns dos erros cometidos por participantes humanos. No entanto, esses modelos não são perfeitos. Às vezes, a incerteza humana ajuda; outras vezes, prejudica o desempenho do modelo.
“Precisamos de ferramentas melhores para recalibrar estes modelos, para que as pessoas que os utilizam tenham a capacidade de se manifestar quando estão incertas”, disse Matthew Barker, co-autor do estudo. “De certa forma, este trabalho levanta mais questões do que respostas, mas mesmo que os humanos possam cometer erros quando se trata de incerteza, podemos melhorar a fiabilidade destes sistemas de loopback homem-máquina, tendo em conta o grau e a fiabilidade do comportamento humano”.
Pesquisadores da Universidade de Princeton, do Instituto Alan Turing e do Google DeepMind também se juntaram à equipe de Cambridge na pesquisa. Eles apresentaram seu artigo na Conferência AAI/ACM 2023 sobre Inteligência Artificial, Ética e Sociedade em Montreal. O artigo está atualmente publicado como pré-impressão no arXiv.
Rumo a um futuro incerto
Os investigadores esperam que o seu artigo ajude um dia a desenvolver sistemas de loopback homem-máquina que tenham em conta a incerteza, reduzindo assim o risco de erros humanos e de inteligência artificial. No entanto, este estudo é apenas um primeiro passo em direção a esse objetivo.
Também revela vários desafios para pesquisas futuras. Esses desafios incluem: como desenvolver modelos de IA e estratégias de intervenção que levem em conta erros de previsão humana bem conhecidos (como viés de excesso de confiança); criar interfaces que ajudem os humanos a medir sua incerteza; e treinar modelos de IA para lidar com diferentes tipos de incerteza, como como a diferença entre questionar seu próprio conhecimento e como os efeitos aleatórios ocorrerão.
Se estas questões puderem ser abordadas, a incerteza humana poderá apoiar melhor a parte “humana” do “ciclo homem-máquina” e, assim, ajudar a melhorar o desempenho destes modelos.
“Como disseram alguns dos nossos colegas, a incerteza é uma forma de transparência e isso é muito importante”, acrescentou Collins. "Precisamos descobrir quando confiar nos modelos, quando confiar nas pessoas e por quê. Em algumas aplicações, nos concentramos nas probabilidades e não nas possibilidades."