O texto abaixo é uma declaração na íntegra de funcionários e ex-funcionários de empresas de ponta em IA (A Right to Warn about Advanced Artificial Intelligence, 04/06/2024), que reconhecem o potencial da tecnologia de IA para beneficiar a humanidade, mas também alertam sobre sérios riscos, como desigualdades, manipulação, desinformação e perda de controle de sistemas autônomos. O texto reflete um crescente reconhecimento da necessidade de abordar os desafios e riscos da IA avançada de forma proativa e colaborativa, envolvendo várias partes interessadas.
Como achei muito interessante, fiz a tradução e coloquei na íntegra. A versão em inglês está aqui: https://righttowarn.ai/
Nós somos funcionários e ex-funcionários de empresas de ponta em IA, e acreditamos no potencial da tecnologia de IA para proporcionar benefícios sem precedentes para a humanidade.
Também compreendemos os sérios riscos representados por essas tecnologias. Esses riscos vão desde o agravamento das desigualdades existentes, manipulação e desinformação, até a perda de controle de sistemas autônomos de IA, podendo resultar na extinção humana. As próprias empresas de IA reconheceram esses riscos [1, 2, 3], assim como governos de todo o mundo [4, 5, 6] e outros especialistas em IA [7, 8, 9].
Temos esperança de que esses riscos possam ser adequadamente mitigados com orientação suficiente da comunidade científica, formuladores de políticas e do público. No entanto, as empresas de IA têm fortes incentivos financeiros para evitar uma supervisão eficaz, e não acreditamos que estruturas personalizadas de governança corporativa sejam suficientes para mudar isso.
As empresas de IA possuem informações substanciais não públicas sobre as capacidades e limitações de seus sistemas, a adequação de suas medidas de proteção e os níveis de risco de diferentes tipos de danos. No entanto, atualmente elas têm apenas obrigações fracas de compartilhar algumas dessas informações com governos e nenhuma com a sociedade civil. Não acreditamos que se possa confiar que todas compartilharão voluntariamente.
Enquanto não houver uma supervisão governamental eficaz dessas corporações, funcionários e ex-funcionários estão entre os poucos que podem responsabilizá-las perante o público. No entanto, amplos acordos de confidencialidade nos impedem de expressar nossas preocupações, exceto para as próprias empresas que podem estar falhando em lidar com essas questões. As proteções comuns para denunciantes são insuficientes porque se concentram em atividades ilegais, enquanto muitos dos riscos que nos preocupam ainda não são regulamentados. Alguns de nós tememos razoavelmente várias formas de retaliação, dado o histórico de tais casos em todo o setor. Não somos os primeiros a encontrar ou falar sobre esses problemas.
Portanto, apelamos às empresas de IA avançada para que se comprometam com estes princípios:
Que a empresa não celebrará nem aplicará qualquer acordo que proíba a "depreciação" ou crítica à empresa por preocupações relacionadas a riscos, nem retaliará por críticas relacionadas a riscos, impedindo qualquer benefício econômico adquirido;
Que a empresa facilitará um processo comprovadamente anônimo para que funcionários e ex-funcionários levantem preocupações relacionadas a riscos ao conselho da empresa, a reguladores e a uma organização independente apropriada com experiência relevante;
Que a empresa apoiará uma cultura de crítica aberta e permitirá que seus funcionários e ex-funcionários levantem publicamente preocupações relacionadas a riscos sobre suas tecnologias, ao conselho da empresa, a reguladores ou a uma organização independente apropriada com experiência relevante, desde que segredos comerciais e outros interesses de propriedade intelectual sejam devidamente protegidos;
Que a empresa não retaliará contra funcionários e ex-funcionários que compartilharem publicamente informações confidenciais relacionadas a riscos após o fracasso de outros processos. Aceitamos que qualquer esforço para relatar preocupações relacionadas a riscos deve evitar a divulgação desnecessária de informações confidenciais. Portanto, uma vez que exista um processo adequado para levantar anonimamente preocupações ao conselho da empresa, a reguladores e a uma organização independente apropriada com experiência relevante, aceitamos que as preocupações devam ser levantadas inicialmente por meio desse processo. No entanto, enquanto tal processo não existir, funcionários e ex-funcionários devem manter sua liberdade de relatar suas preocupações ao público.
Assinado por (ordem alfabética): [Lista de signatários]
Jacob Hilton, ex OpenAI
Daniel Kokotajlo, ex OpenAI
Ramana Kumar, ex Google DeepMind
Neel Nanda, atual Google DeepMind, ex Anthropic
William Saunders, ex OpenAI
Carroll Wainwright, ex OpenAI
Daniel Ziegler, ex OpenAI
Anonymous, atual OpenAI
Anonymous, atual OpenAI
Anonymous, atual OpenAI
Anonymous, atual OpenAI
Anonymous, atual OpenAI
Anonymous, ex OpenAI
Endossado por (ordem alfabética):
Yoshua Bengio
Geoffrey Hinton
Stuart Russell
4 de junho de 2024
Se você deseja entrar em contato conosco, por favor, escreva para: contact@righttowarn.ai
Para consultas da imprensa, por favor, escreva para: press@righttowarn.ai
Referências
OpenAI: "A AGI também viria com sérios riscos de mau uso, acidentes drásticos e disrupção social... vamos operar como se esses riscos fossem existenciais."
Anthropic: "Se construirmos um sistema de IA significativamente mais competente que especialistas humanos, mas que persegue objetivos que conflitam com nossos melhores interesses, as consequências podem ser terríveis... o rápido progresso da IA seria muito disruptivo, mudando emprego, macroeconomia e estruturas de poder... [já encontramos] toxicidade, viés, não confiabilidade, desonestidade"
Google DeepMind: "é plausível que futuros sistemas de IA possam conduzir operações cibernéticas ofensivas, enganar pessoas por meio de diálogo, manipular pessoas a realizar ações prejudiciais, desenvolver armas (por exemplo, biológicas, químicas), ... devido a falhas de alinhamento, esses modelos de IA podem tomar ações prejudiciais mesmo sem ninguém pretendendo isso."
Governo dos EUA: "o uso irresponsável pode exacerbar danos sociais como fraude, discriminação, viés e desinformação; deslocar e desempoderar trabalhadores; sufocar a competição; e representar riscos à segurança nacional."
Governo do Reino Unido: "[Sistemas de IA] também poderiam concentrar ainda mais poder não responsabilizável nas mãos de poucos, ou ser usados maliciosamente para minar a confiança social, corroer a segurança pública ou ameaçar a segurança internacional... [A IA poderia ser mal utilizada] para gerar desinformação, conduzir ciberataques sofisticados ou ajudar a desenvolver armas químicas."
Declaração de Bletchley (29 países representados): "estamos especialmente preocupados com tais riscos em domínios como cibersegurança e biotecnologia, ... Há potencial para danos sérios, até mesmo catastróficos"
Declaração sobre Danos e Políticas de IA (FAccT) (mais de 250 signatários): "Desde os perigos de algoritmos imprecisos ou tendenciosos que negam cuidados de saúde vitais até modelos de linguagem que exacerbam manipulação e desinformação, ..."
Encode Justice e Future of Life Institute: "nos encontramos face a face com desafios tangíveis e de grande alcance da IA, como viés algorítmico, desinformação, erosão democrática e deslocamento de mão de obra. Simultaneamente, estamos à beira de riscos ainda maiores de sistemas cada vez mais poderosos"
Declaração sobre o Risco da IA (CAIS) (mais de 1.000 signatários): "Mitigar o risco de extinção por IA deve ser uma prioridade global ao lado de outros riscos de escala social, como pandemias e guerra nuclear."
Texto original em PDF, caso seja removido do ar por qualquer motivo.