Geleia de Menta

Blog/newsletter sobre tecnologia com perspectiva humana

União Européia e a regulação do uso de IA

Última atualização em:

Esta semana um artigo da AlgorithmWatch me chamou a atenção devido ao seu caráter didático em pontuar alguns pontos realmente fundamentais na lei que está sendo desenvolvida no parlamento europeu. Mas antes de mais nada é preciso esclarecer o alcance da proposta: ainda que se fale em IA, na verdade o que se quer dizer é “sistemas automatizados de tomada de decisão” (ADM, na sigla em inglês), o que engloba os algoritmos usados em câmeras colocadas pelas forças de segurança em locais públicos, também envolve algoritmos que oferecem indicadores que podem servir para direcionar o investimento de verbas públicas, mas obviamente nesse contexto ficam de fora sistemas de recomendação em grandes plataformas, que apesar do seu evidente impacto público, ainda é entendido como algo estrito ao âmbito privado.

Obviamente, mesmo sem essa abrangência que se poderia esperar de uma lei para regulamentar a “IA”, é importante se discutir um modelo de regulação, os escândalos e notícias sobre o quanto tais algoritmos deram errado na gestão pública se acumulam e se tornam mais frequentes, o próprio artigo em questão cita alguns exemplos (agência de empregos na Áustria que discriminava pessoas com deficiência, maiores de 30 anos e mulheres com filhos e pessoas na Holanda que tiveram de reembolsar o governo injustamente). Entre os pontos, alguns controversos e outros que merecem maior atenção e desenvolvimento, eu gostaria de pontuar os seguintes:

  • Sistemas de alto risco: A proposta até o momento afirma que “algumas práticas de IA particularmente prejudiciais são proibidas, uma vez que violam os valores da União, e são propostas restrições e salvaguardas específicas relativamente a determinadas utilizações de sistemas de identificação biométrica à distância para efeitos de manutenção da ordem pública. A proposta estabelece uma metodologia de análise de riscos sólida para definir sistemas de IA de «risco elevado» que criam riscos significativos para a saúde e a segurança ou para os direitos fundamentais das pessoas. Esses sistemas de IA terão de cumprir um conjunto de requisitos obrigatórios horizontais para uma IA de confiança e seguir procedimentos de avaliação da conformidade antes de poderem ser colocados no mercado da União.". Pensar apenas em protocolos ligados a segurança e direitos humanos de “IA de risco elevado” é quase como tapar o sol com a peneira, sabemos o estrago que diversos algoritmos fazem em nossas vidas como é o caso dos algoritmos que determinam/definem o trabalho de entregadores ou os smartphones que embranquecem as pessoas, associando claramente um padrão de beleza que é opressor para diversos grupos étnicos e raciais. Caberia então pensar em protocolos para gamas bastante abrangentes de uso de algoritmos.
  • Definição de IA: No começo expliquei que não é necessariamente sobre IA que a lei tratará, mas sobre o uso de algoritmos que auxiliam a tomada de decisões, implicando na escolha final ser sempre humana, mas entre uma ou outra abordagem há uma galáxia de distância. Enquanto falar de IA implica falar em modelos estatísticos que não necessariamente envolvam aprendizado de máquina, falar de algoritmos amplia bastante o escopo, envolvendo até mesmo casos semelhantes ao já citado da agência de empregos, onde havia pesos definidos para cada característica, se cada peso for definido de forma não-estatística, isto é, por pura aleatoriedade ou escolha pessoal, o tal algoritmo ficaria de fora das obrigações da lei mesmo tendo um impacto direto na população (pode ver essa definição restrita a IA aqui).
  • Isenção para fins militares e segurança nacional: Acho que o título desse tópico já diz tudo.
  • Questão ecológica: Diante da guerra na Ucrânia e suas implicações na relação da UE com a Rússia, com certeza o consumo de energia decorrente de algoritmos cada vez mais inchados de parâmetros e cálculos de alto custo computacional acaba se aliando ao discurso ecológico num contexto de incertezas no fornecimento de gás para as usinas termelétricas.

Existem outros pontos, mas aos interessados recomendo a leitura do artigo AlgorithmWatch’s demands for improving the AI Act.