Geleia de Menta

Blog/newsletter sobre tecnologia com perspectiva humana

Distopia Algoritmica - Parte 4

Última atualização em:

Contents

Finalmente chegamos na parte final desta tetralogia. E olhando para trás, mesmo com textos tão longos, a sensação que tenho é que apenas arranhamos a superfície. O título que escolhi para esta última parte, “o abismo também contempla”, na verdade é uma referência Rorschach de Watchmen e não a Nietszche, mas explico melhor minha escolha ao final do texto.

Antes de prosseguir, eu gostaria de pedir que, se puder, contribua via PIX com este trabalho para que seja possível expandir para outras mídias. Tenho feito tentativas com formatos de áudio (incluindo podcast) e vídeo mas ainda não está com o formato refinado o suficiente para que as mensagens sejam efetivas, e numa época que tudo independente pela internet é tão profissional, a qualidade da produção realmente importa.

O abismo também contempla

Ao longo dessas semanas resolvi analisar com mais cuidado o que é talvez o exemplo mais notável acerca de uso de algoritmos inteligentes onde certamente não caberia utilizar: na justiça penal. O caso é famoso, a ProPublica escreveu uma ótima matéria sobre com todos os argumentos muito bem estruturados. Até mesmo pelo contexto e pela época (2016) entedemos o foco no viés, mas como já demonstrado nas edições passadas desta newsletter, o viés é só a ponta da coisa toda. Em cada etapa da produção de um algoritmo inteligente, desde a seleção dos dados até a sua avaliação final, passando pela escolha do próprio algoritmo, temos uma infinidade de procedimentos e escolhas que tendem a fazer tudo dar errado. Por isso mesmo fazer algo que funcione com certa justiça e adequação a realidade de seu uso, ainda mais em situações complexas, é algo tão difícil e que exige bastante tempo, estrutura e qualificação. Retornarei a isso mais à frente.

Os algoritmos em si são relativamente simples, mas a explicação sobre o motivo de seus resultados serem como são, nem sempre pode ser alcançada de forma lógica. Vimos isso na edição anterior, que cita processamento de linguagem natural, além de que, naquele contexto, há tantas dimensões e tantas variáveis que torna realmente muito difícil compreender minimamente a forma como cada “região” no hiperplano é organizada e como cada palavra interfere na classificação de uma frase.

Essa é a real camada de suspeição sobre os algoritmos chamados de “caixa-preta”, como confiar no que não podemos simplesmente explicar cada decisão? O máximo que fazemos é explicar como funciona e não o porque está funcionando de tal forma simplesmente porque há tantas variáveis e tanta aleatoriedade e tudo exige tanto poder computacional e, dependendo do caso, até de meios de análise quando se está na posição de observador externo, que é onde estamos. Só nos resta tatear na escuridão.

Caixas-pretas e Tecnomagia

Falar de algoritmos caixas-pretas imediatamente nos remete a falar de conceitos como explicabilidade e interpretabilidade, vou evitar usar estes termos mais confusos, basta entender que uma coisa é conseguir explicar como é que se chegou a tal resultado num algoritmo e outra é interpretar porque ele está dando tais respostas. Sempre chegaremos também na questão da confiança, afinal para o grande público que nunca teve contato com as teorias por trás dessas tecnologias e toda a publicidade tenta fazer parecer que tudo funciona por magia através do poder de grandes corporações. Como resumir nos segundos de um comercial ou na largura de um banner em algum site carregado de anúncios, que se deve confiar por qualquer razão que seja, que tanta coisa como a escolha sobre quem vai ser contratado para uma vaga de trabalho ou se vai conseguir ou não crédito para montar um negócio próprio?

Já critiquei a falta de transparência e adiantei que justamente por parecer que quase ninguém sabe o que está falando ou realmente fazendo, é que deveriam existir procedimentos e até mesmo regulação que obrigasse de alguma forma a demonstrar alguma confiabilidade. O problema é que o buraco é mais embaixo que apenas do lado comercial, até em pesquisas não se tem como provar muita coisa nem mesmo em comparações de um algoritmo com outro. A falta que a educação científica faz é enorme mas sua ausência ajuda muito a manter o hype e portanto, toda uma economia envolta de empresas de tecnologia, desde big techs até pequenas startups perdidas em delírios de seus criadores e investidores.

Acho bem próprio pensar que, acerca da inteligência artificial, desde sempre estivemos com um olhar esotérico sobre algo tão substancialmente técnico. Em grande parte, é por este motivo que tenho tanto cuidado em falar materialmente sobre o assunto, destruindo toda a mágica propagada.

É inegável o movimento anti-ciência em meio a tecnologia, e falo até sobre a formação de trabalhadores da área, pois entre ciência e engenharia, o viés tecnicista se mostra acima de tudo imediatista e ideológico para se alinhar ao capital, muito frequentemente se valendo de discursos pós-humanistas e transhumanistas para formar uma idealização utópica sobre o trabalho em tecnologia mas que esconde na realidade uma distopia com a precariedade das condições de trabalho, a centralização da renda e aumento das desigualdades, e o que nos importa nesta edição de hoje: algoritmos que são usados em situações sensíveis e complexas, que interferem diretamente em nossas vidas sem nem mesmo provas de que funciona corretamente ou que tenha alguma qualidade de fato nos seus resultados.

Ao mesmo tempo que governantes celebram o dinheiro público destinado a empresas dessa forma, nós que vivemos à margem disso tudo, nos aproximamos do pesadelo que é uma distopia cyberpunk, onde o desenvolvimento tecnológico significa também a piora geral da qualidade de vida, criando um ambiente cada vez mais hostil e violento a todos que querem apenas sobreviver e não fazem parte da classe dos super-ricos.

É óbvio que o destino não está selado. Lembro que no primeiro período da faculdade de Licenciatura em Computação foi feita a leitura do livro O Que É Educação, escrito por Carlos Rodrigues Brandão para a famosa coleção da editora Brasiliense. Lá perto do final ele cita Paulo Freire dizendo que a educação é uma criação humana, e portanto vai se destinar ao que as pessoas quiserem. Penso da mesma forma sobre a tecnologia, ela serve a quem a domina de ponta a ponta, e se hoje é o capital que controla os usos, rumos e até perspectivas sobre as possibilidades da tecnologia, no futuro podemos nem que seja tomar um pedacinho para nós, bater na mesa e determinar que servirá exclusivamente aos nossos interesses. Mas para isso, a tecnologia não pode ser mística, não pode ser esotérica, precisa ser material, palpável, densa, possível, real, que caiba em nossas mãos e a possamos compreender da mesma forma que entendemos como uma bicicleta funciona.

(Falso) Rigor

Todos deveriam ter alguma noção de como funcionam pesquisas eleitorais, quando feitas com seriedade buscam manter a proporção dos entrevistados similar ao que indica o IBGE. Se continua a buscar pessoas para entrevistar até que chegue o mais próximo possível da proporção de pessoas de acordo com sexo, renda, região e escolaridade (essas características, pelo menos). Obviamente isso é feito buscando entender as escolhas no âmbito coletivo, nós somos movidos muito fortemente pela nossa condição social e ambiente em que vivemos, de modo que essas características em grande parte nos definem como população.

Não acho que eu precise explicar a importância do CENSO para planejamento de políticas públicas, mas faz total sentido que para um governo todo pensado em cima do objetivo de distorcer qualquer traço da realidade para impor uma política de tendência fascista e completamente alucinada (só uma obs.: estou escrevendo isso em fevereiro de 2022), tentar impedir a todo o custo a realição do CENSO, é só mais uma batalha no combate a ter qualquer contato com a realidade. E é justamente acerca da realidade que temos que pensar acerca dos dados envolvendo treinamentos de algoritmos, porque sem esse apego ao que é real, se corre o risco de repetir a mesma tendência fascista.

Não uso esta palavra “fascismo” por moda de momento, mas é que o mesmo padrão de julgamento sobre coisas reais baseadas numa representação completamente errada dos dados, isso fica evidente no apagamento de pessoas negras em fotos de celular que obrigatoriamente embranquecem as pessoas nas fotos sem que a pessoa usuária nada possa fazer a respeito nas configurações do celular. Nessa mesma linha estão os casos de censura no youtube, onde a desmonetização funciona como agente regulador que, apesar de certamente bloquear muito conteúdo realmente impróprio, é bastante conhecido pela arbitrariedade com que pune criadores de conteúdos pelos motivos mais bobos ou até inteiramente inexplicáveis de modo que o medo da punição norteia toda a produção dos conteúdos. É um exemplo de um Estado de vigilância diante de nossos olhos.

Aponto aqui o falso rigor no desenvolvimento de algoritmos como uma das escolhas que fazem com que o uso tão intensivo e extensivo de IA tornem o ambiente tão distópico sob tantos aspectos. Falar de dados é simples porque é o mais intuitivo para todos, mas a mesma lógica de perseguir a realidade se extende a todo o processo. Quando se está criando as regras, definindo recursos e treinando algoritmos que vão regular o comportamento de pessoas em determinado ambiente, mais do que apenas definir protocolos legais ou técnicos, se está criando meios de estimular comportamentos e expressar visões de mundo. Seria então como dizer que as narrativas expressas pela interface e reguladas pelos algoritmos criasse a realidade das pessoas usuárias desses serviços. Isso é notável no youtube, onde “morte” é uma palavra usada com receio e falar de saúde e história é arriscado, o risco de desmonetizar e até mesmo ter o vídeo excluído ou o canal todo deixar de ser recomendado está bem alí, ao alcance de 1 palavra errada no título.

O real motivo do uso de deep learning em larga escala não se dá pela precisão. Há até o mito de que seria capaz de identificar padrões que nós não percebemos, mas… bem… pessoas enxergam padrões em tudo, até um smiley em marte. Antes da popularização do aprendizado de máquina, os algoritmos usados comercialmente eram baseados em regras, isso não os coloca como melhores ou piores, apenas era adequado aos usos da época até que começaram a ser moldados para situações com tantas regras e regras tão complexas que começou a valer mais a pena deixar o aprendizado das regras a cargo de algoritmos mais flexíveis que se valiam do aprendizado de máquina.

Hoje, as principais frameworks de deep learning, além de estarem centradas nas big techs, tornam a produção de algoritmos inteligente bem mais simples, bastando poucas linhas de código e muitas camadas de abstração para se ter um resultado pronto “por mágica”. O que os gestores normalmente vêem é no máximo um percentual de acerto, o que na realidade não diz nada, não indica a robustez (o que pode ser entendido como a resistência a “sujeira” nos dados de entrada, enfim, é o que impede que uma placa de 40km/h seja lida como 80km/h por causa de uma mancha ou um adesivo numa parte aleatória da placa), também não indica o acerto em todos os caos, pois se o dataset de teste tiver 80% de homens brancos, um acerto de 80% pode significar também um erro de 100% em homens negros e em mulheres tanto brancas quanto negras.

Falar de percentuais, de grandes números como já comentado em outra edição sobre “pontos biométricos” e etc. nada mais é que parte do jogo de convencimento do marketing, ou da venda do algoritmo pelo CEO, nada disso importa pois nada significa. Mas o que significa algo aqui? talvez isso seja expresso apenas por longos relatórios detalhando diversos testes e análise do treinamento do algoritmo, o que demanda tempo e não combina com a urgência das equipes muitas vezes formadas por apenas 1 pessoa que é a responsável por tudo o que se refere a IA. Isso ocorre muito em startups, onde 1 só pessoa é que faz na pressão e ganhando muito mal o algoritmo que será usado para análise de crédito, ou autenticação biométrica, ou ainda, que faz o sistema de recomendação que vai analizar milhares de curriculos para centenas de empresas diariamente e selecionar candidatos que… como é possível dizer se são os mais indicados se nem há esclarecimentos sobre o que o algoritmo está levando em consideração? a confiança no algoritmo é toda baseada na crença na tecnomagia.

Materialidade dos Fatos

De forma mais ou menos caótica eu já indiquei o que seria um roteiro de investigação sobre qualquer processo de produção de um algoritmo inteligente, mas vou fazer uma pequena revisão porque sei o quanto tudo ficou esparso:

  1. dados: fazer coisas óbvias embora em muitos casos trabalhosas, como ter um dataset o mais próximo possível das condições reais de uso, o mesmo rigor que pesquisas eleitorais tem com as proporções da população em diversos requisitos se deveria ter aqui. Mais do que quantidade, é preciso ter qualidade para encobrir a maior número de casos possíveis. O mundo real é bastante diverso e não faz sentido usar um dataset monótono.
  2. escolha do algoritmo: existem algoritmos que simplesmente não conseguem lidar com certos tipos de dados, falo principalmente em relação a séries temporais, situações em que a ordem dos dados importam tem outro nível de complexidade, como é o caso da linguagem.
  3. escolhas sobre o treinamento: cada algoritmo tem uma série de parâmetros a serem ajustados assim como escolhas sobre qual algoritmo deve ser usado para calcular o erro (a distância entre a resposta do algoritmo e os dados).
  4. acompanhamento do treinamento: como observado na edição passada, o treinamento é uma busca heurística sobre um terreno acidentado onde normalmente se busca o menor erro possível, especialmente em algoritmos que exigem muito do hardware, a escolha de um algoritmo mais leve de treinamento como o gradient descend, apesar de tornar o processo viável, também implica em buscas mais limitadas, portanto monitorar o treinamento ajuda tanto a identificar se o algoritmo estagnou antes de chegar numa adequação aceitável aos dados quanto se o próprio algoritmo precisa ser ajustado. É mais frequente do que parece uma rede neural ficar com camadas que ficam inalteradas em todo o treinamento, elas podem tanto tornar a execução mais lenta quanto impedir que o algoritmo possa alcançar resultados melhores.
  5. testes, muitos testes:
    • Muitas vezes não basta separar uma parte do dataset apenas para analisar o algoritmo treinado, simulações são realmente úteis (especialmente quando se trata de imagens coletadas em espaços abertos).
    • nos últimos anos, redes adversárias ganharam muita fama não apenas pelos resultados de rostos realmente impressionantes pelo realismo criados por redes do tipo, também deram início aos ataques adeversários, que se aproveitam justamente da falta de robustez dos algoritmos.

Lógico que nem tem como eu dizer aqui o que serviria para todo caso já que tudo é sempre muito específico, existem várias ferramentas voltadas para análise de vieses em algoritmos como o FairML mas nada disso importa sem o cuidado com a ética, que deveria ser o elemento norteador de quem lida com ciência, e não a pressão do CEO para fazer a empresa lucrar mais imediatamente, muito frequentemente os interesses são antagônicos. A irracional cultura do vale do silício abraçada pelas startups que diz que “entregue primeiro e ajeite os erros depois” é incompatível com o trabalho sério envolta da produção de algoritmos inteligentes. Mais que técnica, o modelo de produção e o modelo de negócios importam bem mais.

Eu estava pensando em deixar este link para uma edição futura voltada para falar sobre criação de conteúdos de forma massiva, em especial notícias falsas e discursos de ódio e toda a economia movimentada através robôs que existe por trás de campanhas com hashtags em redes sociais, mas como citei a importância da ética aqui, recomendo muito pelo menos dar uma olhada neste curso sobre ética envolvendo IA se você quer se aprofundar mais nesse assunto a partir de experimentações práticas.

Enfim…

Eu pensei em fazer uma outra gigante nota de rodapé com um exemplo de análise de algoritmo e dados enviesados mas como isso é realmente trabalhoso e não tive tempo por essas semanas, deixarei isso para o futuro. Apesar de eu não ter cumprido tudo o que eu desejava acerca deste texto e do que está envolta dele, espero que pelo menos, especialmente para quem nunca mexeu diretamente com IA e apenas consome notícias a respeito, eu tenha ajudado a desmistificar e trazer um pouco de razão a todo o misticismo da publicidade que trata algoritmos como forças da natureza ou até como divindades em comparação com as aparentes limitações humanas. Quando se conhece mesmo teoricamente como funcionam os algoritmos, se percebe que essas considerações são do mesmo nível que dizer que um martelo é uma divindade que possibilitou que todos os humanos tivessem móveis e casas.

Não sei se todos sentem isso, mas diante de big techs e outros grandes capitalistas parece haver um sentimento de misantropia, como se toda a desigualdade, todo o abuso de poder político que nasce do poder econômico, como se todo o ódio que vemos expresso em redes sociais fosse o caminho “normal” de tudo quando na verdade não há nada disso que não seja baseado em escolhas puramente humanas. É fácil misturar as coisas quando não se dá tempo de ir devagar e enxergar os detalhes do mundo envolta, é fácil se empolgar com a masculinista visão de futuro expresso pelo blindado de Elon Musk que não resiste a 1 pedra mas cujo design anuncia a completa miséria e caos de um futuro pós-apocalíptico em que todos desejam ser ricos o suficiente para passar por cima de quem estiver pela frente, ou então o fálico turismo espacial de Jeff Bezos que oferece aos super ricos um passeio fora de um planeta que eles mesmo enxergam como acabado e decadente conscientemente pelas suas próprias ações.

Nessa série de textos sobre essa distopia que se apresenta através de algoritmos onipresentes através da força de grandes corporações, tentei resgatar um pouco de humanismo através da razão. Sei que isso é quase nada diante da complexidade das relações políticas que determinam, entre outras coisas, tantas formas de vigilância e controle que tem nos algoritmos sua forma de operacionalização para cumprir seu objetivo de ser tão massivo quanto for possível mas acho importante tratar as coisas na sua real dimensão e jogar luz em quem se esconde atrás dessa falaciosa inevitabilidade. É fácil falar que é preciso trazer o controle para o nosso lado, para que todo o ecossistema da internet sirva aos nossos interesses quanto sociedade humana composta de pessoas que, de modo geral, só querem viver em paz, ter o que comer, ter onde trabalhar, ter amigos, família, se divertir, relaxar numa caminhada ao fim de tarde, mas chegar num ponto em que nossas vidas não sejam tratadas apenas como elementos num jogo que visa lucros que tendem ao infinito exige um enorme esforço.

Os últmos anos mostraram o suficiente a ausência de separação entre real e virtual, ou melhor, mostraram como visões de mundo são espalhadas e se infectam como virus em quem já tinha tendências a segui-las pelos mais diferentes motivos. Alan Moore se estivesse lendo o que estou escrevendo aqui talvez disesse “mas é isso o que chamo de ‘magia’, moldar a realidade através da ficção!", com uma definição assim, talves a melhor anti-tecnomagia seja escolher o caminho da educação em seu sentido amplo, trazer o conhecimento para junto de si para enxergar as coisas como são e não como dizem que são ao ponto de ver que no fundo desse abismo não há nada além de um solo mal iluminado com esculturas de monstros e quimeras com caixas de som no máximo emitindo sons atordoantes feitas por quem não quer que a gente enxergue todo o universo que há em nossa volta.


Se chegou até o final deste texto, espero que tenha gostado. Mas para continuar este projeto de divulgação crítica e política da ciência da computação e outros assuntos ligados à tecnologia sem todo o misticismo comum à publicidade, sua ajuda é muito importante. Faz um PIX 😊
pix copia e cola: 00020126430014BR.GOV.BCB.PIX0121geleiadementa@tuta.io5204000053039865802BR5925Lincoln de Macedo Santos 6009SAO PAULO61080540900062070503***630467FE