Como “desmascarar” os algoritmos das Big Techs

Qual o papel das evidências em um mundo que valoriza abordagens tecnocientíficas, mas onde boa parte dessa validação é realizada por atores embebidos de autoridade pela proximidade com os centros de poder econômico e militar do Capital? O livro Desmascarando a I.A. respondeu essa pergunta em várias camadas e relata uma história que inspira e pode inspirar muito do que se faz contra o racismo algorítmico no Brasil.

O projeto inovador Gender Shades [“tons de gênero” em tradução livre], um dos temas centrais do Desmascarando a I.A., foi resultado do trabalho de Joy Buolamwini, em colaboração com outras quatro pessoas pesquisadoras, que desvelou falhas em tecnologia desenvolvidas por gigantes como IBM, Microsoft e Amazon – organizações que empregam dezenas de milhares de pessoas, boa parte delas cientistas e pesquisadores de várias áreas.

“Podemos entender que aquilo que é vendido como inovação, velocidade e disrupção pelo mercado de tecnologia tem pouco a ver com qualidade, precisão ou necessidade social.”

Mesmo antes de relembrarmos toda a jornada de Joy Buolamwini após o Gender Shades, é preciso se escandalizar com essa disparidade. Como erros tão vultosos e vulgares foram permitidos em serviços de corporações bilionárias?

Quando seguimos o conselho de Buolamwini sobre avaliar de forma expandida o significado dos danos algorítmicos podemos entender que aquilo que é vendido como inovação, velocidade e disrupção pelo mercado de tecnologia tem pouco a ver com qualidade, precisão ou necessidade social. O trabalho da autora, em particular este livro, é fonte essencial para reforçar o quão importante é a cultura da avaliação e auditoria algorítmica.

Discriminação algorítmica e privacidade de dados

Os retrocessos sobre as conquistas sociais sobre discriminação algorítmica – incluindo as conquistas diretamente influenciadas por Buolamwini, mostram a importância da crítica algorítmica para o futuro da humanidade e combate às desigualdades. Como vemos no livro, no fim de 2022 foi lançada uma proposta de algo como A.I. Bill of Rights [Carta de Direitos da I.A. em tradução livre], pelo governo estadunidense sob Joe Biden. Como habitual, os Estados Unidos possuem uma abordagem jurídica laissez-faire sobre os assuntos estratégicos pertinentes a empresas parceiras do Estado, incluindo as Big Techs. Nesse contexto, a A.I. Bill of Rights, uma carta de recomendações, princípios e conceitos do governo estadunidense foi um passo muito relevante para o reconhecimento do problema.

A carta incluía definições e recomendações em áreas como sistemas efetivos, proteção contra discriminação algorítmica, privacidade de dados e outros. Foi uma das reações ao avanço das propostas regulatórias da União Europeia e China, que já apresentavam um considerável léxico de defesa de direitos. A carta estadunidense definiu discriminação algorítmica como uma disparidade que ocorre quando sistemas automatizados contribuem para injustos tratamentos ou impactos desfavorecendo pessoas em base de sua raça, cor, etnicidade, sexo, gênero, religião, origem nacional, discapacidade e outras categorias protegidas por lei. Ao reconhecer o problema, ainda que sem fortes regras vinculantes, o documento reforçou consensos que já influenciavam políticas públicas tais como os avanços no Instituto Nacional de Padrões e Tecnologias (NIST) do país.

“Buscando atender interesses de grupos como OpenAI, Microsoft, Palantir e Alphabet, o governo Trump gerou as condições para que tais empresas pudessem deixar de lado o verniz de civilidade.”

O NIST foi uma das organizações influenciadas pelo trabalho de Buolamwini, aplicando lentes interseccionais à avaliação de ferramentas e softwares utilizados pelo governo estadunidense, incluindo reconhecimento facial. Hoje, documentos do NIST sequer podem mencionar as palavras “diversidade”, “equidade”, “inclusão” ou “mudança climática”. A proibição é uma das políticas recomendadas pelo America’s AI Action Plan, o plano nacional de inteligência artificial dos Estados Unidos.

Trump, Big Techs e a luta pela soberania

Com a nova eleição de Donald Trump, que recebeu doações das Big Techs na campanha, posse e até para construção de novo salão de baile, os retrocessos foram acelerados. Buscando atender interesses de grupos como OpenAI, Microsoft, Palantir e Alphabet, o governo Trump gerou as condições para que tais empresas pudessem deixar de lado o verniz de civilidade. Logo em janeiro de 2025, as políticas de moderação de conteúdo das plataformas de mídias sociais foram modificadas para permitir discursos discriminatórios e eugenistas. Racismo, transfobia e capacitismo passaram a ser permitidos de forma explícita nas principais plataformas, gerando novas preocupações para governo e organizações da sociedade civil brasileiras.

Apesar do aumento dos ataques de Trump e das Big Techs contra avanços sociais sobre governança de tecnologias digitais, essa é uma longa história que exigiria do Brasil posturas e políticas em defesa da soberania. Mesmo antes do governo trumpista, repositórios de danos de sistemas algorítmicos registram milhares de casos de problemas, incluindo contra brasileiros. Para evitar o estabelecimento de melhores regras de governança de plataformas no país, empresas como Facebook e Google empreenderam violentas campanhas anti-regulação no Brasil que levaram ao enterro simbólico do projeto de lei 2630/2020.

“A farta produção sobre antidiscriminação e inteligência artificial no Brasil e no mundo não foi o suficiente para impedir o contrato racial da branquitude no legislativo.”

Quanto à Inteligência Artificial (I.A), um volumoso corpo de pesquisas e evidências são produzidas também no Brasil por grupos de pesquisa e ativismo contra racismo algorítmico – incluindo frequentes citações ao trabalho de Buolamwini. Há estudos sobre discriminação e vieses em bancos de imagens, reconhecimento facial, sistemas de escore de crédito, moderação de conteúdo, visão computacional, modelos de linguagem e mapeamentos de avaliação dos debates legislativos sobre I.A., entre outros. Campanhas e mobilizações da sociedade civil utilizaram os dados produzidos por Buolamwini e colegas, incluindo Tire Meu Rosto da Sua Mira e #SaiDaMinhaCara.

A farta produção sobre antidiscriminação e inteligência artificial no Brasil e no mundo não foi o suficiente para impedir o contrato racial da branquitude no legislativo. No início de 2022, a jornada por uma regulação de Inteligência Artificial no Brasil ganhou um novo capítulo. Foi estabelecida a Comissão de Juristas responsável por subsidiar a elaboração de substitutivo sobre inteligência artificial no Brasil, composta pelo Ministro do Superior Tribunal de Justiça, Ricardo Villas Bôas Cueva, e 17 especialistas. E zero representação de pessoas negras ou indígenas. Com membros provenientes da academia, escritórios de advocacia milionários, da política federal e do terceiro setor, a comissão trabalhou durante meses para a produção de um relatório.

Apesar da exclusão escandalosa de pessoas negras, a mobilização da sociedade civil e pesquisadores conseguiu algumas vitórias como a inclusão de conceitos como discriminação indireta – na verdade, uma obrigação constitucional, considerando a adesão do Brasil à Convenção Interamericana contra o Racismo, a Discriminação Racial e Formas Correlatas de Intolerância.

A sociedade civil organizada demonstrou de forma sólida, durante as audiências públicas da comissão, o quanto as tecnologias de reconhecimento facial são nocivas a todos. A relatora da comissão chegou a reconhecer que “não podemos aceitar que técnicas simplesmente reproduzam, codifiquem e consolidem para o futuro essa discriminação pretérita e atual da sociedade”. A fala, porém, não se desdobrou em texto: a proposta de minuta da comissão incluiu reconhecimento facial como risco excessivo – mas repleta de exceções para uso, na prática legalizando o uso da tecnologia.

“O lobby das Big Techs contra a participação social efetiva e transparência sobre a avaliação de impactos de sistemas algorítmicos nos mostra um panorama de crises irremediáveis.”

Impossível aqui deixar de lembrar as citações que Buolamwini faz a Sojourner Truth e como denunciou a marginalização das perspectivas e experiências das mulheres negras. De modo similar, podemos lembrar de Lélia Gonzalez na famosa epígrafe: “Cumé que a gente fica?”. Quando 17 especialistas em I.A., de vários setores, normalizaram a exclusão de pessoas e perspectivas negras, podemos replicar o choque da enunciadora em “Eram todos gente fina, educada, viajada por esse mundo de Deus. Sabiam das coisas. E a gente foi se sentar lá na mesa. Só que tava tão cheia que não deu pra gente sentar junto com eles”.

O resultado da comissão foi submetido como o projeto de lei 2338/2023, para posterior avaliação por comissão no Senado. Em agosto de 2023 foi estabelecida a Comissão Temporária Interna sobre Inteligência Artificial no Brasil (CTIA) composta por 13 senadores, sendo a presidência do Senador Carlos Viana, vice-presidência do Senador Marcos Pontes e como relator o Senador Eduardo Gomes. Diferentemente da comissão da Câmara, as lideranças da CTIA não buscaram sequer imprimir verniz de transparência ao processo, sem registro ou documentação transparentes.

Ao longo do processo, a imprensa denunciou problemas de enviesamento das audiências públicas. Representantes de organizações que defendem interesses de empresas como Amazon, iFood, Huawei e Google participaram das audiências como se fossem da sociedade civil ou academia – levando até a uma universidade desmentir o vínculo com um dos lobistas.

Como resultado, a CTIA suprimiu categorias ligadas à defesa de direitos. Menções à discriminação e vieses foram suprimidas e a linguagem de impacto pendeu desproporcionalmente a supostos impactos positivos, enquanto questões sobre arranjos produtivos enfatizaram capacitação, também sem menções a emprego ou trabalho – entre outros problemas. Quanto à avaliação de impacto algorítmico, a linguagem do projeto diluiu obrigações de transparência e de participação de grupos potencialmente afetados.

“O grande capital que busca escalar tecnologias digitais de plataformização e extração é incompatível com o controle social das tecnologias e seus padrões de qualidade.”

Ao chegar na Câmara dos Deputados em abril de 2025, a ofensiva das Big Techs e parceiros nacionais deu o tom do problema: a presidente da comissão de I.A. na casa legislativa fez uma viagem ao Vale do Silício com tudo pago pela Associação Nacional de Hospitais Privados. Os elogios intensos à Google deram o tom do que estaria por vir: em audiências públicas sem participação da sociedade civil, o setor privado chegou até a atacar compromissos constitucionais sobre antidiscriminação.

E essa é só uma parte da história. O lobby das Big Techs contra a participação social efetiva e transparência sobre a avaliação de impactos de sistemas algorítmicos nos mostra um panorama de crises irremediáveis. O grande capital que busca escalar tecnologias digitais de plataformização e extração é incompatível com o controle social das tecnologias e seus padrões de qualidade. Crescentemente a pesquisa científica crítica e reportagens jornalísticas, fruto de vazamentos, mostram que muito do que é vendido como inovação só se sustenta quando a sociedade não pode fazer escrutínio de impactos, qualidade, pontos positivos ou negativos.

“Desmascarar a I.A. e desvelar como incorporam relações de poder e exploração já é uma das grandes demandas deste século.”

O avanço do fascismo nos EUA junto às Big Techs é assustador, mas também um sinal de sua crise. Os modelos de negócio das Big Techs não interessam a ninguém além de seus CEOs, acionistas e os especuladores que os orbitam. E isto está cada vez mais visível.

Jornadas de investigação como a empreendida por Joy Buolamwini já há mais de uma década nos mostram que temos caminhos múltiplos para melhorar, otimizar, avaliar – ou mesmo, recusar sistemas algorítmicos. Desmascarar a I.A. e desvelar como incorporam relações de poder e exploração já é uma das grandes demandas deste século.