Charlie Warzel – “O que acontece quando qualquer um pode fazer com que pareça que qualquer coisa aconteceu, independente de ter acontecido ou não?”, pergunta o tecnólogo Aviv Ovadya.
Em meados de 2016, Aviv Ovadya percebeu que havia algo fundamentalmente errado com a internet — tão errado que ele abandonou seu trabalho e soou um alarme. Algumas semanas antes das eleições de 2016, ele apresentou suas preocupações a tecnólogos na Área da Baía de São Francisco e advertiu sobre uma crise iminente de desinformação em uma apresentação que chamou de “Infocalypse”.
A web e o ecossistema de informação que se desenvolveu nela estavam doentios, argumentou Ovadya. Os incentivos que governavam suas principais plataformas foram ajustados para recompensar informações que eram enganosas e/ou polarizadas. Plataformas como Facebook, Twitter e Google priorizavam cliques, compartilhamentos, anúncios e dinheiro em detrimento da qualidade de informação, e Ovadya não pôde ignorar a sensação de que tudo isso estava tomando um caminho ruim — um tipo de limite crítico de desinformação viciante e tóxica. A apresentação foi praticamente ignorada pelos funcionários das plataformas das empresas Big Tech (como Google, Amazon, Facebook e Apple).
“Naquela época, parecia que estávamos em um carro fora de controle. O problema não era que todo mundo estava dizendo ‘estamos bem’ — é que eles nem mesmo estavam vendo o carro”, disse ele.
Ovadya estava dizendo o que muitos — incluindo legisladores, jornalistas e CEOs das Big Tech — não captariam até meses depois: o nosso mundo cheio de plataformas e otimizado por algoritmos é tão vulnerável — de propaganda, desinformação e anúncios direcionados a governos estrangeiros — que isso ameaça minar uma pedra fundamental do discurso humano : a credibilidade do fato.
Ainda assim, é o que ele vê se aproximando que realmente é assustador.
“O alarmismo pode ser bom — vocês deveriam ser alarmistas sobre essas coisas”, disse Ovadya em uma tarde de janeiro antes de delinear calmamente uma projeção profundamente perturbadora sobre as próximas duas décadas de notícias falsas, campanhas de desinformação assistidas por inteligência artificial e propaganda. “Isso é algo que está além do que muitos aqui imaginam”, disse ele. “Estávamos completamente fodidos um ano e meio atrás e estamos ainda mais fodidos agora. E, dependendo da distância que você vê no futuro, só piora.”
Esse futuro, de acordo com Ovadya, chegará com ferramentas muito ágeis e fáceis de se usar para manipular a percepção e falsificar a realidade. Ações que até já ganharam termos próprios, como “apatia com a realidade”, “phishing via laser automatizado” e “fantoches humanos”.
É por isso que Ovadya, tecnólogo formado pelo MIT que já trabalhou com engenharia em empresas de tecnologia como a Quora, largou tudo em 2016 para tentar evitar o que ele viu como uma crise de informação causada pelas empresas Big Tech. “Um dia, algo clicou na minha cabeça”, disse ele sobre seu despertar. Ficou claro para ele que, se alguém quisesse tirar vantagem da nossa economia de atenção e utilizar as plataformas que reforçam isso para distorcer a verdade, não haveria controle ou equilíbrio para parar tal ação. “Eu percebi que, se esses sistemas saíssem do controle, não haveria nada para controlá-los”, disse.
“Estávamos completamente ferrados um ano e meio atrás e estamos ainda mais ferrados agora”
Hoje, Ovadya e um grupo de pesquisadores e acadêmicos estão se preparando para um futuro distópico. Eles estão projetando cenários de desastre a partir de tecnologias que começaram a surgir, e os resultados são bem desanimadores.
Para Ovadya — agora chefe-tecnólogo do Centro de Responsabilidade de Mídias Sociais da Universidade de Michigan e membro de inovação Knight News do Tow Center for Digital Journalism na Universidade Columbia —, o choque e a ansiedade contínua sobre os anúncios russos no Facebook e bots do Twitter são pouco se comparados à maior ameaça: tecnologias que podem ser usadas para distorcer o que é real estão evoluindo mais rapidamente do que nossa habilidade de compreendê-las e controlá-las ou mitigá-las.
As apostas são altas, e as possíveis consequências são mais desastrosas do que intromissões estrangeiras em uma eleição — uma impugnação ou reviravolta das instituições nucleares da civilização, um “infocalypse”. Ou seja, qualquer um poderia fazer com que “parecesse que qualquer coisa aconteceu, independente de ter acontecido ou não”.
“O que acontece quando qualquer um pode fazer com que pareça que qualquer coisa aconteceu, independente de ter acontecido ou não?”
E assim como as campanhas de desinformação patrocinadas por entidades estrangeiras não pareciam uma ameaça plausível de curto prazo até acontecerem, Ovadya avisa que as ferramentas impulsionadas pela inteligência artificial, pelo aprendizado de máquina e pela tecnologia de realidade aumentada podem ser sabotadas e utilizadas por pessoas ruins para imitar humanos e causar uma guerra de informação.
E estamos mais perto do que alguém pode pensar de um “Infocalypse”, segundo ele. Ferramentas já disponíveis de manipulação de áudio e vídeo já começam a aparecer. Em recantos sombrios da internet, pessoas começaram a utilizar algoritmos de aprendizado de máquina e software de código aberto para criar vídeos pornográficos que, com facilidade, sobrepõem realisticamente rostos de celebridades — aliás, de qualquer um — nos corpos dos atores pornô. Em instituições como a Stanford, tecnólogos desenvolveram programas que combinam e misturam gravações de vídeos com monitoramento facial em tempo real para manipular vídeos. Similarmente, na Universidade de Washington, cientistas da computação desenvolveram com sucesso um programa capaz de “transformar recortes de áudio em um vídeo realista com sincronização labial da pessoa que fala as palavras”. Como prova de conceito, ambas as equipes manipularam vídeos em que líderes mundiais pareciam dizer coisas que nunca disseram.
Pode haver “manipulação de diplomacia”, segundo ele: um ator malicioso utiliza tecnologia avançada para “criar a crença de que um evento ocorreu” para influenciar a geopolítica. Imagine, por exemplo, um algoritmo de aprendizado de máquina (que analisa massas de dados para ensinar a si mesmo a realizar uma função em particular) alimentado com centenas de horas de gravações de Donald Trump ou do ditador da Coreia do Norte, Kim Jong Un. A partir disso, seria possível criar um áudio ou vídeo quase perfeito — e virtualmente impossível de distinguir da realidade — de um dos líderes declarando uma guerra nuclear ou biológica. “Não precisa ser perfeito — só bom o bastante para fazer o inimigo achar que algo aconteceu para provocar uma resposta automática e imprudente de retaliação.”
“Não tem que ser perfeito — só bom o bastante”
Outro cenário, que Ovadya chama de “simulação de Estado”, é uma combinação distópica de botnets políticos e astroturfing, em que movimentos políticos são manipulados por campanhas falsas de base. Na previsão de Ovadya, bots impulsionados por IA progressivamente críveis poderão competir eficientemente com humanos reais pela atenção dos legisladores e reguladores porque será muito difícil distingui-los. Assim, as caixas de entrada dos senadores poderiam ser inundadas com mensagens de “eleitores” feitos, na verdade, de programas de aprendizado de máquina trabalhando juntos, como se fossem pontos em uma colcha de retalhos, na reprodução de conteúdo selecionado a partir de textos, áudios e perfis de mídias sociais.
Aí então, há o phishing via laser automatizado, uma tática sobre a qual Ovadya observa que os pesquisadores já estão discutindo. Essencialmente, ela utiliza IA para escanear coisas, como nossas presenças em redes sociais, e criar mensagens falsas, porém fidedignas, de pessoas que conhecemos. O elemento decisivo, segundo Ovadya, é que algo como o phishing por laser permitiria que atores visem qualquer um e criam uma imitação crível utilizando dados publicamente disponíveis.
“Antigamente, precisaria haver um humano para imitar uma voz ou criar uma conversa falsa que parecesse autêntica — nessa versão, só se precisaria apertar um botão utilizando software de código aberto”, disse Ovadya. “É aí que vira uma confusão — quando qualquer um pode fazer, porque é trivial. Aí, é um jogo completamente diferente.”
Imagine, sugere ele, mensagens de phishing que não são só links confusos que você pode clicar, mas uma mensagem personalizada com contexto. “Não só um e-mail, mas um e-mail de um amigo que você estava ansiosamente esperando por um tempo”, diz ele. “E, por poder ser muito fácil criar coisas que são falsas, neste futuro distópico, você se sentiria oprimido. Se cada pedacinho de spam que você recebesse fosse idêntico aos e-mails de pessoas reais que você conhecesse, cada um com sua própria motivação tentando convencer você de algo, você acabaria dizendo: ‘OK, vou ignorar minha caixa de entrada’.”
Isso pode levar a algo que Ovadya chama de “apatia da realidade”: sitiadas por uma torrente de desinformação constante, as pessoas simplesmente começariam a desistir de se informarem. Ovadya é rápido em nos lembrar que isso é comum em áreas onde a informação é deficiente e, logo, considerada incorreta. A grande diferença, observa Ovadya, é a adoção de apatia por uma sociedade desenvolvida, como a nossa. O resultado, ele teme, não é bom. “As pessoas param de prestar atenção às notícias, e aquele nível fundamental de informação necessário para uma democracia funcional se torna instável.”
Ovadya (assim como outros pesquisadores) vê o phishing via laser como algo inevitável. “Obviamente é uma ameaça, mas, ainda pior, eu não acho que haja uma solução no momento”, disse ele. “Há coisas de infraestrutura na escala da internet que precisam ser desenvolvidas para parar isso, caso comece.”
Além disso tudo, há outros cenários de longo prazo que Ovadya descreve como “irrelevantes”, mas que ainda assim são assustadores. “Fantoches humanos”, por exemplo — uma versão de mercado negro de um mercado de redes sociais com pessoas em vez de bots. “É essencialmente um mercado sem fronteiras futurista para humanos manipuláveis”, disse ele.
As premonições de Ovadya são particularmente aterrorizantes dada a facilidade com que nossa democracia já foi manipulada pelas técnicas de desinformação mais rudimentares e grosseiras. As fraudes, farsas e ofuscações que estão surgindo não são nada de novo; só são mais sofisticadas, mais difíceis de serem detectadas e trabalham em conjunto com outras forças tecnológicas que não são só desconhecidas atualmente, como também são provavelmente imprevisíveis.
Para aqueles que prestam bastante atenção à evolução da inteligência artificial e do aprendizado de máquina, nada disso parece mais que um desafio. Um software atualmente em desenvolvimento pela fabricante de chips Nvidia já pode gerar convincentemente fotos hiper-realistas de objetos, pessoas e até algumas paisagens fazendo buscas rápidas por dezenas de milhares de imagens. A Adobe também lançou recentemente dois projetos — Voco e Cloak — o primeiro é um “Photoshop de áudio”, e o segundo é uma ferramenta que pode remover objetos (e pessoas!) perfeitamente de vídeos em questão de cliques.
Em alguns casos, a tecnologia é tão boa que assustou até seus criadores. Ian Goodfellow, um cientista pesquisador do Google Brain que ajudou a desenvolver a primeira “rede adversária gerativa” (GAN), que é uma rede neural capaz de aprender sem supervisão humana, acredita que a IA poderia regredir o consumo de notícias em uns 100 anos. Em uma conferência da MIT Technology Review, em novembro do ano passado, ele disse ao público que as GANs teriam “imaginação e introspecção” e “poderiam dizer se o gerador está indo bem sem se apoiar em feedback humano”. E isso, enquanto as possibilidades criativas das máquinas não têm fronteiras, a inovação, quando aplicada à forma com que consumimos informação, provavelmente “fecharia algumas das portas que nossa geração está acostumada a deixar abertas”.
Imagens de celebridades falsas criadas por Generative Adversarial Networks, ou GANs
À luz disso, cenários como a simulação de Estado de Ovadya parecem genuinamente plausíveis. No ano passado, mais de um milhão de contas falsas de bots inundaram o sistema aberto de comentários da FCC para ampliar o apelo de revogação das proteções de neutralidade da rede.” Os pesquisadores concluíram que comentários automáticos — alguns usando processamento de linguagem natural para parecerem reais — obscurecerem comentários legítimos, minando a autenticidade do sistema aberto de comentários inteiro. Ovadya concorda com o exemplo da FCC, e também com a recente campanha ampliada por bots #releasethememo como uma versão grosseira do que está por vir. “Pode ficar muito pior”, diz ele.
“Você não precisa criar o vídeo falso para essa tecnologia ter um impacto sério. Você só mostra o fato de que a tecnologia existe, e pode minar a integridade das coisas que são reais.”
Comprovadamente, esse tipo de erosão de autenticidade e da integridade de declarações oficiais, juntas, são as mais sinistras e preocupantes dessas ameaças futuras. “Seja IA, truques de manipulação peculiares da Amazon ou ativismo político falso — essas escoras tecnológicas levam ao aumento da erosão da confiança”, disse Renee DiResta, pesquisadora de propaganda computacional, sobre a ameaça futura. “Isso torna possível lançar difamações sobre se um vídeo é real.” DiResta apontou a negação recente de Donald Trump de que era sua voz na infame fita do Access Hollywood, citando especialistas que disseram que era possível que sua voz tivesse sido digitalmente falsificada. “Você não precisa criar o vídeo falso para essa tecnologia ter um impacto sério. Você só mostra o fato de que a tecnologia existe, e você pode minar a integridade das coisas que são reais.”
É por isso que pesquisadores e tecnólogos como DiResta — que passou anos de seu tempo livreaconselhando a administração Obama, e agora é membro do Comitê de Inteligência do Senado, contra campanhas de desinformação de trolls — e Ovadya (apesar de trabalharem separadamente) estão começando a conversar mais sobre as ameaças pairantes. Recentemente, o NYC Media Lab, que ajuda as empresas e acadêmicos da cidade a colaborarem, anunciou um plano para reunir tecnólogos e pesquisadores em junho a “explorarem os piores cenários de caso” do futuro das notícias e tecnologia. O evento, que eles chamaram de Fake News Horror Show, é listado como “uma feira científica de ferramentas aterrorizantes de propaganda — algumas reais, outras imaginadas, mas todas baseadas em tecnologias plausíveis”.
O primeiro passo para pesquisadores como Ovadya é difícil: convencer o grande público, assim como legisladores, tecnólogos de universidades e empresas de tecnologia, de que um apocalipse de informação que distorce a realidade não é só plausível, como também iminente.
“Levará apenas algumas grandes farsas para convencer o público de que nada é real.”
Um funcionário do governo americano encarregado de investigar sobre a guerra de informações disse ao BuzzFeed News que não sabe quantas agências públicas estão se preparando contra cenários como os que Ovadya e outros descrevem. “Estamos menos com o pé atrás do que estávamos há um ano”, disse ele, antes de observar que isso não é bom o bastante. “Eu penso nisso no sentido de iluminação — que tudo se tratava da busca pela verdade”, disse o funcionário ao BuzzFeed News. “Eu acho que o que você está vendo agora é um ataque à iluminação — e documentos iluminados como a Constituição — realizado por adversários tentando criar uma sociedade da pós-verdade. E isso é uma ameaça direta às fundações da nossa civilização atual.”
Esse é um pensamento aterrorizante — mais porque prever esse tipo de coisa é complicado. A propaganda computacional é muito mais qualitativa do que quantitativa — um cientista climático pode apontar dados explícitos mostrando temperaturas em elevação, enquanto que é virtualmente impossível desenvolver um modelo de previsão confiável mapeando o impacto futuro da tecnologia que ainda está por ser aperfeiçoada.
Para tecnólogos como o funcionário federal, o único caminho viável em frente é recomendar atenção, avaliar as implicações morais e éticas das ferramentas que estão sendo desenvolvidas e, fazendo isso, evitar o momento frankensteiniano de quando a criatura se volta contra você e pergunta: “Você considerou as consequências das suas ações?”.
“Eu sou da cultura livre e de código aberto — o objetivo não é parar a tecnologia, mas garantir que haja um equilíbrio que seja positivo para as pessoas. Então, não estou apenas gritando “isso vai acontecer”, mas, sim, dizendo: ‘Considere com seriedade, examine as implicações'”, disse Ovadya ao BuzzFeed News. “O que eu digo é: ‘acredite que isso não vai acontecer’.”
Dificilmente é um pronunciamento animador. Dito isso, Ovadya admite um pouco de otimismo. Há mais interesse no espaço da propaganda computacional do que antes, e aqueles que foram anteriormente lentos em levar ameaças a sério agora estão mais receptivos aos avisos. “No começo, era tudo árido — poucos ouviam”, disse ele. “Mas nos últimos meses, vem sendo promissor.” Da mesma forma, há soluções a serem encontradas — como verificação criptográfica ou imagens e áudio, que poderiam ajudar a distinguir o que é real e o que é manipulado.
Ovadya e outros avisam que os próximos anos podem ser instáveis. Apesar de alguns pedidos de reforma, ele sente que as plataformas ainda são governadas pelos incentivos errados e sensacionalistas, onde o conteúdo caça-cliques e de baixa qualidade é recompensado com mais atenção. “No geral, é uma noz difícil de quebrar, e quando você combina isso com um sistema como o Facebook, que é um acelerador de conteúdo, se torna muito perigoso.”
A distância que estamos desse perigo ainda há de ser vista. Questionado sobre os sinais de alerta aos quais está atento, Ovadya pausou. “Eu não sei mesmo. Infelizmente, muitos dos sinais de alerta já aconteceram.”
https://www.buzzfeed.com/charliewarzel/apocalipse-informacoes-internet?utm_term=.fbdE3rplm#.sq42VK5bE
Deixe uma resposta