Neste momento, em algum lugar, uma empresa com a qual você nunca falou — talvez nunca tenha ouvido falar — pode estar decidindo se você consegue um empréstimo, um apartamento ou até mesmo quanto tempo passa na prisão.

Já conhecemos o poder dos algoritmos para moldar o que vemos e com quem conversamos nas redes sociais. Mas isso é apenas a superfície. Os algoritmos estão profundamente incorporados em dezenas de outros setores e frequentemente tomam decisões com impactos que mudam vidas. E eles dependem de dados que obtêm de data brokers.

Mas como funciona? Qual é exatamente o papel dos data brokers em alimentar esses algoritmos? Quais são as consequências reais desse negócio sombrio? E o mais importante: O que podemos fazer para garantir justiça e responsabilidade, especialmente à medida que avançamos em direção a um futuro em que a tomada de decisão impulsionada por IA cresce exponencialmente?

O papel oculto dos data brokers

Data brokers são organizações com fins lucrativos que coletam e vendem grandes quantidades de dados pessoais, agregando tudo(nova janela), desde seus registros financeiros e hábitos de compra até sua navegação na web e localização em tempo real. É uma indústria enorme — e lucrativa. Estima-se que 5.000 empresas de data brokers(nova janela) operem em todo o mundo no que se tornou um mercado de US$ 270 bilhões.

Apesar de seu tamanho, a indústria enfrenta virtualmente nenhuma supervisão abrangente(nova janela) (pelo menos nos EUA), o que significa que os corretores coletarão e venderão quaisquer dados para os quais haja demanda. Isso também significa que eles têm pouco incentivo para garantir que os dados que vendem sejam precisos(nova janela).

Saiba mais sobre data brokers

Todos os tipos de organizações, desde anunciantes até departamentos do governo dos EUA, recorrem a data brokers para obter informações granulares e íntimas. Cada vez mais, as empresas estão usando esses dados para alimentar seus algoritmos e tomar decisões que afetam a vida cotidiana de pessoas em todos os EUA. As informações coletadas e vendidas por data brokers — dados que muitas vezes estão repletos de erros — são usadas para determinar as taxas de juros que as pessoas pagam, se elas são aprovadas para um empréstimo, se podem alugar um apartamento ou conseguir um emprego.

Aqui estão três situações em que informações que você nem sabia que compartilhou podem acabar alterando invisivelmente sua trajetória de vida.

Subscrição algorítmica

Bancos e outros provedores de fintech foram algumas das primeiras indústrias a adotar algoritmos, usando-os para determinar quem é aprovado para uma hipoteca, um empréstimo comercial ou cartões de crédito. Eles confiam em pontuações de crédito tradicionais, juntamente com uma série de outros dados alternativos (pagamentos de serviços públicos, educação, até como você preenche formulários) para prever se alguém pagará o empréstimo. O resultado é um sistema de caixa preta que pode entregar resultados divergentes para candidatos aparentemente semelhantes.

Uma investigação do The Markup(nova janela) de 2021 descobriu que os credores, ao comparar certos solicitantes com solicitantes brancos qualificados de forma semelhante, eram:

  • 40% mais propensos a negar empréstimos imobiliários a solicitantes latinos
  • 50% mais propensos a negar a solicitantes asiáticos/das ilhas do Pacífico
  • 70% mais propensos a negar a nativos americanos
  • 80% mais propensos a rejeitar solicitantes negros

Essas disparidades persistiram mesmo após o controle de fatores que a indústria tradicionalmente culpa por essas taxas de aprovação mais baixas.

Qualquer um que tenha trabalhado com estatística sabe que os modelos são tão bons quanto os dados que os alimentam. Se esses dados refletem, por exemplo, um histórico de redlining(nova janela), então o modelo será distorcido. E esses modelos contêm todos os tipos de dados, como seu feed de mídia social(nova janela) ou até mesmo se você digita seu nome em MAIÚSCULAS(nova janela). Como disse um CEO de fintech, “Todos os dados são dados de crédito”.

E com esses algoritmos, muitas vezes é difícil identificar o fator que levou a uma rejeição. Isso torna impossível para as pessoas recorrerem ou oferecerem uma correção, o que deveria ser exigido, considerando o quão tangenciais muitos desses dados parecem e com que frequência os data brokers têm informações imprecisas e desatualizadas.

Verificações de antecedentes de inquilinos baseadas em dados

Se você decidir alugar, não pode escapar dos algoritmos. Proprietários e administradores de imóveis estão cada vez mais recorrendo a serviços automatizados de triagem de inquilinos, como LeasingDesk ou RentGrow, que dependem de data brokers para realizar verificações de antecedentes em solicitantes. Esses serviços tentam quantificar o quão arriscado um inquilino pode ser observando as pontuações de crédito dos solicitantes, registros de despejo, registros criminais e uma série de outros dados pessoais. O resultado é que muitas pessoas têm moradia negada por dados questionáveis ou desatualizados.

Em 2021, a Comissão Federal de Comércio (FTC) multou a AppFolio, um serviço de triagem de inquilinos, em US$ 4,25 milhões por vender relatórios de antecedentes que identificaram incorretamente solicitantes(nova janela) e continham informações desatualizadas, como avisos de despejo anulados ou resolvidos. Esses erros tiveram consequências no mundo real, forçando as pessoas a encontrar outro lugar para morar.

Os algoritmos que geram essas pontuações também são uma caixa preta. Em 2021, a ProPublica falou com uma inquilina(nova janela) que tinha uma excelente pontuação de crédito (mais de 750), nenhum registro criminal e nenhum despejo. Apesar disso, ela recebeu uma pontuação de inquilina de 685 em 1.000 — o equivalente a um D — sem explicação. Ela foi forçada a pagar um mês extra de aluguel como depósito de segurança. Como a maioria dos inquilinos, ela não tinha ideia do motivo de sua pontuação ser tão baixa ou de como corrigi-la.

Fiança definida por algoritmo

Talvez o uso mais consequente de algoritmos ocultos impulsionados por data brokers seja no sistema de justiça criminal. Tribunais e agências de aplicação da lei em todo o país adotaram ferramentas de avaliação de risco algorítmicas para ajudar os juízes a decidir se concedem fiança ou liberdade provisória aos acusados. Em alguns casos, essas ferramentas até ajudam a decidir a sentença e a liberdade condicional. Os algoritmos recebem dados de entrada (como registro criminal, idade, status de emprego e às vezes localização ou histórico familiar de alguém) e calculam uma pontuação que supostamente reflete o risco da pessoa de reincidir ou não comparecer ao tribunal.

Os apoiadores desses sistemas afirmam que a automação dessas decisões garante a objetividade. Afinal, juízes humanos são acusados de serem inconsistentes e tendenciosos o tempo todo. No entanto, de forma semelhante à subscrição de empréstimos automatizada e à triagem de inquilinos, essas decisões dependem de dados. Se os dados forem não confiáveis, imprecisos ou tendenciosos, suas descobertas também serão.

Em 2016, a ProPublica conduziu uma investigação do COMPAS(nova janela), ou Correctional Offender Management Profiling for Alternative Sanctions. Descobriu-se que esse sistema amplamente utilizado, desenvolvido pela empresa com fins lucrativos Northpointe (agora Equivant Supervision), entregava um número esmagador de falsos positivos para réus negros e falsos negativos para réus brancos. Em outras palavras, réus negros que não reincidiram tinham quase o dobro de probabilidade do que réus brancos de serem rotulados de alto risco pelo algoritmo, enquanto réus brancos que reincidiram eram mais frequentemente rotulados incorretamente como de baixo risco. (A Northpointe contestou a validade do relatório da ProPublica.)

Da mesma forma, em sua análise de 2022 sobre IA no sistema de justiça do Reino Unido(nova janela), o Comitê de Justiça e Assuntos Internos da Câmara dos Lordes disse que há “preocupações sobre os perigos do viés humano contido nos dados originais sendo refletido e ainda mais incorporado em decisões tomadas por algoritmos”.

Há pouco que os réus possam fazer para contestar essas pontuações, uma vez que o algoritmo é proprietário e as pontuações que eles emitem raramente são reveladas no tribunal. Isso significa que a liberdade de um réu pode depender de uma pontuação secreta gerada por um modelo não divulgado usando dados desconhecidos e muitas vezes não confiáveis.

Problemas comuns com algoritmos alimentados por dados

Sempre que a tomada de decisão é automatizada — seja na subscrição de empréstimos, triagem de inquilinos ou avaliação de risco de réus — vários problemas surgem repetidamente:

Confiabilidade dos dados: Se os dados que você fornece a um algoritmo não são confiáveis, são imprecisos ou tendenciosos, quaisquer descobertas que ele fornecer refletirão essas falhas.

Falta de transparência: Quando os algoritmos são proprietários, é impossível para o titular dos dados verificar ou contestar sua avaliação (e isso assumindo que eles estejam cientes da pontuação em primeiro lugar).

Uso de dados inadequados e pessoais: Muitos argumentariam que a forma como você preenche um formulário não deve afetar se você consegue um empréstimo e que as pessoas devem poder manter outros tipos de dados confidenciais e pessoais privados, se assim escolherem.

Devemos corrigir esses problemas antes que a IA os adote

É importante corrigirmos o curso por vários motivos. Primeiro, cada vez mais vidas estão sendo impactadas pelos sistemas algorítmicos descritos acima. Segundo, cada vez mais informações estão sendo varridas por data brokers — o mercado de data brokers deve valer mais de US$ 470 bilhões até 2030(nova janela). Terceiro, os algoritmos estão se expandindo para novos setores o tempo todo, como policiamento preditivo(nova janela) e previsão de risco à saúde(nova janela), onde descobriu-se que os algoritmos reforçaram vieses que já estavam presentes nos dados.

Mas, de longe, o motivo mais importante pelo qual precisamos consertar isso agora é para evitar essa situação com a IA. Usei principalmente o termo algoritmos ao longo deste artigo, pois esses sistemas são muito básicos em comparação com as ofertas de IA de hoje, mas funcionam como assistentes de IA básicos para uma tarefa específica. E à medida que chatbots de IA muito mais poderosos são integrados a cada vez mais sistemas, fluxos de trabalho e organizações, eles têm o potencial de replicar esses tipos de problemas em uma escala muito maior.

E o público já está soando o alarme. Mais da metade do público dos EUA (e profissionais de IA)(nova janela) quer mais controle sobre como a IA é usada em suas vidas.

Como retomar o controle

Algoritmos ocultos e o ecossistema de data brokers que os viabiliza precisam ser controlados. Como garantimos que a tecnologia funcione para a sociedade, não contra ela? Especialistas em privacidade e ética da IA propuseram uma abordagem multifacetada:

Reforma legal e supervisão: Governos — o governo dos EUA em particular — devem atualizar leis para regular data brokers e a tomada de decisão algorítmica, fechando lacunas que permitem a exploração de dados sem controle. Os EUA devem aprovar uma lei federal de privacidade. Infelizmente, as coisas estão indo na direção oposta. O Departamento de Proteção Financeira do Consumidor retirou recentemente uma proposta(nova janela) que exigiria que os data brokers mantivessem registros mais precisos e limitassem a quem poderiam vender dados.

Transparência algorítmica: Para garantir a responsabilidade, as empresas que usam IA para tomar decisões que impactam a vida devem divulgar os fatores-chave por trás de seus algoritmos e permitir auditorias independentes. Sem transparência, os consumidores não podem entender, desafiar ou corrigir decisões automatizadas prejudiciais. A Lei de IA da UE(nova janela) e a lei local da cidade de Nova York(nova janela) são passos em direção a uma supervisão significativa.

Supervisão humana e revisão de decisões: Nenhuma decisão que afete os direitos ou o sustento de uma pessoa deve ser deixada inteiramente para um algoritmo — os indivíduos devem ter o direito à revisão humana. Mantendo uma equipe treinada no circuito e permitindo recursos, podemos garantir que os sistemas automatizados permaneçam responsáveis, contextuais e humanos. Isso já existe na Europa sob o GDPR(nova janela), mas deve ser estendido aos EUA.

Minimização de dados no nível pessoal: Isso pode parecer opressor, mas há coisas que você pode fazer para limitar a quantidade de dados que os data brokers recebem de você. Pague com dinheiro. Use serviços criptografados de ponta a ponta. Navegue na internet com uma VPN de confiança(nova janela), bloqueador de anúncios(nova janela) e navegador focado na privacidade. Essas medidas simples podem limitar os dados brutos que alimentam decisões algorítmicas injustas.

Por uma internet melhor e um mundo melhor

À medida que os algoritmos influenciam cada vez mais as decisões críticas da vida — de moradia e crédito a emprego e justiça — devemos confrontar os sistemas opacos e os fluxos de dados não verificados que os alimentam. Essas tecnologias prometem eficiência, mas muitas vezes entregam viés, exclusão e danos, especialmente quando alimentadas por data brokers não regulamentados.

Para mudar o curso, precisamos de leis que imponham transparência, limitem práticas de dados exploratórias e garantam supervisão humana onde for mais importante. Construir um futuro digital mais justo significa abrir as caixas pretas algorítmicas e colocar as pessoas de volta no centro da tomada de decisões. Se agirmos agora — como cidadãos, desenvolvedores e formuladores de políticas — podemos criar um mundo onde a tecnologia respeita a privacidade, reforça a justiça e conquista nossa confiança.