Escrito por, Filip Noubel. Traduzido por Tatiane Seoane. 

Foto: Montecruz Foto/Flickr

Os algoritmos deveriam ter personalidade jurídica em um tribunal?

Ativistas estimam que, em 2022, 30 milhões de pessoas se deslocaram como refugiados, muitos dos quais tentaram buscar proteção nos Estados Unidos e na União Europeia. Mas o que eles frequentemente experimentam ao entrar nos países ocidentais não é proteção, mas sim um processo desumano de categorização conduzido fortemente pela inteligência artificial (IA) e por tecnologia não controlada.

A Global Voices entrevistou por e-mail Petra Molnar, advogada e antropóloga especializada em tecnologia, migração e direitos humanos. Petra é cocriadora do Migration and Technology Monitor, um coletivo da sociedade civil, de jornalistas, acadêmicos e cineastas que questiona os experimentos tecnológicos aplicados em pessoas que atravessam fronteiras. Ela também é diretora associada do Refugee Law Lab da Universidade de York e membro do Berkman Klein Center for Critical Internet da Universidade de Harvard. Atualmente, está escrevendo seu primeiro livro, Artificial Borders (The New Press, 2024).

Filip Noubel (FN): A sua pesquisa mostra que os refugiados e os campos onde são mantidos – frequentemente espaços fora da lei – são usados para testar novas tecnologias. Você poderia nos dar alguns exemplos?

Petra Molnar (PM): Petra Molnar (PM) Fronteiras e espaços de emergência humanitária, como campos de refugiados, estão testando cada vez mais novas tecnologias para o controle da migração. Desde 2018, passo tempo com pessoas que estão na vanguarda da inovação tecnológica. Do deserto do Arizona na fronteira EUA/México à fronteira Quênia-Somália, passando por vários campos de refugiados na UE, temos visto em primeira mão os impactos da vigilância e automação de fronteiras na vida das pessoas.

Antes mesmo de cruzar uma fronteira, você pode estar sujeito a análises preditivas usadas em contextos humanitários ou coleta de dados biométricos. Na fronteira, você pode ver drones de vigilância, canhões de som e câmeras termográficas. Se você estiver em um campo de refugiados europeu, estará interagindo com um software de detecção de movimento baseado em algoritmo. Você pode ser alvo de projetos como tecnologias de impressão de voz e rastreamento de seus registros nas redes sociais. As próprias fronteiras também estão mudando, pois a vigilância está ampliando nossa percepção da fronteira europeia além de seus limites físicos, criando uma rede de vigilânciaaté o norte e a África subsaariana e o Oriente Médio.

Estas tecnologias experimentais e de alto risco ocorrem em um ambiente onde a tecnologia é apresentada como uma solução viável para questões sociais, criando o ecossistema lucrativo perfeito, que dá origem a um complexo de fronteira industrial de bilhões de euros.

Em meu trabalho de campo, percebo que as pessoas têm a sensação de serem constantemente observadas ou reduzidas a pontos de dados e impressões digitais. Muitos apontam como é estranho que grandes quantias sejam investidas em tecnologias de alto risco, enquanto elas não podem ter acesso a um advogado ou receber apoio psicossocial. Há também um equívoco no cerne de muitos projetos de tecnologia de fronteira – que, de alguma forma, impedirá a vinda de pessoas. Mas não é assim e, na verdade, as pessoas serão forçadas a seguir rotas mais perigosas, o que causará ainda mais perdas de vidas nas fronteiras do mundo.

FN: A inovação costuma ser apresentada como um termo positivo, mas algumas empresas tecnológicas se dedicam a testar novas tecnologias com refugiados. Por que alguns governos permitem isso?

PM: A criação de buracos negros legalizados em tecnologias de gerenciamento de migração é deliberada para permitir a criação de zonas opacas de experimentação tecnológica que não seriam permitidas em outros lugares. Por que é o setor privado que determina o que inovamos e por que, quando nas muitas vezes problemáticas, as parcerias público-privadas se mostram dispostas a se estabelecer na atual corrida armamentista mundial de IA? Empresas privadas como Palantir Technologies, Airbus, Thalys e outras com vínculos contra os direitos humanos tornaram-se agora fornecedoras preferenciais de vários governos e até trabalham com organizações internacionais como o Programa Alimentar Mundial.

FN: Documentar uma violação é um grande desafio por si só. Você pode explicar por quê?

PM: Tentar documentar esses sistemas de opressão tecnológica é em si um negócio arriscado – repleto de tentativas para desvendar decisões opacas, agentes secretos do setor privado e testemunhar condições horríveis nas fronteiras que desafiam nosso senso de humanidade. É também sobre fazer perguntas mais amplas. Os marcos de direitos humanos são suficientes, ou também silenciam o sistema natural e coletivo desses danos? E nós estamos fazendo o suficiente para criar espaços de conversas abolicionistas quando se trata de tecnologia na fronteira?

Para contar esta história global de poder, violência, inovação e contradição, eu recorro a uma mistura, às vezes difícil, de direito e antropologia. É uma metodologia etnográfica lenta e traumática, que requer anos de presença para começar a desvendar os fios do poder e do privilégio, da história e da memória, que compõem os espaços que se desenrolam na vida das pessoas.

A tecnologia reproduz as estruturas de poder da sociedade. Infelizmente, os pontos de vista mais afetados são muitas vezes excluídos do debate. Também devemos reconhecer que o uso da tecnologia nunca é neutro. Este é um exercício político que destaca o atrativo das soluções rápidas e a prepotência da inovação que falham na abordagem das razões sistêmicas e históricas pelas quais as pessoas são marginalizadas e forçadas a migrar.

FN: Como podemos enfrentar esta situação?

PM: No Refugee Law Lab, tentamos tornar visíveis os abusos dos direitos humanos no uso da tecnologia na fronteira, e buscar soluções técnicas para esses problemas complexos.

Um dos principais problemas é que quase não existem normas que regulem o desenvolvimento de tecnologias fronteiriças de alto risco. Quando as coisas dão errado nesses experimentos de alto risco, onde está a responsabilidade: no designer da tecnologia, no programador, no oficial de imigração ou no próprio algoritmo? Os algoritmos deveriam ter personalidade jurídica em um tribunal, assim como uma empresa? É primordial que comecemos a responder a estas questões, uma vez que grande parte da tomada de decisões relacionadas com a imigração e os refugiados se encontra num nexo jurídico incômodo: o impacto nos direitos dos indivíduos é significativo e transformador, inclusive quando as garantias processuais são fracas.

A Lei de IA proposta pela UE é um passo promissor, já que esta será a primeira tentativa regional no mundo de regulamentar a inteligência artificial. No entanto, atualmente, a lei não tem o alcance suficiente para proteger de modo adequado as pessoas em movimento. Uma moratória ou proibição de tecnologias de fronteira de alto risco, como cães robôs, os detectores de mentiras de IA e as análises preditivas usadas para interdições de fronteira é um passo necessário no debate global. A academia também desempenha um papel importante na legitimação de tecnologias experimentais de alto risco. Também precisamos de mais transparência e responsabilidade em relação aos experimentos tecnológicos de fronteira, e as pessoas com experiências vividas de migração devem estar em primeiro plano em qualquer discussão.

Porque, no final, não se trata realmente de tecnologia. Estamos falando de poder – e dos diferenciais de poder entre atores como os estados e o setor privado que decidem sobre projetos experimentais, e as comunidades que se tornam os campos de testes neste laboratório de alto risco. Por exemplo, quais prioridades realmente importam quando escolhemos criar violentos canhões sonoro ou detectores de mentiras na fronteira, em vez de usar IA para identificar guardas fronteriças racistas?

Este é um vídeo do evento organizado pelo Disruption Network Lab, no qual Molnar desenvolve sua visão sobre a questão do uso da tecnologia e os direitos dos refugiados: