Não existe discriminação algorítmica no Judiciário brasileiro

O Projeto de Lei 2.338/23, que regulamenta o uso da inteligência artificial (IA) para todos os setores da sociedade e pode ser pautado em breve pelo Senador Rodrigo Pacheco, sob a relatoria do Senador Eduardo Gomes, prevê que são considerados “sistemas de inteligência artificial de alto risco” aqueles utilizados para “administração da justiça, incluindo sistemas que auxiliem autoridades judiciárias na investigação dos fatos e na aplicação da lei” (art. 17, inc. VII, do PL). Para sistemas considerados de alto risco, o fornecedor ou operador “respondem objetivamente pelos danos causados, na medida de sua participação no dano” (art. 27, §1^o, do PL). 

Sistemas de administração da justiça englobam os utilizados por todos os órgãos do setor: Judiciário, polícias, defensorias, Ministério Público etc. Em suma, pela redação legal, todos os sistemas de IA atualmente existentes no Judiciário são de alto risco e geram responsabilidade objetiva, sem verificação da culpa, em caso de dano patrimonial ou moral.

O PL 2.338/23 é resultado de um trabalho rico, extenso e de qualidade, realizado pela Comissão de Juristas criada no Senado, sob a presidência do Ministro Ricardo Villas Bôas Cueva, que fez inovações no PL 21/2020, de autoria do Deputado Federal Eduardo Bismarck. O tema da IA vem ganhando crescente atenção, inclusive em diversos discursos do Presidente do Supremo Tribunal Federal, Ministro Luís Roberto Barroso. O objetivo deste curto texto é demonstrar que é preciso fazer alguns ajustes no critério para a classificação de riscos adotado pelo PL 2.338/23 em relação ao Poder Judiciário para que a futura lei não seja um entrave para o desenvolvimento de outras iniciativas pelos Tribunais. 

Em nenhum dos mais de 60 sistemas de IA existentes no Judiciário brasileiro foram relatadas ou identificadas situações de discriminação algorítmica ou de violação de direitos fundamentais. Nenhuma destas iniciativas tem como tarefa a interpretação de textos legais, a elaboração de argumentação jurídica e, muito menos, a tomada de decisão autônoma pela máquina. 

Discriminação algorítmica no Judiciário – A Resolução CNJ n^o 332/2020, que trata de IA no Poder Judiciário, em seu art. 7^o, dispõe que “as decisões judiciais apoiadas em ferramentas de inteligência artificial devem preservar a igualdade, a não discriminação, a pluralidade e a solidariedade, auxiliando no julgamento justo”.

O princípio da não discriminação serve para prevenir que sistemas de IA incorporem vieses que possam gerar discriminação entre pessoas – os chamados vieses algorítmicos, ou seja, a incorporação de valores humanos negativos presentes nas decisões anteriores usadas para o treinamento do sistema. Um algoritmo é tão bom quanto os dados usados para treiná-lo, de modo que, se “o algoritmo se baseia em dados históricos repletos de preconceitos, ele reproduzirá, de forma automatizada, os mesmos padrões preconceituosos utilizados como base de seu processamento”.

Exemplo muito citado de ocorrência do viés algorítmico diz respeito ao sistema COMPAS (em português, Perfil de Gerenciamento de Infratores Correcional para Sanções Alternativas), utilizado na justiça criminal dos Estados Unidos para auxiliar o magistrado na previsão de risco de reincidência do réu. O sistema ficou conhecido mundialmente em razão do caso Loomis vs. Wisconsin. Eric Loomis, um cidadão negro, foi condenado a prisão em 2013, tendo sido identificado, com auxílio da avaliação do COMPAS, como indivíduo de alto risco. Em 2016, uma análise feita por empresa particular sobre cerca de 10 mil casos de réus concluiu que o sistema previa que réus negros tinham quase duas vezes mais chances de serem erroneamente classificados como de maior risco em comparação com réus brancos. 

Os resultados enviesados gerados pelo COMPAS, entretanto, não representam a regra em relação aos sistemas de IA usados no Judiciário brasileiro e não há identificação de situações como esta nos nossos Tribunais. 

Tarefas dos sistemas de IA e os riscos gerados – Até 2022 haviam sido identificadas 64 ferramentas de IA espalhadas por 44 Tribunais, incluindo o STJ, TST, os cinco TRFs, 23 Tribunais de Justiça e 13 TRTs.

O primeiro grupo de sistemas de IA é composto por uma pequena parcela que se destina a auxiliar nas atividades-meio do Judiciário, relacionadas à administração do Fórum. Citem-se os Chatbots, que não são preocupantes em relação ao risco de discriminação ou violação de direitos fundamentais, já que sequer utilizam dados sensíveis. 

O segundo grupo, composto pela grande maioria dos sistemas, auxilia na atividade-fim, na prestação jurisdicional pelo magistrado, mas é restrito ao apoio à gestão de secretarias e gabinetes, fazendo triagem e agrupamento de processos similares, classificação da petição inicial etc. É exemplo o Athos, do STJ, que faz o monitoramento de Temas Repetitivos. Igualmente não há preocupação relevante em relação à incorporação de vieses discriminatórios, pois os dados referem-se a situações de natureza processual e o sistema é usado para análises objetivas, voltadas à automação de tarefas repetitivas. 

O terceiro grupo é composto por menor quantidade de sistemas, relacionados à atividade-fim, auxiliando na elaboração direta de minutas com conteúdo decisório. São exemplos o projeto Victor, no STF, que auxilia na identificação da presença de temas de repercussão geral, e o Elis, do TJ de Pernambuco, empregado para agilizar o deferimento da petição inicial da execução fiscal. Difícil prever situações de risco discriminatório em relação a estes sistemas, seja porque os dados do treinamento são de natureza processual e, portanto, dizem respeito a situações objetivas, seja porque é exigida a revisão humana, que pode facilmente identificar e corrigir eventual equívoco da máquina, sem prejuízo às partes. 

Falta analisar o uso de sistemas de IA no Judiciário brasileiro relacionados à questão criminal. São exemplos o peticionamento inteligente, do TJRO, que ajuda as delegacias de polícia a enviar documentos (termo circunstanciado, inquérito policial etc.) ao PJe; e o SAREF, no TJDFT, que controla a presença dos apenados da Vara de Execuções Penais em regime aberto por meio de aplicativo com reconhecimento facial. Em ambos os casos, a princípio, inexiste identificação de risco de discriminação. Ademais, no Brasil não há sistemas que auxiliam na avaliação da reincidência ou do cometimento do crime.

A análise feita acima permite concluir que, no estado atual do uso IA no Judiciário, as iniciativas não têm aplicação que permita identificar relevante risco discriminatório. Esta conclusão não dispensa a necessidade de deveres de cuidado no desenvolvimento e implementação da IA, assim como constante monitoramento e auditorias das iniciativas atuais e futuras. 

Sugestão de proposta de classificação de riscos – Esta é a nova redação sugerida para o art. 17, inc. VII, do PL 2.338/23. São sistemas de alto risco: os utilizados para a administração da justiça que auxiliem autoridades judiciárias na investigação dos fatos e na aplicação da lei, quando houver impacto potencialmente significativo na democracia, no Estado de Direito e nas liberdades individuais. Sugere-se que esta seja a nova redação do art. 17, inc. VII, do PL.

Trata-se de definição similar à utilizada pelo Regulamento da Comissão Europeia e aplica-se, portanto, para situações que exigem uma análise subjetiva. Como visto, não há no Judiciário sistemas de IA que desempenhem tarefas de interpretação de normas e nem análise subjetiva de fatos.

Sistemas de alto risco podem ser utilizados, desde que: haja supervisão humana para prevenir ou minimizar os riscos para os direitos fundamentais, bem como cumpram requisitos relativos à qualidade dos conjuntos de dados, à documentação técnica e à manutenção de registos, à transparência aos utilizadores e à cibersegurança. 

Ficaria para a regulamentação do PL 2.338/23, se for o caso, a definição dos demais riscos, com a sugestão a seguir. 

São sistemas de risco baixo: i) os que se destinam a auxiliar nas atividades-meio do Judiciário (primeiro grupo que tratamos); ii) os que auxiliam na atividade-fim, mas são restritos ao apoio à gestão de secretarias e gabinetes (segundo grupo); e iii) os que auxiliam na atividade-fim, elaborando ou ajudando nas minutas com conteúdo decisório (desempenham algumas das tarefas previstas no terceiro grupo). O risco é baixo quando as tarefas se referirem a situações objetivas, como admissibilidade recursal, cálculos de prescrição e decadência tributária, processos de direito de massa, todas sujeitas à revisão humana.

São sistemas de risco médio: os que auxiliam na atividade-fim, elaborando ou ajudando nas minutas com conteúdo decisório (algumas das tarefas previstas no terceiro grupo). O risco é médio quando não há supervisão humana.

São sistemas de risco proibido: cuja utilização seja considerada inaceitável no Poder Judiciário. Por exemplo, sugestão de decisões preditivas com impacto imediato na absolvição ou condenação do réu. 

Conclui-se reconhecendo que o PL 2.338/23 é um convite ao debate público e representa um trabalho virtuoso realizado por todos os envolvidos. De todo modo, na IA, como há novas possibilidades de aplicação de tecnologias a cada dia e previsão de riscos que sequer ocorreram, é natural que haja ajustes na proposta de redação legal.

Notas_______________________________

1 DONEDA, Danilo; MENDES, Laura; SOUZA, Carlos Affonso Pereira de; ANDRADE, Norberto Nuno Gomes de. Considerações iniciais sobre inteligência artificial, ética e autonomia pessoal. Pensar, Fortaleza, v. 23, n. 4, p. 1-17, out./dez. 2018, aqui, p. 5.

2 CIAPJ/FGV Conhecimento. Tecnologia aplicada à gestão dos conflitos no âmbito do Poder Judiciário. 2 ed., Rio de Janeiro, 2022. Disponível: https://ciapj.fgv.br/sites/ciapj.fgv.br/files/relatorio_ia_2fase.pdf

3 COMISSÃO EUROPEIA. Proposta de Regulamento de IA do Parlamento Europeu e do Conselho, Considerando n^o 40. Disponível: https://eur-lex.europa.eu/legal-content/PT/TXT/DOC/?uri=CELEX:52021PC0206

Conteúdo relacionado: