REVISTACIENTIFICAMULTIDISCIPLINARNUCLEODOCONHECIMENTO

Revista Científica Multidisciplinar

Pesquisar nos:
Filter by Categorias
Administração
Administração Naval
Agronomia
Arquitetura
Arte
Biologia
Ciência da Computação
Ciência da Religião
Ciências Aeronáuticas
Ciências Sociais
Comunicação
Contabilidade
Educação
Educação Física
Engenharia Agrícola
Engenharia Ambiental
Engenharia Civil
Engenharia da Computação
Engenharia de Produção
Engenharia Elétrica
Engenharia Mecânica
Engenharia Química
Ética
Filosofia
Física
Gastronomia
Geografia
História
Lei
Letras
Literatura
Marketing
Matemática
Meio Ambiente
Meteorologia
Nutrição
Odontologia
Pedagogia
Psicologia
Química
Saúde
Sem categoria
Sociologia
Tecnologia
Teologia
Turismo
Veterinária
Zootecnia
Pesquisar por:
Selecionar todos
Autores
Palavras-Chave
Comentários
Anexos / Arquivos

Os algoritmos como ferramenta de identificação de indivíduos com “tendências criminosas”

RC: 121220
134
5/5 - (6 votes)
DOI: 10.32749/nucleodoconhecimento.com.br/lei/ferramenta-de-identificacao

CONTEÚDO

ARTIGO ORIGINAL

CASTILHO, Bruno Medinilla de [1]

CASTILHO, Bruno Medinilla de. Os algoritmos como ferramenta de identificação de indivíduos com “tendências criminosas”. Revista Científica Multidisciplinar Núcleo do Conhecimento. Ano. 07, Ed. 07, Vol. 03, pp. 193-219. Julho de 2022. ISSN: 2448-0959, Link de acesso: https://www.nucleodoconhecimento.com.br/lei/ferramenta-de-identificacao, DOI: 10.32749/nucleodoconhecimento.com.br/lei/ferramenta-de-identificacao

RESUMO

No atual estágio da sociedade, em que se observa a presença marcante e contínua dos aparatos tecnológicos de coleta e seleção de dados em praticamente todas as searas do cotidiano, emergem as discussões acerca de sua utilização no ramo do Direito Penal, mormente no que toca os algoritmos como ferramenta de identificação de indivíduos com “tendências criminosas”. Indaga-se, então, primordialmente: quais seriam os critérios utilizados por tais algoritmos para identificar os indivíduos transgressores? Objetiva-se, dessa forma, compreender as principais revelações, no plano fático, dessa espécie de aferição. Para tanto, lançou-se mão do método de abordagem dedutivo e de procedimentos metodológicos que se baseiam na realização de pesquisas bibliográficas, através de livros, dissertações, artigos científicos, conteúdos disponíveis em sítios eletrônicos e documentários. Fez-se possível notar, inclusive estatisticamente, que os vieses algorítmicos, alimentados por seres ideologicamente influenciados, denotam injustiças e conclusões discriminatórias, evidenciando-se questões histórico-culturais de raça e de classe social, de modo a perpetuar um sistema de justiça criminal seletivo e penalizador.

 Palavras-chave: Algoritmos, Tendências criminosas, Vieses algorítmicos.

1. INTRODUÇÃO

“Tornou-se aparentemente óbvio que nossa tecnologia excedeu nossa humanidade”. Essa célebre frase, atribuída a um dos maiores cientistas do século passado, o alemão Albert Einstein, pode servir como ponto de partida para diversas reflexões concernentes à utilização dos aparatos tecnológicos na atualidade, momento em que estes se encontram cada vez mais diluídos e arraigados no tecido social. Nesse contexto de ascensão tecnológica e de consolidação da chamada “Inteligência Artificial”, emerge a figura dos chamados “Algoritmos”, ambos os conceitos que, embora altamente difundidos, serão minuciosamente aclarados no decorrer do texto.

Sob esse prisma, a seara do Direito Penal, por lidar diretamente com a restrição da liberdade dos indivíduos e colocar em voga inúmeros princípios constitucionais e democráticos que devem nortear a aplicação da pena, propicia discussões de extrema valia no que toca as polêmicas circundantes de tais tecnologias e sua utilização na referida área. Para além das questões filosóficas que envolvem a função do Direito Penal e, consequentemente, da pena, não se pode perder de vista as percepções criminológicas inevitavelmente confrontadas com os mais robustos mecanismos de coleta e seleção de dados.

Justamente nesse espectro reside a temática central desta produção acadêmica, qual seja, “a utilização de algoritmos como ferramenta de identificação de indivíduos com ‘tendências criminosas’”. Notar-se-á, no decorrer do trabalho, que muitos países têm lançado mão desse artifício em larga escala, com justificativas voltadas, majoritariamente, à segurança pública e ao enfrentamento à violência. O que se pretende, porém, através de um olhar crítico e reflexivo, é reacender o debate em torno dos aspectos de matriz penal e criminológica que são indissociáveis dessa modalidade de tecnologia.

Tem-se, dessa forma, como questão primordial e norteadora da presente investigação, a seguinte indagação: Quais os critérios utilizados pelos algoritmos para identificar os indivíduos transgressores? Objetiva-se, com isso, compreender as principais revelações, no plano fático, dessa espécie de aferição. Especificamente, visando a alcançar o referido objetivo, pretende-se: analisar a natureza do delito que se visa a identificar com as referidas ferramentas; pensar quais aspectos de coleta e seleção de dados antecedem e baseiam os critérios de aferição;  e, também, traçar sua possível correlação com determinados segmentos da sociedade, considerando as questões de cultura, de raça e de matriz socioeconômica.

Deve-se considerar, de antemão, que a expressão “tendências criminosas” foi utilizada, no transcorrer do texto, em sentido lato, tanto no que que se refere às ações futuras dos indivíduos capturados e sentenciados, quanto à atividade policial ostensiva relacionada à sua identificação e aos métodos de abordagem. Em vista disso, engloba-se todos aqueles “tendenciados ao mundo do crime”.

Antes de adentrar ao tópico nevrálgico deste trabalho, buscar-se-á ambientar o leitor, detalhadamente, no mundo dos Algoritmos e da Inteligência Artificial, de modo a pensar não somente acerca do seu conceito, mas, sobretudo, da maneira que operam na prática e das correlações com outros institutos, como a ética. Apenas em um segundo momento, quando solidificadas as bases para uma reflexão profunda, imergir-se-á no âmago da confecção em tela, de maneira a trazer aplicações concretas da realidade e, principalmente, críticas, sem, contudo, olvidar as perspectivas futuras e as possíveis soluções para eventual entrave constatado.

No que tange, então, o procedimento metodológico utilizado, é certo que a importância de seu rigor tem como escopo orientar o trabalho, garantir que o objetivo final seja alcançado a partir de uma abordagem específica e evitar que as conclusões sobre o tema pesquisado sejam influenciadas pelo senso comum, de modo que devem derivar de um raciocínio lógico e objetivo, fundamentado na técnica.  Desse modo, a fim de atingir o objetivo principal, utiliza-se o método de abordagem dedutivo, quando se pretende estudar determinadas particularidades partindo-se de raciocínios universais já postos (OLIVEIRA, 2002, p. 62).

Em relação ao procedimento metodológico, prevalece a realização de pesquisas bibliográficas, através de livros, dissertações, artigos científicos, conteúdos disponíveis em sítios eletrônicos, documentários, dentre outras produções de referência na área, sem desconsiderar a possibilidade de utilização de doutrina estrangeira. Realça-se que o referido método de pesquisa pode ser igualmente denominado como “revisão de literatura sistemática”, isto é, uma análise criteriosa da qualidade da literatura selecionada sob o olhar da definição de uma estratégia de busca, a qual, por sua vez, requer uma pergunta clara e cirúrgica (SAMPAIO; MANCINI, 2007, p. 89).

Nesse ínterim, a presente produção acadêmica justifica-se, sobretudo, em razão da contínua e acentuada aplicação das ferramentas algorítmicas no campo do Direito Penal, tendo em vista o desenvolvimento acelerado da Inteligência Artificial em diversos países do mundo. Sob o manto da segurança pública e do combate à criminalidade, a incidência de tais mecanismos encontra-se cada vez mais presente e engendrada no tecido social, não raras as vezes, sobrepondo-se a outras problemáticas e marginalizando, assim, as necessárias reflexões a respeito do assunto.

2. DESVENDANDO O MUNDO DOS ALGORITMOS

De início, cumpre-se ambientar o leitor ao mundo dos algoritmos, navegando por seus conceitos basilares, tais como as partes estruturais que o compõem e o fluxograma de dados operados – sem, entretanto, aprofundar-se nos tecnicismos matemáticos – e, até mesmo, pelas principais críticas atribuídas à ferramenta nas mais variadas esferas da sociedade, como a política e a economia. Com isso, para além de familiarizar o leitor em relação a um dos pilares considerados por este artigo, pretende-se construir uma visão criteriosa desde o princípio, a qual poderá ser cotejada e aplicada oportunamente.

Em termos conceituais, a palavra “algoritmo” é utilizada para referir-se a um conjunto de regras, sequenciais e formalmente bem definidas a partir de um entendimento lógico-matemático, voltadas à solução de determinados problemas através de uma execução computacional. Utiliza-se, portanto, um conjunto de valores como entrada, de maneira a produzir outros valores como saída (REIS, 2020, p. 120). Ludicamente, exemplifica o autor:

Utilizando-se de termos comuns da culinária, um algoritmo pode, de forma didática, ser comparado à receita de um hambúrguer, que se encontram claramente dois blocos de ações: o primeiro compreendido pela coleta dos ingredientes (no qual se definem os dados a serem usados e as quantidades que devem ser preparadas e/ou separadas para a confecção do resultado: um pão cortado ao meio, uma mistura de carnes e um queijo), e o segundo compreendido pelo modo de preparo (no qual se definem uma determinada programação de atividades composta por uma sequência de ações: misturar as carnes, dar forma ao disco, assá-lo, esquentar ambas as partes do pão, derreter o queijo sobre o disco de carne e juntar tudo numa ordem). Em ambos, há um roteiro definido a ser seguido, que se desrespeitado não resultará no pretendido e preestabelecido na receita. Na mesma ilustração, se trocarmos a carne bovina por uma pasta de berinjela teremos um sanduíche vegetariano e não um hambúrguer (REIS, 2020, p. 121).

Primeiramente, antes de refletir acerca dos citados valores que integram os algoritmos, faz-se mister entender o modo de operação na prática. Frise-se que não se pretende, aqui, aprofundar-se nos raciocínios técnicos inerentes à Engenharia e à Matemática, mas tão somente elucidar os principais pontos de operação a fim de entender o funcionamento do sistema.

Tal qual se nota, o algoritmo como sequência de etapas computacionais é responsável por transformar a entrada em uma saída. A entrada denomina-se “instância do problema”, perpassando por etapas intermediárias até a saída. O algoritmo é tratado como correto quando a saída resolve, de maneira coerente e satisfatória, o problema computacional dado.

Imagine-se, a título de exemplo, uma sequência de números aleatórios como entrada, sendo que as etapas intermediárias correspondem à reordenação deles em ordem crescente, e a saída, ao resultado correto. Trata-se, nessa hipótese ilustrativa, da chamada “ordenação por inserção” (CORMEN, 2012, p. 11).

O mesmo autor, em obra distinta, ainda esclarece que:

Muitos programas e algoritmos trabalham com “vetores de dados”. Um “arranjo” agrega dados do mesmo tipo em uma entidade. Pense em um arranjo como se ele fosse uma tabela, na qual, dado o “índice” de uma entrada, podemos falar sobre o “elemento” do arranjo que está naquele índice (CORMEN, 2013, p. 9).

Há, nesse diapasão, importantes “estruturas de dados” que podem ser utilizadas. Elas constituem uma forma de armazenar e organizar dados a fim de tornar menos difícil o acesso e contribuir para as modificações necessárias. Através de tais, faz-se possível avançar nas etapas intermediárias e alavancar a solução pretendida. É necessário, porém, antes da inicialização, promover uma “análise algorítmica”, por meio da qual poder-se-á descobrir e prover os recursos de que o algoritmo necessita, como memória, largura de banda de comunicação e “hardware” de computador (CORMEN, 2012, p. 13-19).

Superando esses aspectos, é imperioso constatar que todo o escopo informacional atribuído à máquina algorítmica é precedido de um conjunto de valores fornecidos pelo próprio Homem. Desse modo, a solução ofertada estará umbilicalmente relacionada ao que lhe foi fornecido pelo ser humano, porquanto a mudança deste acarretará um resultado diverso.

Nessa esteira, faz-se imprescindível discorrer, mesmo que brevemente, sobre tais valores, ou seja, sobre a chamada “ideologia”. Constituindo uma verdadeira prática social, a “ideologia” relaciona-se ao sujeito, passando a compreender-se com base nos aspectos culturais, produto histórico de interação social entre os indivíduos de todas as classes, em verdadeiro inconsciente coletivo. Isso significa que a “ideologia” se caracteriza como um “fenômeno objetivo e subjetivo involuntário produzido pelas condições objetivas da existência social dos indivíduos” (CHAUÍ, 2008, p. 73). Sob um viés marxista, vale dizer, tal é encarada sob o ponto de vista da divisão do trabalho e da alienação promovida pela classe burguesa, fazendo-se possível apenas em razão da luta de classes e da dominação de uma classe sobre as outras (CHAUÍ, 2008, p. 80).

A despeito de autores que tecem críticas severas à ideologia, como Marx, deve-se transportar, num primeiro momento, para o caso em tela, a ideia de que os algoritmos são municiados, em sua “entrada”, por um conjunto de valores que refletem, em síntese, o inconsciente coletivo, ou seja, os ideais, as crenças, os preconceitos e os valores arraigados no tecido social. Logo, a solução que se observa em sua “saída” corresponde aos “ingredientes” fornecidos no início da “receita”.

A relevância social dessa ferramenta, diga-se, faz-se imensurável no mundo atual, no qual a sociedade de informação se encontra marcada por uma constante revolução digital. Dissolvidas as fronteiras, os algoritmos são responsáveis por classificar a importância de pessoas, lugares, objetos de maneira a influenciar o desenvolvimento social das comunidades (REIS, 2020, p. 103). De fato, a sociedade está imbuída em um frenético ritmo de cada algoritmo de aprendizado que é produzido, recriando a ciência, a tecnologia, os negócios, a política e a guerra (DOMINGOS, 2017, p. 16).

Dentre as áreas em que são utilizados, pode-se sublinhar, sem prejuízo de outras, “robótica incluindo carros automotores; portais de avaliação; computação em nuvem; gestão de fluxos financeiros; diagnósticos médicos; espionagem e sabotagem; ou o controle digital de serviços existenciais de interesse geral (por exemplo, nas áreas de energia e transporte)” (HOFFMANN-RIEM, 2020, p. 33). Atente-se que, para além disso, os algoritmos encontram-se ainda mais próximos das pessoas em seus cotidianos, como uma busca na Internet através de plataformas a exemplo da “Google” e, até mesmo, durante a direção de um veículo automotor que utiliza computadores de bordo regidos por algoritmos (CORMEN, 2013, p. 5).

Nesse contexto de controle do comportamento humano e de íntima influência na formação da ordem social e econômica, os algoritmos devem ser abordados com cautela, uma vez que orientam nossas ações e assim determinam o sucesso econômico dos produtos e serviços, deslocando os modelos de negócios tradicionais. Segundo o autor, deve-se atentar para os impactos que eles podem causar, sobretudo na esfera privada do indivíduo, através da manipulação de comportamentos, ameaças à privacidade, dentre outros (HOFFMANN-RIEM, 2020, p. 33). Ainda:

Esa riqueza de información sobre los usuarios —su ubicación cada segundo del día, cómo viajan, qué alimentos les gustan, cuándo y dónde compran comida y cerveza— es valiosísima en la era de la implementación de la IA. Proporciona a estas empresas un pormenorizado tesoro de los hábitos diarios de estos usuarios, que puede combinarse con algoritmos de aprendizaje profundo para ofrecer servicios a medida que van desde la auditoría financiera hasta a la planificación urbanística (LEE, 2018, p. 60).

Sob o viés político, há que se assinalar considerável influência. A democracia, embora não constitua o arranjo institucional mais eficiente, sobrevive há muito tempo devido ao reconhecimento explícito de sua imperfeição. Quando se trata de algoritmos e outros sensores tipicamente tecnológicos, entende-se que o objetivo é identificar rapidamente o problema e consertá-lo, de modo a marginalizar o real questionamento sobre todas as possíveis causas que o geraram. Por conseguinte, a pluralidade de argumentos e o debate, intrínseco à essência democrática, começa a esvair-se em constante derrocada, uma vez que a deliberação democrática, além de discutir a melhor ação diante de um empecilho, possibilita reconciliá-lo com outros valores, como a Justiça (MOROZOV, 2018, p. 138).

No bojo do que se pondera acerca da correlação entre algoritmo e política, faz-se eloquente, ainda, relembrar os acontecimentos envolvendo as últimas eleições presidenciais norte-americanas. O caso mais comentado envolveu a empresa privada “Cambridge Analytica” e a eleição de Donald Trump, no qual a instituição foi acusada de obter dados sigilosos de 50 milhões de usuários da rede social “Facebook”, visando à eleição do então Presidente em 2016. A utilização pioneira de psicologia comportamental possibilitava à entidade traçar o perfil psicológico dos eleitores e, então, enviesar as campanhas políticas (TAVARES, 2018).

Nesse mesmo contexto, através dos algoritmos utilizados no “feed de notícias” da mesma plataforma digital, veiculam-se opiniões polarizadas sem checar os fatos. Cada um dos lados perpetua histórias muitas vezes inverídicas em desfavor do candidato da oposição, de modo que o algoritmo utilizado exibirá sempre aquele determinado ponto de vista, com base no conteúdo que a pessoa mais lê e compartilha. Além de veicular informações descoladas da realidade, estreita-se a possibilidade de contato com pensamentos diversos, altamente prejudiciais ao sistema democrático (CELLAN-JONES, 2016).

Diante do exposto, torna-se possível não apenas compreender as estruturas de um algoritmo e seus métodos de funcionamento, mas, também, incitar pensamentos acerca de seus impactos nos mais diferentes segmentos sociais. Desvendar o mundo dos algoritmos é tarefa crucial para este trabalho, sobretudo se compreendermos a realidade (mundo) a partir de práticas reiteradas cotidianamente em verdadeira espécie de “algoritmo prático”. Um padrão está se formando, na medida em que, todos os dias, executamos as mesmas ações, podendo a máquina entregar o mesmo resultado (O’NEIL, 2020, p. 33). Passemos, então, às reflexões sobre a chamada “Inteligência Artificial”, a fim de incorporar maiores aprendizados antes de penetrar no cerne desta produção científica.

3. A NOVA ERA DA INTELIGÊNCIA ARTIFICIAL

Após breves explanações sobre as estruturas algorítmicas e suas principais implicações na sociedade atual, é imprescindível ampliar o horizonte e lançar o olhar sob o contexto em que tais encontram-se inseridas, isto é, no cenário da chamada “Inteligência Artificial”. Deve-se frisar que tal aprofundamento se faz extremamente necessário na medida em que todo esse panorama, seja na perspectiva micro dos algoritmos ou na perspectiva macro da Inteligência Artificial, reveste-se como pano de fundo à espinha dorsal deste trabalho, qual seja, a utilização de algoritmos, no contexto da Inteligência Artificial, como ferramenta de identificação de indivíduos com “tendências criminosas”. Pretende-se, do mesmo modo, lançar mão de uma visão crítica acerca dessa “nova era de dados”, aproveitando-se a reflexão também posteriormente.

Em um sintético resgate histórico, pode-se inferir que o Homem, desde a invenção da roda, busca encontrar maneiras de facilitar sua existência no mundo. Com o domínio das técnicas relacionadas ao cultivo e à agricultura, por exemplo, ele deixou de ser nômade e passou a fixar-se em uma determinada região, independente da alimentação e das condições climáticas. Com a formação de estruturas de vilarejos e, posteriormente, de cidades organizadas política, social, econômica e culturalmente, o desenvolvimento técnico-científico culminou, mais tarde, na Revolução Industrial, inovando a forma de relacionamento entre o Homem e o mundo, de modo que o fenômeno da automação através das máquinas passou a se fazer presente nas relações de trabalho. Com o avanço vertiginoso da tecnologia, observou-se, no século XXI, a popularização da internet e dos computadores, de modo que as máquinas inteligentes passaram a compor a realidade do Homem (TEIXEIRA, 2020, p. 83).

Há quem atribuía à Inteligência Artificial preciosos fundamentos, no que toca às principais disciplinas que contribuíram com ideias, pontos de vista e técnicas variadas (NORVIG; RUSSEL, 2013, p. 5). Sob o ponto de vista da Filosofia, há a ideia de que a mente humana se assemelha a uma máquina através de conhecimento codificado da linguagem executado pelo pensamento; já a Matemática contribuiu com ferramentas para manipular a lógica; a Economia, por sua vez, foi responsável por formalizar tomadas de decisões que maximizam o resultado; a Neurociência, então, avançou no modo de trabalhar na mente, diferindo-a do computador; dentre outras áreas do conhecimento (NORVIG; RUSSEL, 2013, p. 26).

A capacidade das máquinas de aprender e reproduzir comportamentos humanos, por meio de robôs humanoides ou sistemas operacionais eletrônicos, deu origem ao termo “Inteligência Artificial”, inerente à área da ciência da computação (LUGER, 2004, p. 23). Em 1956, na conferência de verão em “Dartmouth College”, nos Estados Unidos da América, John McCarthy cunhou o referido termo, de modo a batizar a ciência ou engenharia de produzir máquinas inteligentes (GICO JÚNIOR, 2008, p. 82).

Acerca das ponderações realizadas anos antes, mais especificamente em 1950, pelo inglês Alan Turing e seu jogo de imitação denominado “Teses de Turing”, reflete-se:

Em que pese John McCarthy ter ficado mundialmente conhecido por ter difundido o termo “inteligência artificial”, em 1950 o inglês Alan Turing já havia publicado um artigo que tinha como escopo o questionamento acerca da possibilidade de as máquinas poderem pensar. Diante da dificuldade de responder a essa pergunta, o autor propõe um jogo de imitação que ficou conhecido como “Teses de Turing”. Em suma, o jogo teria três participantes: um homem, uma mulher e um interrogador, que poderia ser de qualquer sexo e que permaneceria em um quarto separado dos demais participantes. O interrogador faria questionamentos e, com base nas respostas obtidas através de um chat, para evitar qualquer identificação, deveria descobrir se o respondente era o homem ou a mulher. A partir daí, Alan Turing aventa a possibilidade de um computador se passar por um jogador a ponto de enganar verdadeiramente o interrogador, fazendo-o pensar que se trata de um humano, e conclui que, se um computador for capaz de simular um ser humano, mantendo interações comunicativas com um interrogador humano, e esse não consiga dizer se a interação esta ocorrendo com uma máquina ou com outra pessoa, essa máquina será, sim, dotada de inteligência (GUNKE apud TEIXEIRA, 2020, p. 84).

Assim, a inteligência artificial assemelha-se à humana, mas exercida através de equipamentos ou “softwares”, os quais dispõem de autonomia, habilidade social, reatividade e proatividade (TEIXEIRA, 2020, p. 84). Trata-se, pois, de “uma ciência experimental, que envolve o estudo da representação do conhecimento (cognição), raciocínio e aprendizagem, percepção dos problemas e ação ou solução dos mesmos” (NORVIG; RUSSEL, 2003, p. 62).

Logo no início, ainda entre as décadas de 50 e 70, muitas foram as críticas às falhas do sistema que eram submetidos a conjuntos de problemas mais extensos, como a incapacidade de conviver com a “explosão combinatória” e a severa limitação nas estruturas básicas lançadas com o intuito de gerar o comportamento inteligente. Já na década de 80, sistemas comerciais especialistas iniciaram seu esplendoroso sucesso através de diversas empresas nos mais diferentes países do globo, como os Estados Unidos da América, o Japão e a Inglaterra. Entretanto, apenas na virada para a década de 90 é que muitos reconhecem a Inteligência Artificial como verdadeira ciência, na qual as hipóteses são sujeitas a rigorosos experimentos empíricos (NORVIG; RUSSEL, 2013, p. 19-22).

Nesse diapasão, deve-se destacar as formas de aprimoramento da inteligência artificial, por intermédio das concepções de “Machine Learning” e “Deep Learning”. A primeira refere-se ao aperfeiçoamento e aprendizado da máquina através da coleta de dados realizada por algoritmos; em outras palavras, constitui o treinamento factível da máquina, capacitando-a a operar distinções e possibilitando-a que aprenda com suas decisões anteriores (TEIXEIRA, 2020, p. 85). Já a expressão “Deep Learning”, intimamente ligada ao tema central deste trabalho, pode ser compreendida como uma subdivisão da primeira, em que o uso de algoritmos mais complexos permite que a máquina avalie estrutura de dados e ações complexas, como o reconhecimento facial e de voz (BARCELLOS apud TEIXEIRA, 2020, p. 85).

Então, ela:

Passa a aprender com as decisões anteriores advindas de seu treinamento, com os dados que nela são inseridos, mas também com os dados que ela mesma coleta e armazena. Assim, mediante feedbacks positivos ou negativos advindos dos usuários, o sistema se aprimora (TEIXEIRA, 2020, p. 85).

A experiência brasileira, no âmago do Poder Judiciário, com a Inteligência Artificial externa-se em inúmeros exemplos práticos, porquanto mister consigná-los a fim de dimensionar seu uso, oportunamente, quando da identificação de indivíduos com “tendências criminosas”. O maior e mais complexo Projeto no âmbito do Judiciário brasileiro deu-se à ferramenta batizada de “Victor”, em homenagem ao ex-Ministro Victor Nunes Leal do Supremo Tribunal Federal (STF), responsável pela sistematização da jurisprudência em Súmula (SANCTIS, 2020, p. 104-106).

Envolvendo um alto nível de complexidade em aprendizado, a máquina é responsável por ler todos os Recursos Extraordinários que sobem para o STF e identificar quais encontram-se atrelados a determinados Temas de Repercussão Geral. Em fase de construção de suas “redes neurais”, a partir de milhares de decisões proferidas no âmbito da Corte (“Machine Learning”), almeja-se acentuar seu nível de acurácia e acelerar a tramitação dos processos, sem julgar ou decidir, mas organizando-os. Estima-se que, em 5 segundos, a máquina desempenhe o trabalho que o servidor realiza em aproximadamente 30 minutos (SANCTIS, 2020, p. 104-106).

No âmbito do Superior Tribunal de Justiça (STJ), o sistema de Inteligência Artificial denominado “Sócrates” foi alimentado com os dados de 300 mil decisões do Tribunal. O papel da máquina reside na leitura dos processos novos de modo a agrupá-los junto àqueles com assuntos semelhantes, visando ao julgamento em blocos, tarefa salutar à uniformização dos consagrados “Recursos Repetitivos” (SANCTIS, 2020, p. 107-108).

Em outras searas do Direito, cita-se a utilização da tecnologia inteligente para revisar contratos e auxiliar casais a prepararem os documentos necessários para o divórcio. Há notícias, ainda, da sua utilização em processos envolvendo Recuperação Judicial, em que se discutem habilitações de crédito em concurso de credores.

Na esteira do que se propõe, salutar refletir sobre os impactos da inteligência artificial na sociedade, sobretudo em princípios éticos. Dentre os segmentos, no ramo do Direito, que devem concentrar maiores cuidados na proteção desses princípios encontram-se, por exemplo, a responsabilidade civil por atos autônomos provocados pelas máquinas; a proteção de Direitos Autorais e a produção de obras por equipamentos artificiais; a concepção de devido processo legal e de isonomia diante dos possíveis e inevitáveis vieses algorítmicos; o direito à privacidade e a utilização de dados de naturezas pessoais por sistemas de Inteligência Artificial; dentre outros (SANCTIS, 2020, p. 112).

A identificação da responsabilidade pelas ações induzidas, visto que se trata de um ser autômato, configura-se como um dos pilares primordiais dessa discussão. Para além de pensar a responsabilização da máquina e não do ser humano que a programa, pode-se levantar outras questões, como a falibilidade, a opacidade, a autonomia e a privacidade de informações (ROSSETTI; ANGELUCI, 2021, p. 7). A problematização referente aos vieses algorítmicos, bem como a sua possível discriminação em resultados injustos, indissociáveis dos princípios éticos, deverão ser abordadas em seção futura, ao se discorrer acerca da temática central deste trabalho.

Em relação à opacidade, por exemplo, tem-se o acobertamento do itinerário de criação de um algoritmo, o qual raramente encontra-se disponível ao usuário ou ao pesquisador. Respaldado pelo princípio da privacidade e pelas questões de competitividade, grandes companhias não revelam os dados de entrada, nem os processos de armazenamento, filtro e seleção, de modo a infringir, por parte de terceiros, sua previsibilidade, seu controle, seu monitoramento e, até mesmo, as possíveis correções. A título de ilustração, menciona-se os casos de bloqueios temporários, no Brasil, por volta de 2015, aos serviços do “Facebook” e do “WhatsApp”, uma vez que o Poder Judiciário não conseguia obter informações trocadas por supostos criminosos através dessas redes, sob justificativa de que os dados eram criptografados e não eram armazenados pela empresa (ROSSETTI; ANGELUCI, 2021, p. 10).

No que toca à privacidade, somada à situação já explanada anteriormente envolvendo a empresa “Cambridge Analytica”, pode-se citar a polêmica relacionada ao Governo do Estado de São Paulo durante a pandemia do novo coronavírus. Ventilou-se a hipótese de utilização de monitoramento da geolocalização de celulares da população paulista visando a aferir o cumprimento da quarentena, em verdadeira vigilância ostensiva (PASSOS, 2020). Nota-se que há “um confronto entre a proteção dos dados privados e a necessidade essencial dos algoritmos de acessar esses dados. Trata-se de um dilema ético entre a preservação da privacidade do titular dos dados e a extração automatizada de conteúdo efetuada pelos algoritmos” (ROSSETTI; ANGELUCI, 2021, p. 14).

Nesse contexto, a Lei 13.709/2018 (Lei Geral de Proteção de Dados – LGPD), promulgada no Brasil com o intuito de proteger dados pessoais, inclusive nos meios digitais, faz frente a esse aparato tecnológico que vem se intensificando. Reflexo disso é que, a todo instante, os próprios cidadãos compartilham, voluntária e inconscientemente, dados ao navegar na Internet. Cada ação desempenhada pelo indivíduo nessa seara gera uma quantidade de informação largamente utilizada por empresas, as quais armazenam os dados obtidos e o utilizam em seu favor, de forma a modelar condutas futuras e fabricar resultados desejáveis e convenientes. É justamente esse o contraponto levantado, do qual se reflete:

Essa riqueza de informações sobre os usuários – sua localização a cada segundo do dia, como viajam, que comida gostam, quando e onde compram comida e cerveja – é inestimável na era da implementação de IA. Ele fornece a essas empresas um tesouro detalhado dos hábitos diários desses usuários, que pode ser combinado com algoritmos de aprendizado profundo para oferecer serviços personalizados que variam de auditoria financeira a planejamento urbano (LEE, 2018) (tradução nossa).

Diante de todo esse contexto, roga-se considerável esforço a fim de sistematizar quais segmentos merecem zelo no trato com uma Inteligência Artificial ética. Pode-se concatenar, de acordo com muitos, em oito pilares: Dignidade Humana; Autonomia; Responsabilidade; Democracia; Segurança; Integridade física e mental; Proteção de Dados e Privacidade; e Sustentabilidade (UNIÃO EUROPEIA, 2018). A clareza e transparência são responsáveis por guiar, então, as pessoas naturais que operam as máquinas, a fim de estabelecer condutas condizentes com os princípios éticos e jurídicos. Nota-se, por exemplo, preocupações não apenas com aspectos da sociedade política, como é o caso da Democracia, mas também no que se refere ao meio ambiente, através da sustentabilidade, e à própria integridade emocional na relação homem-máquina.

Destarte, a nova era da Inteligência Artificial carrega consigo verdadeiras inovações, mas, sobretudo, inúmeros desafios. Esclarecidos os principais pontos acerca de todo o cenário em que todos se encontram, inevitavelmente, imbuídos, seja na perspectiva dos algoritmos, quanto na vasta era da Inteligência Artificial, passemos à temática central deste artigo, para que, munidos de todos os elementos até então carreados, seja possível uma reflexão crítica do que se propõe.

4. A IDENTIFICAÇÃO DE INDIVÍDUOS COM “TENDÊNCIAS CRIMINOSAS”

Realizados os aportes necessários em torno das ferramentas algorítmicas e do contexto envolvendo a era da Inteligência Artificial, adentra-se à temática central desta produção acadêmica, qual seja, pensar nas problemáticas envolvendo a utilização de algoritmos para a identificação de indivíduos com “tendências criminosas”. Num primeiro momento, faz-se mister discorrer a respeito dos principais artefatos já lançados pelos países com essa finalidade, de modo a compreender sua aplicação prática e os resultados obtidos. Posteriormente, então, passar-se-á para a análise crítica desses instrumentos, retomando conceitos dos capítulos anteriores, complementando-os com novas diretrizes e, também, estabelecendo correlação indispensável com teorias ligadas à Criminologia e ao próprio Direito Penal.

Mister repisar que o termo “tendências criminosas” refere-se, no transcorrer do texto, em sentido lato, tanto às ações futuras dos indivíduos condenados pelo sistema, quanto à atividade policial ostensiva ligada à sua identificação e aos mecanismos de abordagem. Por conseguinte, abarca todos aqueles “tendenciados ao mundo do crime”.

Dentre as diversas mudanças de paradigmas que distinguem os “tempos modernos” dos “tempos passados” pode-se mencionar a ideia de risco. A partir da “teoria da probabilidade” e dos avanços matemáticos, ainda no século XVII, o processo de distanciamento entre “futuro” e “religião” alavancou-se, alterando-se o modo de lidar com as incertezas. Passou-se a estabelecer parâmetros probabilísticos para a ocorrência (“risco”) de determinados eventos futuros ocorrerem, os quais passaram a ser interpretados como uma escolha e não mais como um destino (PASSOS, 2020, p. 47).

Nesse diapasão, o chamado “gerencialismo penal” intensificou as técnicas de perfilhamento de pessoas infratoras, grupos e lugares. As populações passam a ser administradas de acordo com ferramentas de avaliação. O “risco”, então, fez-se passível de medição, na medida em que as causas e os suspeitos de determinadas ações podem ser vigiados, monitorados e gerenciados, de maneira uniforme e unificadora (WALKLATE; MYTHEN, 2011, p. 99-103).

O mecanismo algorítmico mais conhecido trata-se de um questionário regido por um sistema de pontos denominado “COMPAS” (sigla em inglês para “Correctional Offender Management Profiling for Alternative Sanctions”), que ainda está em vigor nos Estados Unidos da América, mais precisamente, no caso relatado, no Estado norte-americano de Wisconsin. Um caso emblemático, ocorrido em fevereiro de 2013, envolvia um suposto crime de homicídio, em que um dos réus era Eric Loomis. No momento da sua detenção, apesar de não ter confessado a autoria do delito, Eric foi submetido às perguntas do referido questionário, o qual influenciou sobremaneira na dosimetria da pena em sua posterior sentença condenatória. Embora tenha recorrido da decisão e contestado a ferramenta, os termos sancionatórios foram mantidos (SANCTIS, 2020, p. 118).

A avaliação feita pelo algoritmo baseia-se numa escala de um (baixo risco) a 10 (alto risco), sendo que, no caso de Eric, devido às respostas fornecidas, considerou-se que ele constituía um indivíduo de “alto risco” para a sociedade, o que geraria sanções mais severas. Dentre os questionamentos, procurou-se descobrir, por exemplo, se alguém na família já se encontrou preso; se o indivíduo reside numa área da cidade com alto índice de criminalidade; se a pessoa tem amigos que integram gangues; o histórico profissional e escolar do cidadão etc. São intentadas certas perguntas sobre os denominados “pensamentos criminosos”, tal como se a pessoa concorda ou não com a afirmação de que é aceitável que alguém que passa fome roube. Em suma, os questionamentos abrangem: condenações atuais, histórico criminal, criminalidade familiar, convivência com pares, abuso de substâncias, residência/estabilidade, envolvimento social, educação, trabalho, lazer/recreação, isolamento social, personalidade criminal, raiva e atitudes criminais. (MAYBIN, 2016).

Há, esclareça-se, por todo o globo, inúmeros dispositivos algorítmicos que apresentam funções similares ao denominado “COMPAS”. No próprio Estados Unidos da América, o rol de sistemas que operam com questionários é estrondoso, variando-se, todavia, o tipo de escore e de cálculo, os níveis de risco e o sistema de pontuação. Dentre eles, cita-se o “ORAS-PAT” (sigla em inglês para “Ohio Risk Assessment Tool”), em que a escala de risco se diferencia:

Vale a pena salientar que em algumas ferramentas o nível para ser considerado de alto risco pode ser atingido facilmente. Por exemplo, no ORAS-PAT para ser de alto risco é necessário ter seis pontos em uma escala de 0 a 9. Porém, pela pontuação apresentada não é tão difícil atingir esse patamar, não sendo necessário sequer pontuar no histórico criminal. Uma combinação possível seria ter menos que 33 anos (1 ponto), estar desempregado (2 pontos), se não estiver na mesma residência há pelo menos seis meses (1 ponto), ter usado drogas ilegais nos últimos seis meses (1 ponto), ter problemas graves com drogas (1 ponto). Nesse caso, o indivíduo já́ seria considerado de alto risco sem ao menos ter cometido qualquer crime anteriormente […] a característica principal das ferramentas analisadas é que elas são distintas entre si, de padronizadas em todos os aspectos, seja em relação ao que tempo de reincidência que consideram, seja na definição das questões que comporão o questionário, as formas de validação ou ao tempo de revalidação, significando que, de fato, tudo é arbitrário e nada objetivo em sua construção. (PASSOS, 2020, p. 88 e 103).

Outro caso paradigmático envolveu a grande empresa multinacional de tecnologia norte-americana “Amazon” e sua ferramenta de reconhecimento facial chamada “Rekognition”. Em junho de 2020, a companhia suspendeu por um ano o uso dessa espécie de ferramenta pela polícia, sob alegação de que, com a suspensão, o Congresso norte-americano poderia decretar garantias contra o uso indevido do reconhecimento por face, tendo em vista os princípios éticos. A medida, prorrogada em 2021, se deu em razão de protestos generalizados acerca dos possíveis vieses algorítmicos intentados pelo mecanismo de detecção. Outras companhias, como a “Google” e a “Microsoft” afirmaram que não venderiam seus sistemas para a polícia e a “IBM” (sigla inglês para “Internacional Business Machines Corporation”) encerrou as pesquisas em torno do reconhecimento facial. Por outro lado, a também norte-americana “Clearview AI” atestou a continuidade da exploração do utensílio (HARWELL, 2021).

A atividade policial ostensiva utilizava-se da ferramenta de reconhecimento facial para, através de um banco de dados, identificar, nas ruas, cidadãos foragidos. Em alguns locais, pessoas que não queriam ter sua face identificada pelo sistema cobriam os rostos e, em seguida, eram multadas pela polícia local. Ademais, o índice de equívoco no reconhecimento chegou, em determinadas regiões, a 98%, levando-se em consideração, por óbvio, as problemáticas sexistas e racistas evidenciadas ao longo desta produção. Experimento realizado com os candidatos ao Parlamento norte-americano evidenciou, também, baixo nível de acurácia da ferramenta: 28 candidatos foram identificados erroneamente como “fichados” pela polícia, sendo 11 deles pessoas negras (CODED BIAS, 2020).

Cumpre-se esclarecer que, à luz dos conhecimentos especialistas, existem dois modelos diferentes de vigilância por imagem, sendo aquele tradicional relacionado a um alvo determinado, como nos desbloqueios de aparelhos celulares, e outro emergente, no qual se armazena uma grandiosa quantidade de dados (“Big Data”) (ANDREJEVIC; GATES; 2014, p. 185). Em relação a este é que recaem as principais críticas, devido à tecnologia envolvida na coleta, análise e utilização dos dados presentes nos mais variados dispositivos que circundam a todos pelo simples fato de se conectarem, em algum momento, à rede mundial de computadores.

O Estado em massa de constante vigilância que se opera somente faz-se possível devido às informações voluntariamente fornecidas pelas próprias pessoas, principalmente em redes sociais. Esse cenário pode ser ilustrado pelas diversas rebeliões observadas em Hong Kong, na China, onde os mecanismos de reconhecimento facial são utilizados para rastrear manifestantes políticos dissidentes. Ao lado dos EUA, o país guina-se diariamente em direção às implementações da Inteligência Artificial, as quais servem, sobretudo, para a manutenção da ordem social. Desde uma simples concessão de acesso à internet até a abordagem de indivíduos nas ruas tais utensílios encontram-se presentes (CODED BIAS, 2020).

Muito se discorre, impreterivelmente, nesta seara, acerca da predição de crimes e otimização de ações de segurança pública utilizando tecnologia de acordo com fenômenos geográficos. Muitos desses artefatos algorítmicos, integrantes da já explanada “Deep Learning”, e relacionados a um mecanismo “emergente” e opressivo de vigilância, são utilizados em larga escala com a finalidade de prever delitos em determinadas regiões e, assim, direcionar a força bruta policial para determinadas localidades.

Não se deve perder de vista, porém, a dissimilaridade das cidades, isto é, a segregação entre dois grupos em uma determinada área, o que possibilita reflexões diversas. Cita-se, por exemplo, os índices norte-americanos no ano de 2010, quando a porcentagem de bairros exclusivamente negros ou brancos era de 70%. Em 2019, a taxa de propriedade residencial entre negros e latinos no mesmo país era de, respectivamente, 42% e 57%, enquanto entre pessoas brancas, de 73%. (THE DATA TEAM, 2018).

O sistema denominado “PredPol”, cujo próprio nome remete à ideia de policiamento preditivo, constitui exemplo cirúrgico. Ele é baseado em “software” sísmico, que, ao captar a ocorrência de um crime numa área, o incorpora em padrões de histórico, realizando a previsão de onde e quando pode ocorrer novamente. Embora varie de acordo com a natureza de reprovação da conduta, desde a perturbação até a alta reprovabilidade, como os crimes contra a vida, o sistema desconsidera outras espécies de delitos que são cometidos por cidadãos de classe mais altas, como aqueles que atentam contra o sistema financeiro (O’NEIL, 2020, p. 82). Pode-se discutir, desde então, o caráter enviesado dos algoritmos.

Um estudo realizado pela instituição “ProPublica” para verificar a precisão do COMPAS analisou as pontuações de sete mil pessoas privadas de suas liberdades em uma determinada região do estado da Flórida durante dois anos. Concluiu-se que, ao analisarem um “acusado negro e outro branco com a mesma idade, sexo e ficha criminal – e levando em conta que depois de serem avaliados os dois cometeram quatro, dois ou nenhum crime –, o negro tem 45% mais chances do que o branco de receber uma pontuação alta” (MAYBIN, 2016). Essa faceta, por si só, carece de reflexões. Um relatório publicado em abril de 2019 pela “PAI” (sigla em inglês para “Partnership on AI”), composto por empresas mundialmente renomadas no ramo da tecnologia, em parceria com grupos de defesa das liberdades civis, também advertia para a utilização das tecnologias junto ao sistema de justiça criminal (SANCTIS, 2020, p. 119).

É o que se discorre a respeito dos chamados “vieses algorítmicos”. Para serem enviesados, os algoritmos não necessitam ser projetados com essa finalidade específica, bastando somente que (re)produzam vieses e desigualdades anteriormente presentes e diluídas na própria estrutura de sociedade (EUBANKS, 2017, p. 196). Os questionários não necessitam, obrigatoriamente, realizar perguntas diretas para serem enviesados, como sua etnia, mas, na realidade, indagar sobre critérios umbilicalmente relacionados, sob o ponto de vista histórico, social e cultural.

O “viés humano”, naturalmente caracterizado por ideologias implícitas e explícitas que influenciam nas decisões do Homem, interlaça-se e alimenta o “viés da avaliação de risco”, o qual representa o filtro sistemático para diferentes resultados (GREEN; KAK, 2021, p. 7). Há que se reler, nesse ponto, o escopo teórico colacionado inicialmente, no que se refere à “ideologia” e as “informações de entrada” dos algoritmos.

No que tange, ainda, os vieses algorítmicos, para além do Direito, pesquisadores identificaram, nos próprios sistemas de reconhecimento de voz, possíveis aplicações que podem ser consideradas discriminatórias, as quais, embora não se conectem diretamente com o cerne deste trabalho, podem ser citadas nesta seção, a fim de respaldar o escopo crítico e argumentativo ao qual se propõe. Erros de pronúncia, regionalismos, gagueira ou disfluência são fatores que podem gerar a incompreensão pelos “softwares” de assistentes de voz, uma vez que ele aprende com usuários que possuem mais escolaridade. A inovação tecnológica exclui determinados grupos e, simultaneamente, reforça determinados estereótipos (TUNES, 2019).

A própria busca em plataformas como “Google” e “Bing”, por termos como “mulheres bonitas” e “mulheres feias”, remete a um indiscutível preconceito de raça e idade, no instante em que o primeiro gera resultados de garotas jovens e brancas e o segundo, de garotas mais velhas e negras. Algoritmos utilizados em hospitais estadunidenses também geravam resultados enviesados nesse sentido, ao classificarem os pacientes mais necessitados de acompanhamento de acordo com o pagamento regular aos planos de saúde, os quais são maiores no caso de pessoas que possuem maior acesso ao atendimento médico, ou seja, brancas de classes média e alta (TUNES, 2019).

Nesse plano crítico, retomando o caso da multinacional “Amazon”, mister resgatar uma Carta Aberta assinada, em 2019, por 78 pesquisadores de renome na área da Inteligência Artificial, criticando severamente o sistema “Rekognition”. Após estabelecer uma diferenciação técnica, dos termos em inglês, “facial analysis” e “face recognition”, sendo este uma espécie daquele, os pesquisadores citam estudos que comprovam, por exemplo, o alto índice de erro na classificação do gênero da pessoa. No reconhecimento facial de mulheres negras, a margem é de 31%, ao passo que no de homens brancos, de 0%. Agrava-se tal situação, ainda, pelo fato destoante da realidade em considerar apenas as pessoas binárias. Ancorado na combinação entre técnica e componentes sociais, descortinam-se diversos problemas étnicos. Há que se pontuar o fato de infratores negros que não reincidiram em um lapso de dois anos apresentarem aproximadamente o dobro de possibilidade de serem classificados, de forma errada, com um risco maior em comparação a infratores brancos (ALKHATIB, 2019).

Muito se questiona, portanto, tanto em relação ao COMPAS, quanto no que tange outros “softwares” similares em desenvolvimento nos Estados Unidos da América, sobre as já explanadas “informações de entrada” conferidas à máquina, para que se entenda verdadeiramente os critérios de cálculos e classificação, também denominados das anteriormente abordadas “etapas intermediárias”. No momento em que tais permanecem restritas às empresas privadas, sob justificativa de segredo comercial, passa-se a indagar acerca da transparência e da legitimidade da ferramenta e, consequentemente, dos contornos éticos que permeiam a Inteligência Artificial.

Nota-se que muitos algoritmos, ao assimilarem modelos de comportamento, podem replicar atitudes que reforçam os preconceitos em face das minorias, absorvendo-os e reproduzindo-os. Sem dúvidas, esse arranjo compõe uma estrutura de poder e autoridade de determinados grupos sobre outro, perpetuando privilégios e dominações. A intensificação da vigilância através de técnicas para identificar indivíduos com “tendências criminosas” e tentar prever crimes gera aprisionamento de subgrupos alvos, perpetuando-se um ciclo vicioso. A partir do momento em que as ações são focalizadas em determinados grupos, sua taxa de encarceramento aumenta, ao passo que outros grupos não são sequer monitorados (HARCOURT, 2015, p. 237). Não há como desconsiderar sua classificação como um mecanismo de dominação e poder.

O cerne do conceito de “criminalização”, por si só, sob um panorama crítico do Direito Penal, guarda estreitos laços com a seletividade. O termo constitui uma seleção penalizante do Estado em face de um número reduzido de pessoas, resultado da gestão de um conjunto de agências que integram o sistema penal. Toda sociedade contemporânea institucionaliza ou formaliza uma modalidade específica de poder, que é administrado pela estrutura penal e exercido também pela própria coletividade (ZAFFARONI; PIERANGELI, 2015, p. 70).

A seletividade discutida no processo de criminalização reside, sobretudo, na denominada “teoria do etiquetamento” – ou, em inglês, “labeling approach”. O processo, sob essa óptica, fundamenta-se em duas frentes: a primária e a secundária. A primeira é desempenhada pelo legislador na idealização e na confecção da lei penal, com o seu respectivo tipo incriminatório e a sanção a ele cominada. Esse momento reflete a predominância de grupos com grandes poderes, capazes de influir sobre a legislação. A criminalização secundária, por sua vez, corresponde à atividade punitiva do poder estatal aos crimes identificados, lançando mão das mais diversas agências que compõem o sistema, como a polícia, os órgãos da magistratura, setores de controle da delinquência juvenil, dentre outros (BARATTA, 2002, p. 98).

Essa seleção penalizante, por seu turno, pode ser atestada estatisticamente, no plano fático, em diversos estudos. No ano de 2013, a “Associação Nova-Iorquina para Liberdades Civis” apontou que, apesar de homens negros e latinos entre 14 e 24 anos corresponderem a apenas 4,7% da população da cidade, eles compõem 40,6% das paradas policiais com revistas, sendo mais de 90% dos entrevistados pessoas inocentes. Os próprios questionamentos algorítmicos, então, ao perguntarem sobre envolvimento com a força policial para atestarem a “tendência criminosa” do indivíduo, indicarão que pobres e minorias raciais são mais perigosas e apresentam maiores possibilidades de reincidirem (O’NEIL, 2020, p. 26).

Nota-se, nessa toada, íntima correlação com os casos de reconhecimento facial desempenhado pelo aparato policial ostensivo através das retromencionadas ferramentas, como é o caso da “Rekognition”. Altera-se apenas o meio de abordagem e seleção, mas mantém-se o embasamento ideológico que a pré-dispõe. Logo, depreende-se que:

Essas ferramentas ao penalizarem problemas financeiros, informalidade, dependência de assistência, viver de aluguel ou não ter documentos de identidade, entendem que pobreza nada mais é do que sinônimo de criminalidade, empurrando cada vez mais para a margem quem sempre esteve lá́.

Além disso, são pensadas e concebidas de uma tal forma que cerceiam todas as possibilidades de saída. É o caso, por exemplo, ao punirem aqueles que tem família cujos integrantes foram acusados de crime ou que passaram pelo sistema penal, ou que enfrentam problemas com a família por serem um criminoso, assim como considerarem características que não possuem relação com a criminalidade, como sentirem solidão, ou não estarem satisfeitos com seus relacionamentos. Demonstram, dessa forma, que o problema não é se encaixar em alguma dessas características preá́-determinadas, mas sim um dia ter sido capturado pelo sistema, do qual, uma vez lá́ dentro, dificilmente sairá. Mesmo que muitas das questões pudessem penalizar outras classes e grupos sociais, sabe-se, desde a sua concepção, qual grupo será́ atingido. (PASSOS, 2020, p. 103).

Para além das problemáticas apontadas, os algoritmos construídos para a finalidade aqui estudada representam raciocínios ilógicos. Somada à supervalorização do encarceramento e à desconsideração dos impactos do sistema prisional, as ferramentas assumem que as características da população são constantes, uma vez que os fatores que produziram determinados resultados no passado perpetuarão no futuro. Desconsidera-se, dessa maneira, os fatores externos ao indivíduo, os quais operam tanto no decorrer da sua vida, quanto no instante em que se inserem no sistema (PASSOS, 2020, p. 24).

Entende-se, nesse ínterim, que o uso de dados para prever o futuro incorpora o passado, em verdadeiro reflexo da história e em indiscutíveis danos algorítmicos. E que criminalizar a pobreza é questão de raça. Tendo em vista as dissimilaridades das cidades citadas anteriormente, a predominância de negros encarcerados e submetidos à persecução penal, as inconsistências algorítmicas mormente no que toca as pessoas de pele escura e todas as injustiças históricas que estruturam o poder, tal assertiva faz-se precisa e indubitável.

Nos Estados Unidos da América, por exemplo, para além dos tópicos abordados, a questão racial em sentenças penais condenatórias também se torna questão alarmante. De acordo com estudo promovido pela Universidade de Maryland, os promotores do Condado de Harris eram três vezes mais propensos a suscitar pena de morte para negros, e quatro vezes para hispânicos, quando comparado com brancos sentenciados pelas mesmas acusações. A “Associação Americana para Liberdades Civis” (sigla em inglês “ACLU”), em levantamento, concluiu que, em delitos similares, as sentenças impostas a homens negros são aproximadamente 20% maiores do que para homens brancos e, embora aqueles constituam 13% da população norte-americana, preenchem a considerável porcentagem de 40% das vagas nas penitenciárias (O’NEIL, 2020, p. 25). Nesse diapasão:

Se descobrirmos (e estudos já́ mostraram) que os modelos de reincidência programam preconceitos no código e penaliza os mais pobres, então é hora de dar uma olhada nos inputs, ou entradas. Neste caso, incluem-se diversas conexões do tipo farinha-do-mesmo-saco. E eles preveem o comportamento de um indivíduo com base nas pessoas que ele conhece, seu emprego e sua classificação de crédito — detalhes que seriam inadmissíveis no tribunal. A correção de equidade e justiça é jogar fora os dados (O’NEIL, 2020, p. 195).

Vislumbram-se, diante desse contexto, tentativas de reverter ou, ao menos, frear os vieses discriminatórios e extremamente problemáticos dos algoritmos, mormente no que se refere à identificação de indivíduos com “tendências criminosas”. Apresentando como norte a ética, pugna-se, em primeiro lugar, pela necessária transparência de tudo que estiver relacionado às tomadas de decisões pela Inteligência Artificial, pelo aprendizado de máquina e pelos robôs. Isso porque ainda não se sabe se é possível criar um conjunto complexo que represente toda a diversidade humana, fator que culmina, inevitavelmente, na reprodução de desequilíbrios e de vieses constatados nas informações originais (PECK, 2021). Sabe-se, porém, como já se explanou, que o fator transparência ainda encontra enorme relutância das grandes empresas.

Os processos de auditar sistemas de “Machine Learning” e de aprendizado profundo também constituem instrumento válido na tentativa de identificar vieses prejudiciais e negativos. Em 2019, os Senadores dos Estados Unidos da América propuseram uma lei a respeito da responsabilidade algorítmica, denominada “Algorithmic Accountability Act”. As empresas deveriam auditar, dentre outros pontos, sistemas inerentes a preconceitos e discriminação (PECK, 2021). Ademais, o suporte acadêmico mostra-se crucial nessa empreitada, através de projetos científicos que podem impactar a realidade e tentar alterar os paradigmas:

Movimentos em direção à auditoria de algoritmos já estão em curso. Em Princeton, por exemplo, pesquisadores lançaram o Web Transparency and Accountability Project. Eles criam softwares robôs que se mascaram online como pessoas de todos os tipos — ricos, pobres, homens, mulheres ou quem sofre com questões de saúde mental. Ao se estudar o tratamento que esses robôs recebem, os pesquisadores são capazes de detectar vieses ou parcialidades em sistemas automatizados, de mecanismos de busca a sites de colocação de empregos. Iniciativas semelhantes estão sendo implantadas em universidades como Carnegie Mellon e MIT (O’NEIL, 2020, p. 195).

Há que se aludir, por fim, às mudanças a médio e longo prazo que podem e devem ser intentadas por intermédio da educação entiveis. Escolas na Finlândia, por exemplo, estimulam crianças, desde a mais tenra idade, a desenvolverem espírito crítico e identificarem notícias falsas na internet. Além de educar o usuário, deve-se educar também o programador, por meio de dados mais diversos para treinar o algoritmo, ramo no qual se encaixa, por exemplo, a ciência da computação. A Universidade de São Paulo (USP), por exemplo, integra o “TechShift Alliance”, “que reúne 20 organizações de alunos universitários das Américas do Norte, do Sul e da Ásia, dispostos a debater as questões sociais ligadas à inteligência artificial. Os grupos se reúnem em um evento anual, chamado ‘TechShift Summit’” (TUNES, 2019). É de suma importância que inciativas como essa, voltadas à lógica de programação, também sejam reforçadas.

5. CONSIDERAÇÕES FINAIS

Diante das reflexões e das aproximações propostas no decorrer deste artigo, faz-se possível notar os diversos aspectos que permeiam o mundo dos algoritmos e a nova era da Inteligência Artificial, principalmente no que toca às problemáticas do uso daqueles como ferramenta de identificação de indivíduos com “tendências criminosas”. Consigne-se, novamente, que esta expressão foi empregada em sentido lato, ou seja, tanto ligada às possíveis condutas futuras dos cidadãos capturados e sentenciados, quanto à atividade policial ostensiva de identificação e abordagem.

Há que se entender, desse modo, que a estrutura algorítmica, composta por um conjunto de regras e de etapas precisamente definidas, encontra-se alimentada por valores, crenças e princípios, diluídos no tecido social, os quais, invariavelmente, compõem a ideologia do programador, seja este um artifício de poder e dominação ou a materialização do inconsciente coletivo. Para além das “estruturas de dados” e das “análises algorítmicas”, pôde-se notar que as “informações de entrada”, ao transformarem-se em “informações de saída”, reproduzem, mesmo que inconscientemente, problemáticas de cunho histórico-social, as quais são alinhadas aos interesses de grandes companhias. No caso do sistema de Justiça, entretanto, as consequências podem ser ainda mais devastadoras.

É inegável que as ferramentas algorítmicas apresentam acentuado grau de importância na ordem econômica e política atual, sendo capazes de moldar as ações dos cidadãos e manipular comportamentos. Desde as simples buscas em páginas da Internet e a direção de um veículo automotor até as interações por meio de redes sociais que causam impactos em eleições presidenciais de grande magnitude, tais ferramentas exercem exacerbada influência em nossas vidas. Por isso, devem constituir alvo de contínua cautela.

Tudo isso se potencializa no universo macro da Inteligência Artificial. Os utensílios em desenvolvimento no âmago do Poder Judiciário brasileiro, por exemplo, como os sistemas “Victor” e “Sócrates”, apesar de revelarem faceta positiva e inovadora do caminhar tecnológico, evidenciam sua indissociável correlação com o ramo do Direito. Assim, ao se discorrer sobre “Machine Learning” e “Deep Learning”, nesse contexto, reacende-se a questão dos vieses algorítmicos e dos princípios éticos que devem reger essa importante Ciência Humana. Os desafios da opacidade e da privacidade, por exemplo, constituem barreira a ser rompida.

Nesse contexto, o presente artigo visou a responder, primordialmente, a seguinte indagação: quais seriam os critérios utilizados por tais algoritmos para identificar os indivíduos transgressores? Por meio desta pesquisa, foi possível constatar que muitas dessas ferramentas realizam suas análises considerando múltiplos fatores, como a idade do indivíduo, o fato de estar desempregado ou não, a quantidade de residências pelas quais ele passou nos últimos anos, a utilização de drogas ilícitas e possíveis problemas com elas envolvendo o aparato estatal.  A vida pregressa do cidadão, mormente demais imbróglios com o Poder Judiciário, o bairro onde se vive, o histórico e a estrutura familiar, bem como as pessoas com as quais ele se envolve durante a vida, também permeiam os referidos critérios.

Ao se tratar de reconhecimento facial, ferramenta altamente difundida no meio policial, os critérios utilizados por determinados algoritmos também consideram traços e imagens fornecidas pelas pessoas nas redes sociais e na própria vigilância ostensiva realizada nas ruas e em determinados lugares da cidade.

A partir disso, no cerne do trabalho, pôde-se observar que, a partir da “teoria da probabilidade” e do “gerencialismo penal”, incuta-se a ideia de medição do risco nas sociedades contemporâneas, descortinando diversas problemáticas no plano fático.

Os sistemas de identificação de indivíduos com “tendências criminosas”, como o “COMPAS” e o “ORAS-PAT”, revelam uma série de questionamentos inerentes à vida pregressa do cidadão capturado, visando a mensurar sua possibilidade de reincidência e à quantificação da pena a ser imposta. Tais perguntas carregam consigo problemas de matriz cultural, que se relacionam, majoritariamente, às questões socioeconômicas e de minorias étnicas. Não é diferente o que se infere das ferramentas, como a “Rekognition”, utilizadas pela polícia em suas abordagens cotidianas, com ênfase à sua imprecisão, mormente no que toca pessoas negras, e nas irrealidades, como a consideração apenas das pessoas binárias.

As dissimilaridades das cidades e as estatísticas de abordagem policial possibilitam aferir os preconceitos racial e social estruturalmente colocados, culminando em algoritmos enviesados. Os questionamentos que constituem as “etapas intermediárias” dos algoritmos de questionamento, por exemplo, ao considerarem o histórico-familiar do indivíduo e atrelarem faltas de oportunidades geradas por problemas estritamente culturais ao seu “alto risco” de periculosidade, perpetuam um ciclo vicioso de marginalização, de exclusão e de criminalização da pobreza. Os estudos levantados clareiam essa concepção de maneira indubitável, ao escancararem o tratamento desigual entre negros e brancos pelo sistema de justiça criminal.

As discriminações realizadas por humanos, portanto, são transladadas para os modelos matemáticos algorítmicos, concebidos para reproduzir preconceitos e equívocos. Dentre as possíveis alternativas de emancipação, cita-se, como bem fundamentou-se, a necessária transparência operacional, a auditoria nos sistemas automatizados e, também, a educação antiviés. De qualquer modo, apenas o tempo poderá mostrar as novas diretrizes que serão intentadas, embora os problemas arraigados estejam presentes em uma máquina de estrutura milenar: o Homem.

REFERÊNCIAS

ALKHATIB, Ali et. al. On recent research auditing commercial facial analysis technology. Concerned reseachers, [s.l.], 26 mar. 2019. Disponível em: https://medium.com/@bu64dcjrytwitb8/on-recent-research-auditing-commercial-facial analysis-technology-19148bda1832. Acesso em: 11/11/2021.

ANDREJEVIC, Mark; GATES, Kelly. Big data surveillance: introduction. Surveillance Society, [s.l.], v. 12, n. 2, p. 185-196, maio 2014. Disponível em: https://ojs.library.queensu.ca/index.php/surveillance-and-society/article/view/bds_ed. Acesso em: 15/11/2021.

BARATTA, Alessandro. Criminologia crítica e crítica ao direito penal: introdução à sociologia do direito penal. 3. ed. Rio de Janeiro: Editora Revan; Instituto Carioca de Criminologia, 2002.

CELLAN-JONES, Rory. Como o Facebook pode ter ajudado Trump a ganhar a eleição. BBC News, [s.l.], 12 nov. 2016. Disponível em: https://www.bbc.com/portuguese/geral-37961917. Acesso em: 18/10/2021.

CHAUÍ, Marilena. O que é ideologia. 2. ed. São Paulo: Brasiliense, 2008.

CODED BIAS. Direção: Shalini Kantayya. Produção: Sabine Hoffman. Estados Unidos da América: 7th Empire Media, 2020. 1 DVD.

CORMEN, Thomas. Algoritmos: teoria e prática. São Paulo: Grupo GEN, 2012.

CORMEN, Thomas. Desmistificando algoritmos. São Paulo: Grupo GEN, 2013.

DOMINGOS, Pedro. O algoritmo mestre: como a busca pelo algoritmo de machine learning definitivo recriará nosso mundo. São Paulo: Novatec, 2017.

EUBANKS, Virginia. Automating inequality: how high-tech tools profile, police, and punish the poor. Nova Iorque: St. Martin’s Press, 2017.

GREEN, Ben; KAK, Amba. The false comfort of human oversight as na antidote to A.I. harm. Slate, [s.l.], 15 jun. 2021. Disponível em: https://slate.com/technology/2021/06/human-oversight-artificial-intelligence-laws.html. Acesso em: 13/11/2021.

GICO JÚNIOR, Ivo Teixeira. Responsabilidade civil dos robôs? Normas sociais de controle dos agentes eletrônicos. São Paulo: Quartier Latin, 2008.

HARCOURT, Bernard. Risk as a proxy for race: the dangers of risk assessment. Federal Sentencing Reporter, Oakland, v. 27, n. 4, p. 237-243, mar. 2015. Disponível em: https://scholarship.law.columbia.edu/cgi/viewcontent.cgi?article=3568&context=faculty_scholarship. Acesso em: 13/11/2021.

HARWELL, Drew. Amazon estende proibição do uso policial de reconhecimento facial: a proibição da ferramenta de software é por tempo indefinido em todo o mundo. O Estado de São Paulo, São Paulo, 30 de maio de 2021. Disponível em: https://link.estadao.com.br/noticias/empresas,amazon-estende-proibicao-do-uso-policial-de-reconhecimento-facial,70003729987. Acesso em: 10/11/2021.

HOFFMANN-RIEM, Wolfgang. Teoria geral do direito digital: transformação digital, desafios para o direito. Rio de Janeiro: Forense, 2020.

LEE, Kai-Fu. Superportencia de la inteligencia artificial. Bilbau: Editora Deusto, 2018.

LUGER, George. Inteligência artificial: estruturas e estratégias para solução de problemas complexos. 4. ed. Porto Alegre: Bookman, 2004.

MAYBIN, Simon. Sistema de algoritmo que determina pena de condenado cria polêmica nos EUA. BBC News, [s.l.], 21 out. 2016. Disponível em: https://www.bbc.com/portuguese/brasil-37677421. Acesso em: 13/10/2021.

MOROZOV, Evgeny. Big tech: a ascensão dos dados e a morte da política. São Paulo: Editora Ubu, 2018.

NORVIG, Peter; RUSSEL, Stuart. Artificial intelligence: a modern approach. 2. ed. Nova Jersey: Prentice Hall, 2003.

NORVIG, Peter; RUSSEL, Stuart. Inteligência artificial. Rio de Janeiro: LTC, 2013.

OLIVEIRA, Silvio Luiz de. Tratado de metodologia científica: projetos de pesquisas, TGI, TCC, monografias, dissertações e teses. São Paulo: Pioneira Thomson Learning, 2002.

O’NEIL, Cathy. Algoritmos de destruição em massa. Santo André: Editora Rua do Sabão, 2020.

PASSOS, Iara Cunha. Controlando riscos: a construção dos algoritmos de avaliação de risco no Sistema de Justiça Criminal dos EUA. Dissertação (Mestrado em Sociologia) – Universidade Federal do Rio Grande do Sul, Porto Alegre, 2020.

PECK, Patrícia. Data ethics e algoritmos. Proxxima, [s.l.], 19 jul. 2021. Disponível em: https://www.proxxima.com.br/home/proxxima/opiniao/2021/07/19/data-ethics-e algoritmos.html. Acesso em: 13/09/2021.

REIS, Paulo Victor Alfeo. Algoritmos e o direito. São Paulo: Grupo Almedina, 2020.

ROSSETTI, Regina; ANGELUCI, Alan. Ética algorítmica: questões e desafios éticos do avanço tecnológico da sociedade da informação. Galáxia, São Paulo, n. 46, e50301, 2021. Disponível em: https://www.redalyc.org/journal/3996/399666587032/movil/. Acesso em: 13/11/2021.

SAMPAIO, Rosana Ferreira; MANCINI, Marisa Cotta. Estudos de revisão sistemática: um guia para síntese criteriosa da evidência científica. Revista Brasileira de Fisioterapia, São Carlos, v. 11, n. 1, p. 83-89, jan./fev. 2007. Disponível em: http://www.scielo.br/pdf/rbfis/v11n1/12.pdf. Acesso em: 11/09/2021.

SANCTIS, Fausto. Inteligência artificial e direito. Coimbra: Grupo Almedina, 2020.

TAVARES, Joelmir. Empresa que ajudou Trump roubou dados de 50 milhões usuários do Facebook. Folha de São Paulo, São Paulo, 17 mar. 2018. Disponível em: https://www1.folha.uol.com.br/mundo/2018/03/empresa-que-ajudou-trump-roubou-dados-de-50-milhoes-de-usuarios-do-facebook.shtml. Acesso em: 23/10/2021.

TEIXEIRA, Tarcisio. Direito digital e processo eletrônico. São Paulo: Saraiva, 2020.

THE DATA TEAM. Segregation in America. The Economist, [s.l.], 04 abr. 2018. Disponível em: https://www.economist.com/graphic-detail/2018/04/04/segregation-in-america. Acesso em: 14/11/2021.

TUNES, Suzel. Algoritmos parciais. Pesquisa FAPESP, [s.l.], 15 nov. 2019. Disponível em: https://revistapesquisa.fapesp.br/algoritmos-parciais. Acesso em: 19/11/2021.

UNIÃO EUROPEIA. European group on ethics in science and new technologies. Statement on Artificial Intelligence, Robotics and ‘Autonomous’Systems, Bruxelas, 09 mar. 2018. Disponível em: file:///C:/Users/User%20011/Downloads/KI0418224ENN.en.pdf. Acesso em: 11/11/2021.

WALKLATE, Sandra; MYTHEN, Gabe. Beyond risk theory: experiential knowledge and ‘knowing otherwise’. Criminology Criminal Justice, [s.l.], v. 11, n. 2, p. 99-103, jan. 2011. Disponível em: https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.907.1714&rep=rep1&type=pdf. Acesso em: 18/11/2021.

ZAFFARONI, Eugênio Raúl; PIERANGELI, José Henrique. Manual de direito penal brasileiro: parte geral. 11. ed. São Paulo: Editora Revista dos Tribunais, 2015.

[1] Mestrando (núcleo de pesquisa em Direito Penal) na Pontifícia Universidade Católica de São Paulo (PUC-SP – Campus Monte Alegre); Bacharel em Direito pela Universidade Estadual Paulista “Júlio de Mesquita Filho” (UNESP – Campus de Franca). ORCID: 0000-0003-2943-8076.

Enviado: Maio, 2022.

Aprovado: Julho, 2022.

5/5 - (6 votes)
Bruno Medinilla de Castilho

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Pesquisar por categoria…
Este anúncio ajuda a manter a Educação gratuita