Perícia revela fragilidades na pontuação do Enem 2016

Investigação do Ministério Público revela problemas na metodologia de avaliação

Uma análise técnica realizada no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) identificou fragilidades significativas no sistema de pontuação do Enem 2016, exame que foi aplicado em duas ocasiões distintas durante aquele ano. A perícia, contratada pelo Ministério Público Federal (MPF) em Uberlândia, Minas Gerais, examinou detalhadamente os procedimentos adotados para avaliar candidatos em ambas as datas de aplicação.

A motivação para a realização da análise técnica surgiu após investigações que questionavam se a diferença acentuada no número de participantes entre as duas aplicações do Enem 2016 havia prejudicado o desempenho final dos estudantes. Especificamente, pretendia-se verificar se os alunos que realizaram a segunda prova sofreram desvantagem em relação àqueles que participaram da primeira aplicação.

Contexto das duas aplicações em 2016

No ano de 2016, o Brasil enfrentou uma onda de ocupações estudantis em escolas e universidades que se estendeu por vinte e três estados e pelo Distrito Federal. Diante dessa situação, o Ministério da Educação decidiu aplicar o Enem em duas datas diferentes. Na primeira aplicação, realizada nos dias 5 e 6 de novembro, aproximadamente 5,8 milhões de candidatos compareceram às provas. Para a segunda aplicação, que ocorreu em 3 e 4 de dezembro, menos de 170 mil alunos realizaram as avaliações.

Essa disparidade no número de participantes levantou questões sobre a equidade do processo avaliativo. Muitos estudantes que fizeram a segunda prova relataram posterior inconformismo com suas notas, suspeitando que o menor contingente de alunos na segunda data tivesse afetado negativamente seus resultados quando comparados aos da primeira aplicação.

Metodologia da perícia e qualificações do perito

A análise técnica foi conduzida por Tufi Machado Soares, especialista em Teoria da Resposta ao Item (TRI), metodologia utilizada no Enem para calcular as pontuações dos candidatos. Soares atua como professor no Departamento de Estatística da Universidade Federal de Juiz de Fora (UFJF) e coordena a Unidade de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação. Além disso, o profissional já havia atuado como membro do conselho científico do próprio Enem.

O perito teve acesso a informações sigilosas mantidas pelo Inep e elaborou um laudo com 207 páginas contendo suas constatações técnicas. Esse documento foi encaminhado ao Ministério Público Federal e posteriormente à reportagem, apresentando análises detalhadas sobre os procedimentos de pontuação utilizados na avaliação.

Principais fragilidades identificadas no relatório técnico

O laudo apresentado destacou quatro fragilidades principais no processo de pontuação do Enem 2016, listadas em ordem de importância. A primeira refere-se ao número insuficiente de itens previamente calibrados nos pré-testes que foram fixados nas provas regulares do exame. Em segundo lugar, foi identificado que o tamanho das amostras utilizadas na calibração de alguns pré-testes mostrava-se inadequado.

A terceira fragilidade apontada diz respeito à precisão com que os resultados do Enem são comunicados ao público, enquanto a quarta deficiência está relacionada à ausência de informações públicas sobre a qualidade dos testes realizados e das medidas obtidas.

Análise por disciplina e equivalência dos testes

Conforme detalhado no laudo, as provas de Ciências Humanas e Ciências da Natureza apresentaram níveis de precisão praticamente idênticos em praticamente todos os grupos de proficiência dos alunos. Isso sugeriria que os testes, de forma geral, teriam sido equivalentes em dificuldade. Entretanto, a prova de Ciências da Natureza na segunda aplicação revelou-se ligeiramente menos desafiadora que a primeira versão.

As maiores variações foram encontradas nas disciplinas de Linguagens e Códigos e Matemática. Na primeira disciplina, os candidatos da primeira aplicação apresentaram vantagem nas pontuações, enquanto na segunda disciplina, os alunos da segunda aplicação obtiveram melhor desempenho relativo. As menores diferenças entre as duas aplicações foram observadas em Ciências da Natureza.

Limitações da análise comparativa identificadas pelo perito

Apesar dos achados, o especialista Tufi Soares ressalvou em seu relatório que não seria possível realizar uma análise completa de comparabilidade para todos os casos individuais dentro das dimensões do Enem. Segundo o perito, cada situação específica precisaria ser examinada isoladamente, o que raramente levaria a uma conclusão definitiva e uniforme.

O professor também incluiu no documento sugestões de modificações na forma como as provas são confeccionadas e divulgadas, buscando melhorar a transparência e a qualidade do processo avaliativo. No entanto, o perito indicou que não pretende fazer comentários públicos adicionais antes da realização de uma audiência pública a ser agendada pelo Ministério Público Federal.

Posicionamento do Inep em relação aos achados

O Inep informou através de nota à imprensa que não havia sido notificado oficialmente sobre os resultados da perícia realizada entre 5 e 9 de fevereiro de 2018 em suas dependências. A instituição ressaltou que dispõe da consultoria de diversos especialistas com atuação reconhecida em análise estatística e psicométrica de avaliações em larga escala.

A assessoria de comunicação do Inep afirmou ter total segurança quanto à metodologia adotada no exame desde 2009, metodologia essa reconhecida tanto nacional quanto internacionalmente. O instituto acrescentou que se pronunciaria formalmente quando fosse devidamente notificado sobre os achados. A nota encerrou ressalvando que o laudo representa apenas uma opinião isolada, independentemente de seu conteúdo específico.

Próximos passos do processo investigatório

O procurador da República Leonardo Macedo, responsável pelo inquérito civil que investiga possíveis irregularidades na adoção de diferentes critérios de correção das provas do Enem 2016, informou que encaminhou o resultado da perícia tanto ao Inep quanto aos estudantes que manifestaram terem sido prejudicados pela avaliação.

De acordo com Macedo, o laudo é extenso e não apresenta uma única conclusão fechada. O primeiro passo foi distribuir o documento aos principais interessados e aguardar um período para análise adequada. Em seguida, será agendada uma audiência pública na qual todas as partes poderão apresentar suas perspectivas sobre o assunto. Apenas após essa audiência o Ministério Público Federal decidirá qual caminho seguir.

O procurador mencionou que estão tratando o tema com cautela, descrevendo-o como um assunto delicado. Dentre as possibilidades de ação do MPF estão o pedido de indenização aos estudantes prejudicados, o aumento das notas de alunos específicos, ou outras medidas que se mostrem apropriadas conforme a análise técnica e jurídica do caso.

Reclamações dos candidatos afetados pela segunda aplicação

A investigação do Ministério Público Federal sobre o Enem 2016 iniciou-se após a divulgação dos resultados em janeiro de 2017. Naquele momento, estudantes de diversas regiões do país procuraram o MPF para registrar inconformismo com as notas resultantes das duas aplicações distintas. Particularmente, aqueles que realizaram a segunda prova argumentavam que suas pontuações eram significativamente menores quando comparadas às de candidatos da primeira aplicação.

Uma análise realizada pelo MPF sobre as notas dos candidatos que apresentaram reclamações confirmou a existência de diferenças substanciais nos resultados. O procurador Leonardo Macedo explicou que alunos que realizaram a primeira prova obtiveram notas sistematicamente maiores. Ele indicou que a metodologia da TRI seria a suspeita principal como responsável por essa disparidade.

Segundo argumentação apresentada na ação civil pública, a Teoria da Resposta ao Item leva em consideração o número total de candidatos avaliados. Para que a comparação fosse justa, seria necessário considerar as variações na porcentagem de alunos repetentes (treineiros) participando de cada aplicação, a maior abstenção verificada na segunda aplicação em relação à primeira, e as características dos candidatos que compareceram aos locais de prova da segunda data.