Uma decisão do Inep (Instituto Nacional de Estudos e Pesquisas Educacionais) de pular uma etapa no recálculo do Enem para apressar a resposta aos erros em notas no exame de 2019 abre dúvidas sobre os resultados da prova, afirmam funcionários do instituto e do MEC (Ministério da Educação).
O Inep reavaliou o desempenho dos participantes no exame após os erros virem à tona. Mas, uma vez que obteve os novos índices de acertos, não recalculou os parâmetros para atribuir peso às diferentes perguntas do teste.
Como esse cálculo exigiria mais tempo para ser concluído, o governo Bolsonaro abriu mão dele para dar uma resposta rápida aos erros e manter o cronograma do Sisu (Sistema de Seleção Unificada).
Sem esse procedimento, uma espécie de recalibragem do exame, não é possível ter 100% de confiança nos resultados publicados, afirmam funcionários que falaram sob condição de anonimato.
Na avaliação de técnicos da pasta, o recálculo dos parâmetros poderia reduzir o erro padrão do exame e indicar variações nas notas —que provavelmente seriam pequenas, mas suficientes para alterar, por exemplo, a lista de aprovados em cursos concorridos.
A cúpula do instituto, entretanto, evita o retrabalho na base de dados com receio de novos questionamentos da nota. O entendimento é que isso só será feito caso haja determinação da Justiça, segundo relatos obtidos pela Folha.
Após comemorar o que seria o melhor Enem de todos os tempos, o ministro da Educação, Abraham Weintraub, confirmou que milhares de notas haviam sido divulgadas com erros.
Candidatos que haviam feito a prova de uma cor tiveram suas provas corrigidas como se tivessem feito outra —segundo o Inep, 5.974 foram afetados com o problema e seus resultados, alterados.
A divulgação dos resultados do Sisu chegou a ser barrada na Justiça, mas o governo conseguiu reverter a decisão no STJ (Superior Tribunal de Justiça) nesta terça-feira (28).
O Enem adota um conjunto de modelos matemáticos chamado TRI (Teoria da Resposta ao Item). Para atender ao modelo, os itens da prova passam por pré-testes (a partir das respostas de um público similar ao que faz a prova, estabelece-se parâmetros dos itens, como os níveis de dificuldade).
Ocorre que nem todas as questões que caíram no Enem 2019 foram pré-testadas. Nota técnica do Inep, mencionada no recurso da AGU (Advocacia-Geral da União) levado ao STJ, indica que houve calibragem de itens na própria prova.
A adoção de itens não pré-testados já ocorreu em anos anteriores por causa da escassez de questões disponíveis, segundo servidores, mas essa informação nunca fora confirmada oficialmente.
Para lidar com itens não pre-testados, o Inep precisar realizar a calibragem a partir do desempenho real na prova. O órgão, então, seleciona uma amostra aleatória de participantes e, a partir dessas respostas, regula os parâmetros desses itens.
A amostra usada no Enem 2019 foi de 100 mil participantes e, somente depois disso, os parâmetros gerais da prova foram estipulados, e as notas dos alunos, calculadas. Além de ter itens novos na prova, os resultados de parte dos 5.974 participantes que estavam com as notas erradas por troca de gabarito fizeram parte dessa amostra.
Foram 83 casos na prova de Ciências da Natureza e 105 na de Matemática, segundo a própria nota técnica do Inep. Dessa forma, a calibração ocorrida na prova de itens não pré-testados contou com respostas erradas e isso causa preocupação em integrantes do Inep e do MEC.
As notas do Enem dependem não só do número de questões certas, mas também de quais foram assinaladas corretamente. A TRI identifica como um possível chute, por exemplo, o candidato que erra duas questões fáceis e acerta uma difícil —e isso tem impacto na sua pontuação.
A Folha questionou o Inep sobre o assunto mas não obteve resposta.
Na nota técnica usada pela AGU, o órgão defende que "a proposta de selecionar nova amostra, recalibrar os itens e recalcular as proficiências [parâmetros], se apresentaria como medida inócua".
O Inep menciona um estudo acadêmico que trata do tema e, com base neste estudo, argumenta que "a proporção de indivíduos com inconsistências encontradas na amostra não produziu efeitos significativos na estimação dos parâmetros dos itens frente ao tamanho da amostra".
Ocimar Alavarse, professor da USP e especialista em avaliação educacional, diz que só é possível ter a real dimensão do problema se houver total transparência por parte do Inep e das escolhas feitas.
"A melhor saída seria recalcular e fazer uma auditoria detalhada nas notas", diz. "O argumento de que o problema foi pequeno não se justifica porque, quando se trata de um vestibular, a nota tem que corresponder exatamente."
O professor Dalton Francisco de Andrade, do Departamento de Informática e Estatística da UFSC (Universidade Federal de Santa Catarina), por sua vez, afirma que o processo de calibragem está adequado pelas informações oferecidas pelo Inep.
"Se esses participantes [que depois tiveram notas alteradas] não tivessem entrado na mostra, teriam incluído uma pessoa com o mesmo numero de acertos", diz. "Esse processo não é afetado pelo fato de as [cerca de] 200 pessoas terem o gabarito lido errado."
Não há informações de quantos itens novos (sem pré-teste) figuraram nas provas do Enem 2019. De acordo com um servidor do Inep, seriam ao menos 15 das 45 questões de cada prova.
Para chegar ao número de afetados, o Inep inicialmente identificou quatro casos com erros e fez cruzamentos em uma amostra de participantes que tinham divergências de notas parecidas com estes —casos com grande diferenças entre os resultados das provas do primeiro e segundo dia.
O instituto então cruzou os gabaritos corretos e também as outras opções de cor para encontrar inconsistências. Após esse processo é que se chegou ao número final de 5.974 casos.
O governo recebeu 172 mil reclamações de notas. Participaram do Enem 2019 cerca de 3,9 milhões de estudantes.
Entenda a calibragem de notas do Enem
O que é a TRI?
Metodologia estatística adotada no Enem desde 2009, a Teoria de Resposta ao Item mede com mais precisão a aptidão dos participantes, pois permite que a prova seja composta de questões com níveis de dificuldade diversos e controlados pelos realizadores do exame.
Por que a TRI é adotada no Enem?
Ao controlar a dificuldade das perguntas e da prova como um todo, os responsáveis pelo exame garantem que os resultados de versões diferentes sejam comparáveis e que o exame possa ser aplicado várias vezes por ano —não há, assim, versão "mais fácil" ou "mais difícil".
Por que a nota do Enem não corresponde ao total de acertos?
A TRI contempla, além do número, quais perguntas o aluno acertou. Questões que mais gente acerta ganham peso menor, pois são identificadas pelo sistema como fáceis. A TRI ainda aponta chutes (por exemplo, quando detecta uma resposta certa a uma questão difícil em meio a duas erradas para as fáceis), e altera a pontuação do aluno.
Como se garante questões bem calibradas como "fácil" ou "difícil" ?
O modelo prevê que as perguntas da prova sejam pré-testadas por pessoas de perfil similar ao que faz o Enem. Assim são definidos os parâmetros de "fácil" e "difícil" e a possibilidade de acerto em chute, o que permite equilibrar as perguntas das diferentes versões para que o nível da prova como um todo seja sempre o mesmo.
E no caso de questões não pré-testadas?
O Inep admitiu que calibrou as questões da prova de 2020 selecionando uma amostra de 100 mil participantes do próprio Enem oficial e usando suas respostas para definir o que era fácil e o que era difícil e assim calcular o desempenho. Após a identificação de notas com erros, o órgão não fez o recálculo, o que, segundo funcionários do instituto e do MEC, torna o resultado final menos confiável.
Comentários
Os comentários não representam a opinião do jornal; a responsabilidade é do autor da mensagem.