Avaliação federal infla qualidade de curso superior, diz tribunal

Auditoria do TCU aponta falhas em indicadores do Ministério da Educação

Paulo Saldaña
São Paulo

O sistema de avaliação do ensino superior do Ministério da Educação não tem sido capaz de expressar o nível de qualidade dos cursos universitários do país. Ao contrário, superdimensiona em muitos casos a qualidade das graduações, aponta uma auditoria do TCU (Tribunal de Contas da União).

O trabalho, concluído em maio, analisou os procedimentos e a metodologia dos indicadores federais. A forma de cálculo desses índices recebeu atenção especial.

Desde 2004 está em vigor o Sinaes (Sistema Nacional de Avaliação da Educação Superior) —que passou por pequenos ajustes ao longo dos anos.

Ele compreende a construção de indicadores destinados a estabelecer um panorama de qualidade de cursos e instituições, além de induzir melhorias —o que não estaria ocorrendo, segundo o TCU.

Os indicadores são também base para a supervisão e regulação do setor. Assim, um baixo desempenho pode resultar até mesmo no fechamento do curso ou impedir sua participação no Fies, programa para financiamento estudantil.

Entre os apontamentos do Tribunal de Contas da União estão problemas com o Enade, a prova feita por concluintes dos cursos. Anualmente, um grupo de graduações passa pela avaliação. O ciclo é repetido a cada três anos.

Reportagens publicadas pela imprensa sobre universidades que selecionavam só os melhores alunos para o Enade fizeram o MEC, em 2011, incluir critérios mais rígidos —como a obrigatoriedade de participação dos alunos que tenham concluído 80% do curso.

De acordo com o tribunal, porém, a pasta ainda não consegue ter controle de quantos deveriam fazer o exame e quantos efetivamente o fazem. Novas denúncias de fraude surgiram em 2016, e o governo Michel Temer (MDB) prometeu investigações. Até agora, nada foi decidido.

Além disso, é falho o enquadramento dos cursos nas respectivas áreas de avaliação do exame. A instituição de ensino é que define se um determinado curso superior se encaixa na área avaliada.

"O que dá margem para que as instituições intencionalmente não procedam esse enquadramento e, assim, não tenham seus estudantes concluintes avaliados", cita o TCU.

No acórdão, a ministra do TCU Ana Arraes determina que o governo repense o sistema de avaliação e crie mecanismos para um maior controle de participação no Enade.

O Inep (Instituto Nacional de Estudos e Pesquisas Educacionais), ligado ao governo federal, afirmou em nota que a maior parte dos apontamentos do TCU já era esperado e faz parte das ações planejadas pelo instituto.

A prova do Enade tem duas partes. Uma de conhecimentos gerais e outra sobre saberes específicos do curso.

Em uma análise sobre os cursos de direito, o tribunal apurou que, embora 83,4% dos cursos do país tenham indicadores adequados, apenas 7,7% dos cursos tiveram médias com mais da metade de acertos na parte específica.

"Intuitivamente, as notas/desempenhos deveriam caminhar na mesma direção", diz o relatório. É que os demais componentes do indicador de qualidade, e sua forma de cálculo, "elevam os desempenhos dos cursos".

As notas do Enade são convertidas em uma escala por faixas, que vai de 1 a 5. O mesmo ocorre com o CPC (Conceito Preliminar de Curso), indicador composto pelo Enade, dados sobre o perfil do corpo docente e infraestrutura.

Cursos com CPC 1 e 2 são considerados insatisfatórios e podem ter sua autorização de funcionamento comprometida. O TCU aponta incoerências no formato do cálculo porque a escala do CPC só permite comparar os cursos entre si. Não reflete, portanto, um nível de excelência.

"Quando um interessado se depara com a informação de que determinado curso tem conceito 3, embora haja definição normativa de que este curso possui qualidade satisfatória, não se sabe de fato o que este conceito representa em termos de conhecimento ou proficiência", diz o TCU.

O próprio parâmetro de intervalo de notas para cada faixa do CPC promove distorções. Para um curso ter CPC 1, por exemplo, seu valor contínuo nesse deve ser menor que 0,945. O MEC não forneceu ao tribunal fundamentos técnicos sobre esses critérios. 

A análise do TCU mostra que essa escolha favorece a concentração de cursos entre os mais bem avaliados.

Ao simular uma escala em que cada uma das cinco faixas corresponde a 20% da nota contínua máxima —escolha considerada mais coerente pelo tribunal—, há uma ligeira redução de cursos com desempenho adequados. O volume de cursos com indicador 4 e 5, de excelência, reduz em 10%. 

"As diferenças verificadas indicam a necessidade de que os parâmetros de conversão a serem utilizados nos processos de avaliação de cursos da educação superior sejam bem estimados, razoáveis, com estudos", cita o tribunal.

Quando um curso fica com CPC 1 ou 2, uma equipe do MEC faz uma visita in loco. A partir de análise do curso, chega-se a outro indicador: o CC (Conceito de Curso). Mas dessa vez o Enade é ignorado.

Assim, cursos com CPC baixo conseguem, posteriormente, um CC acima de 3 --o que o classifica como adequado. A visita in loco permite que as instituições se preparem para receber os avaliadores.

O TCU critica o fato de o CC desconsiderar os dados do Enade, que expressa o desempenho dos alunos. Recomenda a sua inclusão no CC.

Dos 78 cursos que tiveram conceito CPC igual 1 em 2015, 47 acabaram com conceito CC maior ou igual a três. Desses, 34 tiveram nota 1 no Enade.

"Não é razoável que mesmo para aqueles casos em que o exame foi aplicado, ele seja posteriormente desconsiderado", diz o relatório.

Representantes das universidades privadas queixam-se sobre o peso do Enade no CPC (de 55%). Como os alunos não tem compromisso com o resultado prova, que não conta no currículo, as instituições acabam prejudicadas por isso.

Luiz Cláudio Costa, ex-presidente do Inep, defende o sistema de avaliação como um todo, mesmo considerando que há necessidade de melhorias. Segundo ele, criar formas de avaliar a graduação é o grande desafio.

"Avalia-se bem a pesquisa, a extensão, mas o mundo todo ainda busca formas de avaliar o ensino. Em geral, rankings internacionais avaliam por reputação", diz ele, que foi ministro da Educação no governo Dilma Roussef (PT).

"Nesse ponto, o Enade é um avanço, mas precisa melhorar", diz. "Avaliação só tem sentido se servir como indução de qualidade. E nisso precisamos trabalhar mais."

Com o modelo atual, tanto a busca pela qualidade quanto o sistema de supervisão e regulação acabam prejudicados, diz Rodrigo Capelato, do Semesp (Sindicato das Mantenedoras do Ensino Superior), que representa instituições privadas. 

"Quando imponho uma regra geral acabo empobrecendo o sistema, porque todos se preparam para o instrumento", diz. "Os indicadores precisam ser revistos, mas não dá pra não tê-los. Falta incorporar novos índices, como o número de alunos que terminam o curso no tempo correto."

O TCU indica que o MEC desenvolva fundamentos teóricos para a construção dos indicadores, como na conversão de notas para conceitos.

O governo informou que foi dado início a um processo de planejamento para a revisão dos fundamentos teórico e metodológico que sustentam o sistema. A realização de um seminário internacional sobre o tema, no ano passado, e a criação de duas comissões de assessoramento fazem parte desses esforços.

O MEC ressalta a dificuldade de supervisionar milhares de instituições e cursos. "Todos passam por processos periódicos de reconhecimento e renovação de reconhecimento, assim como de recredenciamento institucional."

A pasta prevê lançar no segundo semestre um novo programa para intensificar as ações de monitoramento.

Principais falhas apontadas pelo TCU

Aleatoriedade Modelo atual de avaliação não reflete o nível de qualidade e excelência dos cursos de graduação

Metodologia MEC não apresentou fundamentação técnica para a divisão do CPC por faixas nem para a distribuição dos pesos dados a cada componente do índice

Desempenho Modelo de cálculo adotado pelo MEC eleva artificialmente o desempenho dos cursos

Enade Não há controle total do MEC sobre o número de alunos que devem fazer o exame

Repescagem Instituições de ensino com CPC nas faixas classificadas como inadequadas conseguem reclassificação apenas com visita in loco de avaliadores do MEC, que não levam em conta o desempenho dos alunos

Tópicos relacionados

Comentários

Os comentários não representam a opinião do jornal; a responsabilidade é do autor da mensagem.