No final da semana passada, o governo anunciou 4.400 vagas de emprego em órgãos federais. Essas vagas serão preenchidas por concurso público.

Concursos têm a grande vantagem de selecionar de maneira impessoal. Mas será que quem vai melhor nas provas de fato tem um desempenho melhor no trabalho?

Testar essa proposição é uma tarefa complicada. Além da falta de dados sobre o desempenho de funcionários no trabalho, não temos como saber como se sairiam as pessoas que não passaram no concurso e, portanto, não foram contratadas.

Os pesquisadores Ricardo Dahis, Laura Schiavon e Thiago Scot arrumaram uma maneira criativa para investigar essa questão. Esse trabalho foi recentemente aceito para publicação no influente periódico acadêmico Review of Economics and Statitics.

A estratégia deles foi testar se juízes estaduais com notas mais altas nos concursos pareciam ser mais produtivos que seus pares aprovados com notas mais baixas.

Para medir o desempenho nos concursos, os autores programaram "robozinhos" que buscavam informações de múltiplas fontes. Conseguiram construir uma base de dados cobrindo muitos concursos em 24 estados entre 2000 e 2013.

Para medir a produção dos juízes, os autores usaram dados administrativos do CNJ, com casos resolvidos, audiências e decisões intermediárias para juízes estaduais entre 2009 e 2015.

O número de casos resolvidos depende de uma variedade de fatores (como a demanda de cada corte), não só do juiz. Mas, como os juízes mudam de corte com muita frequência (em média um juiz trabalhou em quatro cortes ao longo do período), é possível estimar a produtividade do juiz utilizando técnicas estatísticas de ponta.

Essa estimativa de produtividade é uma medida imperfeita, mas como há muitos juízes na amostra podemos testar se essa medida de produtividade tem relação com os resultados nos concursos.

Uma das preocupações sobre essa medida é que alguns juízes poderiam estar julgando muitos casos, sem preocupação com a "qualidade" de suas decisões. Os dados, porém, não dão respaldo a essa possibilidade.

Há bastante dispersão no número de casos encerrados. Diferenças na produtividade dos juízes parecem explicar um pouco mais de 20% dessa dispersão.

E o resultado, qual foi?

Em média, juízes com melhor classificação em seus concursos têm performance significativamente melhor que a de aprovados com notas menores.

Como seria de esperar, a nota do concurso explica apenas uma parte da performance —há juízes muito produtivos com notas relativamente baixas e vice-versa. Porém, como estamos comparando apenas profissionais aprovados em concursos bem concorridos, a existência de um efeito robusto, detectável por técnicas estatísticas, traz evidência importante em favor de concursos como maneiras de selecionar candidatos.

É difícil identificar a importância de cada prova —a amostra se reduz bastante quando os autores fazem essa análise—, mas o exame escrito de decisão judicial em casos civis parece particularmente importante. Isso é interessante, pois essa etapa simula uma tarefa comum do dia a dia do trabalho de um juiz.

Concursos são utilizados para contratar funcionários públicos para evitar favorecimentos e corrupção. Faz sentido. Mas é bom aprender que desempenho em concursos tem relação com performance no trabalho e essa relação parece ser forte, pois aparece mesmo quando comparamos apenas pessoas com notas boas.