MARCUS FIGUEIREDO
ESPECIAL PARA A FOLHA

Ao final do primeiro turno das eleições os jornais estamparam manchetes cobrando os "erros" dos institutos de pesquisa, especialmente do Ibope e do Datafolha. Assunto recorrente derivado de uma prática antiga: editores comparam os valores pontuais dos votos estimados nas pesquisas com os resultados fornecidos pelo TSE.
Qualquer diferença, para mais ou para menos, fornece munição aos jornalistas e aos dirigentes partidários derrotados -para as matérias dos primeiros e, para os segundos, para as reclamações de uso espúrio dos resultados dos institutos publicados nas vésperas da eleição. Essa prática tem se repetido ano após ano, estimulando alguns a até mesmo pedir CPIs e explicações judiciais.
Razões das reclamações à parte, o fato é que, estatisticamente, é muito raro as estimativas dos institutos de pesquisas coincidirem, pontualmente, com os resultados oficiais. Há várias razões que concorrem para isso, razão pela qual todos institutos a cada pesquisa trabalham com uma margem de erro de estimação.
Teoricamente o que se espera das estimativas de intenção de voto é que, simultaneamente, os valores dos votos estimados e a consequente posição dos concorrentes na disputa fiquem o mais próximo possível do resultado final. Esse objetivo o mais próximo possível é regido pela teoria da margem de erro de estimativa, que cada desenho amostral estipula a priori, informação fundamental para se avaliar o desempenho da pesquisa.
Esse padrão de avaliação vale tanto para as estimativas pontuais, candidato a candidato, quanto para a avaliação global, que consiste em estimar-se a média das diferenças das estimativas pontuais de uma chapa completa dos candidatos.

Metodologias
Existem várias metodologias de avaliação das pesquisas de intenção de voto. No artigo intitulado "The Polls Review: Was 1996 a worse year for polls than 1948?", o autor Warren J. Mitofsky faz uma comparação do desempenho das pesquisas eleitorais nas eleições presidenciais americanas desde 1948. Em 1948, The Social Science Research Council (SSRC) examinou a questão de como a precisão das pesquisas deveriam ser medidas, ponderando as vantagens e desvantagens de vários métodos.
Warren em seu estudo considera os mesmos oito métodos analisados naquela época.
Uns são mais rigorosos que outros. Apenas para exemplificar, o método menos rigoroso considera a precisão da pesquisa somente levando em conta a diferença, em pontos percentuais, entre o índice obtido sobre o total de votos pelo candidato que lidera as pesquisas e o seu resultado oficial.
Dentre os diferentes métodos de avaliação os mais eficientes são: a) Média das diferenças absolutas entre a intenção de voto declarada e votos apurados oficialmente (Método 1); b) Média das diferenças absolutas entre intenção de voto estimada e votos válidos oficiais (excluem-se aqueles que não citam candidatos, indicam branco ou voto nulo) (Método 2).
Após a eleição de 1998, fiz alguns testes preliminares sobre os resultados publicados e propus aos três maiores institutos associados da Anep, Ibope, Datafolha e Vox Populi, que disponibilizaram os resultados das últimas pesquisas eleitorais realizadas antes das eleições presidenciais de 1989, 1994 e 1998, e em conjunto com eles foi possível avaliar as pesquisas eleitorais brasileiras através destes dois métodos.
Os resultados globais foram os seguintes:

Comparando-se o desempenho dos institutos americanos, avaliados por Warren J. Mitofsky, e o desempenho dos brasileiros nas últimas eleições presidenciais, verifica-se a mesma eficiência:

Para a eleição de 2002, primeiro turno, apliquei novamente esses mesmos dois métodos de avaliação, os mais eficientes, constatando que os resultados das pesquisas eleitorais apresentavam excelente desempenho global, com média geral das diferenças de estimativas apuradas pelos quatro maiores institutos da ordem de 1,1% (método 2), numa eleição competitiva com 6 candidatos.

Desempenho
O desempenho desses institutos, no primeiro turno, pode ser visto nas tabelas 1 e 2. As estimativas pontuais, no entanto, apontaram algumas diferenças entre os institutos. Datafolha e Ibope superestimaram a votação de Lula, Vox Populi e Sensus superestimaram Ciro Gomes, e José Serra teve a sua votação subestimada por todos os quatro institutos. Essas variações podem ser explicadas pela movimentação do eleitorado, sugerindo a intenção do eleitorado de não terminar a eleição no primeiro turno, como sugeri, na ocasião, em artigo publicado no jornal "O Globo", de 18 de outubro, na coluna Observatório Eleitoral.
Se no primeiro turno das eleições deste ano o resultado foi excelente, no segundo turno o desempenho geral já não foi tão bom como se esperava, apresentando diferença média geral de estimativa de 2,6%, acima da média histórica mostrada acima.
Nas tabelas 3 e 4 temos as avaliações feitas usando os mesmos métodos 1 e 2.
Com exceção do Ibope, cujas estimativas pontuais e médias ficaram dentro das respectivas margens de erro previstas, revelando excelente desempenho, os três outros institutos tiveram suas estimativas pontuais e médias fora das respectivas margens de erro, da ordem de 0,9% a 1,1%. São, evidentemente, erros médios relativamente pequenos, mesmo considerando que o instituto Sensus trabalhe com margem de erro de 3%.

Razão do erro
Diante desta observação não basta apontar o erro, mas indicar uma possível razão. Examinando as estimativas pontuais dos institutos vemos claramente que a fonte dos seus erros de estimativa está na estimativa pontal dos declarantes indecisos e de votos nulos ou brancos.
Tomando-se o método 1, votos totais, vemos que todos os institutos acertaram o voto em Lula. Mas somente o Ibope acertou as suas estimativas em Serra e em votos indecisos, nulos e brancos. Todos os demais subestimaram a votação em Serra e superestimaram os indecisos e declarantes de voto nulo e branco. Consequentemente isso se reflete no resultado apurado pelo método 2, que é muito sensível em relação aos votos nulos e brancos apurados na eleição.
Neste caso fica claro que está na captação dos votos indecisos, nulos e brancos a fonte para que as estimativas médias desses institutos terem ficado fora das respectivas margens de erro. Isto é muito mais um problema de captação da informação do que de erro derivado do desenho amostral (ver as descrições das pesquisas nas tabelas indicadas).
Tomando-se o desempenho histórico dos institutos avaliados vemos que foi, justamente, no segundo turno da eleição deste ano onde tivemos os maiores desvios das estimativas eleitorais (ver quadro "Desempenho das pesquisas eleitorais"). Apesar disso, não houve nenhuma "grita", nem dos jornais e nem dos políticos.