|
quinta-feira, outubro 23 2008 - 12:57
Comparações de pesquisas eleitorais com resultados efetivos
José F. de Carvalho
Estatístico
Resumo
De longa data, estatísticos vêm avisando que as margens de erro de pesquisas eleitorais não tem base.
Os esquemas de amostragem usados não se prestam ao emprego de fórmulas simplórias, usadas para amostragem aleatória simples ou para amostragem estratificada. As pesquisas devem ser registradas nos TRE's. Minha pergunta: para que? De que adianta? Quem, num TRE, pode julgar a técnica estatística utilizada? Deste jeito, o que me parece é que o registro dá uma chancela de seriedade a algo que está, fundamentalmente, em erro.
O material que segue consiste de resultados (proporção de votos) de candidatos a prefeitos em 79 municípios. Os dados foram obtidos de tabela publicada pela Folha de São Paulo, imediatamente antes da eleição, e de resultados dos pleitos, publicados pelos TRE's após as apurações.
Algumas cidades da lista da FSP não foram incluídas, pois a lista dava apenas os dois primeiros colocados e ocorreu que um – ou ambos desses – desceram aquém da segunda posição. No final, tivemos resultados para 79 municípios.
Para cada candidato, colocados nos dois primeiros lugares, conforme a tabela de resultados de pesquisas, foi calculada a diferença entre as proporções preditas pelas pesquisas e os resultados efetivamente obtidos. Segue uma simples análise da distribuição das diferenças. Como se propala margens de erro de 3%, calculamos os números de pontos fora, para mais e para menos, dessa margem.
Se as pesquisas estão na confiança estatística usual de 95% (não declarada), é de se esperar que –aproximadamente – apenas 5% dêem diferenças além dos 3%. Mas não é que se vê.
No histograma estão marcados os limites de-3% e +3%, em azul. Vê-se que a maior parte dos pontos está fora dessa margem. Numericamente,65% dos pontos estão abaixo de -3% e 4% estão acima de +3%.
Isto é, esta simples verificação mostra que 70% das predições estão fora das margens de erro.
Não surpreende: já sabemos, desde muito tempo, que os procedimentos de amostragem utilizados não são respeitados, quando se calculam as margens de erro. Na verdade, usam-se expressões de amostragem aleatória simples, o conhecido pq/n.
Um ponto de interesse técnico. Sabemos que os pontos usados não são independentes. Mas, como em cada pleito havia mais de dois candidatos e, ainda por cima, tomamos as diferenças para análise, não é de se esperar uma diminuição séria do tamanho efetivo nem introdução de tendenciosidades. Ademais, isto aqui não é um estudo "para valer", mas uma mera verificação rápida das promessas das pesquisas e de seus efetivos resultados.
A favor das pesquisas: como as diferenças de votação em geral são relativamente grandes, a taxa de acerto no primeiro colocado (posição) chega próximo a 90%. Ainda assim, cuidem-se os postulantes. Dez por cento não é para se desprezar. E, se a diferença for pequena – não de 3%, mas de 10%, 20%,cuidado!
Seguem algumas estatísticas descritivas da distribuição:
A média deveria ser nula (indicadora de não tendenciosidade estatística das pesquisas) e o desvio padrão cerca de 1.5, se as pesquisas realmente tivesse margem de erro de 3%. Os desvios dos valores desejados são muito acentuados.
A conclusão é óbvia, fica implícita. Mas sobra uma questão. Será que as empresas de pesquisa verificam a qualidade de seus produtos? Teriam a coragem de publicar uma lista como esta? Se as empresas não fazem, por que a autoridade eleitoral não avalia a qualidade?
|