Pesquisas eleitorais: Como são feitas? São confiáveis?

As pesquisas eleitorais estão sendo feitas a todo vapor. Neste ano, causaram muita polêmica, particularmente nas redes sociais. Infelizmente, muitas pessoas têm dificuldade de entendê-las e desconhecem qual é o nível de confiabilidade delas. Vamos estudar como as pesquisas eleitorais funcionam?

Como é feita uma estimativa estatística? O que garante seu resultado?

Matemática é abstração. Imaginemos, então, uma moeda. Queremos fazer uma pesquisa estatística para verificar se a moeda é viciada, ou seja, se ela foi feita para dar mais cara do que coroa, ou o inverso. Se ela não for viciada, sabemos que, ao jogarmos ela para cima, temos 50% de probabilidade de dar cara, 50% de probabilidade de dar coroa.

O que acontece se nós jogarmos essa moeda 2500 vezes? Neste caso, é quase impossível obtermos um resultado exato, isto é, 1250 vezes cara. Mas é muito mais improvável obter nenhuma cara, por exemplo. Nós sabemos que o mais provável é que a quantidade de caras fique em torno de 1250, podendo ser um pouco mais ou um pouco menos.

Calculando matematicamente, temos que, se a moeda não for viciada, nossa pesquisa tem 95% de chance de dar entre 1200 e 1300 vezes cara. Invertendo o raciocínio, se a pesquisa obtiver um valor fora da margem de erro (menor que 1200 ou maior que 1300 vezes cara), então temos 5% de chance de ser “azar” da pesquisa e 95% de chance de a moeda realmente ser viciada. Neste caso, dizemos que o nível de confiança da pesquisa é 95% e que sua margem de erro é de 2% (que corresponde a 50 jogadas).

Agora, voltemos à questão eleitoral e suponha que exatamente 50% da população pretende votar no João da Silva. Se nós tomarmos aleatoriamente uma pessoa e perguntarmos em quem ela vai votar, então temos 50% de chance de ela responder que vai votar no João da Silva, correto? O problema, estatisticamente, é o mesmo. Assim, tomando 2500 pessoas aleatoriamente na população, temos 95% de chance de que as intenções de voto de João da Silva fiquem entre 48% e 52% na nossa pesquisa eleitoral. Novamente, a pesquisa tem nível de confiança de 95% e margem de erro de 2%.

Para obter o nível de confiança de 95%, a margem de erro é dada pela equação

onde ‘n’ é o número de pessoas que participaram da pesquisa. Esta é a fórmula usada nas principais pesquisas.

Pesquisas teóricas versus pesquisas reais

Tudo o que discutimos até agora valeria para uma pesquisa em abstrato, onde conseguimos escolher 2500 pessoas aleatoriamente da população. Todas as pessoas da população devem ter a mesma chance de serem escolhidas. Nós chamamos isso de amostra aleatória. Isso significaria, por exemplo, escrever o nome e o endereço de cada eleitor em um papelzinho, dobrar todos os papéis e sortear 2500 papeizinhos.

“Mas não seria possível,” perguntaria alguém, “ir a uma praça e perguntar para quaisquer 2500 pessoas?” Seria possível, mas o resultado não seria tão confiável. Afinal, significa que as pessoas que normalmente frequentam aquela praça (por exemplo, quem mora mais perto) têm mais chances de serem escolhidas do que as que frequentam menos vezes aquela praça (por exemplo, quem mora mais longe).

Métodos desse tipo tendem a super-representar um determinado setor da população e sub-representar outro setor. Por exemplo, uma pesquisa no centro da cidade sub-representa quem mora na periferia, uma pesquisa num Shopping sub-representa pessoas com rendas mais baixas. Uma pesquisa por telefone (como a pesquisa realizada pela Datapoder360) sub-representa setores da população que não têm condições ou tempo de ficar meia hora ao telefone para responder uma pesquisa com uma voz eletrônica – quem trabalha o dia inteiro, por exemplo.

Mas e quanto aos eleitores sorteados que não respondem à pesquisa? Esta é mais uma fonte de erros. Infelizmente, as pessoas que não respondem à pesquisa representam um setor da população: o setor da população que não quer ou não tem condições de responder a pesquisas eleitorais. Este setor pode ter opiniões políticas diferentes do resto da população.

Uma amostra aleatória é impossível na prática. Por isso, institutos de pesquisa criaram métodos “mais ou menos” aleatórios, buscando sempre representar pessoas de diversas faixas de renda, idade, sexo, raça, etc, na mesma proporção que eles existem na sociedade em geral. Para isso, sorteiam-se cidades, bairros, pontos de fluxo, etc, e as pessoas ali são entrevistadas, seguindo-se um determinado questionário que vai determinar se a pessoa tem o perfil esperado para responder à pesquisa.

O problema é que uma amostra “mais ou menos” aleatória não é igual a uma amostra aleatória. Por isso, na prática, a margem de erro das pesquisas reais é maior do que a margem de erro divulgada pelos institutos, pois esta corresponde a uma amostra aleatória.

Uma estimativa: quanto as pesquisas erram?

Fizemos uma estimativa usando dados das eleições anteriores para presidente dos anos 2002 a 2014. Utilizamos os dados a última pesquisa dos institutos Ibope e Datafolha feitas antes do dia da eleição, obtidas na base de dados do Poder 360. (https://www.poder360.com.br/arquivo/) Depois os comparamos aos resultados das eleições, obtidos do site do TSE. (http://www.tse.jus.br/eleicoes/eleicoes-anteriores/eleicoes-anteriores) Consideramos apenas os candidatos que obtiveram mais de 5% dos votos válidos nas eleições, o que totalizou 21 estimativas de candidatos. Ambos institutos relataram nível de confiança de 95% e margem de erro 2%.

Tomando o valor absoluto (isto é, desconsiderando o sinal) da diferença entre a pesquisa de intenções de voto com os votos de cada candidato nas eleições, produzimos o gráfico a seguir.

Os mesmos valores mostram que, em média, o Ibope errou 2,2% (desvio padrão 2,3%) nas estimativas e a Datafolha, 2,1% (desvio padrão 1,6%). Considerando apenas as pesquisas de boca de urna realizadas pelo Ibope nos anos 2006 (1º e 2º turno) e 2010 (apenas 1º turno), o erro em média foi de 2,3% (desvio padrão 1,1%).

Apesar de termos poucos dados, os erros das pesquisas estão bem acima da margem de erro de 2% para o nível de confiança de 95%, que é o que os institutos alegam. Se a margem de erro fosse de 2%, então por volta de 95% dos valores acima estariam abaixo de 2%. Porém, das 21 estimativas do Ibope representadas no gráfico, apenas 14 (ou seja, 67% dos valores) estão abaixo de 2%, e das estimativas da Datafolha, apenas 11 (ou seja, 52% dos valores) estão abaixo de 2%.

Se a margem de erro considerada fosse de 4%, teríamos que 17 estimativas de intenção de voto do Ibope foram acertadas (81%) e 19 estimativas de intenção de voto da Datafolha também foram acertadas (90%).

Assim, podemos dizer que as pesquisas eleitorais têm margem de erro maior do que relatam, mas ainda assim são um retrato momentâneo próximo à realidade.