Um estudo publicado recentemente, que ganhou bastante atenção da mídia nacional, investiga quais são as variáveis envolvidas no mau desempenho brasileiro no Pisa, o Programme for International Student Assessment (Programa Internacional de Avaliação de Estudantes).
Para nós, que trabalhamos com dados aplicados aos negócios, vale analisar o estudo para enxergar o cuidado necessário na constatação de relações de causalidade na explicação de fenômenos sociais.
Para contextualizar, o Pisa é uma avaliação educacional realizada internacionalmente, com estudantes na faixa dos 15 anos – idade em que se pressupõe o término da escolaridade básica obrigatória na maioria dos países. Ele é coordenado pela Organização para Cooperação e Desenvolvimento Econômico (OCDE) e, no Brasil, é responsabilidade do Inep, instituição vinculada ao Ministério da Educação.
O exame consiste em questões de ciências, literatura e matemática, além da resolução colaborativa de problemas, durante duas horas. A prova é dividida em dois blocos, de uma hora cada, com um pequeno intervalo entre os blocos. A edição mais recente do Pisa foi realizada em maio de 2018 e os resultados serão publicados em 2019.
O estudo que ganhou a atenção da mídia brasileira é chamado “Por que o Brasil vai mal no Pisa? Uma análise dos Determinantes do Desempenho no Exame”. Ele foi realizado em uma parceria entre a FEA-USP e o Centro de Políticas Públicas (CPP) do Insper.
A pesquisa foi baseada nos dados do Pisa coletados em 2015, com participação de 70 países. No Brasil, o exame abrangeu 23.141 estudantes, de 841 escolas. Ficamos na 65ª posição entre os 70 países, o que motivou os pesquisadores a analisar o mau resultado obtido pelos estudantes brasileiros.
Segundo o estudo, há duas ordens de variáveis que afetam o desempenho dos alunos em provas. Habilidades cognitivas – como o conhecimento – e habilidades socioemocionais – como a motivação. A investigação tem grande relevância, uma vez que ambas as habilidades são determinantes para o desenvolvimento econômico de países ou regiões, e também para resultados socioeconômicos individuais.
Países com maiores níveis de habilidades cognitivas na população apresentam crescimento econômico mais acelerado, afirmam os autores.
Desenho do estudo
De acordo com os pesquisadores, a estrutura da prova de 2015 permitiu isolar os efeitos dos dois tipos de habilidades – cognitivas e socioemocionais – no desempenho dos alunos.
O exame foi realizado em computadores e as perguntas foram organizadas de maneira sequencial. Ou seja, uma vez finalizada a questão, os alunos não poderiam retornar a ela. Dessa forma, não puderam responder em primeiro lugar somente as questões que dominavam. Logo, a probabilidade de acertar a primeira questão do exame seria uma medida mais precisa do conhecimento real do aluno – suas habilidades cognitivas.
Além disso, a posição de cada pergunta era aleatória. Assim, as questões não ficavam mais difíceis ao longo da prova. Com isso, uma eventual queda de desempenho ao longo do exame refletiria habilidades socioemocionais, tais como persistência, concentração e determinação.
Os resultados mostraram que o Brasil possui baixa probabilidade de acerto da primeira questão, o que indica habilidades cognitivas também menores (posição 57 de 70 países). Por exemplo, somente 40% dos brasileiros acertam as primeiras questões da prova, enquanto que, na Finlândia e na Coréia do Sul, 60%.
No desempenho ao longo da prova, a probabilidade de responder corretamente às questões vai se reduzindo ao longo do exame em todos os países. No entanto, os alunos brasileiros têm uma das maiores taxas de decaimento (16ª maior). O gráfico a seguir mostra que a distância entre alunos brasileiros e os finlandeses e coreanos vai aumentando ao longo da prova.
A maioria dos veículos que divulgou o estudo chamou a atenção para o possível efeito das habilidades socioemocionais no decaimento dos alunos brasileiros. Em outras palavras, os estudantes não teriam motivação interior e exterior para enfrentar o Pisa. Interior, porque os alunos teriam baixa resiliência: sem entender as primeiras questões, já desistiriam do resto da prova. Exterior, porque o bom desempenho nessa prova não traria resultados imediatos para o aluno.
No entanto, o estudo original deixa amplas margens de dúvida sobre a relação de causalidade entre as habilidades socioemocionais e a taxa de decaimento na prova.
Olhando além das manchetes
Os resultados sugerem que o mau desempenho do Brasil se deve especialmente ao fato de que grande parte dos respondentes não conseguiu chegar ao fim da prova. Porém, o estudo aponta várias outras possibilidades para o entendimento desse cenário, além da teórica falta de motivação. Diz um trecho do texto original:
Esse comportamento pode ocorrer pelo fato de que os jovens demoram para entender o enunciado da questão e para desenvolver o raciocínio sobre a resposta. Nesse caso, o mau desempenho brasileiro seria mais relacionado ao conhecimento e aos níveis de habilidades cognitivas e, nesse sentido, a interpretação do decaimento como medida puramente de habilidades socioemocionais não parece muito clara.
A pesquisa também mostra que os alunos brasileiros gastam muito tempo para responder às questões iniciais da prova, fazendo com que poucos consigam chegar ao final do exame. Nesse sentido, o mau desempenho dos alunos tão pouco teria a ver com habilidades socioemocionais e, sim, dependeria das habilidades cognitivas.
Entre as duas fases da prova, há um intervalo, em que o Brasil demonstra uma recuperação acentuada em comparação aos outros países. Uma primeira leitura poderia dar a impressão de que os alunos brasileiros, descansados após o intervalo, teriam um desempenho melhor no segundo bloco.
Porém, os pesquisadores afirmam que, na verdade, uma vez que a dificuldade das questões do primeiro bloco é igual àquela das questões do segundo bloco, os jovens brasileiros parecem aprender a fazer a prova ao longo do exame – o que seria mais uma expressão das habilidades cognitivas.
Assim, o estudo sugere que a motivação possa ser uma das causas do decaimento brasileiro. Porém, joga uma luz maior sobre o efeito preponderante das habilidades cognitivas.
A confusão entre a divulgação do estudo feita pela mídia e o verdadeiro conteúdo da pesquisa mostra o cuidado necessário no estabelecimento de relações de causalidade. Somente um bom alicerce teórico pode diminuir a chance de erros.
