Exames e Radicalismos

Por Filipe Oliveira

NOS ÚLTIMOS ANOS temos assistido a formidáveis avanços científicos com relevância para a Educação. É o caso de recentes progressos em áreas tão diversas como a Psicologia, as Ciências Cognitivas ou mesmo a insuspeita Neurologia: à luz da compreensão moderna dos fenómenos fisiológicos subjacentes aos diferentes processos de aprendizagem, velhos dogmas são postos em causa e algumas práticas abusivas são denunciadas. Surgem novas ideias e outras, menos novas, são reabilitadas.

Por outro lado, uma grande determinação por parte de alguns governos em resolver os problemas do Ensino levaram a que fosse possível realizar estudos sistemáticos do que se sabe e não se sabe em Educação, identificar pontos fracos e delinear uma estratégia clara para o futuro. Veja-se a este propósito o colossal trabalho do National Mathematics Advisory Panel nomeado pelo Governo Federal dos Estados Unidos em 2006. Equipas multidisciplinares de dezenas de cientistas passaram a pente fino milhares de publicações, realizaram novas investigações e geraram consensos extremamente importantes. As conclusões e recomendações deste painel foram recentemente publicadas no documento intitulado “Foundations of success – The final report of the National Mathematics Advisory Panel”.

Como a última avaliação internacional encomendada pela Fundação para a Ciência e Tecnologia parece demonstrar, a grande maioria dos Centros de Investigação em Ciências da Educação portugueses parece não acompanhar estes progressos. Depois de amplamente denunciado, o discurso dito “eduquês” - caracterizado por um arrevesado discurso hermético pejado de termos obscuros sem significado tangível - tem-se vindo a esbater progressivamente. No seu lugar permanece uma doutrina vaga, fortemente ideológica, opinativa e recheada de falácias e argumentos incongruentes. É o retrato de uma comunidade fechada, auto-referenciada, distante da comunidade científica internacional e sem soluções para o Ensino pré-universitário português. Uma comunidade em que muitos se recusam liminarmente a dialogar com os especialistas das áreas a que se propõem ensinar a ensinar, apesar das suas manifestas fragilidades nesses campos.

Exemplo de tudo isto é a entrevista dada à revista Guia do Estudante por Leonor Santos, professora do Instituto de Educação da Universidade de Lisboa. O artigo descreve-a como uma especialista em avaliação desenvolvendo investigação nessa área há cerca de vinte anos.

Vejamos em que consistem as suas posições:

Do estudo e do não-estudo

À pergunta “Para que servem os exames?” Leonor Santos responde:

“A questão dos exames é uma polémica recorrente e há quem seja a favor e quem seja contra. Para mim, é muito mais importante discutir as razões que são apontadas com maior frequência para justificar a existência de exames.(…)”

É um início de entrevista algo enigmático. Será que Leonor Santos quer dizer que antes de se tomar uma posição sobre um determinado assunto há que medir os argumentos de um dos lados (o que seria de uma evidência desconcertante se fosse de ambos os lados)? Ou estará a querer dizer que mais importante do que tomar uma posição é discutir os diferentes argumentos envolvidos, à imagem de um médico a quem se pergunta se fumar faz mesmo mal e que responde “Bem mais importante do que dizer se faz mal é discutir por que algumas pessoas pensam que faz bem.”?

Sim, de facto, há quem seja a favor e há quem seja contra os exames. Assim como há quem seja a favor ou contra o ensino estruturado, ou a favor ou contra o ensino enquanto transmissão de conhecimentos. Quando surgem opiniões duais deste tipo, a solução não passa por identificar e discutir apenas as razões mais frequentemente apontadas por um dos lados da polémica.

Leonor Santos prossegue, tentando provar que um certo número de argumentos a favor da realização de exames não são tão inquestionáveis quanto se julga:

“Parte-se do princípio de que se não houvesse exames os alunos não estudariam. Este argumento só poderá fazer sentido se for aplicado aos alunos que normalmente não estudam, já que não se pode aplicar àqueles que o fazem.”

Trata-se, obviamente, de uma falácia que pode ser aplicada a qualquer implicação. Por exemplo, afirmar que “se não existissem despertadores as pessoas não chegariam a horas ao emprego” só fará sentido, no entender de Leonor Santos, quando aplicada às pessoas que “normalmente” não chegam a horas ao emprego. Da mesma forma, dizer que “se não tivessem asas, os aviões não levantariam voo” só se aplica aos aviões que “normalmente” não levantam voo. De onde se tira a conclusão que não se devem usar despertadores nem os aviões devem ter asas?

De facto, esta declaração é totalmente vazia em termos de conteúdo argumentativo e apenas traduz um erro lógico elementar.

De qualquer forma, ainda que um número muito limitado de alunos aprenda bem, independentemente de ter de estudar para exames ou não, sabemos que eles estudam mais e, em consequência, aprendem mais, quando existem exames com fins de classificação. Estes podem pois ser um factor importante de aprendizagem.

Uma das linhas de investigação mais activas e interessantes da psicologia experimental moderna dedica-se precisamente a medir os efeitos da avaliação sobre a aprendizagem. As conclusões, praticamente consensuais, são que um dos factores fundamentais da retenção das aprendizagens a longo prazo, senão o factor principal, é a avaliação repetida e sistemática. Vejam-se, por exemplo, os trabalhos recentes de Karpick, Roediger & al publicados na prestigiada revista Science (The Critical Importance of Retrieval for Learning, Science 319, 966 (2008) ).

Leonor Santos argumenta de seguida:

“Mas para os alunos que realmente não estudam há muita investigação que prova que as aprendizagens feitas de uma forma concentrada nas vésperas dos exames, fazendo noitadas, tendem a perdurar muito pouco no tempo”.

Sem dúvida, aqui apenas se diz que o estudo atabalhoado não produz grandes resultados. Penso que seja consensual e é pouco relevante para o assunto que se discute. Em todo o caso não invalida de forma alguma a existência de exames.

“Importa então saber se os exames são, ou não, eficazes a pressionar os alunos para estudar.”

Exacto, mas Leonor Santos ainda não se pronunciou. Apesar de ter começado por declarar que se trata de um assunto que lhe parece muito importante discutir. O leitor poderá agora voltar ao início “Há quem seja a favor e há quem seja contra…” e ler a intervenção em loop.

Da ética e da equidade

Leonor Santos ataca de seguida o problema da equidade:

“(…)Uma vez que qualquer exame procura medir conhecimentos, pretende-se que o exame coloque todos os alunos em igualdade de circunstâncias.”

Pode-se concordar que “qualquer exame procura medir conhecimentos” e pode-se concordar que é desejável que “o exame coloque todos os alunos em igualdade de circunstâncias”. Mas não há aqui relação causal entre as duas proposições. Trata-se da famosa falácia conhecida por non-sequitur, em que não existe qualquer ligação lógica entre a premissa (o exame procura medir conhecimentos) e a conclusão (pretende-se que o exame coloque todos os alunos em pé de igualdade).

Mas enfim, esta introdução serve para Leonor Santos apresentar o seguinte argumento contra a realização de exames:

“Há um conjunto de regras que assenta no pressuposto de que, se conseguirmos criar regras iguais para todos num dado momento, é possível reduzir as diferenças que existiram durante o ano lectivo. Esta ideia de que se cria uma igualdade de situação e que assim conseguimos controlar as diferenças é problemática.”

Parece haver aqui uma vez mais uma falácia construída em torno da ideia de “igualdade de situação”. Confunde-se igualdade à partida, no percurso e à chegada. Um aluno nunca tem as mesmas oportunidades de outro nestes três momentos, pois os alunos são diferentes e as circunstâncias em que vivem também o são. Uma coisa é trabalhar no sentido de oferecer igualdade de oportunidades à partida para todos. Isso faz-se apostando na formação de professores e na qualidade de programa, currículo e manuais. Outra completamente diferente é tentar garanti-la artificialmente à chegada, fazendo-se tábua-rasa do esforço e do estudo dos alunos mais dedicados durante o ano lectivo. Aparentemente é isto que Leonor Santos considera “problemático”. É de facto problemático, e ainda bem que o é. Já do ponto de vista “ético”:

“Do meu ponto de vista coloca-se, desde logo, uma questão ética. Se de facto os alunos tiveram durante o ano lectivo melhores professores, será que estamos a garantir a igualdade de oportunidades ou pelo contrário estamos a reforçar a desigualdade existente até àquele momento?”

Insiste-se nesta confusão conceptual em torno da “igualdade de oportunidades”. A igualdade de oportunidades inicial não fica garantida por se banirem os exames. Aparentemente, na opinião de Leonor Santos, é extremamente perverso alertar os pais, os professores e a Escola de que um grupo de alunos não está a evoluir adequadamente pois a responsabilidade pode não ser deles. O melhor será os referidos professores incompetentes continuarem a acompanhar e avaliar estes alunos sem recurso a exames externos, garantindo-se assim “igualdade de oportunidades” e ocultando-se da vista de todos o mau funcionamento do sistema.

É uma posição radical e insensata. Por esta ordem de ideias em nada poderia haver avaliação por nem todos terem exactamente as mesmas condições. Se calhar, dever-se-ia acabar com os exames de condução, pois há instruendos que tiveram melhores professores do que outros...

Continuemos:

“Outra crença que existe relativamente aos exames é a de que conseguem medir com algum rigor o conhecimento dos alunos (…)”.

Partindo do princípio que se trata de uma “crença” infundada e que os exames não têm qualquer rigor na medição dos conhecimentos dos alunos, dificilmente se entende a razão que leva Leonor Santos a afirmar que os alunos que tiveram melhores professores não estão em pé de igualdade com os restantes quando confrontados com um exame.

A verdade é que décadas de investigação em docimologia vieram mostrar que, não sendo os exames infalíveis, são uma razoável medida dos conhecimentos adquiridos. Exames bem feitos têm bastante fiabilidade.

Exames perfeitos, contudo, não existem. Mas será que, por não existirem termómetros perfeitos deve deixar-se de medir temperaturas?

Da utilidade dos exames

“Ainda entre as razões que habitualmente são enunciadas para justificar os exames, por vezes aponta-se a necessidade de dar credibilidade ao sistema. Mas será que quem a enuncia quer dizer que os professores são competentes para ensinar, mas não o são para avaliar?”

Este argumento é incompreensível, pois não se trata de saber se os professores são ou não competentes para avaliar os seus alunos. Alguns professores têm critérios muito exigentes na sua avaliação. Outros são mais permissivos, sem que para tanto se possa dizer que fazem um pior trabalho. Uns dão mais importância a certos aspectos em detrimento de outros. Alguns são efectivamente incompetentes, como em qualquer profissão. Em rigor, há muito que os especialistas em docimologia recomendam que haja momentos em que os professores que ensinam não avaliem com fins de classificação, pois o contacto que têm com os alunos durante todo o ano, ou no decorrer dos vários anos, pode enviesar o processo e retirar-lhe objectividade.
Por outro lado, é sabido que certas escolas tendem a inflacionar os resultados dos seus alunos, por razões diversas.

Desta manta de retalhos de vontades, atitudes e idiossincrasias, obter dados objectivos que permitam estudar correctamente a evolução do Ensino em Portugal e, simultaneamente, seriar com justiça os alunos que concorrem, por exemplo, ao Ensino Superior, parece muito difícil sem exames nacionais. É certo que a seriação não é perfeita, mas esse é o argumento seguinte de Leonor Santos, como sempre na forma interrogativa sem tomada de posição:

“Os exames têm por função seriar. Mas até que ponto é que essa seriação permite ter alguma confiança?”

De facto existem muitos estudos realizados no início do século XX que mostram que factores externos ao que se pretende medir podem afectar os resultados dos exames. Há quem conclua que por essa razão devem ser postos de parte. Esta lógica nihilista e totalmente radical, que muitos “especialistas” em avaliação defendem, baseia-se uma vez mais num erro de lógica. De facto, a negação da afirmação “Os exames são totalmente fiáveis” não é, como se quer dar a crer, “Os exames não têm qualquer fiabilidade”, mas simplesmente “Os exames não são totalmente fiáveis”.
E os defeitos podem ser corrigidos, sendo hoje possível construir exames de uma eficácia arrasadora. Na realidade, ignora-se por completo muito trabalho que foi feito a partir dos anos vinte por especialistas em Ensino e que permite melhorar substancialmente a qualidade dos exames. Desistir dos exames é um pouco como desistir de fabricar e melhorar um dado medicamento por este não se mostrar totalmente eficaz no tratamento de alguns doentes.

Do “facilitismo”

Á pergunta “Algumas associações de professores acusam o Ministério da Educação de produzir provas cada vez mais fáceis. Concorda?”, responde Leonor Santos:

“Para dizermos que são mais fáceis ou mais difíceis, temos de recorrer a técnicas que permitem perceber o grau de dificuldade das questões e elaborar provas que possam ser comparáveis.(…)”

Fantástico! Mais uma vez se foge à pergunta.

“Temos comparado apenas resultados das provas?”

“Exactamente. Na sociedade portuguesa temos esta tentação: se os resultados são maus, diz-se que os alunos não sabem nada; se os resultados melhoram, é porque as provas se tornaram mais fáceis. Com esta lógica não vamos conseguir progredir.”

Quem lê Leonor Santos fica convencido que os comentários das associações de professores são feitos depois de os resultados serem divulgados. Nada está mais longe da realidade. Por exemplo, todos os pareceres da Sociedade Portuguesa de Matemática são redigidos no próprio dia da prova, assim que ela se torna pública.

Em 2008, a S.P.M. declarou que o Exame Nacional de Matemática A (12º ano) era anormalmente fácil. Verificou-se a posteriori uma subida da média de 3,5 pontos em 20 relativamente a 2007, atingindo-se o valor recorde de 14 valores. Situação similar aconteceu com o Exame Nacional do 9º ano de escolaridade, em que o número de escolas com média positiva passou de cerca de duzentas para mais de mil. No dia da prova da segunda fase de Matemática A, a S.P.M. declarou que o nível de dificuldade da prova subiu relativamente à primeira fase. A média, veio-se a saber posteriormente, desceu mais de três valores, situação inédita se atendermos aos resultados nos últimos anos (as médias das duas fases costumam ser comparáveis).

Ou seja, os pareceres das referidas “associações de professores” têm capacidade de previsão. E a capacidade de previsão é um dos mais importantes critérios que permitem validar uma metodologia científica. A S.P.M. não se limita a comentar resultados: prevê resultados após o estudo técnico da dificuldade das questões.

Prossegue Leonor Santos:

“O ano passado foi o primeira vez que em Portugal foram construídas provas que pudessem ser comparadas com as do ano anterior Nunca tal tinha sido feito.(…)”

Nesta curta frase, ficamos a saber duas coisas: que afinal é possível fazer exames fiáveis e que o Ministério da Educação, com o auxílio dos “especialistas” a que habitualmente recorre, não tem feito um trabalho muito sério nos anos anteriores.

Leonor Santos é então confrontada com a pergunta:
“Como é que explica então o crescimento das médias a Matemática entre 2006 e 2008?”

“É natural que os novos programas de Matemática de 2002 estejam agora a produzir resultados (...) Os exames evoluíram mais depressa do que a própria prática e experiência de aprendizagem dos alunos, mas neste momento o trabalho dos professores e dos alunos está muito mais consonante e é natural que havendo maior coerência entre aquilo que se ensina, aprende e testa haja melhores resultados.”

O argumento parece ser o seguinte: os alunos demoraram um pouco a reagir a alterações feitas a partir de 2002. Mas finalmente, entre 2006 e 2008, alunos e professores “entraram em consonância”, o que explica o salto das médias. Isto é naturalmente falso. Estamos a falar de uma subida de 6 pontos em 20 no espaço de dois anos. Só entre 2007 e 2008, a média subiu 3,5 pontos. Não existe nenhum sistema de ensino no mundo que possa evoluir a esta velocidade! A única explicação plausível é, obviamente, uma acentuada descida do nível de dificuldade das provas. Aliás, esta descida foi claramente notada por professores e alunos. Como foi dito mais acima, vários observadores a denunciaram veementemente muito antes dos resultados serem efectivamente conhecidos.

Precisamos de especialistas em Ensino que tomem posições claras, coerentes, ponderadas e sustentadas. Que não se limitem a discursar na forma interrogativa, atacando de forma desastrada os argumentos que vão de encontro às suas ideologias. Que aceitem analisar objectivamente os vários lados das diferentes polémicas, que aliás são (ou deveriam ser) de natureza científica e não ideológica. Essencialmente, precisamos de bons especialistas que não hesitem em dialogar de maneira franca e aberta com cientistas de outras áreas, em particular daquelas áreas que são leccionadas no Ensino Básico e Secundário. Só assim se podem gerar consensos que possam vir a melhorar o nosso debilitado sistema de ensino. Com este radicalismo doutrinário e impermeável à razão, dificilmente serão feitos progressos.
-
Texto original [aqui]
.

Dpto. Matemática, FCT / Universidade Nova de Lisboa / Portugal
webpage: http://filipe.s.oliveira.googlepages.com
.

NOTA: Este texto é uma extensão do que está publicado no 'Sorumbático' [v. aqui], onde eventuais comentários deverão ser afixados.