Grande parte (79%) do
desempenho de uma escola no Exame Nacional do Ensino Médio (Enem) é explicada
por fatores exteriores a ela, como o nível socioeconômico das famílias dos
alunos, a cor da pele dos estudantes, a dependência administrativa e o Estado
em que está localizada, entre outros. O chamado efeito escola responde,
portanto, por apenas 21% da média da unidade.
A conclusão é da
pesquisa de doutorado do professor Rodrigo Travitzki, realizada na Faculdade de
Educação da Universidade de São Paulo (USP). Travitzki é professor de biologia
do Ensino Médio do Colégio Equipe. O estudo, que recebeu o título "Enem:
limites e possibilidades do Exame Nacional do Ensino Médio enquanto indicador
de qualidade escolar", foi orientado pela professora Carlota Boto.
A maior contribuição da
pesquisa, segundo o autor, é mostrar o que de fato os rankings com dados do
Enem revelam e os efeitos que podem gerar. “De certa forma, confirmei com a
estatística o que muitos já imaginavam: o ranking informa mais sobre as
condições socioeconômicas da escola do que sobre seu possível mérito
pedagógico”, sintetiza Travitzki.
O estudo foi feito com
base nos microdados do Enem de 2009, divulgados em 2010. Para a observação do
perfil dos alunos e das escolas Travitzki cruzou informações do questionário
socioeconômico da avaliação com dados do Censo Escolar do mesmo ano.
A prática de ranquear
as escolas considerando somente as notas esconde o perfil dos alunos que ali
estudam, afirma o professor. “Segundo os cálculos, 20% das escolas estavam
abaixo da média no ranking, mas teriam resultado acima do esperado, quando
consideramos as diferentes condições socioeconômicas. Ou seja, essas escolas
estariam realizando um bom trabalho, mas o ranking as desvaloriza”, afirma.
Para Francisco Soares,
professor da Universidade Federal de Minas Gerais (UFMG) e um dos mais
respeitados especialistas em avaliação do País, a pesquisa de Travitzki joga
luz sobre questões do Enem que nunca foram muito debatidas. “A contribuição
mais importante do Rodrigo foi constatar que o Enem está usando itens que têm
comportamento empírico ruim. Claro que a tese tem várias outras qualidades, mas
ele coloca a necessidade de mais transparência em pontos que não haviam sido
considerados antes”, explica Soares.
Rankings
Para o pesquisador,
usar o Enem para ranquear escolas, enxergando nele um indicador da qualidade de
ensino das instituições, é uma prática problemática por diversos fatores – um
deles é utilizar o mesmo exame para várias finalidades. “Uma boa prova de
seleção, por exemplo, deve ter um número maior de itens difíceis, enquanto uma
prova para avaliar o sistema educacional precisa de mais itens médios”,
defende. “Há também problemas mais técnicos, que todos conhecem bem, como a
comparabilidade das médias e a ausência de amostras por escola.”
O pior efeito, segundo
ele, é a utilização comercial que se faz dos rankings baseados no Enem. “É um
fator relacionado a uma supervalorização dos mecanismos de mercado. A
ideia é que publicar
resultados por escola ajuda a informar os pais, enquanto consumidores, e estimula
as escolas a melhorar. Mas essa informação, além de superficial, é distorcida e
se insere em uma estrutura mais ampla muito engessada”, afirma Travitzki.
Segundo ele, as escolas
particulares acabam ficando “presas” às tendências do mercado, preparando-se
essencialmente para o desempenho na prova. “Isso não é ruim em si mesmo, se
considerarmos que o Enem tem um efeito positivo no currículo do Ensino Médio em
relação ao que se tinha antes. No entanto, a parte ruim, na minha opinião, é
quando se supervaloriza o Enem e as provas em geral, como se a Educação
servisse
só pra isso.”
Posições
O estudo mostra que as
médias entre escolas que ocupam posições próximas no ranking não são
estatisticamente diferentes. Sua tese também sugere um “ranking alternativo” com
as escolas de cada região que apresentaram maior efeito escola no Enem de 2009.
A ideia, segundo o pesquisador, era mostrar que existem unidades de ensino que
realizam bons trabalhos pedagógicos mesmo em condições adversas.
Apesar de ter
construído essa possibilidade de ranqueamento, Travitzki não acredita que
utilizar apenas o efeito escola como indicador de qualidade seja suficiente.
“Creio que não seria possível por diversas limitações técnicas. A Educação é um
fenômeno muito complexo para ser medido com uma única régua. Qualquer indicador
único de qualidade escolar é limitado”, pondera.
Debate
O pesquisador afirma
que, ao mesmo tempo em que existe uma espécie de histeria midiática que
supervaloriza informações superficiais em relação ao Enem, existe também uma
ausência de discussões mais profundas com base em outros dados públicos. “Da
mesma forma que há reportagens com ‘fórmulas mágicas’ para se ter boas escolas,
pouco se discute sobre o que seria um bom colégio e se estamos avaliando essa
qualidade adequadamente”, explica.
O motivo para isso,
segundo ele, é a audiência. “O que vende notícias são os rankings. As pessoas
querem saber a posição da sua escola, querem saber se sua cidade é a melhor ou
a pior do Brasil, esse tipo de coisa”, pontua.
Caminhos
Travitzki espera que
sua pesquisa impacte as formas como são feitas e publicadas as divulgações das
notas das escolas no Enem. “Foi com essa intenção que escolhi um tema tão
concreto e atual para estudar no doutorado. Cheguei a conversar com
representantes do Inep na fase inicial da tese, que me ajudaram e se mostraram
abertos à discussão”, afirma.
Agora, ele pretende
avançar nos estudos sobre qual a melhor forma de indicar a qualidade de uma
escola. “Quero estudar melhor essas possibilidades daqui pra frente, mas já
adianto: acho que a qualidade de uma escola não pode ser avaliada
exclusivamente por meio de testes individuais. Sei que essa é a tendência
mundial, desde a década de 80 pelo menos, mas não creio que seja uma boa
estratégia para as políticas públicas de Educação”, opina. “A escola precisa
ser mais do que um lugar onde os alunos aprendem a fazer provas. Agora, como
fazer de outra forma, isso é de fato um grande desafio, não só para o Brasil,
mas para o mundo todo.”
