Tese de doutorado mostra prós e contras dos rankings feitos com base no exame

Grande parte (79%) do desempenho de uma escola no Exame Nacional do Ensino Médio (Enem) é explicada por fatores exteriores a ela, como o nível socioeconômico das famílias dos alunos, a cor da pele dos estudantes, a dependência administrativa e o Estado em que está localizada, entre outros. O chamado efeito escola responde, portanto, por apenas 21% da média da unidade.

A conclusão é da pesquisa de doutorado do professor Rodrigo Travitzki, realizada na Faculdade de Educação da Universidade de São Paulo (USP). Travitzki é professor de biologia do Ensino Médio do Colégio Equipe. O estudo, que recebeu o título "Enem: limites e possibilidades do Exame Nacional do Ensino Médio enquanto indicador de qualidade escolar", foi orientado pela professora Carlota Boto.

A maior contribuição da pesquisa, segundo o autor, é mostrar o que de fato os rankings com dados do Enem revelam e os efeitos que podem gerar. “De certa forma, confirmei com a estatística o que muitos já imaginavam: o ranking informa mais sobre as condições socioeconômicas da escola do que sobre seu possível mérito pedagógico”, sintetiza Travitzki.

O estudo foi feito com base nos microdados do Enem de 2009, divulgados em 2010. Para a observação do perfil dos alunos e das escolas Travitzki cruzou informações do questionário socioeconômico da avaliação com dados do Censo Escolar do mesmo ano.

A prática de ranquear as escolas considerando somente as notas esconde o perfil dos alunos que ali estudam, afirma o professor. “Segundo os cálculos, 20% das escolas estavam abaixo da média no ranking, mas teriam resultado acima do esperado, quando consideramos as diferentes condições socioeconômicas. Ou seja, essas escolas estariam realizando um bom trabalho, mas o ranking as desvaloriza”, afirma.

Para Francisco Soares, professor da Universidade Federal de Minas Gerais (UFMG) e um dos mais respeitados especialistas em avaliação do País, a pesquisa de Travitzki joga luz sobre questões do Enem que nunca foram muito debatidas. “A contribuição mais importante do Rodrigo foi constatar que o Enem está usando itens que têm comportamento empírico ruim. Claro que a tese tem várias outras qualidades, mas ele coloca a necessidade de mais transparência em pontos que não haviam sido considerados antes”, explica Soares.

Rankings

Para o pesquisador, usar o Enem para ranquear escolas, enxergando nele um indicador da qualidade de ensino das instituições, é uma prática problemática por diversos fatores – um deles é utilizar o mesmo exame para várias finalidades. “Uma boa prova de seleção, por exemplo, deve ter um número maior de itens difíceis, enquanto uma prova para avaliar o sistema educacional precisa de mais itens médios”, defende. “Há também problemas mais técnicos, que todos conhecem bem, como a comparabilidade das médias e a ausência de amostras por escola.”

O pior efeito, segundo ele, é a utilização comercial que se faz dos rankings baseados no Enem. “É um fator relacionado a uma supervalorização dos mecanismos de mercado. A

ideia é que publicar resultados por escola ajuda a informar os pais, enquanto consumidores, e estimula as escolas a melhorar. Mas essa informação, além de superficial, é distorcida e se insere em uma estrutura mais ampla muito engessada”, afirma Travitzki.

Segundo ele, as escolas particulares acabam ficando “presas” às tendências do mercado, preparando-se essencialmente para o desempenho na prova. “Isso não é ruim em si mesmo, se considerarmos que o Enem tem um efeito positivo no currículo do Ensino Médio em relação ao que se tinha antes. No entanto, a parte ruim, na minha opinião, é quando se supervaloriza o Enem e as provas em geral, como se a Educação servisse

só pra isso.”

Posições

O estudo mostra que as médias entre escolas que ocupam posições próximas no ranking não são estatisticamente diferentes. Sua tese também sugere um “ranking alternativo” com as escolas de cada região que apresentaram maior efeito escola no Enem de 2009. A ideia, segundo o pesquisador, era mostrar que existem unidades de ensino que realizam bons trabalhos pedagógicos mesmo em condições adversas.

Apesar de ter construído essa possibilidade de ranqueamento, Travitzki não acredita que utilizar apenas o efeito escola como indicador de qualidade seja suficiente. “Creio que não seria possível por diversas limitações técnicas. A Educação é um fenômeno muito complexo para ser medido com uma única régua. Qualquer indicador único de qualidade escolar é limitado”, pondera.

Debate

O pesquisador afirma que, ao mesmo tempo em que existe uma espécie de histeria midiática que supervaloriza informações superficiais em relação ao Enem, existe também uma ausência de discussões mais profundas com base em outros dados públicos. “Da mesma forma que há reportagens com ‘fórmulas mágicas’ para se ter boas escolas, pouco se discute sobre o que seria um bom colégio e se estamos avaliando essa qualidade adequadamente”, explica.

O motivo para isso, segundo ele, é a audiência. “O que vende notícias são os rankings. As pessoas querem saber a posição da sua escola, querem saber se sua cidade é a melhor ou a pior do Brasil, esse tipo de coisa”, pontua.

Caminhos

Travitzki espera que sua pesquisa impacte as formas como são feitas e publicadas as divulgações das notas das escolas no Enem. “Foi com essa intenção que escolhi um tema tão concreto e atual para estudar no doutorado. Cheguei a conversar com representantes do Inep na fase inicial da tese, que me ajudaram e se mostraram abertos à discussão”, afirma.

Agora, ele pretende avançar nos estudos sobre qual a melhor forma de indicar a qualidade de uma escola. “Quero estudar melhor essas possibilidades daqui pra frente, mas já adianto: acho que a qualidade de uma escola não pode ser avaliada exclusivamente por meio de testes individuais. Sei que essa é a tendência mundial, desde a década de 80 pelo menos, mas não creio que seja uma boa estratégia para as políticas públicas de Educação”, opina. “A escola precisa ser mais do que um lugar onde os alunos aprendem a fazer provas. Agora, como fazer de outra forma, isso é de fato um grande desafio, não só para o Brasil, mas para o mundo todo.”