Por trás dos números

Em 2009, quando assumiu a pasta da Educação no município do Rio de Janeiro, Cláudia Costin, ex-secretária de Cultura do Estado de São Paulo, deparou-se com números preocupantes: entre o 4º e o 6º ano, 28 mil dos 685 mil alunos, ou 4% do total, foram identificados em avaliações da rede como analfabetos funcionais. Além disso, a secretaria detectou que 14% do alunado precisaria frequentar aulas de reforço para superar o déficit de aprendizagem. Como o município funciona no sistema de ciclos, muitos professores não aplicavam avaliações contínuas em sala de aula antes do ano de passagem para a nova etapa. Para reverter o quadro, adotou-se, entre outras, a política de responsabilização. Na prática, foi dada a cada escola uma meta a ser alcançada no Índice de Desenvolvimento da Educação Básica (Ideb) nos anos ímpares, e no Índice de Desenvolvimento da Educação do Município do Rio de Janeiro (Ide-Rio) nos anos pares. O Ide-Rio é calculado como o Ideb (com o cruzamento de dados de desempenho em língua portuguesa e matemática e a taxa de aprovação), só que usa as notas da Prova Rio, e não da Prova Brasil. As escolas que atingissem ou superassem o estipulado pela secretaria receberiam um 14º salário. No ano passado, diretores e professores de 5º e 9º anos das escolas com os maiores Idebs também ganharam uma viagem a Nova York.


Em 2010, a partir da análise dos dados dos Idebs de 2007 e 2009, a secretaria bonificou 290 escolas (há 968 no total na rede). Neste ano de 2011, foram usados os Ide-Rios de 2009 e 2010, o que permitiu que 558 escolas recebessem o prêmio. A variação no número de escolas bonificadas é significativa: entre 2010 e 2011, houve um aumento de 92%. Se no ano passado 30% delas receberam a premiação, esse percentual subiu para quase 60% neste ano. Com números tão expressivos, fica a pergunta: como a rede municipal do Rio de Janeiro saiu de um quadro tão alarmante em 2009 para o atual, em que mais da metade das escolas apresentam bons índices de qualidade?
A resposta é complexa. Primeiro, é preciso entender a metodologia de concessão do bônus. O decreto municipal nº 33.399, de 16 de fevereiro deste ano, que institui o sistema de bonificação, dá margem a duas interpretações sobre a fórmula de cálculo. Diz o texto: "as metas de acréscimo terão por base o Ideb ou o Ide-Rio anterior, conforme a tabela". Seguidas da diretriz, há duas tabelas com as faixas de Ideb ou Ide-Rio, acompanhadas de variações percentuais para os anos iniciais e finais do ensino fundamental. Exemplo: uma escola do primeiro ciclo do ensino fundamental cujo Ide-Rio era de 4,5 em 2009 tinha uma "meta de acréscimo" de 8% no cálculo de concessão do bônus de 2011.
Com as informações das tabelas em mãos, o mais natural seria calcular a variação percentual relativa entre o Ide-Rio 2009 e 2010, e checar se o valor bate com o previsto na tabela para aquela faixa específica de Ide-Rio. Ou seja: essa mesma escola dos anos iniciais cujo Ide-Rio era de 4,5 em 2009 e passou para 5,2 em 2010 variou 15,5% - como ela ultrapassou a meta de variação relativa, que era de 8%, foi bonificada. Por essa fórmula, 30 escolas não deveriam ter sido bonificadas neste ano, justamente por não terem atingido a variação relativa supostamente estabelecida pelo decreto. No ano passado, a estimativa é de que 18 escolas do total tenham ficado na mesma situação. Não é possível fazer uma análise mais aprofundada sobre os dados de 2010 porque a secretaria municipal de Educação do Rio de Janeiro só divulgou a lista das escolas bonificadas naquele ano - aquelas que não atingiram as metas não aparecem. Há escolas cujos Idebs de 2007 e 2009 não estão disponíveis no site do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), mas que foram consideradas na listagem de 2011 (elaborada com informações dos Ide-Rios 2009 e 2010). Assim, a avaliação se torna inviável na medida em que há incerteza sobre uma listagem única de escolas.
Com a consultoria de Ocimar Alavarse, especialista em avaliação e professor da Faculdade de Educação da USP, e, posteriormente, de Joyce Bevilacqua, professora do departamento de Matemática Aplicada do Instituto de Matemática e Estatística (IME), também na USP, a reportagem de Educação chegou a uma outra fórmula possível para o cálculo da bonificação. Esse algoritmo, usado efetivamente pela secretaria municipal de Educação, aplica a "meta de acréscimo" ao Ide-Rio de 2009 e estima um valor arredondado para o Ide-Rio 2010, que é cruzado com o valor real, obtido pela escola. Ainda com o mesmo exemplo do parágrafo anterior, aplica-se 8% ao Ide-Rio de 2009, que era 4,5, o que gera o valor 0,36. Somado aos mesmos 4,5 iniciais, o Ide-Rio 2010 projetado é 4,86, ou simplesmente 4,8, índice que fica abaixo do Ide-Rio 2010 real, que foi de 5,2. Portanto, a escola foi bonificada. Como neste caso a variação relativa de 15% supera a meta de 8%, não há dúvida de que o bônus se justifica.
O problema é quando a variação relativa é menor que o esperado e apenas a projeção do Ide-Rio 2010 determina a premiação - caso das 30 escolas mencionadas anteriormente. Uma delas é a EM Engenheiro João Thomé, cujos anos finais do ensino fundamental apresentaram Ide-Rio de 3,5 em 2009 e 3,7 em 2010. A variação relativa entre os dois índices é de 5,7%, valor que fica abaixo da meta de acréscimo esperada para a faixa (7%). Mas pela projeção em função da meta, o cálculo é outro: 7% (ou 0,7) multiplicado por 3,5 é igual a 0,245, ou 0,2. Ao somar este último valor com o Ide-Rio 2009 (3,5), obtém-se 3,7. Pela segunda fórmula, a escola recebe o 14º salário. Mais um exemplo: o Ide-Rio 2009 dos anos iniciais da EM Paschoal André foi de 3,9, valor que subiu para 4,3 em 2010. A variação relativa entre os dois anos foi de 10,3%. O Ide-Rio 2010 projetado, calculado a partir da multiplicação entre a meta de acréscimo (11%) e o Ide-Rio 2009, é de 4,3 (a conta fica assim: 3,9 vezes 0,11 = 0,429 ou 0,4, valor que, somado aos 3,9 iniciais, gera exatamente 4,3, o Ide-Rio real).
"Isso seria resolvido se o decreto deixasse claro que, para efeito de cálculo, está sendo estimado o valor em função da meta de acréscimo", analisa Ocimar. Para ele, trata-se de um "erro" porque a política de bonificação exige informações muito precisas. Joyce faz o mesmo questionamento e observa que, no caso das 30 escolas cujas bonificações não são justificadas pelo primeiro cálculo, o Ide-Rio projetado é exatamente igual ao Ide-Rio obtido. A partir de análises prospectivas, ela afirma ser necessário ter os dados que geraram o Ide-Rio 2010 dessas 30 escolas (as médias das provas e a taxa de aprovação) para constatar a coincidência dos valores do Ide-Rio 2010 com os das respectivas metas projetadas. "Do jeito que está, não há clareza sobre em qual momento o Ide-Rio 2010 real entra no cálculo", diz.
É importante ressaltar que houve uma mudança nas metas de acréscimo de 2010 e 2011: elas foram reajustadas por conta do período de análise. Se o Ideb é calculado de dois em dois anos, o Ide-Rio é anual. Assim, uma escola do primeiro ciclo do ensino fundamental cujo Ideb era de 2,4 tinha meta de acréscimo de 22% em 2010. A mesma instituição passou a ter meta de 14%. A revisão foi considerada correta pelos dois pesquisadores. Outro detalhe importante diz respeito às escolas com dois ciclos do ensino fundamental: aquelas que alcançaram 100% da meta de acréscimo em um deles têm a meta para o outro ciclo reduzida pela metade.

Dois índices, duas provas

A política de bonificação está atrelada a dois índices: o Ideb, calculado com base na Prova Brasil, aplicada nos 5º e 9º anos; e o Ide-Rio, sintetizado a partir da Prova Rio, realizada com alunos dos 3º e 7º anos. De acordo com nota enviada pela secretaria, a opção pelo uso de dois parâmetros não torna mais difícil o critério de compreensão do bônus porque o Ideb é sempre comparado com o Ideb, e o Ide-Rio, com o Ide-Rio. Dessa maneira, torna-se impossível fazer qualquer tipo de análise a respeito da evolução das escolas entre 2007 e 2010, período levado em conta pela política. Mas mesmo quando a comparação é feita entre índices da mesma natureza, há discrepâncias. É o caso do Ciep 1º de Maio, escola com o maior Ide-Rio da rede, que apresenta, nos 3º anos, uma evolução altíssima entre 2009 e 2010: o Ide-Rio passou de 4,7 para 8,1. Em um ano, o aumento foi de 72%.
Para Ocimar Alavarse, o crescimento é considerado "estranho" quando se observam, no país, as escolas avaliadas pelo Ideb. "A média nacional de crescimento do Ideb é de 10%. Entre 2005 e 2007, o índice saiu de 3,8 para 4,2 nos anos iniciais (a variação é de 10,5%). O crescimento entre 2007 e 2009 foi de 9,5%, já que os valores para cada ano são, respectivamente, 4,2 e 4,6", explica. A apreciação do Ide-Rio é especialmente complicada porque, mais uma vez, não há dados específicos sobre a composição do índice para as escolas (desempenho em língua portuguesa e matemática e taxa de aprovação). "Para um diagnóstico mais rigoroso, precisaríamos saber a quais fatores que compõem o Ide-Rio atribuir a magnitude dessa evolução", diz.
A importância de ter os fatores que discriminam o índice é evidenciada quando o objeto de análise é o Ideb. Em 2007, o Ideb do Ciep 1º de Maio era de 4,2, valor que subiu para 5,9 em 2009. O crescimento pode ser explicado pelo aumento no desempenho da Prova Brasil, já que a taxa de aprovação se manteve estável (99%). Em matemática, a nota passou de 173 para 229; em língua portuguesa, variou de 162 para 196. Como o MEC também divulga o número de alunos matriculados e o número de estudantes que efetivamente fizeram a prova, é possível até identificar se houve manipulação durante o exame. Assim, a variação de 72% entre os Ide-Rios 2009 e 2010 da escola fica sem explicação plausível.

Questões do bônus


As experiências com sistemas de bonificações trazem à tona temáticas conhecidas no mundo acadêmico. Uma delas está relacionada ao fato de essas políticas estarem ancoradas em avaliações de larga escala, que estão suscetíveis a fraudes e manipulações. Por isso, os procedimentos de segurança (como o lacre) no que diz respeito às provas são fundamentais para garantir a precisão dos dados. Declev Reynier Dib-Ferreira, professor da EM Marechal Mascarenhas de Moraes (escola bonificada) e autor do blog "Diário do Professor" (diariodoprofessor.com), conta que a Prova Rio chega sem lacre à escola com uma semana de antecedência ao dia do exame. "A direção pode dizer para os professores, por exemplo, para trabalhar em cima da prova. Quem disse que o diretor não quer melhorar a nota da escola?", questiona. Ele conta que, quando aplica o exame, ajuda os seus alunos com as possíveis dúvidas e até dá dicas. "Uma boa pergunta é: como minha escola foi bonificada? O aluno pode ir um pouco melhor no teste porque os professores fazem um bom trabalho em sala de aula. Mas também é preciso lembrar que a prova vem aberta", diz.
No Twitter, rede social de microblogs, um professor da rede municipal que não se identifica (o perfil é @ProfDoRio) confirma a preocupação de Declev sobre as distorções na Prova Rio. Ao reclamar da quebra da máquina de xerox em sua escola, ele se mostra preocupado por não conseguir fazer os simulados bimestrais para a Prova Rio. Segundo o Sindicato Estadual dos Profissionais de Educação do Rio de Janeiro (Sepe), há uma cobrança velada por parte das coordenadorias regionais de ensino e da direção para que os simulados sejam feitos bimestralmente. "A escola vira um grande vestibulinho, uma fábrica de transformação de índices", afirma Suzana Gutierres, diretora do Sepe.
O decreto que institui o bônus também prevê uma diferenciação entre os professores que recebem o acréscimo de salário. Os docentes que contabilizarem até dois dias de faltas durante o ano letivo recebem 100% do valor da premiação. Aqueles que apresentarem três ou quatro dias de ausência já ganham 80% do total. Por último, os professores que faltarem 5 dias ganham metade do 14º salário. No dia 14 de junho, a secretária Cláudia Costin anunciou, via Twitter, que o prêmio seria estendido a todos os professores de escolas bonificadas que trabalharam durante 75% do ano letivo de 2010, independentemente das faltas. "Falei com o prefeito que, em função do excepcional resultado de 2010, autorizou que todos os professores e funcionários das escolas premiadas ganhem o prêmio", escreveu.
A questão das faltas é considerada por Márcio Costa, da Faculdade de Educação da Universidade Federal do Rio de Janeiro (UFRJ), como "indefensável". "É um exemplo pequeno, mas reflete os problemas operacionais do sistema de responsabilização. Sou simpático à medida, mas temo pela própria capacidade operacional de gerir e digerir esse tipo de questão", explica. Márcio explica que esse lapso da política faz com que ela tenha efeito contrário, já que cria indisposição entre os próprios docentes. Ocimar lembra que ao partir da premissa de que os professores só trabalham com incentivos financeiros, o bônus causa outro efeito reverso: as escolas que não atingiram a meta acabam não recebendo os aportes necessários para superarem os problemas de qualidade. "A política pode significar 'dar mais a quem já tem mais'", explica.

A realidade

Para além do debate sobre a metodologia de cálculo e da política em si, está a questão do quanto os números refletem a melhoria da qualidade de ensino. Em suas pesquisas sobre o Ideb, Ocimar Alavarse concluiu que, de maneira geral, o principal fator que explica nacionalmente o aumento no índice é a melhoria no desempenho nas provas. Na rede municipal do Rio de Janeiro, o índice aumentou de 4,5 para 5,1 nos anos iniciais e caiu de 4,3 para 3,6. Segundo a ONG Rio Como Vamos, a queda no Ideb nos anos finais se justifica pelo fim da aprovação automática: em 2007, a taxa de aprovação para o conjunto de séries era da ordem de 92%. O percentual caiu para 74% em 2009.
No caso do Ide-Rio, é possível fazer uma análise, novamente especulativa, da rede entre 2009 e 2010. Nos anos iniciais, o índice passou de 4,3 para 4,6. Nos finais, subiu de 3,5 para 4,0. Nos primeiros anos, a nota da Prova Rio saiu de 5 em 2009 para 5,2 em 2010. No caso dos anos finais, não houve alteração: a nota obtida foi 5. Ao serem cruzados com as taxas de aprovação fornecidas pelo MEC, observa-se que há melhora no desempenho e no fluxo nos primeiros anos, e no fluxo nos anos finais (já que a nota é a mesma). "Não há como identificar se a melhora foi em português ou matemática", explica o professor, já que não há dados no site da secretaria sobre os desempenhos específicos por disciplina.
Para Márcio Costa, é preciso ter cautela na análise da melhoria da qualidade de ensino no município. "É prematuro afirmar que o resultado da política de responsabilização está relacionado com a aprendizagem", diz. Isso porque, segundo ele, todas as mudanças são recentes e é preciso ter um tempo de maturação, que permita analisar "um sistema complexo de múltiplas causas". Favorável ao sistema de bonificação, Márcio enxerga um "choque" com a chegada de Cláudia Costin, mas lembra que a própria implantação das avaliações externas gera um efeito de "teste-reteste". "É natural que haja uma flutuação nos resultados até o sistema se azeitar", defende.
Opinião diferente tem Rosiska Darcy, presidente executiva da ONG Rio Como Vamos, que acompanha a evolução do sistema educacional no município. "Não tenho a menor dúvida de que houve melhora. Estávamos com um sistema tão ruim que quando há investimento maciço, há melhorias expressivas", diz. Apesar de atestar o avanço, Rosiska ainda se preocupa com dois aspectos: os altos índices de defasagem idade-série e de abandono no ensino fundamental. Em 2009, a taxa de distorção idade-série era de 25,71%, o que representa um valor absoluto de 151,5 mil alunos. "É um número insuportável e por isso tenho insistido muito nessa questão", afirma. Já o abandono é da ordem de 2,85% - no mesmo ano, 16,5 mil estudantes não concluíram essa etapa educacional. "Mas é preciso lembrar que o Ide-Rio da rede aumentou, que a taxa de analfabetismo funcional caiu de 15% para 7%, entre outras ações da prefeitura", diz.

Professores e alunos

Outra questão que atinge tanto a rede municipal quanto a estadual do Rio de Janeiro é o déficit de docentes. No município, os dados disponíveis sobre o assunto são discrepantes. Segundo a ONG Rio Como Vamos, em 2009 faltavam 5.900 docentes, número que despencou para 1.029. O Sindicato Estadual dos Profissionais de Educação do Rio de Janeiro (Sepe) aponta um déficit de 12 mil profissionais na rede municipal. A secretaria municipal de Educação, por sua vez, afirma que o número era de 8 mil em 2009, e passou para "um pouco mais" que 600. "Foram admitidos em torno de 6 mil docentes até agora na rede municipal", revela Helena Bomeny, subsecretária de Educação do município.
Para o sindicato, a ausência de professores é a motivação por trás dos projetos que introduzem o professor polivalente no segundo ciclo do ensino fundamental. "Em vez de você ter oito professores, há apenas um", defende Suzana, do Sepe. Em 53 escolas da rede, há professores dos 6os anos (cuja formação deve ser universitária) que lecionam todas as disciplinas menos inglês, artes e educação física. Em outras 10, chamadas "Ginásios Experimentais", a polivalência chega aos 7os e 8os anos, com um docente responsável por língua portuguesa, história e geografia e outro por ciências e matemática. "Eles criam mais vínculo com o aluno, e é justamente no que é melhor para ele que estamos pensando", afirma a subsecretária. Helena refuta a crítica com o argumento de que os projetos exigem mais professores, e não menos. "Essas turmas precisam de um professor itinerante, além daquele em sala de aula", diz.
Matheus Manço Resende, 14 anos e aluno do 9º ano do Ginásio Experimental Bolívar - escola que foi bonificada - tem críticas ao projeto. "Vejo muitos professores reclamando por ensinar uma matéria para a qual não têm aptidão. Se eles não estiverem satisfeitos, a secretaria pensa que eles devem trocar de escola", explica. Matheus enxerga uma mudança na qualidade do ensino em sua cidade, mas também considera que faltam condições de trabalho. "Fico indignado com muitas coisas: a sala de informática que uma hora tem internet e outra não, o laboratório de ciências que nunca usamos e que, aliás, virou um puxadinho da sala dos professores, a merenda que é ruim e as aulas são cansativas", desabafa. A falta de infraestrutura também é mencionada pelo professor Declev Reynier Dib-Ferreira, da EM Marechal Mascarenhas de Moraes. "Até o começo de junho, não havia mesa para o professor nas salas de aula. Faltam professores, há salas sem porta, não há computadores e há pouco tempo, a direção estava em guerra com os docentes", aponta, fazendo referência à saída recente da diretora em questão. (Colaborou: Deborah Ouchana)

Créditos: http://revistaeducacao.uol.com.br/textos.asp?codigo=13155