A reflexão proposta no livro vai assim equilibrando, em sucessivos e complementares níveis de abrangência e profundidade, os debates em torno da avaliação da escola, renovando a cada texto o convite para avançarmos no debate a partir dos dados de diferentes tipos de investigação. Os capítulos seguintes se debruçam sobre as práticas de avaliação do sistema educacional em vigor, particularmente sobre o Sistema Nacional de Avaliação da Educação Básica ? SAEB ?, apresentando desde a questão do conteúdo da educação escolar e sua seleção para referenciar as medidas que devem avaliar o desempenho escolar, até os desafios teóricos e metodológicos atuais das pesquisas nesse campo, trazendo ainda, nos dois últimos textos, resultados instigadores de pesquisas realizadas a partir dos dados gerados pelo SAEB. O texto de Ortigão e Sztajn discute os dilemas presentes na elaboração das matrizes curriculares a partir dos quais são construídos os indicadores de avaliação de desempenho do SAEB. Inicialmente é traçado um histórico cuidadoso e extremamente instrutivo da elaboração dos instrumentos de medida de desempenho em matemática no SAEB desde seu lançamento em 1990, mostrando a complexidade do processo, permeado por diferentes influências na definição de o que deve ser avaliado e o que deve compor as "matrizes curriculares de referência" utilizadas para a confecção das questões das provas. Tomando um dos tópicos do currículo de matemática, a teoria dos conjuntos, as autoras mostram os dilemas envolvidos na construção dos instrumentos e a dimensão política inerente às definições adotadas. Ortigão e Sztajn mostram como tais definições refletem também as concepções pedagógicas de grupos profissionais que delas participam, revelando o caráter prescritivo e não apenas descritivo da avaliação como política de estado. A partir de um caso concreto, as autoras introduzem o complexo debate sobre o que e o porquê se avalia. Retoma-se assim o problema do conteúdo da educação escolar e sobre quem define o "arbitrário cultural" expresso na seleção dos saberes presentes nos currículos escolares. O texto de Harvey Goldstein, "Modelos de realidade: novas abordagens para a compreensão de processos educacionais" aprofunda a discussão na "outra ponta" da questão, ou seja, mesmo encontrando-se consenso sobre os conteúdos e a qualidade do desempenho que se deseja avaliar, a realidade que se quer com isso compreender melhor apresenta-se na verdade muito mais complexa do que os instrumentos disponíveis para analisá-la. Goldstein mergulha então na questão dos modelos utilizados na análise dos resultados obtidos com a aplicação dos instrumentos de avaliação, cuja construção cheia de desafios políticos e pedagógicos testemunhamos no texto precedente. Sua reflexão sobre os limites e possibilidades dos modelos de pesquisa aplicados à avaliação educacional é especialmente relevante e atual, desmistificando os métodos quantitativos e o "mundo simplista das tabelas de classificação de resultados educacionais". Nessa perspectiva o autor denuncia o reducionismo das medidas baseadas numa sobrevalorização extremamente questionável da psicometria, pela Teoria da Resposta ao Item, cujas limitações e riscos procura mostrar. Goldstein distingue entre a sofisticação maior ou menor da abordagem ou modelo descritivo adotado e a aparente complexidade técnica dos modelos estatísticos necessários para a manipulação dos dados obtidos. O autor tece então considerações instigantes sobre as razões possíveis para a hegemonia destas posições e propõe o desenvolvimento de modelos complexos para abordar realidades complexas ? como é o caso da educação. Expondo ainda os resultados de trabalhos que vem realizando nessa perspectiva, em que se destaca a quantificação do chamado "valor agregado" pela escola, captado por modelos adequadamente formulados, Goldstein mostra sua fecundidade e desafia pesquisadores de diferentes áreas e formações para que rompam a polarização entre pesquisas quantitativas e qualitativas de maneira mais criativa e consoante com a complexidade do que se pretende compreender. A contribuição de Jean-Claude Forquin, no capítulo "Evoluções recentes do debate sobre a escola, a cultura e as desigualdades", apresenta a riqueza das pesquisas recentes na França, que buscam desvelar a constelação de fatores intra e extra-escolares que influenciam a escolarização. Atualizando contribuições suas de textos anteriores, o autor descortina o estado da arte do debate atual sobre as desigualdades educacionais naquele país e nos brinda com sua qualificada contribuição sociológica sobre a escola e a cultura, que encontra eco em algumas das questões levantadas nos demais textos do livro, oriundas de pesquisas realizadas no Brasil. O debate mais uma vez ganha em profundidade e assume outras facetas neste novo horizonte. Dentre elas destaca-se a atenção crescente para a influência de fatores como gênero, origem nacional ou étnica dos alunos e suas famílias, a localização da escola. Além disso, a questão das estratégias familiares na escolarização da prole tem merecido relevo nas pesquisas, articulando numa constelação os diversos fatores citados como a origem social e o contexto histórico, compondo o que se tem denominado a questão da "mobilização" em relação à escola. Tal constelação de determinações se expressa ainda na relação que os estudantes travam com o saber e o saber escolar em particular, como atestam os trabalhos de Lahire, Charlot, entre outros citados por Forquin, indicando novas perspectivas de compreensão das histórias singulares de sucesso ou fracasso escolar. Os dois últimos capítulos realizam uma interessante incursão nos dados do SAEB 97, introduzindo-nos na riqueza das possibilidades de reflexão e intervenção a partir de sua análise. Em ambos os textos observa-se a saudável preocupação de mostrar ao leitor os caminhos metodológicos percorridos na busca de criar modelos explicativos para o desempenho dos alunos na área de matemática. O cuidadoso esforço dos autores, entretanto, mais do que satisfazer o leitor, revela o extenso caminho a percorrer para tornar mais consistente e produtiva a interlocução de pesquisadores mais especializados em investigações de caráter quantitativo com aqueles de maior experiência e conhecimento de métodos qualitativos. Concluímos a leitura com diversas perguntas curiosas e ainda mais convictos da riqueza dessa interlocução e das instigantes possibilidades de pesquisa que ela pode e deve abrir. O texto de Soares, Cesar e Mambrini, "Determinantes de desempenho dos alunos do ensino básico brasileiro", busca dimensionar, a partir dos dados dos alunos da 8ª série em matemática que participaram do SAEB-97, a influência de diferentes fatores (escolas, professores e famílias) na construção das diferenças de desempenho observadas nas provas. Os autores nos trazem não apenas diversos resultados interessantes que motivam a continuidade do debate, mas também pistas para novas incursões de análise dos dados. Dentre as conclusões cabe destacar a importância da maior ou menor regularidade nas trajetórias escolares, o sexo e a rede escolar freqüentada como fatores determinantes das diferenças de desempenho encontradas. Outro resultado que pode ser considerado fecundo, tanto do ponto de vista da pesquisa como da intervenção no sistema educacional, é a comprovação de que a escola (rede de ensino, condições de funcionamento etc.) é responsável por quase 40% da variabilidade do desempenho escolar. Ainda que a conclusão não seja exatamente nova do ponto de vista qualitativo, vê-la quantificada, no mínimo, realça a importância estratégica da intervenção nas condições de funcionamento do sistema escolar. Assim como no texto anterior, no capítulo "A Escola brasileira faz diferença?"de Maria Eugênia F. Barbosa e Cristiano Fernandes, são analisados dados sobre a proficiência em matemática do SAEB-97, desta vez para alunos da 4ª série da Região Sudeste do Brasil. Para enfrentar a complexidade da interação dos diversos fatores intervenientes na avaliação da eficácia da escola, os autores utilizam modelos de análise multinível, de forma que integre melhor a estrutura hierárquica dos dados (alunos, turmas e escolas) disponibilizados pelo SAEB. Codificando em um número reduzido de fatores as diferentes variáveis potencialmente relacionadas às diferenças de desempenho encontradas, são construídas e testadas sete modelagens explicativas, considerando uma quantidade crescente de fatores. Ao analisar as diferentes variâncias encontradas, Barbosa e Fernandes chegam a conclusões que em boa medida reforçam e amplificam, no caso do 1º segmento do 1º grau, as traçadas no texto anterior. Além disso, a análise traz à tona outros aspectos importantes como o peso das características associadas ao professor e à sua interação com a turma, bem como a questão da motivação do aluno e a relação casa-escola, que nas pesquisas francesas se expressam no problema da mobilização em relação à escola, como havia apontado Forquin. Concluindo, podemos dizer que o conjunto dos textos desta coletânea reafirma a importância da interação crítica entre a pesquisa e análise das práticas de avaliação tanto com os processos e instâncias de formação docente, como com os de elaboração de políticas públicas comprometidas com o fim da exclusão educacional. Além disso, as reflexões que suscita inspiram novas possibilidades de investigação desafiando os pesquisadores a renovar seus espaços de interlocução e produção ? entre as diversas áreas e com diferentes agentes sociais ?, tornando mais fecunda sua contribuição para a construção de alternativas educacionais efetivamente democráticas e transformadoras |
