Por: Nome do Autor lorem ipsum
Com objetivos variados, realidades e contextos distintos, os projetos sociais são mais bem mensurados com ferramentas de avaliação moldadas e aplicadas de acordo com a necessidade dos gestores e das pessoas impactadas pelas ações. Esta é uma das principais conclusões do 14º Seminário Internacional de Avaliação: Pensamento Avaliativo e Transformação Social, evento realizado em agosto em São Paulo, pelo Itaú Social, Fundação Roberto Marinho, GIFE (Grupo de Institutos, Fundações e Empresas) e Instituto C&A.
A vinda ao Brasil do pesquisador americano Michael Patton, um dos responsáveis por alçar a avaliação ao status de campo disciplinar e profissional, foi o grande destaque do evento, que reuniu, em uma palestra, duas mesas temáticas e dois workshops lideranças envolvidas com projetos sociais, em especial voltados à educação. Ex-presidente da Associação Americana de Avaliação, Patton veio apresentar os fundamentos da metodologia da Avaliação Focada no Uso (Utilization-Focused Evaluation), desenvolvida por ele a partir de uma série de sistematizações anteriores, como as teorias da Filantropia e da Mudança. Essas experiências deságuam na teoria de Patton, para a qual o pensamento avaliativo constitui um mecanismo permanente de revalidação dos projetos sociais, como ele mostrou aos participantes.
O debate em torno da metodologia de Patton representa um novo momento do Itaú Social, em que a instituição passa a explorar o potencial dos métodos mistos assim como o monitoramento estratégico de processos e resultados. Durante o seminário, Fábio Barbosa, vice-presidente do Itaú Social, definiu como uma evolução dos processos avaliativos o uso de metodologias quantitativas e qualitativas. “É necessário ter uma visão mais sofisticada para lidar com situações complexas”.
“O mundo mudou. Precisamos mudar com ele. Isso não quer dizer que vamos deixar de fazer avaliação quantitativa, mas que vamos desenhar um método misto, quantitativo e qualitativo, conforme o contexto e o que ele pedir. E vamos monitorar ao longo de todo o percurso, com estudo da implementação para ver se ela de fato está ocorrendo”.
“O mundo mudou. Precisamos mudar com ele.”
– Angela Dannemann, superintendente do Itaú Social
Em sua palestra, Patton partiu de uma experiência da juventude, quando foi voluntário na África, para demonstrar as formas de conexão entre o pensamento avaliativo e a transformação social. Ele trabalhou em projetos de agricultura familiar em Burkina Faso, país do oeste africano. Ao retornar para casa e ao mundo acadêmico, teve contato com a obra de Paulo Freire, que o ajudou a compreender melhor as inquietações decorrentes dessa vivência e a sistematizar seus pensamentos.
O ponto central do pensamento avaliativo é o movimento de levar as pessoas a se engajarem e pensarem sobre o projeto de que participam e acerca da própria avaliação. Partindo do princípio de Freire de que todas as interações humanas embutem mensagens, o surgimento do conceito do pensamento avaliativo veio da compreensão desses significados, dessas “lições de vida”, como define Patton. “A qualidade da avaliação é afetada pelo engajamento, que cria um diálogo. Não é uma política de gestão empresarial ou social, é algo que podemos usar no dia a dia para tomar melhores decisões, inclusive pessoais”.
Problemas complexos exigem perguntas difíceis, incômodas. Nesse sentido, técnicas padronizadas de avaliação, replicadas em diferentes contextos, não se configuram como formas de pensamento avaliativo por não levarem em conta as variáveis aferidas no curso dos projetos e não previstas no modelo padrão utilizado.
Por isso, é a avaliação que deve mudar para melhor entender as transformações e não tentar explicá-las dentro de amarras. A pesquisadora Carol Weiss (1927 – 2013), autora da Teoria da Mudança, afirmou que “nada é tão prático quanto uma boa teoria”. Sua provocação, para Patton, ressalta a importância da maleabilidade das teorias para abarcar as diferentes realidades e objetivos dos projetos sociais.
“A transformação não vem de projetos isolados, mas de sistemas interligados. O principal não é a avaliação, mas uma postura diante do mundo, uma ação reflexiva, que traz resultados mais efetivos”. É um processo longo e muitas vezes não linear, envolvendo idas e vindas, bifurcações ou caminhos distintos.
Diálogo sobre avaliação e transformações sociais
Lorem ipsum dolor sit amet, consectetur adipisicing elit. Accusamus expedita vitae tenetur distinctio cupiditate! Culpa, a, porro amet dignissimos veniam incidunt numquam maxime vel minima repellat architecto optio placeat maiores.
Eius ex ad ut incidunt aspernatur facilis, molestias vero repellat enim distinctio provident excepturi aliquam illo libero blanditiis rerum minus molestiae doloribus tenetur ea officia pariatur mollitia ipsa quibusdam harum.
Laborum facilis, inventore ab voluptas, recusandae itaque. Fuga ad, totam iure culpa! Enim sed maiores cupiditate veniam ullam eligendi praesentium minima ipsam sapiente, nemo dicta excepturi placeat expedita dolorem molestias!
Eius ex ad ut incidunt aspernatur facilis, molestias vero repellat enim distinctio provident excepturi aliquam illo libero blanditiis rerum minus molestiae doloribus tenetur ea officia pariatur mollitia ipsa quibusdam harum.
Laborum facilis, inventore ab voluptas, recusandae itaque. Fuga ad, totam iure culpa! Enim sed maiores cupiditate veniam ullam eligendi praesentium minima ipsam sapiente, nemo dicta excepturi placeat expedita dolorem molestias!
“Vimos a capacidade que a Fundação teve ao trabalhar com poder público, comunidades locais e ONGs. Descobrimos que teríamos muito mais potência se voltássemos nossa atuação para diminuir as desigualdades sociais da cidade toda, não apenas de um território”.
Lorem Ipsum
Identificando falhas
O programa “Jovens Urbanos” busca potencializar as oportunidades de jovens das periferias das grandes cidades. Segundo Naércio Menezes, dois anos após o término de sua primeira edição, um grupo foi selecionado para participar de uma avaliação quantitativa. Os egressos apresentaram maior taxa de empregabilidade, maiores salários e menor índice de conflito com a lei em relação a outros. Porém, a avaliação apontou problemas, como o fato de que parte dos jovens não tinha concluído a formação. Os dados serviram para redesenhar o projeto, direcionando-o a uma faixa etária mais jovem. A evasão diminuiu e os resultados melhoraram.
João Franca descreveu o projeto “Nossa escola é em todo lugar”, desenvolvido em São Vicente (SP). A ação visa mostrar aos jovens que o espaço público pode ser educativo caso eles ajudem a criar experiências culturais e sociais nos territórios em que vivem. O Programa também estimula o diálogo entre educação popular e comunitária e a educação formal. O processo de avaliação utilizado é uma “roda avaliativa”. Jovens e crianças formam uma roda de conversa entre si, observados por outro grupo, dos adultos envolvidos na ação. Primeiro, as crianças conversam entre elas e a roda externa apenas ouve. Depois, há o diálogo entre ambas. Do processo, resultou uma nova forma de compreender os sentidos e impactos das ações sociais.
O pensamento de Paulo Freire e sua influência na prática e teoria da avaliação
A segunda mesa reuniu Patton, Moacir Gadotti (Instituto Paulo Freire), Vilma Guimarães (Fundação Roberto Marinho), com a mediação do consultor e pesquisador Thomaz Chianca. O tema central foram os princípios do pensamento de Paulo Freire que são úteis e aplicáveis à teoria da avaliação. Ideias de Freire, como desenvolver consciência crítica, entender que todos aprendem e ensinam ao mesmo tempo, unir reflexão e ação, valorizar o subjetivo, integrar emoção e razão, e compreender que toda pedagogia é política dialogam com a metodologia de Patton. Essas são algumas das ideias e práticas de Paulo Freire que influenciaram a sua teoria. O pesquisador destacou a importância do dossiê “Pedagogy of Evaluation” (Pedagogia da Avaliação), publicado em outubro de 2017 na 115º edição do periódico “New Directions for Evaluation” (Novos Rumos da Avaliação), revista oficial da Associação Americana de Avaliação.
Na perspectiva da Pedagogia do Oprimido (1968), de Freire, Patton explicou que assim como a educação é política, no sentido de ser relativa ao cidadão, a avaliação também é. “Há muitas relações de poder implícitas no processo avaliativo. Temos de aprender a entendê-las e usá-las de forma mais consciente, dialógica e horizontal”.
O presidente de honra do Instituto Paulo Freire, Moacir Gadotti, disse que o trabalho de Patton é uma continuação inovadora da obra de Freire.
“Sobrevalorizamos a avaliação como método e técnica, mas Patton traz a preocupação com o indivíduo avaliado para dentro de sua pedagogia da avaliação. Isso é algo novo e poderoso”
Como foram os Workshops?
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Fusce sapien leo, lacinia at leo vitae, mattis lacinia erat. Aenean eu mi sapien. Ut et velit massa. Mauris sit amet ornare eros. Sed bibendum elit purus. Curabitur luctus tellus scelerisque lectus molestie tempor. Sed sit amet justo nunc. Donec scelerisque iaculis nisi vel feugiat. Orci varius natoque penatibus et magnis dis parturient montes, nascetur ridiculus mus. Aliquam nisi urna, elementum a urna faucibus, convallis interdum purus. Quisque varius metus nec orci pulvinar suscipit.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Fusce sapien leo, lacinia at leo vitae, mattis lacinia erat. Aenean eu mi sapien. Ut et velit massa. Mauris sit amet ornare eros. Sed bibendum elit purus. Curabitur luctus tellus scelerisque lectus molestie tempor. Sed sit amet justo nunc. Donec scelerisque iaculis nisi vel feugiat. Orci varius natoque penatibus et magnis dis parturient montes, nascetur ridiculus mus. Aliquam nisi urna, elementum a urna faucibus, convallis interdum purus. Quisque varius metus nec orci pulvinar suscipit.
No 2º Workshop conduzido por Michael Patton, equipes do Itaú Social, Fundação Roberto Marinho e Instituto C&A acompanharam um histórico das experiências de avaliação de projetos sociais.
Com apoio do pesquisador e avaliador Thomaz Chianca, seu ex-aluno e discípulo, Patton listou alguns alicerces do processo avaliativo, como a descoberta dos critérios que nos levam a decisões, o histórico de teorias que desembocaram na Avaliação Focada no Uso, como as teorias da Filantropia e da Mudança. Falando sobre a filantropia, mostrou que a criação de conexões comprometidas gera as bases de um trabalho sólido. “Nem sempre o dinheiro é a questão. Às vezes, o comprometimento com verbas mínimas pode ser muito bem-sucedido”.
Na sessão, houve ainda uma participação especial: a entrada via skype de Jane Maland Cady, diretora do Programa Internacional da Fundação McKnight, que relatou como, com a participação de Patton, a avaliação ajudou a chamar a atenção da presidência de sua entidade para o trabalho filantrópico e a torná-lo mais efetivo.
A sistematização completa do 14º Seminário Internacional de Avaliação e está disponível abaixo em PDF.