Leonardo Shibata, J-PAL LAC '16, sobre a evolução da avaliação de impacto no Brasil

Na nossa série 'Alumni Spotlight', exploramos as jornadas de ex-membros do J-PAL que continuaram a contribuir para políticas e pesquisas em diversos campos. Leonardo Shibata, ex-gerente de Pesquisa e Treinamento do J-PAL no Brasil, agora trabalha no Banco Interamericano de Desenvolvimento (BID). Ele reflete sobre suas experiências no J-PAL e como elas moldaram seu trabalho atual nesta edição da série.

Quando foi a primeira vez que você ouviu falar sobre o J-PAL? Por que você decidiu trabalhar aqui?

Eu ouvi falar sobre o J-PAL por meio de um anúncio de emprego. Eu havia acabado de completar meu mestrado em Saúde Pública na Universidade Johns Hopkins e estava tentando reingressar no mercado de trabalho quando entrei em contato com um especialista do BID (Banco Interamericano de Desenvolvimento) por um professor. Na época, o BID não tinha vagas, mas me informaram que uma organização parceira tinha — o J-PAL, para uma posição de gerente de pesquisa e treinamento. Já havia alguém contratado como gerente de políticas públicas, então eu me tornaria a segunda pessoa a trabalhar para o J-PAL no Brasil. Fiz algumas pesquisas para entender o que era o J-PAL, assim como ver se eu teria interesse em trabalhar na organização ou não, e se o J-PAL teria interesse em mim. Aprendi que era um centro de pesquisa fundado por economistas e fiquei apreensivo, mas naquela época, não havia muitas pessoas no Brasil familiarizadas com avaliações de impacto de políticas públicas, o movimento estava apenas começando. Meu perfil fazia mais sentido neste contexto: embora eu não fosse economista, minha formação em saúde pública me permitia entender a metodologia de uma avaliação aleatorizada. Eu também já tinha trabalhado no governo federal brasileiro e a posição era integrada ao governo.

O que você fazia quando trabalhou no J-PAL? Quais desafios você enfrentou?

Como gerente de pesquisa e treinamento, eu tinha duas funções principais. Uma era prospectar avaliações de impacto no governo federal, entrando em contato com gerentes, observando políticas governamentais e fazendo uma avaliação preliminar do que poderia ser avaliado usando avaliações aleatorizadas , e a outra era treinar equipes do governo federal para que elas pudessem entender o que é uma avaliação de impacto e como aplicá-la à política pública. No Brasil, tínhamos pouco conhecimento sobre o assunto e eu percebi alguma resistência —algumas pessoas não queriam um estranho verificando se sua política estava funcionando ou não, temendo perder o controle da narrativa. Outro desafio era explicar a aleatorização e o que ela significava, já que muita gente se opunha, preferindo oferecer um programa para toda a população ou estabelecer critérios claros para grupos específicos. Houve um esforço grande para explicar como a aleatorização poderia ser feita sem efeitos negativos.

Também encontrei muitos obstáculos devido à dinâmica política no Brasil na época. Eu entrei no J-PAL no final de 2015/início de 2016, durante o impeachment da presidente Dilma Rousseff. A chegada do J-PAL ao Brasil foi em um momento difícil, especialmente porque o objetivo era trabalhar com o governo federal, que estava passando por constantes mudanças, com novos ministros e novas equipes. Muitas vezes, começamos conversas que tiveram que ser repetidas em alguns meses devido a mudanças de pessoal. Para superar isso, adotamos diferentes estratégias. Uma delas era trabalhar com servidores públicos de carreira, pessoas que ainda estariam lá independentemente de mudanças políticas. Isso funcionou bem: mesmo anos depois, alguns desses servidores ainda se lembram do J-PAL quando os encontro. Procurar desenvolver relacionamentos com departamentos do governo que são menos visíveis e geralmente não são alvo de ações políticas, que em geral podem ser considerados mais protegidos, também é uma boa estratégia. Isso aconteceu com a parceria do J-PAL com a Escola Nacional de Administração Pública (ENAP) do Brasil e o estabelecimento de um curso em avaliações de impacto para políticas públicas. Na época em que o acordo foi formalizado, eu já havia deixado o J-PAL, mas ajudei a estruturar o curso junto com Carolina Araujo (a gerente de políticas públicas da época) e Anna Mortara (que me substituiu). Para os colegas do J-PAL que estão lidando com governos em situações instáveis, meu conselho é focar em servidores públicos de carreira e partes do governo que não devem ser muito afetadas por mudanças.

Como você vê a evolução do papel do J-PAL no Brasil e no mundo desde que você deixou a organização?

Na minha perspectiva, a primeira coisa que tenho notado é que o curso feito em parceria com a ENAP pode ser considerado algo muito relevante: significa que o J-PAL está conseguindo treinar gerações de servidores públicos no Brasil. Até agora, tivemos mais de oito anos de pessoas do governo que pelo menos ouviram falar em avaliações de impacto, sem mencionar quem escolheu se aprofundar, se especializando e levando isso para suas áreas de expertise. A outra coisa que vejo é que falar sobre avaliação de impacto no governo federal é muito mais fácil agora, há muito menos atrito e resistência. Por exemplo, em outubro de 2023, o Ministério da Saúde do Brasil publicou um livro sobre avaliação de impacto, focado em políticas de saúde no Sistema Único de Saúde brasileiro. Percebo isso como um resultado parcial do trabalho do J-PAL, juntamente com outras organizações, claro, mas comparado ao lugar onde o J-PAL estava no Brasil quando começamos, as pessoas conhecem a organização com muito mais frequência e também estão mais cientes do que é uma avaliação de impacto.

Como você acha que seu tempo no J-PAL contribuiu para sua posição atual no BID? Quais habilidades você aprendeu na organização que ainda lhe ajudam hoje?

A visão de avaliação de impacto, isto é, conseguir pensar nas políticas do início ao fim, do planejamento à avaliação. Normalmente, as pessoas esquecem de avaliar, focando no presente, e só pensam na avaliação mais tarde, quando já não há mais condições de fazê-la corretamente porque dados não foram coletados ou a articulação necessária entre os departamentos governamentais e a academia não foi feita — ou por qualquer outro número de razões. Meu tempo no J-PAL me deu a visão de que a avaliação deve ser pensada desde o início. Não é algo a mais, e sim algo que nos dirá se há um impacto ou não.

Que conselho você daria a alguém interessado em trabalhar no J-PAL ou em outra organização focada em pesquisa e políticas públicas?

Meu maior conselho, assumindo que a pessoa tenha o conhecimento técnico (o primeiro passo seria estudar!), é que qualquer instituição é feita de pessoas. É muito importante saber construir relacionamentos pessoais. O esforço do J-PAL em ter pessoas inseridas no governo faz uma grande diferença: estar presente no dia-a-dia para tomar um café ou almoçar é muito importante. Alguém que faz parte do J-PAL, quando está em uma reunião ou está interagindo com o governo, é alguém que está representando o centro de pesquisa e, se este alguém não souber construir relacionamentos, poderá estar prejudicando todo o trabalho do centro. Portanto, além de se ter uma base sólida de conhecimento técnico/teórico, é importante construir bons relacionamentos com as organizações com as quais você está interagindo.

A diversidade também é muito importante e algo que deve ser levado além do discurso. Em muitas organizações, podemos ver avanços na contratação de minorias, mas ainda falta a contratação de pessoas negras e indígenas. A orientação sexual parece estar sendo relativamente bem administrada, mas pessoas trans ainda sofrem — é muito mais difícil para elas. Ter uma equipe diversa nos permite fazer conexões em todos os níveis, e pode nos ajudar a alcançar melhor nossos objetivos.