Capacidade avaliativa no Brasil: um caso na Escola de Administração Fazendária em seus Centros Regionais do Nordeste

Abstract

Essa dissertação trata da análise da capacidade avaliativa na Escola de Administração Fazendária - Esaf, um órgão integrante do Ministério da Fazenda, com objetivo de analisar os seus centros regionais do Nordeste e os fatores que contribuem para a prática organizacional de fazer e usar avaliação no âmbito da ação governamental de seleção, formação e desenvolvimento de pessoal. Para isso buscou-se compreender a evolução conceitual de capacidade avaliativa, caracterizar, a partir da teoria do programa, a referida ação, e com isso definir o modelo de análise para analisar os principais fatores que podem contribuir para o aumento dessa capacidade, e por consequência para o aprimoramento do programa e ação governamental, melhor utilização dos achados para tomada de decisões gerenciais e ampliação da aprendizagem organizacional. A premissa é que o efetivo desenvolvimento da capacidade avaliativa – ECB exige uma ampla demanda de avaliação e que a sustentabilidade para conduzir a avaliação depende da medida em que a avaliação é usada dentro da organização. Esse conhecimento, quando utilizado, deve contribuir para a integração da avaliação na cultura das organizações de forma a conectar e fomentar as diversas dimensões que compõem o framework de capacidade avaliativa organizacional. Para tanto definiu-se como unidade de análise os centros regionais da Esaf no Nordeste e realizou-se pesquisa censitária in loco por meio de questionário – baseado em um modelo validado por um grupo de pesquisa da Universidade de Ottawa no Canadá – com 36 servidores e 3 gestores, com nível de resposta de 100%. Os dados foram analisados por análise fatorial e testes não paramétricos de Kruskal-Wallis para amostras independentes, em conjunto com análises descritivas e de conteúdo. Trata-se de uma amostra não probabilística uma vez que se usou o total do universo populacional. Os resultados demonstraram que a capacidade para fazer avaliação é menor que a capacidade para usar avaliação, além de os centros apresentarem comportamentos distintos quanto às dimensões de suporte organizacional, participação dos stakeholders na avaliação e condições de mediação do uso da avaliação. A organização apresenta uma capacidade avaliativa em desenvolvimento, e diversos fatores devem ser aprimorados, tendo como exemplo a avaliação como função da gestão e ampliação dos níveis de investigação avaliativa e de aprendizagem.

This dissertation is about the analysis of the evaluation capacity in the School of Finance Administration in Brazil – Esaf, an integral organ of the Ministry of Finance, with the objective of analyzing the regional school centers in the Northeast and the factors that contribute to the organizational practice of making and using evaluation in the scope government action to select, train and develop professionals. In order to do that, this dissertation sought to understand the conceptual evolution of evaluative capacity, to characterize, from the program theory, this action, and with that to define the analysis model to analyze the main factors that can contribute to the increase of this capacity, and by consequence for the improvement of the program and governmental action, better use of the findings for management decision making and expansion of organizational learning. The premise is that the effective evaluation capacity building – ECB requires a large demand for evaluation and that the sustainability to conduct the evaluation depends on the extent to which the evaluation is used within the organization. This knowledge, when used, should contribute to the integration of evaluation in the organizations culture in order to connect and promote various dimensions that make up the framework of organizational evaluation capacity. Esaf's regional centers in the Northeast were defined as a unit of analysis and it was made an in loco census research by using a questionnaire - based on a model validated by a research group from the University of Ottawa in Canada - with 36 servers and 3 managers, with 100% response level. The data were analyzed by factorial analysis and Kruskal-Wallis non-parametric tests for independent samples, in conjunction with descriptive analysis of the content. This is a non-probabilistic sample, because the total population was used. The results showed that the capacity to make evaluation is smaller than the capacity to use evaluation, besides the centers present different behaviors regarding the dimensions of organizational support, stakeholder participation in the evaluation and conditions of mediation of the use of the evaluation. The organization has a developing evaluative capacity, and several factors must be improved, taking as an example the evaluation as a function of the management and expansion of the levels of evaluation and learning research.