Glaucio Neves, Aluísio Guimarães e Avilton Júnior
Resumo
Os paradigmas da administração pública têm evoluído ao longo dos tempos, indo da Administração Patrimonial até o novo paradigma denominado Governança Pública, passando pela Administração Burocrática e a Nova Gestão Pública (NGP). Ao longo da evolução dos referidos paradigmas, vários conceitos, modelos, sistemas e ferramentas de administração pública foram criados, transformados, consolidados e até mesmo abandonados. Cada etapa, sofreu impactos das anteriores, influenciou e aprimorou as seguintes, proporcionando importantes lições e abrindo novas oportunidades no pro- cesso permanente de modernização, reforma e gestão da administração pública no exterior e no Brasil. Assim, embora alguns paradigmas tenham perdido sua intensidade ao longo do tempo, muitas de suas características permanecem ativas, gerando impactos e influências sobre a gestão pública praticada na atualidade. O presente artigo sintetiza um extenso estudo de benchmarking sobre estes modelos, feito com base em análise de documentação a respeito publicada no Brasil e no exterior, com o objetivo de atualizar e revigorar os princípios norteadores e as dimensões operacionais da revisão do modelo de Gestão para Resultados (GPR) praticado no Governo do Estado do Ceará.
1. Introdução
Ao longo da evolução dos referidos paradigmas, vários conceitos, modelos, sistemas e ferramentas de administração pública foram criados, transformados, consolidados e até mesmo abandonados. Cada etapa, sofreu impactos das anteriores, influenciou e aprimorou as seguintes, proporcionando importantes lições e abrindo novas oportunidades no processo permanente de modernização, reforma e gestão da administração pública.
No momento em que o Governo do Estado do Ceará promove o fortalecimento do seu modelo de Gestão Pública para Resultados (GpR) torna-se fundamental lançar um olhar sobre o “estado da arte” dos paradigmas que têm suportado os processos de reforma e modernização da administração pública em vários países. Também, a necessidade de repensar o Estado, seus papéis e tamanho, tendo em vista a entrega de melhores serviços para a população e a busca permanente de equilíbrio financeiro.
Os paradigmas da administração pública têm evoluído ao longo dos tempos, indo da Administração Patrimonial, do início e meados do século passado, até a Nova Gestão Pública (NGP), que reinou quase absoluta nas décadas 1980/1990, passando pela Administração Burocrática. E a partir do final do século passado, surge um novo paradigma, genericamente denominado de Governança Pública, com foco na colaboração e na coordenação dos entes públicos e destes com a sociedade civil.
Ao longo da evolução dos referidos paradigmas, vários conceitos, modelos, sistemas e ferramentas de administração pública foram criados, transformados, consolidados e até mesmo abandonados. Cada etapa, sofreu impactos das anteriores, influenciou e aprimorou as seguintes, proporcionando impor- tantes lições e abrindo novas oportunidades no processo permanente de modernização, reforma e gestão da administração pública.
Todavia, é importante destacar que não se trata de uma evolução estritamente linear e segmentada. Muitas vezes os paradigmas encontram-se sobrepostos e caminham juntos, com avanços e retrocessos em um movimento pendular. Assim, embora alguns paradigmas tenham perdido sua intensidade ao longo do tempo, muitas de suas características permanecem ativas, gerando impactos e influências sobre a gestão pública, como representado na figura 1.
A administração pública brasileira é um excelente exemplo desta sobreposição. Ao mesmo tempo que se discute questões avançadas de governança pública e de como melhorar a eficiência dos serviços a partir de arranjos institucionais públicos-privados, ainda se constatam fortes traços patrimonialistas com os conflitos frequentes entre patrimônio público e propriedade pessoal.
Este artigo não tem a pretensão de esgotar todos os aspectos de cada um dos paradigmas e nem de descrever detalhadamente todos os passos da reforma administrativa e gerencial em curso no Governo do Ceará. Visa, portanto, resumir cada um, com suas características centrais, e apresentar o conjunto de princípios e dimensões operacionais que serviu para a construção das bases da implantação, em curso, do novo modelo de Gestão para Resultados do Estado do Ceará, regulamentado pelo Decreto N° 32.216, de 10 de maio de 2017. O Art.2º do referido decreto institui os princípios norteadores da Gestão para Resultados no Governo do Estado do Ceará, que devem guiar o comportamento pessoal e organizacional dos integrantes do Governo do Estado em todas as suas instâncias. Enquanto o Art.3º descreve as dimensões operacionais que constituem o referencial conceitual utilizado para a concepção do modelo da GpR-CE. Estes princípios e dimensões foram elaborados a partir de ampla reflexão com os integrantes do governo sobre a evolução da Gestão para Resultados no Estado, com suas potencialidades e fragilidades frente aos paradigmas de evolução da gestão pública.
2. O Paradigma da Administração Patrimonial
A Administração Patrimonial foi o paradigma dominante nas sociedades pré-capitalistas e feudais, não significando, porém, que alguns de seus traços básicos não tenham subsistido até os dias de hoje, de forma permanente ou episódica, em determinados contextos ou circunstâncias. Para melhor compreensão do paradigma, convém distinguir a administração patrimonial do Estado ao qual está associado – o Estado Patrimonial. Mesmo porque, como tem acontecido com frequência, manifestações de gestão patrimonial têm ocorrido em Estados com características não necessariamente patrimoniais.
2.1. O Estado Patrimonial
Caracteriza-se pela existência de um “soberano”, proprietário do território e de tudo o que nele se encontra (pessoas e bens), sobre os quais tem poder absoluto. Neste tipo de Estado a coisa pública (res publica) não pertence à coletividade: tudo se destina ao soberano, que administra o patrimônio público como sua propriedade pessoal. Embora, nos dias de hoje, possam parecer absurdas ou abusivas, tais características constituíam a essência (e não uma distorção) do modelo patrimonial. Sua base repousava na santidade ou sacralização da tradição: a crença na inviolabilidade daquilo que foi assim desde sempre1.
O Estado Patrimonial caracterizava-se ainda pela submissão pessoal dos súditos ao detentor do poder, cuja autoridade era ilimitada e arbitrária, desvinculada de normas e regras previamente instituídas. No decorrer do tempo, porém, ocorre uma certa descentralização do poder doméstico, à medida que o soberano promove a distribuição de terras e benefícios aos seus descendentes e dependentes ou incorpora outros soberanos ao seu âmbito de influência, dando margem ao surgimento da chamada “dominação patrimonial”.
Ao longo do tempo, mudanças políticas, econômicas e sociais vão transformando estas características, com maior ou menor velocidade, segundo diferentes contextos, dando início à chamada despatrimonialização do Estado e do poder. Assim, progressivamente as rendas senhoriais são substituídas por impostos, que passam a financiar as despesas do governo. Ocorre então, no plano jurídico, a separação entre direito público e direito privado; no plano administrativo, a constituição de uma burocracia racional; no plano militar, a formação de um exército permanente, custeado por rendas públicas; no plano financeiro, a separação entre rendas e patrimônio estatal dos governantes e dos funcionários. No seu sentido geral, esse processo dá início ao movimento de formação e consolidação do Estado moderno (PRADO, 2016).
2.2. Administração Patrimonial
A administração pública patrimonial tem o soberano como sua figura central e, portanto, o aparelho estatal existe para atender às suas necessidades. Seus integrantes eram escolhidos com base no parentesco, na amizade, em afinidades diversas e na fidelidade e submissão à autoridade. Conhecimentos, competências e habilidades técnicas não eram critérios para a escolha dos servidores públicos. Da mesma forma, não havia critérios para a criação de cargos públicos, que visava fundamentalmente a garantia da satisfação dos aliados e, consequentemente, a manutenção do poder. Nestas condições, a lealdade do servidor não estava adstrita à administração pública, mas ao detentor do poder que lhe proporcionou o cargo.
O cargo público equivalia à posse de uma fonte de renda em troca do cumprimento de determinados deveres, cabendo ao funcionário utilizar sua remuneração como lhe aprouvesse, conquanto cumprisse com suas obrigações em relação ao soberano ou a quem devesse fidelidade. Neste quadro, os relacionamentos no interior do aparelho do Estado não objetivavam o cumprimento de atribuições e responsabilidades estabelecidas, tendo em vista o funcionamento da máquina pública ou as operações de suas unidades. Inexistiam padrões ou regras explicitas para a tomada e o controle das decisões, nem métodos ou critérios claros para o exercício das práticas gerenciais, operacionais e administrativas.
3. O Paradigma da Administração Burocrática
As distorções e os excessos praticados ao longo do tempo pelo Estado e pela Administração Patrimonial revelaram uma atuação prejudicial aos interesses gerais da sociedade e incompatível com os valores e as necessidades do capitalismo industrial e da democracia parlamentar nascentes. É justamente neste contexto que emerge e se consolida a Administração Burocrática, inspirada no paradigma da burocracia weberiana, como expressão da racionalidade legal e gerencial. Este que passou a ser considerado como o modelo universal de gestão para o setor público, capaz de atender e satisfazer aos interesses, valores e necessidades requeridos pela nova sociedade.
O modelo burocrático serve aos interesses públicos, perfeitamente separáveis do interesse privado, e seus serviços são prestados com base na plena subordinação às normas e regras preestabelecidas. O comportamento burocrático, então, torna-se previsível, com os funcionários selecionados e promovi- dos por mérito e protegidos de pressões políticas e sociais, voltados apenas para o atendimento aos interesses gerais.
A Administração Burocrática apresentava as seguintes características básicas:
- Modelo a serviço dos interesses públicos, perfeita e claramente separados dos interesses privados;
- Transparência e critérios racionais e legais na tomada das decisões, na gestão dos negócios e no funcionamento da administração pública;
- Serviços prestados com base na plena subordinação a normas, diretrizes, regras, processos e procedimentos prévia e detalhadamente fixados e de pleno conhecimento de todos os dirigentes, funcionários e público atendido;
- Impessoalidade no tratamento com funcionários, consumidores e fornecedores;
- Clareza e nitidez de hierarquia de autoridade, de linha de comando e controle e de divisão e especialização interna do trabalho organizacional;
- Comportamento estável e previsível da administração pública, em geral, e de dirigentes e funcionários integrantes, em particular; e
- Funcionários recrutados por concurso, selecionados e promovidos por mérito, competência técnica e administrativa, protegidos de pressões políticas e sociais e comprometidos exclusivamente com os interesses gerais da sociedade.
Todavia, a prática do modelo burocrático não atendeu plenamente às suas premissas e expectativas.
Na realidade, as críticas e as reações às ineficiências e às dificuldades de adaptação da administração burocrática surgem já nos anos 50 (CHIAVENATO, 1993). De fato, na época, Robert Merton constatou e caracterizou uma série de deficiências teórico-conceituais, que denominou de “consequências imprevistas ou disfunções” da burocracia. Outra análise crítica muito compartilhada nos anos 50 foi o chamado “ciclo vicioso burocrático”, que se expressava na priorização dos meios sobre os fins, na desconsideração de clientes e usuários e em diversas manifestações de alienação dos trabalhadores.
As deficiências, disfunções e/ou consequências inesperadas apresentadas pelo paradigma da Administração Burocrática, foram elencadas por Merton (CHIAVENATO, 1993) e são apresentadas resumidamente a seguir:
- Internalização e apego aos regulamentos – preferência pelas normas, provocando um deslocamento das metas para os meios/recursos e conferindo ao funcionário um comportamento tecnicista, conservador e incapaz de inovação, criatividade, ajustamento ou adaptação às mudanças.
- Excesso de formalismos e registros – necessidade de documentar formalmente qualquer comunicação, desconsiderando os novos meios de registro e divulgação de informações.
- Resistências às mudanças – a repetição e a imutabilidade da rotina burocrática forçam o funcionário a optar pela segurança de sua atividade, levando a que as perspectivas de mudança sejam interpretadas como perigos à sua tranquilidade, conforto e conquistas.
- Despersonalização do relacionamento – a impessoalidade da burocracia dificulta a individualização dos funcionários, implicando um relacionamento puramente formal, baseado nos cargos, matrículas ou outras formas de identificação funcional.
- Categorização com base no processo decisório – devido à rigidez hierárquica, qualquer decisão compete ao cargo mais elevado, dificultando a busca e reduzindo as opções de respostas aos problemas enfrentados.
- Superconformidade às rotinas e aos procedimentos – a devoção às normas, regulamentos e procedimentos leva o funcionário a preocupar-se unicamente com seu cumprimento, consequentemente a organização perde a flexibilidade e a capacidade de criação e de inovação.
- Exibição de sinais de autoridade – a hierarquização leva os funcionários à necessidade de permanente exibição de sua posição de autoridade, afastando a colaboração e articulação na execução das atividades conjuntas.
- Dificuldade no atendimento a clientes e conflitos com o público – a padronização das atividades incorpora-se como valor interno, provocando um relacionamento impessoal dos funcionários para com o público, que muitas vezes espera um atendimento de acordo com suas demandas e necessidades específicas.
Mesmo com as inúmeras críticas apresentadas, o modelo burocrático foi imprescindível para a consolidação do capitalismo e do Estado de Direito, gerando previsibilidade através da obrigação do cumprimento das normas gerais e da garantia da segurança jurídica ao mercado. Além disso, conferiu eficiência e modernidade à administração pública, por meio da sua racionalidade científica e das novas exigências e valores morais. Finalmente, atendeu também às demandas dos trabalhadores, uma vez que o conhecimento prévio das normas e regras proporcionavam imparcialidade e justiça (CHIAVE-NATO, 1993).
De fato, na prática, o paradigma burocrático continua presente na administração pública, tanto por questões de proteção individual e de cultura organizacional, quanto porque constitui o modelo mais adequado para certas funções e atividades do Estado, principalmente no momento em que a necessidade de conformidade legal (compliance) 2 ganha força nos setores público e privado brasileiro. Destaque-se que o próprio “Plano de Reforma do Aparelho do Estado”, do Governo Federal, nitidamente inspirado na Nova Gestão Pública, preconizava um espaço para a “administração pública burocrática”, como modelo de gestão para o Núcleo Estratégico do governo3. Vale destacar, neste sentido, que Catalá, um dos mais renomados especialistas em administração pública, defendia a tese de que, em cer- tos estágios de desenvolvimento da administração pública, o modelo burocrático seria o melhor paradigma (PRATS et alii, 2005).
Nada mais revelador da importância do modelo burocrático, como guardião dos valores republicanos, quanto o combate atualmente travado no País, em termos de gestão pública, entre segmentos da administração burocrática (Policia Federal, Ministério Público, TCU e Poder Judiciário) e as diferentes alianças patrimonialistas formadas por grupos empresarias e partidos políticos e funcionários públicos.
Por sua vez, no campo teórico-conceitual, o modelo burocrático continua a ser defendido como adequado em certas situações específicas ou como complemento aos demais paradigmas de reforma administrativa, conforme destacado a seguir:
- Primeiro, o modelo burocrático, segundo Mintzberg, seria a melhor opção organizacional em determinados contextos (ambiente simples e estável, organizações grandes e maduras, trabalho racionalizado, produção em massa ou série…) (MINTZBERG, 1989).
- Segundo, nenhum dos paradigmas atuais é capaz de, isoladamente, enfrentar os desafios colocados à administração pública. Surge, neste cenário, o conceito de Metagovernança, como uma junção dos três modelos básicos de governança: hierárquica (burocrática), mercado e rede (MEULEMAN, 2008). Um exemplo é a governança do setor público definida para a Austrália (ANAO, 2014) que contém simultaneamente elementos do paradigma burocrático, da nova gestão pública e da governança pública.
- Terceiro, observa-se que ainda há uma ampla discussão na literatura especializada a respeito do papel e importância da organização burocrática. Apesar das fortes críticas, as organizações burocráticas continuam a constituir fatores fundamentais para a defesa da democracia e dos valores republicanos. Adicionalmente, são apresentadas pesquisas empíricas que demonstram o forte crescimento das organizações burocráticas em diversos países, desmentindo assim o seu propalado declínio ou desaparecimento. Alguns autores, inclusive, apresentam propostas para a reanimação da burocracia como instrumento da governança pública (OLSEN, 2007).
4. O Paradigma da Nova Gestão Pública
Durante os anos 1980 e 1990, o mundo observou e vivenciou um profundo e amplo processo de modernização da administração pública e de reforma do Estado, baseado em um modelo que ficou conhecido como a Nova Gestão Pública (NGP) – New Public Management (NPM). Seu surgimento e consolidação decorreram de quatro fatores, a saber: (a) da incapacidade de mudança e adaptação da gestão burocrática; (b) da crise financeiro-fiscal que se abateu em quase todo o mundo, a partir da década de 1970, dificultando a capacidade dos Estados de promover o bem-estar social e/ou o desenvolvimento econômico dos países; (c) da concentração e predominância, nos principais centros de poder mundiais, de uma ideologia com fortes características neoliberais e privatistas; e (d) do fortalecimento da globalização levando ao enfraquecimento do poder e controle dos governos e dos próprios Estados nacionais (ABRUCION, 1997).
4.1. O gerencialismo puro
A existência de uma elevada insatisfação com a gestão burocrática dominante, a ascensão de teorias extremamente críticas à burocracia estatal, a crença dominante na opinião pública, sobre a superioridade do modelo privado de gestão, aliadas circunstancialmente à vitória de lideranças neoliberais no Reino Unido e nos Estados Unidos, criaram as condições necessárias para a implantação e disseminação do modelo gerencial na administração (ABRUCIO, 1997).
É justamente neste contexto que surge e se instala o modelo do gerencialismo puro, cuja premissa básica era que as soluções para as deficiências da administração pública estavam centradas na redução do tamanho do Estado e na equiparação da função pública ao modelo gerencial privado, por meio da adoção de sistemas e técnicas vigentes nas empresas. Seus principais legados foram as medidas de desburocratização, tanto interna quanto em relação aos cidadãos, os instrumentos para aumentar a economia e a eficiência do setor público, e a defesa de uma cultura gerencial mais empreendedora (ABRUCIO et alii, 2011).
No entanto, o gerencialismo puro adotou uma visão negativa da intervenção estatal e burocrática, deixando de captar a relevância da ação governamental no mundo contemporâneo e não percebendo a especificidade e a necessidade da burocracia como contraponto ao patrimonialismo e à garantia da estabilidade das sociedades contemporâneas. Além disso, não considerou que a gestão pública tinha uma forma de operação e uma ética diferente do setor privado, especialmente em relação aos desígnios democráticos e à necessidade de produzir serviços públicos para além da eficiência (ABRUCIO et alii, 2011).
4.2. A Nova Gestão Pública – Diversidade, Amplitude e Evolução
A Nova Gestão Pública, ou NGP, apesar de sua forte influência e ampla disseminação, em praticamente todo o mundo, não constituiu um movimento unificado, organizado ou convergente, baseado em modelo padronizado, de aceitação universal. Na verdade, a NGP foi sendo concebida e implantada de forma progressiva, dando margem a uma variedade de correntes, tendo em comum, basicamente, a certeza da superioridade dos modelos, técnicas e ferramentas do setor privado e a consequente garantia dos impactos positivos de sua aplicação na administração pública.
No entanto, mesmo considerando a extrema diversidade dos modelos e correntes de reforma administrativa abrigados sob o termo Nova Gestão Pública, alguns especialistas tentaram sintetizar um conjunto de princípios e características comuns, que constituiriam o quadro básico da Nova Gestão Pública.
Além da diversidade de modelos e correntes de NGP, contatou-se igualmente variações nas suas implantações ao redor do mundo, conforme observação a seguir:
“A Nova Gestão Pública foi o paradigma de reforma administrativa que prevaleceu até meados dos anos 90, acompanhando a hegemonia da agenda neoliberal (…). Naturalmente, não se aplicou em todos os países por igual: teve grande influência nos países anglo-americanos – ainda que com diferenças entre eles –, menos nos países nórdicos e escassa nos países de matriz latino-americana e germânica. Na Espanha, sua influência prática foi es- cassa, ainda que desigual…”
PRATS et alii, 2005, p.114
Outra característica de implantação de reformas administrativas, segundo os preceitos da NGP, é a relativamente reduzida consideração da ética e de valores públicos. Além disso, frequentemente, o processo é deflagrado de forma pontual, descoordenada, sem um compromisso formal do governo e da formulação prévia e adequada de conceitos, modelos, estratégias, programas e ações que vão dar suporte ao programa.
O Plano de Reforma do Governo Federal Brasileiro (MARE, 1995), no período 1995-1998, é um modelo exemplar de programa completo e ordenado de reforma administrativa, segundo os princípios da NGP, com os seguintes elementos básicos:
- Uma instituição responsável por sua concepção e implantação – o Ministério de Administração e Reforma do Estado – MARE; e
- Um Plano Diretor de Reforma do Estado, contendo os elementos básicos para sua implantação, tais como: objetivos e estratégias básicas, os setores fundamentais do aparelho do Estado, as formas de propriedade no Aparelho do Estado, as formas de administração dos serviços públicos segundo os setores do Estado; o conjunto de medidas constitucionais, complementares e ordinárias para a implantação da reforma administrativa; e o conjunto de medidas estruturais para a definição, criação e implantação dos novos tipos de organização pública requeridas pela reforma.
Evidentemente, novas formulações, leis e medidas foram sendo definidas à medida que o Programa ia sendo implantado.
Basicamente, foi esta a linha adotada pelo Plano Diretor da Reforma do Estado e que, embora não implantado na sua plenitude, produziu e ainda produz efeitos positivos na administração pública brasileira. Por outro lado, os recentes movimentos denominados de “choque de gestão”, que vêm ocorrendo em algumas administrações estaduais, são fortemente inspirados nos seus princípios, conceitos e ferramentas.
No entanto, existe um aspecto do Plano Diretor que o torna singular em relação às reformas similares desenvolvidas nos diferentes países. Trata-se da consideração explícita da gestão burocrática, sob a denominação de “administração pública burocrática”, como um modelo (e não distorção). Esta seria a forma ideal de gestão para o Núcleo Estratégico do Governo (ou pelo menos para parte dele), para o qual, inclusive, foram estabelecidos objetivos específicos de desenvolvimento e modernização. Perspectiva que praticamente não foi adotada e absorvida pelos processos de reforma no Brasil.
Não obstante a diversidade e variedade das experiências mundiais em Nova Gestão Pública, a “orientação para resultados” (ou para o mercado, ou cliente ou desempenho) constitui uma premissa presente em praticamente todas elas, representando, na realidade, uma das suas maiores contribuições à administração pública. De fato, a orientação para resultados representou uma mudança radical nos modelos da administração pública ao vislumbrar uma nova perspectiva de abordar a dinâmica e o funcionamento das organizações, retirando o foco dos meios (procedimentos, recursos e insumos) para colocá-lo nos produtos/serviços e, principalmente, nos resultados finalísticos ou transformadores (ou- tcomes – resultados de interesse do cidadão), conforme diagrama a seguir.
Embora as correntes, versões e experiências a respeito do tema sejam bastante diversas e variadas, existem alguns princípios e diretrizes que não podem ser excluídos de qualquer descrição de “orientação para resultados”, são eles:
A partir desse conjunto de princípios, duas linhas de implantação e operacionalização da “orientação para resultados” podem ser consideradas:
a) a gestão orientada para resultados; e
b) a organização orientada para resultados.
No primeiro caso, a abordagem centra a atenção nos aspectos e ferramentas gerenciais para implantação dos referidos princípios de “orientação para resultados”, dando origem aos inúmeros modelos de “Gestão para Resultados-GpR”. Embora haja uma grande variedade de modelos e ferramentais gerenciais, a figura a seguir ilustra as grandes preocupações e elementos deste primeiro tipo de abordagem (SERRA, 2008).
A segunda linha – a organização orientada para resultados4 (REZENDE, 1998) – contém a primeira, mas procura inseri-la e ajustá-la dentro da organização correspondente. Neste sentido, há toda uma preocupação com a identificação, alinhamento e adequação de todas as dimensões e fatores organizacionais que contribuem de forma relevante para a implantação e operação dos princípios de orientação para resultado. O quadro ilustrativo a seguir ilustra a alta complexidade da intervenção.
Questões ideológicas à parte, a NGP representou uma tentativa de introdução de modelos, técnicas e ferramentas da gestão privada na administração pública. As entidades públicas passaram então a operar segundo um enfoque empresarial, baseado no planejamento estratégico e na gestão por resultados e segundo uma orientação para o mercado e para a “competição”. O sucesso da NGP foi inegável, tanto na modernização da gestão pública, quanto na maior focalização da ação do Estado.
Naturalmente, como qualquer abordagem organizacional, a Nova Gestão Pública apresenta deficiências e insuficiências, como “consequências inesperadas” similarmente à Administração Burocrática, entre as quais se destacam: a fragmentação da estrutura do governo5; a perda da perspectiva integrada dos problemas e das políticas do setor público; a distorção ou redução da dimensão estratégica do planejamento público; a supervalorização dos valores e padrões empresariais e de mercado, em detrimento da ética e da maximização de valores públicos; e a visão simplista a respeito da magnitude, complexidade e multissetorialidade das mudanças gerenciais, comportamentais e culturais envolvidas na transformação de uma administração burocrática tradicional em um modelo de gestão.
5. O Paradigma da Governança Pública
A partir do final dos anos 1990, o paradigma de reforma administrativa do Estado é submetido a um novo desafio e a uma acentuada mudança. A fragmentação da estrutura e do planejamento da administração pública em função da aplicação da NGP e o aumento da complexidade e da incerteza associados aos desafios e problemas típicos da sociedade moderna e a incapacidade gerencial, técnica e financeira do Estado para enfrentá-los isoladamente, provocam perda de coordenação e controle do Estado sobre a execução e os resultados das políticas e ações do Governo e impotência para isoladamente formular e implantar as políticas públicas, em toda a sua completude
Em função do exposto, cresce a percepção, em vários países, em torno da necessidade de uma atuação da administração pública fundamentada na qualidade da interação entre os diversos atores envolvidos nas políticas e ações públicas. Surge assim progressivamente um novo paradigma de reforma administrativa – genericamente denominado de Governança Pública – que tem por foco, não as entidades públicas isoladamente, mas a articulação e colaboração entre elas e delas com a sociedade civil. A premissa básica é que a adoção desse novo foco permite à administração pública, não apenas atuar de forma integrada, convergente e colaborativa, como também atender às demandas e desafios da sociedade, de forma consistente com a complexidade e interconectividade, segundo as quais os pro- blemas se apresentam no mundo moderno.
De acordo com os defensores da Governança Pública, centrar a ênfase na interação não significa a eliminação ou minimização da importância das funções, estruturas e processos organizacionais, nem o abandono das preocupações com resultados, eficiência e custos individuais. Em última instância, trata-se de subordinar tais questões organizacionais à necessidade de uma abordagem integral aos problemas complexos, com base na articulação e colaboração entre os atores relevantes envolvidos, sem, no entanto, dar espaço demasiado às discussões sobre a complexidade das questões, o que poderia levar à “paralisia por análise”.
Ainda assim, não se dispõe de um modelo de aceitação ou aplicação universal. Na prática, os paradigmas de Governança Pública em desenvolvimento em vários países diferem em muitos aspectos, mantendo, porém, o princípio básico de integração, articulação e colaboração.
O Reino Unido criou o joined-up government, com uma ampla consciência de que a sua implantação e operação constitui uma tarefa bastante complexa e que para isso são necessários modelos, instrumentos e manuais de boas práticas para operar formas integradas, transversais e colaborativas de execução de ações complexas e fortemente relacionadas. Além de uma forte percepção de que as diferentes abordagens de governo são construídas para complementar, e não para substituir, as estruturas verticais e as práticas tradicionais.
A Nova Zelândia criou a governança integral ou colaborativa, em março de 2012, quando foi anunciado o programa de governo voltado para um conjunto de dez resultados desafiadores, com um Plano de Ação para cada um deles, dentro das premissas colaborativas do programa da reforma6.
A Austrália foi o país que mais avançou na concepção e formalização de um paradigma abrangente da Governança Pública, criando o whole-of-government. Este modelo estabelece seus principais fundamentos, como indicado na figura a seguir, buscando claramente uma convergência entre os valores e as abordagens básicas dos paradigmas da administração burocrática, da nova gestão pública e da governança pública (ANAO, 2014).
O governo do Canadá tem se preocupado, há muitas décadas, com as questões de coordenação e cooperação, inicialmente sob a denominação de governo coordenado e, mais recentemente, como gestão horizontal (HALLIGAN et alii, 2011).
Na prática, portanto, a Governança Pública é uma espécie de termo “guarda-chuva”, abrigando o conjunto de conceitos anteriormente indicados.
Embora no âmbito das reformas administrativas e no nível dos governos o paradigma da Governança Pública ainda não tenha convergido a ponto de constituir um modelo geral, os conceitos subjacentes de coordenação e articulação intersetorial e interinstitucional têm avançado bastante no campo das políticas públicas. Assim, o setor de saúde tem avançado fortemente na construção e implementação da governança das suas redes, tendo introduzido, nas suas práticas, em meados da década dos anos 2000, o conceito “saúde em todas as políticas”, numa clara demonstração de que a solução para os problemas de saúde requeria a participação coordenada e colaborativa de diferentes políticas. Especialistas em saúde, inclusive, advogam que conceitos similares poderiam ser introduzidos em outros campos de políticas públicas, requerendo igualmente a adoção da abordagem defendida pelo paradigma da Governança Pública.
A ideia da intersetorialidade e da interinstitucionalidade das ações e políticas públicas tem avançado fortemente em todo o mundo. Neste sentido, recentemente, surgiu o movimento “cruzamento de fronteiras” (crossing boundaries) (O’FLYNN et alii, 2014). Parte da percepção de que, no século 21, os governos estão cada vez mais focalizados na concepção e desenvolvimento de meios e maneiras para fazer conexões entre fronteiras, sejam organizacionais, jurisdicionais ou setoriais, na busca de seus objetivos. Isso seria válido tanto para os problemas de elevada complexidade – mudanças climáticas, desigualdade econômicas, intolerância racial – quanto para questões mais diretas e pontuais, como a prestação integrada de serviços públicos.
6. Síntese dos Paradigmas da Administração Pública
Em princípio, cada novo paradigma busca superar as deficiências dos anteriores, bem como produz impactos – ou consequências imprevistas –, cujas soluções são encaminhadas aos paradigmas seguintes em um processo de permanente modernização da administração pública para fazer face às novas demandas da sociedade.
Dessa forma, o que se vê na prática da gestão pública no mundo é um mosaico de experiências que mesclam elementos de vários paradigmas – do patrimonialismo à governança pública –, trazendo singularidade à evolução da gestão pública em cada localidade.
Uma síntese das principais características e deficiências dos quatro paradigmas, descritos anteriormente, encontra-se sumarizado no quadro a seguir.
7. Evolução do Modelo de Gestão para Resultados – GpR no Governo do Ceará
No estágio atual de maturidade de gestão do Governo do Ceará predominam os conceitos da Nova Gestão Pública – NGP, a partir da implantação da Gestão Pública para Resultados – GpR, que teve início nos anos 2000, mas sua prática traz desde características da burocracia clássica a alguns poucos ele- mentos de articulação e coordenação típicos da Governança Pública.
De 2000 até 2006 o Governo avançou na criação das bases para o fortalecimento da orientação para resultados, com destaque para: (1) elaboração de plano estratégico desdobrado em quatro eixos trans- versais, com diretrizes estratégicas e indicadores de nível estratégico, tático e operacional; (2) Instituição do Comitê de Gestão Financeira – COGERF, em linha com a necessidade de alcançar e manter o equilíbrio fiscal; (3) elaboração dos planos estratégicos das secretarias, liderados pelo COGERF; (3) instituição e estruturação da matriz de resultados conectando produtos/entregas setoriais com metas finalísticas; (4) redução do número de programas e foco das ações prioritárias e sala de situação; (5) capacitação ampla em GpR para todos os servidores, dentre diversos outros avanços.
Com o passar do tempo e a partir de novas orientações estratégicas e diretrizes a partir de 2007, alguns aspectos centrais do método de gestão perderam importância ou foram enfraquecidos (como as matrizes de resultado e o foco na medição e avaliação de indicadores de desempenho), com menor intensidade no período 2007-2010 e maior no período 2011-2014.
O direcionamento dos esforços de planejamento e gestão foram orientados por uma visão predominantemente de curto prazo e focada na execução de projetos de investimento (preponderantemente grandes obras de infraestrutura). Este esforço gerou avanços importantes nos aspectos de monitoramento e controle financeiro, mas contribuiu para a fragmentação das ações e o enfraquecimento da conexão das ações (projetos/programas estratégicos) com os resultados finalísticos.
A partir de 2015, diante de uma nova realidade financeira do Governo e de novas aspirações para o futuro, constatou-se a necessidade de dar um novo fôlego para o modelo de gestão em vigor, resgatando alguns fundamentos da sua origem e incorporando novos princípios e abordagens.
A figura abaixo descreve a evolução do modelo de GpR no Ceará, assim como os principais marcos de 2003 até 2015.
8. Novos Princípios e Dimensões Operacionais para Atualização do Modelo de Gestão para Resultados no Estado do Ceará
A nova fase do modelo de gestão, iniciada em 2016, tem como meta até 2026 colocar a gestão para resultados como prática e rotina em todo o governo, segundo sete princípios e implementada em quatro dimensões operacionais.
Os princípios e dimensões foram construídos incorporando elementos e aprendizados de cada um dos paradigmas da gestão pública descritos anteriormente, amplamente discutidos com as equipes do Governo ao longo de todo o ano de 2016, em um processo participativo e de construção de consensos e aproximações sucessivas.
Todo o arcabouço de atualização do modelo de gestão para resultados encontra-se formalizado no decreto governamental no Decreto N° 32.216.
8.1. Novos princípios da gestão no Governo do Ceará
Os princípios do modelo são condições e valores que devem guiar a cultura e o comportamento organizacional e pessoal dos integrantes do Governo do Estado em todas as suas instâncias a partir de 2016. São princípios que, em alguma medida e intensidade, já são praticados no Governo do Ceará, mas que precisam ser fortalecidos sempre e devem ser adotados como pilares para a formulação e implantação de políticas públicas.
- Foco em públicos-alvo claros e inequívocos: A administração pública deve estar amplamente orientada para o atendimento prioritário à sociedade cearense e seus cidadãos, segmentados em públicos-alvo claramente identificados, caracterizados e delimitados como beneficiários finais da ação do estado, com base em métodos e práticas adequadas de planejamento e gestão. Neste contexto, a esfera pública é o locus privilegiado do exercício da cidadania e do planejamento, execução e gestão das ações finalísticas do governo do estado, baseando-se no conceito de cliente, ou seja, partindo de “fora para dentro das organizações”.
- Forte orientação para resultados, numa perspectiva de longo prazo: O planejamento com visão sistêmica e de longo prazo deve ser um instrumento de governo, atualizado a cada quatro anos. Desdobrado em políticas públicas, programas, projetos e processos de médio e curto prazos, que levem em conta o governo como uma totalidade organizada, composta de iniciativas múltiplas e diversificadas, articuladas e alinhadas para produzir resultados; e que considerem cenários, fatores e atores externos ao Governo. A alocação de recursos deve ter estreito alinhamento com os resultados almejados. A fixação de resultados finalísticos se dará sob a ótica das principais demandas e necessidades dos públicos-alvo, com seus respectivos indicadores, metas e prazos que permitam mensuração, monitoramento e avaliação ex ante e ex post.7 A escolha das ações e a alocação de recursos críticos deve ter forte senso de seletividade, além de incorporar a busca pela eficiência e pela melhoria da qualidade do gasto.
- Flexibilidade e agilidade administrativa: a ação governamental deve ser pautada pelos princípios da flexibilidade, proatividade e tempestividade. A atitude burocrática deve ser gradualmente substituída por uma postura empreendedora, com forte senso de urgência e maior autonomia e flexibilidades administrativas e financeiras dos gestores públicos. A administração estadual deve pro- mover o reforço da liderança e dos talentos gerenciais, mais próximos ao público-alvo e com percepção mais precisa e completa dos problemas e das oportunidades na ponta. Essa mudança cultural requer a adoção do princípio da responsabilização, promovendo a alocação das atribuições, dos desafios e dos poderes cabíveis a pessoas físicas e não apenas a órgãos ou a cargos genéricos. Requer também a definição de responsabilidades na execução de ações e na alocação de recursos para o alcance dos resultados contratualizados. A administração estadual passa a atuar de forma descentralizada e em rede, estabelecendo laços com diferentes setores da sociedade, no sentido de responder às demandas, resolver os problemas e buscar resultados com e para a sociedade.8
- Valorização e comprometimento profissional com resultados: O estado deve dispor de métodos de gestão de pessoas modernos e orientados para resultados, com amplo investimento na capacitação e no desenvolvimento profissional dos servidores. A imagem do serviço público deve ser fortalecida junto à sociedade e as diferenças entre o mercado de trabalho público e privado serão cada vez menores. As modelos de incentivos, sejam eles financeiros ou não-financeiros, devem ser pautados pela qualidade do serviço prestado aos cidadãos. O modelo de incentivo financeiro atrelado a resultados será parte integrante de um sistema de gestão associado ao alcance de resultados de interesse da sociedade, ao invés de apenas uma ferramenta motivacional para as equipes. Haverá forte estímulo à inovação com foco na geração de valor para a sociedade, apoiado por métodos e busca constante de soluções orientadas para o aumento da geração de valor para os beneficiários dos serviços públicos, visando a melhoria, ampliação e a efetividade dos resultados. Os valores e princípios da legalidade e integridade na administração pública serão ainda mais fortalecidos, com “tolerância zero” com o descaso e a negligência, visando fortalecer a integridade e alcançar elevados padrões de probidade. a função pública deve ser valorizada com forte reconhecimento social da qualidade do trabalho prestado à sociedade.
- Governança pública integrada, convergente e colaborativa: O estado tem papel relevante na promoção, articulação e gestão de políticas públicas, com ênfase na integração, intersetorialidade e transversalidade das ações públicas. A administração pública deve fortalecer os mecanismos de articulação inter e intragovernamental para coordenação de políticas, além de consolidar as estruturas matriciais formais institucionalizadas de decisão. Irá, também, ampliar e aprimorar a parceria do governo com o setor privado para oferta de serviços públicos com maior qualidade e infraestrutura mais competitiva.
- Participação e controle social no governo: Ao lado da representação, a participação e o controle social devem ser reconhecidos como condição indispensável para o aprofundamento da legitimidade e da capacidade do estado de formular, implementar e avaliar políticas públicas. As instâncias formais de participação e controle social terão impacto positivo na administração pública, de modo a aumentar sua transparência, racionalidade e eficiência.9 Além disso, deve haver forte expansão no uso de tecnologias da informação e comunicação (TIC) enquanto meios para aumentar a transparência de processos políticos e gerenciais, facilitar a participação social nos sistemas de tomadas de decisão e na execução das políticas públicas. Deve ser orientada a melhoria da qualidade do processo de formação de opinião na esfera pública a partir da abertura de novos espaços de informação e deliberação.
- Sustentabilidade fiscal e financeira: Toda a administração estadual deve ter forte compromisso com a responsabilidade fiscal, de modo a prevenir riscos e corrigir desvios capazes de afetar o equilíbrio das contas públicas. será perseguindo o cumprimento de metas de receitas e despesas, a obediência a limites e condições para a dívida pública e gastos com pessoal. Neste contexto, haverá também por parte da administração estadual forte preocupação com a qualidade do gasto público.10 Os custos e os benefícios dos gastos públicos serão sistematicamente avaliados para determinar a respectiva utilidade para o cidadão.
8.2. Dimensões Operacionais do Modelo de Gestão
Os princípios descritos anteriormente serão postos em prática por meio de processos sistemáticos organizados em quatro dimensões operacionais, conforme exposto na figura a seguir. Para isso, o Governo do Estado do Ceará prevê percorrer três grandes estágios (2016-2018/2019-2022/2023-2026) para fazer o modelo de gestão evoluir ainda mais ao longo dos próximos 11 anos, a partir do quadro atual até a visão de futuro idealizada para 2026.
Estas dimensões operacionais constituem o referencial teórico utilizado para a concepção e operacionalização do novo modelo de Gestão para Resultados no Governo.
9. Conclusão
As experiências de reformas administrativas no Brasil e no exterior demonstram que o esforço não pode ser resumido à introdução de mecanismos, processos e ferramentas isolados, por mais relevantes que sejam. Tem que ser considerado como um processo complexo de intervenção e mudança organizacional, baseado em princípios sólidos, que requerem abordagens, estratégias, programas e ações concatenadas para sua implantação. Também deve ser implantado de forma progressiva e escalonada no tempo, aprendendo com os erros e acertos, em expansões progressivas.
Além disso, é importante destacar a hipótese adotada de que a realidade de uma administração pública, em qualquer contexto ou esfera de poder, possui uma elevada complexidade, tornando bastante improvável a sua abordagem exclusivamente sob o prisma de um único paradigma. Necessita-se, portanto, de um modelo de caráter e natureza multidimensional, com condições e capacidade para incorporar e articular conceitos, estruturas e instrumentos relevantes dos diferentes paradigmas.
- Em decorrência, três aspectos chave devem ser considerados nos processos de reforma e modernização de uma administração pública:
- Em qualquer momento, uma administração pública específica estará submetida, com maior ou menor intensidade e amplitude, a um conjunto de influências, positivas ou negativas, dos diferentes paradigmas de administração pública;
- Na construção de um novo modelo para a modernização e gestão de uma administração pública, deverão ser consideradas as contribuições relevantes dos diferentes paradigmas, considerando as diretrizes emanadas dos poderes constituídos, as pressões e tendências do contexto e a realidade sobre a qual o modelo vai ser aplicado;
- A natureza, intensidade e amplitude das orientações do modelo de reforma e gestão, a serem direcionadas à correspondente administração pública, dependerão fortemente de suas condições e características específicas, inclusive da história, cultura e estágio tecnológico.
A figura a seguir sintetiza os três aspectos mencionados anteriormente.
[1] A frase atribuída ao rei francês Luís XIV, “O Estado sou Eu” (L´État c´est moi), provavelmente constitui a melhor síntese do Estado Patrimonial.
[2] O termo compliance tem origem no verbo em inglês to comply, que significa agir de acordo com uma regra, uma instrução interna, um comando ou um pedido, ou seja, estar em “compliance” é estar em conformidade com leis e regulamentos externos e internos. [3] Ver Plano Diretor: Reforma do aparelho do Estado (1995) [4] Convém ressaltar que esta segunda linha fundamentou muitos modelos de Nova Gestão Pública, como a NPR – National Performance Review (Reinventar o Governo: funcionar melhor e custar menos), dos Estados Unidos, que adotou, como uma de suas bases, a “Organização Baseada no Desempenho” (Performance Based Organization – PBO), justamente com a finalidade de “promover a orientação para resultados”. [5] Acrescente-se a falta de investimento da NGP em ferramentas e instrumentos de coordenação, em razão da elevada confiança depositada nos mecanismos de mercado.[6] Ver ADVISORY GROUP REPORT, New Zealand (2011).
[7] A avaliação ex-ante é realizada antes de iniciar a política, programa ou projeto, ou seja, trata-se de uma avaliação que procura medir a viabilidade daquela iniciativa a ser implementada, no que diz respeito a sua relação custo-benefício ou custo-efetividade. Já a avaliação ex-post investiga em que medida a política, programa ou projeto atingiu os resultados planejados. [8] A introdução da noção de rede na gestão pública visa superar dois problemas centrais de governança: a fragmentação e a ineficiência na obtenção de resultados. Sua superação pressupõe a integração de perspectivas heterogêneas, em arranjos que otimizem esforços para fins comuns. [9] Entende-se por instâncias formais de participação e controle social mecanismos tais como conselhos, conferências, orçamentos participativos ou mecanismos de consulta individual ou audiência pública.Referências
ABRUCIO, F. L. & MORELLI, G. & GUIMARÃES, T.B. – “Caminhos para Aperfeiçoar a Gestão Pública Bra- sileira: Lições Recentes e uma Agenda Futura”. In: GIAMBIAGI, F. & PORTO, C. (org.) – “2022 – Propostas para um Brasil Melhor no Ano do Centenário”. Elsevier/Campus, Rio de Janeiro, 2011.
ABRUCIO, F.L. – “O impacto do modelo gerencial na Administração Pública”. Cadernos ENAP, Brasília, 1997.
ADVISORY GROUP – “Ahead of the Game: Blueprint for the reform of Australian government admin- istration”, march 2010urge.
ADVISORY GROUP REPORT – “Better Public Service”. New Zealand Government, nov/2011.
ANAO – “Public Sector Governance: Strengthening Performance through Good Governance”. Better Practice Guide, june 2014.
CHIAVENATO, I – Teoria Geral da Administração 2, cap. 13 (Teoria da Burocracia). MAKRON Books, São Paulo, 1993.
Decreto N° 32.216, de 10 de maio de 2017. Regulamenta o novo modelo de Gestão para Resultados do Estado do Ceará e institui a Gestão do Investimento Público.
FARIA, L. J. – Nova Gestão Pública. XXXIII Encontro ANPAD, São Paulo, 2009.
Governo do Estado do Ceará. Projeto – Fortalecimento do modelo de gestão pública para resultados (GpR) no Estado do Ceará. “Relatório do diagnóstico e conclusões do modelo de GpR adotado no Es- tado do Ceará e da análise de mecanismos de incentivos existentes”, 2016. www.seplag.ce.gov.br
Governo do Estado do Ceará. Projeto – Fortalecimento do modelo de gestão pública para resultados (GpR) no Estado do Ceará. “Relatório com a análise de benchmarking consolidando as práticas e metodologias de GpR e de modelos de incentivos”, 2016. www.seplag.ce.gov.br
Governo do Estado do Ceará. Projeto – Fortalecimento do modelo de gestão pública para resultados (GpR) no Estado do Ceará. “Metodologia que consolide o Modelo de GPR, com e sem Modelo de In- centivos alinhado ao alcance dos objetivos estratégicos, a ser adotado pelo Estado do Ceará”, 2016. www.seplag.ce.gov.br
HALLIGAN, J. & BUICK, J. & O’FLYNN, J. – “Experiments with joined- up, horizontal and whole- of-gov- ernment in Anglophone countries”. In: MASSEY, A. (ed.) – International Handbook on Civil Service Sys- tems. Edward Elgar Publising INC, 2011.
KIRKBUSCH, I. & GLEICHER, D. – Governance for Health in the 21st Century”. WHO/Regional Office for Europe; 2012
MARE – Plano Diretor de Reforma do Estado, 1995.
McQUEEN, D. V. et alii. (ed.) – Intersectoral Governance for Health in All Policies: Structures, actions and experi-ences. WHO/IUHPE/OEHSP, 2012
MEULEMAN, L. – Public Management and the Metagovernance of Hierarchies, Networks and Markets. Physic-Verlag, Heidelberg, 2008
MINTZBERG, H. – Ascensão e Queda do Planejamento Estratégico. Bookman, Porto Alegre, 2004.
MINTZBERG, H. – Mintzberg on Management: Inside our strange world of organizations. The Free Press, New York, 1989.
MORENO, M.; López, R., 2011 – Gestión para resultados em el desarollo em gobiernos subnacionales. BID.
NEW ZEALAND GOVERNMENT – Better Public Service. Advisory Group Report, nov/2011, p. 19/20.
NEW ZEALAND GOVERNMENT – Delivering Better Public Services: Reducing long-term welfare depend- ence – Result Action Plan, 2012. Disponível em: http://www.ssc.govt.nz/bps-results-for-nzers
O´FLYNN, J. & BLACKMAN, D. & HALLIGAN, J. (ed.) – Crossing Boundaries in Public Management and Policy: In-ternational experience. Routledge, London, 2014
OLSEN, J. P. – Maybe it is time to Rediscover Bureaucracy? Centre for European Studies. University of Oslo. Working Paper No.10, march 2005.
OLSEN, J. P. – The Ups and Downs of Bureaucratic Organization. Centre for European Studies. Univer- sity of Oslo. Working Paper nº 14 september 2007
POLLITT, C. & VAN THIEL, S. & HOMBURG,
V. (ed.) – New Public Management in Europe: Adaptation and alternatives. New
York, Palgrave and McMillian, 2007.
PRADO, M.D. – Modelos de Administração Pública e o Rent Seeking. Disponível em: www.ambitojuri- dico.com.br – acessado em jan/2016.
PRATS i CATALÀ, J. – De la burocracia al management, del management a la gobernanza. — Madrid: Instituto Nacional de Administración Pública; 2005.
PRESIDÊNCIA DA REPÚBLICA – Plano Diretor: Reforma do aparelho do Estado. Brasília, dezem- bro/1995.
PUBLIC HEALTH AGENCY CANADA – Crossing Sectors: Experiences in intersetoral action, public policy and health.
RAMIÓ, C. & SALVADOR, M. – Instituciones y Nueva Gestión Pública en América Latina. Fundación CI- DOB, Barcelona, 2005.
REVISTA DE ADMINISTRAÇÃO DE EMPRESAS. Sano, H. & Abrucio, F. L. – Promessas e resultados da nova gestão pública no Brasil: o caso das organizações sociais de saúde em São Paulo; 2008. Disponível em: http://rae.fgv.br/sites/rae.fgv.br/files/artigos/10.1590_S0034-75902008000300007.pdf
REZENDE, F.C. – Clinton e a reinvenção do governo federal: o National Performance Review. RSP, ano 49, nº1, jan-mar 1998.
SERRA, A. – Modelo Aberto de Gestão para Resultados no Setor Público. BID/CLAD/SEARH-RN, Natal, 2008.
TCU – “Manual de Auditoria Operacional”. Brasília: Tribunal de Contas da União, Secretaria de Fiscali- zação e Avaliação de Programas de Governo (Seprog), 3ª ed. 2010.