Fernando Jorge Saraiva Ferreira Júnior[1]
Rachel Bastos[2]
Daniel Mancebo[3]
Isabela Lobato da Silva[4],[5]
Resumo
O planejamento dos diferentes níveis de governo para resolver os desafios públicos passa pelo processo de elaboração de planos estratégicos, que pode enfrentar problemas de falta de visão integrada das políticas públicas e gerar sobreposições na atuação das instituições durante o planejamento transversal das ações elaboradas pelos diferentes órgãos. Diante desse desafio, elaborou-se um conjunto de ferramentas que fazem uso de Inteligência Artificial, mais especificamente de modelos de linguagem, para análise de similaridade automática de textos de 55 planos estratégicos da Prefeitura da Cidade do Rio de Janeiro. Utilizou-se uma versão do modelo BERT, previamente treinada com textos jurídicos da língua portuguesa, e aplicada ao caso em questão. A similaridade se dá pela proximidade no espaço dimensional dos vetores numéricos gerados pelo modelo de linguagem, informando ao usuário os objetivos, metas e ações mais similares dentre os planos selecionados e reduzindo a sobreposição e divergência de ações de diferentes planos da Prefeitura. Ao incentivar essa integração de ações, almeja-se que as instituições ganhem em eficiência e alocação estratégica de recursos materiais, humanos e financeiros.
Palavras-chave: Inteligência Artificial; planejamento estratégico; Processamento de Linguagem Natural; similaridade de textos; BERT.
1. Introdução
No contexto do setor público, o planejamento estratégico desempenha um papel crucial na coordenação e efetividade das políticas públicas. No entanto, um desafio significativo enfrentado pelos gestores públicos é a sobreposição de ações entre diferentes órgãos, devido à falta de uma visão integrada e transparente dos diversos planos em execução. A ausência de integração entre os planos estratégicos municipais pode levar à redundância de esforços e ao desperdício de recursos, prejudicando a eficácia das políticas implementadas.
O objetivo deste estudo é desenvolver e aplicar ferramentas que utilizam Inteligência Artificial (IA) para analisar a similaridade entre planos estratégicos municipais. Utilizando técnicas avançadas de Processamento de Linguagem Natural (PLN) e modelos de linguagem de aprendizado profundo, este trabalho visa identificar sinergias e sobreposições entre elementos-chave de diferentes planos da Prefeitura da Cidade do Rio de Janeiro.
Para implementação do estudo, foi utilizada uma variante do modelo de linguagem BERT para identificar similaridades entre objetivos, metas e macroações de 55 planos estratégicos de variados temas da Prefeitura.
Este artigo está estruturado em cinco seções principais. Na Fundamentação Teórica, discute-se a importância do planejamento estratégico no setor público e os fundamentos dos modelos de linguagem e o uso do Processamento de Linguagem Natural (PLN). A Metodologia descreve os procedimentos utilizados para coletar e analisar os dados dos planos estratégicos, detalhando as técnicas de IA e PLN aplicadas. Na seção de Resultados e Discussão, são apresentados os principais achados do estudo, ilustrando as similaridades e sobreposições identificadas entre os planos analisados. A Conclusão sintetiza os resultados, discutindo suas implicações práticas para os gestores públicos e sugerindo próximos passos para a implementação da ferramenta de análise de similaridade.
2. Fundamentação Teórica
O planejamento estratégico no setor público é um processo essencial que visa fornecer alinhamento entre as ações das organizações governamentais e as demandas sociais. O desenvolvimento histórico do planejamento estratégico mostra que, apesar de suas raízes no setor privado, sua aplicação no setor público já se consolidou como uma ferramenta valiosa para a gestão pública. Bloom (1986) disserta que o planejamento estratégico não é uma técnica completamente nova no setor público, mas uma readequação de processos pré-existentes e adaptados às necessidades contemporâneas.
A aplicação prática do planejamento estratégico no setor público, no entanto, enfrenta desafios significativos. Eadie (1983) aponta que o planejamento estratégico vem a reboque de processos de modernização da administração pública e busca melhorar a eficiência do governo para imprimir mais eficácia na implementação de políticas públicas, preenchendo a lacuna entre as expectativas do cidadão e a gestão de recursos escassos por parte das organizações governamentais.
Nesse sentido, a integração do planejamento estratégico com a gestão de desempenho é crucial para garantir que as estratégias formuladas sejam implementadas de maneira eficiente, conforme argumenta Poister (2010). Para que o planejamento estratégico seja bem-sucedido, é essencial que os gestores públicos compreendam a complexidade dos processos políticos e sociais envolvidos e adaptem suas abordagens de acordo com essas realidades.
Na busca por eficiência e na eliminação de possível mau uso dos recursos (i.e. sobreposição de ações), uma importante aliada é a implementação de novas tecnologias. Esta se faz primordial para o aprimoramento das técnicas de planejamento estratégico já existentes.
Nesse contexto, a Inteligência Artificial (IA) surge como uma ferramenta inovadora e poderosa. Embora seja uma tecnologia reconhecida desde a década de 1950, a Inteligência Artificial ganhou destaque a partir do século XXI com o rápido avanço tecnológico, e tem recebido mais visibilidade e aplicações com o crescimento dos Grandes Modelos de Linguagem (LLMs) (Gokul, 2023). A IA consiste em uma tecnologia relacionada à criação de máquinas com capacidade para realizarem tarefas que requerem inteligência humana, como aprendizado e resolução de problemas, e possui aplicação em diversas subáreas como reconhecimento de fala, processamento de imagens e processamento de linguagem natural (Zhang & Lu, 2021).
Para tarefas que exigem manipulação de textos, o Processamento de Linguagem Natural (PLN) é a subárea da IA mais utilizada. Focado na geração de linguagem humana, o PLN busca ensinar a máquina a entender, interpretar e responder a textos de modo semelhante ao ser humano. Chowdhary (2020) ressalta que, para atingir sucesso nestas atividades, os algoritmos criados devem absorver a linguagem natural de forma eficiente, compreendendo a estrutura morfológica e natureza das palavras, seu significado em uma sentença e o contexto no qual está sendo inserida.
Os algoritmos de IA e PLN, ou simplesmente modelos de linguagem, são baseados em redes neurais e possuem capacidade de processamento de informações de forma rápida e precisa, sem a necessidade de treinamento com textos rotulados (Gokul, 2023). Após a introdução da nova arquitetura de transformadores para esta classe de modelos feita por Vaswani (2017), estes algoritmos passaram por uma grande revolução e, com o aprimoramento dos recursos utilizados, evoluíram para os Grandes Modelos de Linguagem (LLMs). Os LLMs são de uma classe de modelos treinados em imensos conjuntos de dados que possuem como características gerais o grande número de parâmetros utilizados no algoritmo e a arquitetura baseada em transformadores.
Um dos primeiros modelos desenvolvidos com esta arquitetura foi o BERT (Bidirectional Encoder Representations from Transformers), um modelo de Deep Learning criado por pesquisadores do Google AI Language em 2018 (Devlin, Chang, Lee & Toutanova, 2018) e considerado como um LLM devido à sua arquitetura e ao grande número de parâmetros utilizados. Seu grande diferencial é a abordagem bidirecional, que permite melhor reconhecimento e representação de contextos, o que garantiu melhor performance no desemprenho de tarefas testes, comparado a outros modelos da época, (Devlin et al., 2018). Embora variados novos modelos de linguagem tenham surgido e se popularizado, o BERT possui diversas variantes que ainda são vastamente utilizadas devido à sua capacidade de criação de modelos ajustados para tarefas específicas de forma simples.
O BERT e outros algoritmos de IA e PLN permitem a realização de processos repetitivos e análise de grandes volumes de dados textuais, possibilitando a execução automática de variadas tarefas que exigem a compreensão da língua humana. Estas tarefas vão desde a tradução automática de textos e a análise de sentimentos até a criação de chatbots e a geração automática de textos (Koroteev, 2021). A análise de similaridade textual também ganha destaque como um instrumento base para tarefas, podendo ser utilizada em diversas situações, como sistemas de diálogo e correspondência de documentos (Wang & Dong, 2020).
Desta forma, a IA se torna uma significativa e relevante ferramenta para o processo de planejamento estratégico ao identificar similaridades entre diferentes documentos, detectar redundâncias e garantir a coerência e eficiência nas ações planejadas.
3. Metodologia
Para utilização das ferramentas de inteligência artificial na análise de similaridade, foi necessário estruturar uma base de dados com os planos estratégicos da Prefeitura do Rio de Janeiro. Para tal estruturação, buscou-se elaborar uma matriz básica para os 5 tipos de planos oficializados pelo sistema de planejamento do ente federativo: planos de estado; planos de gestão; planos orçamentários; planos setoriais; planos institucionais. Nos quadros abaixo, seguem as definições de cada tipo de plano e as estruturas básicas presentes em cada um, contendo elementos obrigatórios e complementares.
Quadro 1. Definições de tipos de plano presentes no sistema de planejamento da Prefeitura do Rio de Janeiro
Figura 1. Estrutura Básica montada para os diferentes tipos de Plano
A partir dessas estruturas, buscou-se compor a base de dados para carregamento do conteúdo de cada um dos 55 planos estratégicos embarcados no sistema até o momento. Considerando o universo de planos analisados, temos planos de 19 temas diferentes e liderados por 26 órgãos distintos.
Para montagem da estrutura básica, foram levados em consideração: i. a literatura em planejamento estratégico, especialmente a Gestão Estratégica Orientada a Resultados (GEOR); ii. a prevalência de elementos nos planos analisados; iii. a experiência da consultoria e da Prefeitura do Rio na montagem de planos estratégicos.
O estudo foi dividido em duas etapas. A primeira consistiu em uma fase inicial de testes para avaliar a performance do algoritmo e os ganhos que poderiam surgir com o uso no contexto de planos estratégicos. A segunda fase envolveu o desenvolvimento de uma aplicação com que ampliou o uso do algoritmo de forma automática para todos os planos existentes, bem como para novos planos que possam via a ser desenvolvidos.
Na fase de testes, as análises de similaridade foram aplicadas a um subconjunto do total de planos que compõe a base de dados, sendo selecionados 27 planos para esta etapa: o Plano de Desenvolvimento Sustentável e Ação Climática (PDS), classificado como transversal, e outros 26 planos temáticos. Apesar de estes planos possuírem até 17 elementos estratégicos categorizados, somente três conceitos foram selecionados para as análises, resultando em uma base com 718 objetivos, 915 metas e 3.067 macroações. Por fim, visando a comparação de textos classificados em temáticas equivalentes, realizou-se a rotulação dos elementos do PDS de acordo com os 14 temas dos demais 26 planos selecionados.
A similaridade entre os conceitos dos planos selecionados foi avaliada através da aplicação de técnicas de Processamento de Linguagem Natural e Inteligência Artificial, comparando textos de mesmos elementos e temáticas. Por exemplo, os textos dos Objetivos classificados como pertencentes ao tema Saúde no PDS foram comparados com os textos dos Objetivos dos planos da temática Saúde.
A primeira etapa para a execução do cálculo de similaridade consistiu no processo de transformação dos textos dos elementos de cada plano, obtendo suas respectivas representações numéricas. Este resultado é adquirido através da aplicação de uma técnica de mineração de textos chamada word embedding, capaz de gerar vetores numéricos densos em um espaço multidimensional, que armazenam informações sobre o contexto e o significado dos textos. Desta forma, quando a representação de dois textos é próxima no espaço vetorial pode-se dizer que eles são semanticamente similares.
Apesar de existirem diversos modelos de PLN que executam o algoritmo de word embedding, como Word2Vec, GloVe e FastText, o modelo escolhido para a geração dos vetores numéricos neste estudo foi o BERT. Diferente dos modelos mencionados anteriormente, o BERT é um modelo de transformador que gera embeddings contextuais, o que significa que palavras homógrafas são representadas por vetores numéricos diferentes de acordo com seu contexto. Em tarefas de similaridade, o modelo alcançou uma acurácia de 86,5%, a mais alta em comparação com os demais modelos de linguagem testados (Devlin et al., 2018). Considerando que o conjunto de dados analisados consiste em textos da norma culta da língua portuguesa, optou-se por utilizar um LLM[6] pré-treinado com textos jurídicos que deriva de uma das variantes do BERT. Desenvolvido por Melo, Santos e Dias (2023), o modelo utilizou a versão do BERT treinada para língua portuguesa Legal-BERTimbau (Souza, Nogueira & Lotufo, 2020) e foi produzido visando a otimização de tarefas de análise textual no específico domínio jurídico.
Wang e Dong (2020) ressaltam que o cálculo da similaridade semântica pode ser dividido em dois métodos, a distância textual e a representação textual. Neste estudo, utilizou-se a proximidade dos vetores no espaço medida através da distância angular como método para obtenção das similaridades. Para alcançar tal resultado, optou-se pelo cálculo do cosseno do ângulo entre dois vetores, um método simples e robusto que possibilita o cálculo entre vetores de tamanhos diferentes (Rahutomo, Kitasuka & Aritsugi, 2012).
Com base neste método, a similaridade entre dois textos pode variar de -1 a 1, indicando a não existência de similaridade semântica e a similaridade semântica total, respectivamente. A interpretação destes valores é mais comumente utilizada na identificação de textos similares, porém compreendeu-se que o algoritmo possibilitaria o fornecimento de duas análises: a identificação de sobreposições de ações entre planos e a detecção de ações não contempladas em planos.
Por conseguinte, na segunda fase do estudo, implementou-se uma aplicação constituída por duas funcionalidades que abrangem estas análises, sem a restrição temática. Isto significa que os elementos de um plano podem ser comparados com os elementos do mesmo tipo de qualquer outro plano, independentemente do tema envolvido. Desta forma, tornou-se possível a obtenção de sobreposições e lacunas em qualquer par de planos.
4. Resultados e Discussão
Inicialmente, o algoritmo foi aplicado para avaliar como a similaridade entre dois textos pode variar, utilizando um trecho do Plano da Juventude comparado com diferentes recortes dele mesmo. De acordo com os resultados exibidos no Quadro 2, observou-se que, a redução do texto implicou em uma redução na similaridade, porém a existência de sentenças e palavras-chave em comum manteve o valor positivo e acima de 0,5. Entretando, conforme o texto se tornou mais vago, a similaridade passou a ser baixa.
Quadro 2. Similaridade entre trechos de um mesmo texto
Ao avaliar as maiores e menores similaridades entre todas as combinações possíveis de trechos de três pares de planos temáticos específicos, constatou-se que o algoritmo foi capaz de avaliar como similares textos detalhados e resumidos que possuem significados equivalentes e classificar como não similares trechos relacionados a assuntos distintos.
Quadro 3. Similaridades entre objetivos dos planos Plano Municipal de Saúde e Plano Estratégico Institucional da Empresa Pública de Saúde
Quadro 4. Similaridades entre metas dos planos Plano Estratégico MultiRio 2024 e Plano Municipal de Educação
Quadro 5. Similaridades entre macroações dos planos Plano Institucional da Secretaria Especial de Políticas e Promoção da Mulher e Plano Institucional da Secretaria Especial de Turismo
Os resultados obtidos com a comparação entre textos do plano transversal PDS de temas específicos e textos dos planos temáticos apresentaram intepretações igualmente positivas em relação à performance do algoritmo. Estas aplicações possibilitam identificar, de maneira otimizada, planos temáticos que possuem alinhamento de ações com os planos transversais. Ademais, este processo facilita o reconhecimento de lacunas nos planos temáticos, detectando ações nos planos transversais que não possuem similaridade com nenhum plano setorial.
Quadro 6. Similaridades entre macroações do PDS e planos temáticos
Estes resultados corroboram com a ideia de que o uso da Inteligência Artificial tem potencial para diminuir redundâncias no processo de elaboração e análise de planos estratégicos, auxiliando os órgãos a atuar de maneira mais integrada e com menor grau de sobreposição em seus objetivos, metas e ações.
Importante notar, no entanto, algumas limitações do estudo. Em primeiro lugar, a montagem da base de dados foi onerosa por conta da qualidade variável dos documentos fornecidos pela Prefeitura. Muitos destes documentos estão em formato PDF, o que dificulta a extração precisa de textos e informações. Além disso, alguns documentos contêm erros ou formatações inconsistentes. Esperamos que, com a futura implementação de uma plataforma onde os documentos serão elaborados diretamente na ferramenta, esses obstáculos sejam mitigados, permitindo uma análise mais precisa e eficiente dos dados.
Em segundo lugar, importante destacar que a eficácia da ferramenta desenvolvida de análise de similaridade pode melhorar a partir da calibragem do modelo utilizado. O modelo BERT, utilizado para nosso estudo de caso, permite a implementação de ajustes finos para melhor capturar as nuances dos textos específicos dos planos municipais. Além disso, o aperfeiçoamento do modelo pode permitir também o ajuste do algoritmo em face de interação com usuários na implementação computadorizada da análise de similaridade.
Em terceiro lugar, há um desafio relacionado à qualidade dos dados produzidos pelos agentes de planejamento, que caminha em conjunto com o desafio da disseminação da cultura de planejamento estratégico entre os gestores da Prefeitura. Para que os inputs dos usuários sejam de alta qualidade e especificidade, é necessário um esforço significativo de capacitação e mudança cultural. Somente com uma compreensão clara da importância de detalhar objetivos, metas e ações, e de como esses elementos são analisados pela ferramenta, os usuários poderão fornecer dados que aumentem a precisão e a utilidade das análises comparativas. Este processo demanda tempo, recursos e um comprometimento institucional para incentivar práticas de planejamento mais robustas e integradas.
5. Considerações Finais
Este estudo revelou a eficácia da utilização de ferramentas de Inteligência Artificial, especificamente modelos de linguagem como o BERT, na análise de similaridade entre planos estratégicos. A aplicação destas ferramentas demonstrou a capacidade de identificar tanto sinergias quanto sobreposições entre os diferentes planos, oferecendo uma visão integrada que facilita a coordenação intersetorial e a otimização de recursos.
As implicações práticas deste estudo são significativas para gestores públicos e formuladores de políticas. A capacidade de visualizar de forma clara as similaridades e redundâncias entre os planos permite uma melhor alocação de recursos, redução de esforços duplicados e aumento da eficiência na implementação das políticas públicas. Além disso, promove uma cultura de planejamento mais integrada e colaborativa entre os diversos órgãos governamentais.
Como próximos passos, sugere-se a implementação da ferramenta de análise de similaridade em outras cidades e contextos, bem como a realização de ajustes finos no modelo utilizado para capturar ainda melhor as nuances dos textos específicos dos planos municipais. Futuras pesquisas poderiam explorar o uso de outras técnicas de IA e PLN, assim como a integração da ferramenta com sistemas de gestão de políticas públicas existentes, para aprimorar ainda mais a eficiência e a eficácia do planejamento estratégico no setor público.
Referências
Bloom, C. (1986). Strategic planning in the public sector. Journal of Planning Literature, 1(2), 253-259. https://doi.org/10.1177/088541228600100205.
Bryson, J. M., & Roering, W. D. (1987). Applying Private-Sector Strategic Planning in the Public Sector. Journal of the American Planning Association, 53(1), 9–22. https://doi.org/10.1080/01944368708976631.
Chowdhary, K., & Chowdhary, K. R. (2020). Natural language processing. Fundamentals of artificial intelligence, 603-649. https://pure.strath.ac.uk/ws/portalfiles/portal/131112/strathprints002611.pdf
Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805. https://arxiv.org/abs/1810.04805
Eadie, D., (1983). Putting a Powerful Tool to Practical Use: The Application of Strategic Planning in the Public Sector. Public Administration Review, 43 (pp. 133-147). https://doi.org/10.4324/9780429497964-13.
Fonseca, E., Santos, L., Criscuolo, M., & Aluisio, S. (2016, July). ASSIN: Avaliacao de similaridade semantica e inferencia textual. In Computational Processing of the Portuguese Language-12th International Conference, Tomar, Portugal (pp. 13-15). http://propor2016.di.fc.ul.pt/wp-content/uploads/2015/10/assin-overview.pdf
Gokul, A. (2023). Llms and ai: Understanding its reach and impact. https://www.preprints.org/manuscript/202305.0195
Koroteev, M. V. (2021). BERT: a review of applications in natural language processing and understanding. arXiv preprint arXiv:2103.11943. https://arxiv.org/pdf/2103.11943
Macroplan, Sebrae Nacional. Manual da Elaboração e Gestão de Projetos Orientados para Resultados – GEOR (5ª Versão). 2007. Disponível em: <https://pt.scribd.com/doc/204392603/Manual-Elaboracao-Gestao-Projetos-Orientados-Resultados>.
May, P. (2021). Machine translated multilingual STS benchmark dataset. https://github.com/PhilipMay/stsb-multi-mt
Melo, R., Santos, P. A., & Dias, J. (2023, September). A Semantic Search System for the Supremo Tribunal de Justiça. In EPIA Conference on Artificial Intelligence (pp. 142-154). Cham: Springer Nature Switzerland. https://link.springer.com/chapter/10.1007/978-3-031-49011-8_12
Poister, T. H. (2010). The Future of Strategic Planning in the Public Sector: Linking Strategic Management and Performance. Public Administration Review, 70, s246-s254.
https://doi.org/10.1111/j.1540-6210.2010.02284.x
Rahutomo, F., Kitasuka, T., & Aritsugi, M. (2012, October). Semantic cosine similarity. In The 7th international student conference on advanced science and technology ICAST (Vol. 4, No. 1, p. 1). South Korea: University of Seoul.
Real, L., Fonseca, E., & Gonçalo Oliveira, H. (2020). The assin 2 shared task: a quick overview. In Computational Processing of the Portuguese Language: 14th International Conference, PROPOR 2020, Evora, Portugal, March 2–4, 2020, Proceedings 14 (pp. 406-412). Springer International Publishing. https://link.springer.com/chapter/10.1007/978-3-030-41505-1_39
Souza, F., Nogueira, R., & Lotufo, R. (2020). BERTimbau: pretrained BERT models for Brazilian Portuguese. In Intelligent Systems: 9th Brazilian Conference, BRACIS 2020, Rio Grande, Brazil, October 20–23, 2020, Proceedings, Part I 9 (pp. 403-417). Springer International Publishing. BERTimbau: pretrained BERT models for Brazilian Portuguese
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems, 30. https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf
Wang, J., & Dong, Y. (2020). Measurement of text similarity: a survey. Information, 11(9), 421. https://www.mdpi.com/2078-2489/11/9/421
Zhang, C., & Lu, Y. (2021). Study on artificial intelligence: The state of the art and future prospects. Journal of Industrial Information Integration, 23, 100224. https://www.sciencedirect.com/science/article/abs/pii/S2452414X21000248
[1] Mestre em Administração Pública e Políticas Públicas pela Universidade de York (Inglaterra) e Líder de projetos na Macroplan Consultoria e Analytics.
[2] Especialista em Ciência de Dados pela Universidade de São Paulo e Líder pleno de Analytics na Macroplan Consultoria e Analytics.
[3] Mestre em Gestão e Estruturação do Espaço Geográfico pela Universidade do Estado do Rio de Janeiro e Coordenador Geral do Escritório de Planejamento da Prefeitura da Cidade do Rio de Janeiro.
[4] Engenheira Florestal, Coordenadora de Macroplanejamento do Escritório de Planejamento da Prefeitura da Cidade do Rio de Janeiro
[5] Os autores agradecem a Gustavo Morelli, Andrea Belfort, Éber Gonçalves, Ana Luiza Nunes, Gabriela Justino, Brasiliano Vito e Nelson Lima pela relevante contribuição na concepção metodológica durante a realização deste trabalho, e a Alex Jordão, Luiz Fernando Silva dos Santos, Gustavo Cervera, Rayane Gesta, Raphael Levy e Beatriz Benevides pelo apoio técnico prestado durante a extração dos dados e implementação da ferramenta.
[6] https://huggingface.co/stjiris/bert-large-portuguese-cased-legal-tsdae-gpl-nli-sts-MetaKD-v1