Adam Muhtar e Dragos Gorduza
Think about um mundo onde as máquinas possam ajudar os humanos a navegar através de regras financeiras complexas. O que antes period rebuscado está rapidamente se tornando realidade, especialmente com o surgimento de uma classe de modelos de aprendizagem profunda baseados na arquitetura Transformer (Vaswani et al (2017)), representando um paradigma totalmente novo para modelagem de linguagem nos últimos tempos. Estes modelos constituem a base de tecnologias revolucionárias, como os grandes modelos de linguagem (LLM), abrindo novas formas para os reguladores, como o Banco de Inglaterra, analisarem dados de texto para supervisão e regulação prudencial.
A análise de dados de texto constitui uma parte essencial do trabalho diário dos reguladores. Por exemplo, os supervisores prudenciais recebem grandes quantidades de documentos de empresas regulamentadas, onde analisam meticulosamente esses documentos para triangular os vários requisitos dos regulamentos financeiros, tais como garantir a conformidade e identificar áreas de risco. Como outro exemplo, os decisores políticos de regulamentação prudencial produzem regularmente documentos como directrizes políticas e directivas sobre requisitos de reporte, que também exigem referência a regulamentos financeiros para garantir consistência e comunicação clara. Essa frequente referência cruzada e recuperação de informações entre conjuntos de documentos pode ser uma tarefa trabalhosa e demorada, uma tarefa na qual o modelo de aprendizado de máquina proposto neste artigo poderia potencialmente ajudar.
Resolver esse problema usando métodos tradicionais de pesquisa por palavras-chave muitas vezes não consegue lidar com a variabilidade, ambiguidade e complexidade inerentes à linguagem pure. É aqui que entra em jogo a última geração de modelos de linguagem. Os modelos baseados em transformadores utilizam um novo ‘mecanismo de autoatenção’ (Vaswani et al (2017)), permitindo que as máquinas mapeiem relações inerentes entre palavras num determinado texto e, portanto, capturem o significado subjacente da linguagem pure de uma forma mais sofisticada. Esta abordagem de aprendizagem automática de mapeamento de como a linguagem funciona poderia potencialmente ser aplicada aos contextos regulamentares e políticos, funcionando como sistemas automatizados para ajudar os supervisores e os decisores políticos a examinar documentos para recuperar informações relevantes com base nas necessidades do utilizador. Neste artigo, exploramos como poderíamos aproveitar essa tecnologia e aplicá-la em um nicho e domínio complexo, como as regulamentações financeiras.
Transformando a supervisão financeira com Transformers
Os modelos baseados em transformadores vêm em três variantes diferentes: codificadores, decodificadores e sequência a sequência (vamos nos concentrar nos dois primeiros neste artigo). Muitos dos LLMs conhecidos, como os modelos Llama, Gemini ou GPT, são modelos decodificadores, treinados em texto obtido na Web e construídos para geração de texto genérico. Embora impressionantes, são susceptíveis de gerar informações imprecisas, um fenómeno conhecido como “alucinação de modelos”, quando utilizados em domínios altamente técnicos, complexos e especializados, como a regulamentação financeira.
Uma solução para modelar a alucinação é ancorar a resposta de um LLM, fornecendo ao modelo fatos reais e precisos sobre o assunto por meio de uma técnica chamada ‘Retrieval Augmented Technology’ (RAG). É aqui que os codificadores Transformer desempenham um papel útil. Os modelos de codificadores podem ser comparados aos de um guia experiente: com o treinamento apropriado, os codificadores são capazes de agrupar textos com significado inerente semelhante em representações numéricas desses textos (conhecidos na área como ’embeddings’) que estão agrupados. Esses embeddings nos permitem realizar operações matemáticas em linguagem pure, como indexar e pesquisar através de embeddings a correspondência mais próxima para uma determinada consulta de interesse.
Figura 1: Pesquisa semântica usando modelos de codificador Transformer (representação do codificador baseado em Vaswani et al (2017))
Uma estrutura RAG utilizaria primeiro um codificador para executar uma busca semântica pelas informações relevantes e, em seguida, passaria as saídas para um decodificador como o GPT para gerar a resposta apropriada dada a saída fornecida. O uso de codificadores Transformer abre novas possibilidades para aplicações mais sensíveis ao contexto.
Lacunas na interseção entre IA e regulamentações financeiras
A construção deste guia com conhecimento regulatório requer um modelo de codificador Transformer treinado em um corpus de texto do campo relevante em questão. No entanto, a maioria dos modelos de codificadores de código aberto são treinados em textos de domínio geral (por exemplo, BERT, RoBERTa, XLNet, MPNet), sendo improvável que todos tenham um conhecimento profundo das regulamentações financeiras. Existem também modelos como o FinBERT, que são treinados em textos de notícias financeiras e ajustados para finanças. No entanto, estes modelos ainda carecem de profundidade de compreensão técnica devido à falta de texto de regulamentação financeira específico do domínio exigido durante a formação do modelo. É necessário um novo tipo de modelo aperfeiçoado, treinado diretamente nas regulamentações, para permitir uma compreensão abrangente das regulamentações.
Os regulamentos financeiros são textos complexos do ponto de vista do seu vocabulário, da sua sintaxe e da rede interligada de citações. Esta complexidade coloca desafios significativos na adaptação de modelos linguísticos para a supervisão prudencial. Outro obstáculo é a falta de conjuntos de dados legíveis por máquina, prontamente disponíveis, de regulamentações financeiras importantes, como o Quadro de Basileia. A produção deste conjunto de dados é, por si só, um resultado de investigação valioso que poderá ajudar a impulsionar a inovação futura neste campo, bem como ser potencialmente uma base integral para a construção de outros modelos adaptados a outros domínios para a regulação financeira.
PRET: Transformadores de Incorporação de Regulamentação Prudencial
Atualmente, está em curso um esforço pioneiro para preencher esta lacuna através do desenvolvimento de um modelo adaptado ao domínio conhecido como Prudential Regulation Embeddings Transformer (PRET), especificamente concebido para a supervisão financeira. PRET é uma iniciativa para aumentar a precisão da recuperação semântica de informações no campo da regulamentação financeira. A novidade do PRET está em seu conjunto de dados de treinamento: regras e regulamentos extraídos da Internet do Basel Framework que são pré-processados e transformados em um corpus legível por máquina, juntamente com texto sintético gerado pelo LLM. Esta abordagem direcionada fornece ao PRET uma compreensão profunda e diferenciada da linguagem do Quadro Basel, ignorada por modelos mais amplos.
Na nossa exploração da utilização da IA para a supervisão financeira, estamos conscientes de que a nossa abordagem com o PRET é experimental. Um componente importante no desenvolvimento do PRET é uma etapa de ajuste fino do modelo para otimizar o desempenho em uma tarefa específica: recuperação de informação. Esta etapa emprega uma técnica conhecida como pseudo-rotulagem generativa (conforme descrito em Wang e outros (2022)), Qual envolve:
- Criar uma entrada sintética – ou seja, o texto gerado pelo LLM, como perguntas, resumos ou declarações – relacionada a uma determinada regra financeira em questão que os usuários poderiam hipoteticamente perguntar.
- A regra financeira em questão torna-se a resposta “correta” por defeito, relativamente ao texto gerado sinteticamente.
- Acoplar os dois pares anteriores com respostas “erradas” – ou seja, regras não relacionadas de outros capítulos – a fim de treinar o modelo para discernir quais respostas são certas e erradas.
Como não existem conjuntos de dados de perguntas e respostas gerados por humanos de tamanho suficiente para treinar este modelo, contamos com os LLMs existentes para gerar sinteticamente esses conjuntos de dados. O objetivo de treinamento do nosso modelo é formar um mapeamento entre as diversas entradas que um usuário poderia potencialmente perguntar com as informações corretas que são relevantes para a entrada do usuário, ou seja, um modelo de pesquisa semântica. Para fazer isso, o modelo visa minimizar a diferença entre a ‘consulta’ gerada sinteticamente e o ‘positivo’ enquanto maximiza a diferença entre a ‘consulta’ e o ‘negativo’, conforme ilustrado na Figura 2. Isto corresponde visualmente a fazer o o positivo e a consulta se alinham tanto quanto possível, ao mesmo tempo que torna a consulta e o negativo o mais distantes possível.
Figura 2: Objetivo de treinamento de ajuste fino
É uma maneira sofisticada de treinar nosso modelo para (i) distinguir entre informações estreitamente relacionadas e (ii) garantir que ele possa combinar efetivamente as consultas com as partes corretas do texto regulatório. Maximizar o desempenho relativo a este objectivo permite ao PRET ligar os pontos entre o texto regulamentar e os resumos, perguntas ou declarações relacionadas. Este processo de ajuste fino do modelo não só aumenta a sua capacidade de compreensão da terminologia financeira, mas também visa melhorar a sua eficácia na identificação e acesso precisos à informação necessária.
IA e o futuro da supervisão e regulação prudencial
As potenciais recompensas de tais sistemas – maior eficiência e capacidade de navegar rapidamente através de textos regulamentares complexos – pintam um quadro promissor para o futuro. No entanto, estamos conscientes do longo caminho que temos pela frente, que inclui a dificuldade de avaliar se a interpretação de tais modelos é “superficial” (ou seja, o mapeamento das regras ao nível superficial) ou “profunda” (ou seja, compreender os princípios subjacentes que dão origem a estas regras). A distinção é crítica; embora sistemas de IA como estes possam ajudar os seres humanos através de escala e velocidade, a sua capacidade de compreender os conceitos fundamentais que ancoram os quadros regulamentares financeiros modernos continua a ser um tema de intenso estudo e debate. Além disso, quaisquer ferramentas baseadas em IA desenvolvidas para ajudar os supervisores e os decisores políticos serão sujeitas a testes apropriados e rigorosos antes da utilização em cenários do mundo actual.
O desenvolvimento do PRET é um primeiro passo para a construção de modelos adaptados ao domínio do banco central e de casos de utilização regulamentares, que podemos expandir para mais conjuntos de documentos, tais como outros textos de regulamentação financeira, documentos de política e retornos regulamentares, para citar alguns. Através de esforços como estes, esperamos aproveitar os recentes desenvolvimentos tecnológicos para ajudar e ampliar as capacidades dos supervisores e dos decisores políticos. Nesta jornada, o PRET é ao mesmo tempo um marco e um ponto de partida, abrindo caminho para um futuro onde as máquinas possam ajudar os reguladores num campo complexo e de nicho como a supervisão e regulação prudencial.
Adam Muhtar trabalha na Divisão de RegTech, Dados e Inovação do Banco e Dragos Gorduza é estudante de doutorado na Universidade de Oxford.
Caso queira entrar em contato, envie-nos um e-mail para bankunderground@bankofengland.co.uk ou deixe um comentário abaixo.
Comentários só aparecerão depois de aprovados por um moderador e só serão publicados quando o nome completo for fornecido. Financial institution Underground é um weblog para funcionários do Banco da Inglaterra compartilharem pontos de vista que desafiam – ou apoiam – as ortodoxias políticas predominantes. As opiniões aqui expressas são de responsabilidade dos autores e não são necessariamente as do Banco da Inglaterra ou de seus comitês de política.
Compartilhe a postagem “Aproveitando modelos de linguagem para supervisão prudencial”