O paper "Attention Is All You Need", publicado em 2017 por Vaswani, entre outros, de um grupo de engenheiros da Google (www.research.google/pubs/pub46201/), introduziu o conceito de "Transformers", uma arquitetura de rede neural revolucionária que trouxe avanços significativos no campo do processamento de linguagem natural (NLP) e aprendizagem de máquina.
A arquitetura dos Transformers baseia-se no mecanismo de atenção que, explicado de maneira simples, permite que o modelo se concentre em partes específicas de uma sequência ao processar informações. Isso é diferente das arquiteturas anteriores, como RNNs e LSTMs, que dependiam de sequências de processamento e tinham dificuldade em lidar com dependências de longo alcance. Vamos entender melhor com um exemplo:
Imagine que quer traduzir a frase em português "O gato está no tapete" para o inglês. Em vez de processar a frase palavra por palavra, os Transformers utilizam o mecanismo de atenção para identificar a importância relativa de cada palavra na frase e como elas estão relacionadas. Assim, o modelo consegue capturar melhor o contexto e a estrutura gramatical da frase.
Os Transformers são compostos por duas partes principais: o codificador (encoder) e o decodificador (decoder). O codificador processa a sequência de entrada e o decodificador gera a sequência de saída. Ambos são compostos por várias camadas empilhadas, permitindo que o modelo aprenda representações complexas. Muito semelhante ao que o cérebro humano faz com a geração de conceitos complexos como: emoções, imagens de acontecimentos, significados concetuais para ideias como, cheiros, sabores, calor, frio, saltar, correr, triste, alegre, cansativo, etc.
A contribuição dos Transformers para o avanço da IA é notável, pois a arquitetura trouxe melhorias significativas em termos de eficiência e desempenho em várias tarefas de NLP. Além disso, eles superaram os problemas de dependência de longo alcance e limitações de memória presentes em arquiteturas anteriores, como RNNs e LSTMs.
Os Transformers serviram de base para a criação de modelos de linguagem maiores e mais sofisticados, como o GPT-3 e BERT. Esses modelos têm sido usados com sucesso em várias aplicações práticas, como tradução automática, geração de texto, análise de sentimentos, respostas automáticas e muito mais.
Mas como tudo isto se pode usar, como pode ser eficaz, como podemos aprender a utilizar corretamente?
É essencial perceber os princípios fundamentais, para entender os princípios funcionais e a partir deles, aprender sobre os perigos, os benefícios e assim poder tirar o maior partido destas tecnologias, correndo o menor risco possível. Vou tentar descrever sucintamente estas tecnologias e dar alguns exemplos para torná-las mais percetíveis:
RNNs (Redes Neurais Recorrentes) - são redes neurais projetadas para lidar com sequências de dados, como texto ou séries temporais. Elas processam a sequência de entrada passo a passo e mantêm um estado oculto que carrega informações do passado. No entanto, RNNs têm dificuldade em lidar com dependências de longo alcance devido ao problema do desaparecimento do gradiente.
Exemplo: Imagine que está a ler um texto longo, e uma palavra no início do texto é crucial para entender uma palavra no final. RNNs teriam dificuldade em capturar essa relação devido à sua natureza sequencial.
LSTMs (Long Short-Term Memory) - são uma variante das RNNs que foram projetadas para resolver o problema do desaparecimento do gradiente. Elas usam uma estrutura chamada "memória celular", (em inglês "cell memory") para regular o fluxo de informações, permitindo que o modelo armazene e recupere informações de longo alcance. Podemos simplificar dizendo que, são unidades de memória especializadas e projetadas para ajudar a armazenar e recuperar informações ao longo de sequências temporais. Exemplo: Voltando ao exemplo do texto longo, uma LSTM seria mais eficaz em capturar a relação entre as palavras no início e no final do texto, pois a sua memória celular permite a retenção de informações relevantes ao longo da sequência.
Mecanismo de Atenção - O mecanismo de atenção permite que um modelo de IA se foque em partes específicas de uma sequência quando processa informações. Em vez de processar sequencialmente os dados, ele identifica a importância relativa de cada elemento e como eles estão relacionados. Exemplo: Suponha que você queira resumir uma notícia. Um modelo com atenção pode identificar as partes mais importantes da notícia (como quem, o quê, onde e quando) e ignorar informações menos relevantes.
Transformers - são uma arquitetura de rede neural baseada no mecanismo de atenção. Eles são compostos por um codificador e um decodificador, e cada um contém várias camadas empilhadas. Os Transformers são altamente paralelizáveis, o que os torna mais eficientes e escaláveis do que RNNs e LSTMs. Exemplo: Ao traduzir uma frase de um idioma para outro, os Transformers podem identificar a importância relativa de cada palavra e como elas estão relacionadas, permitindo uma tradução mais precisa e contextualizada.
GPT-3 (Generative Pre-trained Transformer, é um exemplo de um modelo de linguagem baseado em Transformers. Ele é treinado em grandes quantidades de texto e pode gerar respostas coerentes e contextuais em várias tarefas de NLP. Exemplo: Suponha que queira escrever um e-mail solicitando uma reunião. O GPT-3 pode ajudá-lo a redigir um e-mail apropriado e gramaticalmente correto com base no contexto fornecido.
BERT (Bidirectional Encoder Representations from Transformers, é outro modelo baseado em Transformers, que foi desenvolvido para entender o contexto bidirecional de uma sequência. Ele é treinado para prever palavras em falta numa frase, permitindo-lhe aprender representações mais ricas e contextualizadas. Exemplo: Suponha que você tenha a frase "Eu gosto de ___ ao ar livre". O BERT pode preencher a palavra em falta com base no contexto, como "caminhar" ou "andar de bicicleta", capturando o significado pretendido da frase.
Os Transformers, como GPT-3 e BERT, trouxeram avanços significativos no campo da IA e do processamento de linguagem natural (NLP). Estes modelos têm sido aplicados em várias tarefas, como, por exemplo:
Tradução automática - Os Transformers podem traduzir frases ou textos inteiros entre idiomas com maior precisão e contexto do que os modelos anteriores. Exemplo: Traduzir um artigo em português para inglês mantendo o significado e a estrutura gramatical correta;
Geração de texto - Modelos como GPT-3 podem gerar texto coerente e gramaticalmente correto, baseado em um prompt ou contexto fornecido. Exemplo: Escrever um resumo para um artigo científico ou criar histórias fictícias;
Análise de sentimentos - Transformers podem ser usados para analisar o sentimento num texto, identificando se ele é positivo, negativo ou neutro. Exemplo: Determinar o sentimento geral das avaliações de um produto ou serviço;
Respostas automáticas - Modelos de linguagem podem ser usados para gerar respostas relevantes e úteis para perguntas feitas por usuários. Exemplo: Responder a perguntas de suporte ao cliente ou fornecer informações solicitadas por um usuário.
Sumarização automática - Os Transformers podem ser aplicados para resumir textos longos, mantendo as informações mais importantes e relevantes. Exemplo: Criar um resumo conciso de um artigo de notícias ou um relatório.
A arquitetura dos Transformers, juntamente com o mecanismo de atenção, trouxe avanços importantes no campo da IA e do processamento de linguagem natural. Estes modelos melhoraram a eficiência, escalabilidade e desempenho em várias tarefas, permitindo aplicações sofisticada, aplicadas a tarefas comuns.
Para um uso satisfatório destas tecnologias, há cuidados a ter, pois há limitações que estas tecnologias apresentam, que se reflete na qualidade do que elas nos entregam, uma vez que isso depende da qualidade dos inputs que nós lhes entregamos.
Em primeiro, nunca é demais salientar que esta tecnologia "Transformers" não tem como objetivo, dar respostas factualmente corretas, mas sim, contextualmente com sentido, e coerência semântica. Os modelos baseados em Transformers, como o GPT-3 e o ChatGPT, embora sejam eficientes em entender e gerar texto com sentido semântico e contextual, eles podem apresentar problemas que devo destacar:
Factualidade - Os modelos são treinados com base em dados disponíveis até uma certa data, o que limita o seu conhecimento a informações disponíveis até àquele momento. Além disso, eles podem gerar respostas incorretas ou imprecisas, mesmo quando têm acesso à informação correta, pois o seu objetivo principal é gerar texto coerente e plausível, e não factualmente correto.
Soluções disruptivas e inovadoras - Os modelos são limitados pelo conhecimento e ideias existentes nos dados com que são treinados. Embora possam oferecer soluções criativas e inovadoras até certo ponto, eles não são capazes de criar ideias verdadeiramente disruptivas e revolucionárias que vão além dos conceitos e abordagens já presentes nos dados de treino.
Viés - Os modelos também podem herdar vieses e preconceitos presentes nos dados de treino, o que pode levar a conclusões ou respostas inadequadas e enviesadas.
Assim, é importante frisar que a capacidade de entregar melhores ou piores resultados, tem como ponto fulcral, a forma como se coloca a pergunta e como se contextualiza, para que a IA, use essa relação cognitiva humana e a relacione dentro dessa sua rede neuronal, para melhorar a previsão do que entrega, dentro do contexto de dados que tem disponíveis.
A qualidade das respostas geradas pelos modelos baseados em Transformers, como o GPT-3 e o ChatGPT, depende significativamente de como as perguntas são formuladas e contextualizadas. Estes modelos são sensíveis ao contexto e à formulação das perguntas, e a forma como se faz uma pergunta, define se as respostas serão mais precisas e relevantes. Vamos resumir o que acabo de dizer em dois aspetos funcionais:
Formulação da pergunta - A maneira como se formula uma pergunta pode influenciar significativamente a resposta gerada pelo modelo. Perguntas claras, específicas e bem estruturadas têm maior probabilidade de obter respostas precisas e úteis. Se a pergunta for ambígua ou mal formulada, o modelo pode gerar respostas menos relevantes ou imprecisas, pois tenta inferir o contexto e o objetivo com base no texto fornecido.
Contextualização - Fornecer informações contextuais relevantes pode melhorar a qualidade das respostas geradas pelos modelos baseados em Transformers. Isso ocorre porque esses modelos utilizam o contexto fornecido para moldar e adaptar as suas respostas de acordo com as informações apresentadas. Quanto melhor contexto se fornecer, mais fácil será para o modelo entender as expetativas de resposta e gerar assim as mais apropriadas.
Algumas dicas para melhorar os resultados:
Tente fazer perguntas claras e específicas que expressem exatamente o que deseja saber. Perguntas vagas ou ambíguas podem levar a respostas igualmente vagas ou imprecisas. Exemplo: Vago - "Qual é o melhor carro?" Específico - "Quais são os melhores carros elétricos em termos de eficiência energética e autonomia em 2022?"
Forneça contexto: Inclua informações contextuais relevantes na pergunta para ajudar o modelo a entender melhor o que pretende. Exemplo: Sem contexto - "Quem ganhou o Mundial da FIFA?" Com contexto - "Quem ganhou o Mundial da FIFA em 2018?"
Peça informações factuais: Se deseja obter informações factuais, tente estruturar a pergunta de tal forma que solicite fatos específicos em vez de opiniões. Exemplo: Opinião - "Qual é a opinião das pessoas sobre a mudança climática?" Factual - "Quais são as principais causas cientificamente comprovadas da mudança climática?"
Peça detalhes: Se deseja uma resposta mais detalhada, pode solicitar explicitamente mais informações ou exemplos. Exemplo: Simples - "O que é fotossíntese?" Detalhado - "Explique o processo da fotossíntese, incluindo os componentes envolvidos e as reações químicas que ocorrem."
Reformule a pergunta: Se a resposta inicial não for satisfatória, tente reformular a pergunta ou abordar o problema de um ângulo diferente. Exemplo: Primeira tentativa - "Qual é a importância da IA na medicina?" Segunda tentativa - "Quais são os principais avanços e aplicações da inteligência artificial no campo da medicina?"
Ao seguir essas dicas e adaptar a formulação e o contexto das suas perguntas, obterá respostas mais precisas e úteis dos modelos baseados em Transformers. No entanto, é importante lembrar que, apesar de seguir essas diretrizes, os modelos ainda têm limitações e podem gerar respostas incorretas ou insatisfatórias em alguns casos.
Lembre-se, esta tecnologia tem como base, a coerência contextual e semântica do que lhe está a ser solicitado, e não, a preocupação em estar a entregar respostas verídicas. Portanto, use-a como auxiliar do raciocínio, ou de automação de algumas tarefas que não precisam de comprovação factual, mas nunca com a ideia que estes modelos, por darem sempre respostas coerentes, são oráculos modernos, detentores de sabedoria além das limitações humanas.
© - Diário Digital Castelo Branco. Todos os direitos reservados.
Desenvolvido por: Albinet
