NOTÍCIAS
Ciência e Tecnologia
O que é o colapso dos modelos de IA, sobre o qual alertam pesquisadores
Foto: Reprodução

Pesquisadores da área de inteligência artificial têm levantado preocupações sobre um fenômeno chamado “colapso dos modelos de IA”, que pode comprometer a eficácia das futuras gerações dessas tecnologias.

 

O termo se refere a um processo degenerativo que ocorre quando modelos de IA são treinados utilizando dados gerados por outros modelos de IA, em vez de dados originados por humanos.

 

Esse fenômeno é motivo de preocupação crescente na comunidade científica, especialmente à medida que cresce a quantidade de conteúdos gerados por IA na internet e a utilização desses materiais para “retroalimentar” o treinamento dos modelos.

 

Veja também

 

Inscrições abertas para Mestrado Acadêmico em Ciências Veterinárias

 

Elon Musk ironiza Alexandre de Moraes e compara ministro a vilões após ameaça de suspensão do X

 

COLAPSO DOS MODELOS DE IA

 

Pesquisadores alertam que o treinamento de IA com dados gerados por IA pode causar

 

Em um artigo publicado na revista Nature no último mês de julho, os pesquisadores Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Nicolas Papernot, Ross Anderson e Yarin Gal mostram como os modelos de IA apresentam resultados piores quando são treinados em dados gerados artificialmente.

 

A principal preocupação dos pesquisadores é que o aumento do conteúdo gerado por IA na internet crie um ciclo de retroalimentação, onde novos modelos de IA são treinados em dados gerados por modelos anteriores.

 

De acordo com os autores, “o desenvolvimento de modelos de linguagem de larga escala (LLMs) requer grandes quantidades de dados de treinamento. No entanto, embora os LLMs atuais tenham sido treinados em texto predominantemente gerado por humanos, isso pode mudar. Se os dados de treinamento da maioria dos modelos futuros também forem extraídos da web, eles inevitavelmente treinarão em dados produzidos por seus predecessores”.

 

O estudo mostra como essa prática pode resultar em uma perda progressiva de precisão e diversidade nos resultados dos modelos, em um processo que os cientistas chamam de “colapso dos modelos”.

 

Esse processo, conforme detalhado pelos autores, ocorre devido a três tipos de erros que se acumulam ao longo de gerações de modelos: erro de aproximação estatística, erro de expressividade funcional e erro de aproximação funcional.

 

Cada um desses erros contribui para a degradação gradual da qualidade dos modelos, que passam a reproduzir de forma imprecisa as informações originais, culminando no que os pesquisadores descrevem como uma "perda de informação" em estágios iniciais e uma "convergência que pouco se assemelha à original" em estágios mais avançados.

 

REGURGITAÇÃO DE DADOS NO TREINAMENTO DE IAS

 

Pesquisadores dizem que IAs treinadas com dados gerados por outros modelos apresentam queda de desempenho (Imagem: Reprodução/Freepik)

Fotos: Reprodução

 

A prática de treinar modelos de IA com dados gerados por outros modelos também é discutida em outro artigo científico: "Regurgitative Training” (ou "Treinamento Regurgitativo", em tradução direta), de Jinghui Zhang, Dandan Qiao, Mochen Yang e Qiang Wei, também publicado em julho.

 

Nesse estudo, os autores exploram os efeitos do que chamam de “regurgitação de dados no treinamento de IAs” e concluem que esse processo resulta em uma perda de desempenho dos modelos.

 

Segundo os pesquisadores, “o sucesso explosivo de LLMs, como ChatGPT e Llama, significa que uma quantidade substancial de conteúdo online será gerada por LLMs em vez de humanos, o que inevitavelmente entrará nos conjuntos de dados de treinamento de LLMs de próxima geração”.

 

O “treinamento regurgitado” é visto pelos autores como algo inevitável, devido à proliferação de conteúdo gerado por IA. “Há evidências que sugerem que uma grande parte da web já é gerada por modelos de tradução automática”, destaca a equipe no artigo.

 

Curtiu? Siga o PORTAL DO ZACARIAS no FacebookTwitter e no Instagram

Entre no nosso Grupo de WhatAppCanal e Telegram

 

Porém, os pesquisadores concluem em suas análises que “treinar um novo LLM usando dados gerados (menos que parcialmente) por ele mesmo ou por outros LLMs geralmente resulta em desempenho inferior em relação ao treinamento com dados reais”.

 

Fonte: Canal Tech

 

LEIA MAIS
Copyright © 2013 - 2024. Portal do Zacarias - Todos os direitos reservados.