Discussão sobre a destilação de IA
Jeff Dean, líder de inteligência artificial da Google LLC, participou de um podcast no início deste ano, onde abordou um conceito que, na época, era pouco discutido fora dos círculos técnicos: a destilação. Durante suas considerações sobre o desenvolvimento dos modelos de IA da Google, Dean mencionou que ele e sua equipe descobriram técnicas de destilação de inteligência artificial ao buscarem melhorar o desempenho dos sistemas sem depender de um único modelo grande de reconhecimento de imagem.
"Por meio da destilação, que é uma técnica fundamental para tornar os modelos menores mais capazes, é necessário ter o modelo fronteira para, em seguida, destilá-lo em seu modelo menor", explicou Dean em fevereiro.
Cinco meses depois, a destilação se tornou um tópico controverso que gerou discussões acaloradas de Silicon Valley até Washington, D.C. Especialistas em tecnologia e legisladores debatem se essa prática pode se transformar em uma ameaça à segurança nacional e se está permitindo que a China consiga alcançar os Estados Unidos na competitiva corrida tecnológica de IA.
Reações ao Lançamento do Kimi K3
A preocupação aumentou na semana passada, quando o laboratório chinês Moonshot AI lançou o Kimi K3, modelo que rapidamente se mostrou competitivo com as melhores ofertas comerciais de IA, como as da Anthropic e OpenAI. Diferentemente das principais empresas de IA dos Estados Unidos, que vendem acesso a modelos proprietários, Moonshot e outros laboratórios chineses oferecem modelos conhecidos como "open-weight". Isso permite que os usuários façam o download da tecnologia, realizem modificações e a utilizem onde desejarem.
Alguns funcionários do governo atribuíram a capacidade do Moonshot de se igualar tão rapidamente ao uso da destilação, caracterizando essa prática como roubo de propriedade intelectual americana, especificamente pela incorporação do modelo fronteira Fable da Anthropic. "Temos informações de que a Moonshot AI destilou o modelo Fable da Anthropic para o desenvolvimento de seu modelo K3", publicou na quarta-feira o conselheiro da Casa Branca, Michael Kratsios, em sua conta no X. "Para isso, eles desenvolveram uma plataforma interna sofisticada para realizar a destilação em larga escala contra modelos dos EUA, permitindo que eles trocassem rapidamente entre múltiplos métodos de acesso para evitar a detecção."
A Prática da Destilação em IA
No nível mais alto, a destilação refere-se ao uso de respostas de um chatbot ou de um produto gerado por um modelo de IA avançado para treinar outro modelo. A prática gera controvérsias, pois, dependendo de como é utilizada, pode permitir que um desenvolvedor de modelos crie uma oferta concorrente utilizando simplesmente os resultados de empresas que investiram milhões ou até bilhões de dólares em desenvolver as tecnologias de treinamento mais sofisticadas.
"É quase como se alguém tivesse ido às aulas, lido o livro didático e feito todo o trabalho duro de fazer a lição de casa", comentou Pukar Hamal, fundador da empresa de segurança de IA, SecurityPal. "Então, outro estudante diz: ‘Ei, eu não fiz isso. Posso apenas copiar o seu trabalho?’"
Independentemente do post de Kratsios ou de outros fatores, os maiores pesos-pesados do setor tecnológico se uniram na sexta-feira de forma inédita para deixar clara sua posição. Após uma série de publicações nas redes sociais durante a semana, gigantes da tecnologia como Nvidia, Microsoft, Meta e Palantir se juntaram a mais de 20 outras empresas para publicar uma carta pedindo aos formuladores de políticas que evitem "restrições prematuras" aos modelos de IA open-weight que possam "sufocar a concorrência ou levar inovação para o exterior."
"Destilação, ou a prática de usar as saídas de um modelo para ajudar a treinar ou melhorar outro, é uma técnica amplamente utilizada para a melhoria, evolução e validação de modelos", escreveram.
Buscando Soluções para o Problema com a China
O surgimento da destilação apresenta um dilema para os formuladores de políticas dos EUA, que há muito se preocupam com a tecnologia chinesa, tanto em relação ao roubo de propriedade intelectual quanto a questões de segurança nacional. Colin Shea-Blymyer, pesquisador do Centro de Segurança e Tecnologia Emergente da Universidade Georgetown, afirmou que o governo dos EUA está tentando definir sua posição.
O governo pode argumentar que empresas chinesas e russas "usaram as saídas de modelos americanos bem desenvolvidos para se tornarem mais eficientes, obtendo, assim, uma vantagem desleal". Aaron Levie, CEO da Box e um dos signatários da carta da sexta-feira, declarou em uma entrevista que, para que as empresas dos Estados Unidos permaneçam competitivas, é necessário ter acesso às melhores tecnologias, independentemente de onde tenham sido desenvolvidas.
"De forma geral, a tendência será de que quanto mais inovações houver, seja nos EUA, na China ou em qualquer outro lugar, mais avanço em IA se espera, e isso, geralmente, tenderá a ser cada vez mais econômico e eficiente ao longo do tempo", comentou Levie.
Embora muito do discurso atual foque em modelos de IA open-weight chineses como o Kimi K3, muitas empresas também têm incorporado a técnica de destilação em seus próprios modelos. Shashi Bellamkonda, diretor de pesquisa do Info-Tech Research Group, destacou que a Nvidia, por exemplo, utilizou a destilação como parte do processo de treinamento de sua série de modelos Llama Nemotron, conforme detalhado em um artigo de pesquisa associado.
A Perspectiva da Anthropic sobre a Destilação
No entanto, a Anthropic vê a questão de forma diferente, uma vez que a empresa está atenta ao uso que seus modelos vêm recebendo e busca proteger seus negócios em crescimento. Em fevereiro, a empresa informou que suas capacidades de Claude estavam sendo destiladas em "escala industrial" por empresas chinesas como DeepSeek, Moonshot e MiniMax, que utilizaram cerca de 24 mil contas fakes, gerando 16 milhões de trocas.
A Anthropic, avaliada em cerca de 1 trilhão de dólares e com aspirações de abrir capital em breve, sustentou que a interrupção da destilação ilícita é uma questão de segurança nacional. "A Anthropic e outras empresas americanas constroem sistemas que evitam que atores estatais e não estatais usem IA para, por exemplo, desenvolver armas biológicas ou realizar atividades cibernéticas maliciosas", afirmou a companhia em sua publicação de fevereiro. E para impedir isso, é necessária uma "ação rápida e coordenada entre os players do setor, formuladores de políticas e a comunidade global de IA."
A OpenAI e a Anthropic têm banido a destilação em seus termos de serviço. Bellamkonda observou que essas empresas estão, essencialmente, sugerindo que o uso de seus modelos maiores sem autorização representa um potencial roubo de propriedade intelectual.
No entanto, com os custos de IA disparando, as empresas farão o que for necessário para buscar eficiência. Hamal expressou que não teria problemas em utilizar modelos open-weight chineses, como o Kimi K3, em sua empresa SecurityPal, que automatiza avaliações de segurança usando IA, afirmando que isso poderia gerar consideráveis economias financeiras.
"Garantiamos que não haja portas dos fundos maléficas no código", disse Hamal. "Mas hospedá-lo em nossa própria infraestrutura, após uma avaliação, por que não?"
Uma dificuldade significativa para a Anthropic e a OpenAI ao tentarem justificar suas alegações de roubo de propriedade intelectual é que ambas as empresas se basearam em outras fontes de conteúdo para construir seus modelos e enfrentaram processos judiciais por isso. Max Pritt, advogado do escritório Boies Schiller Flexner, que representa autores de livros em litígios de direitos autorais contra empresas de IA, comentou que o governo encontra-se na mesma situação.
"A administração, pelo menos publicamente, focou seus esforços na proteção da propriedade intelectual das empresas tecnológicas, permanecendo em grande parte em silêncio em relação à propriedade intelectual de criadores e indivíduos que foi utilizada sem autorização", disse Pritt.
Fonte: www.cnbc.com
