Apple em Negociações com Startup de Inteligência Artificial
Apple está considerando a colaboração com uma pequena empresa do Vale do Silício que afirma ser capaz de compactar modelos avançados de inteligência artificial, permitindo que operem diretamente em um iPhone. A informação foi confirmada pelo CEO da startup, que conversou com a CNBC.
PrismML e Suas Inovações
A startup, chamada PrismML, é uma derivação da Khosla Ventures e do Instituto de Tecnologia da Califórnia. Na terça-feira, a empresa anunciou publicamente versões compactadas do modelo Qwen, de código aberto da Alibaba. Segundo a empresa, eles conseguiram reduzir o tamanho do modelo de aproximadamente 54 GB para menos de 4 GB, o que permite que todos os 27 bilhões de parâmetros do modelo funcionem em iPhones 15 ou mais recentes.
Avaliações e Progresso nas Conversas
Babak Hassibi, CEO da PrismML, revelou à CNBC que a Apple e outras empresas estão atualmente avaliando os modelos da startup, analisando sua velocidade, eficiência energética e desempenho em dispositivos móveis. "Eles estão realmente avaliando nossa tecnologia no momento", comentou Hassibi, referindo-se à Apple. O executivo descreveu as discussões como estando em um estágio inicial e disse que ainda não está claro para onde elas vão direcionar, mas mencionou que “as coisas estão progredindo bem”.
A Apple não respondeu imediatamente ao pedido de comentários.
Lançamento e Atualizações no iOS
O lançamento dos modelos comprados ocorreu um dia após a Apple ter aberto a versão beta pública do iOS 27, oferecendo aos proprietários de iPhone acesso amplo à reestruturação de Siri, que estava atrasada. A Apple busca tornar Siri mais competitiva em relação aos assistentes desenvolvidos pela OpenAI e pela Anthropic, enquanto mantém mais informações pessoais e o processamento de IA nos dispositivos.
Desafios Enfrentados pela Apple
A abordagem da Apple pode abordar uma das principais limitações que a empresa enfrenta na estratégia de IA. Os modelos mais avançados geralmente requerem uma grande quantidade de memória e poder de processamento, o que torna desafiador executá-los em um smartphone. A empresa pode enviar solicitações complexas para modelos baseados em nuvem, mas rodar mais IA diretamente no iPhone diminui a latência associada ao envio de dados para um servidor remoto, além de reduzir os custos de computação em nuvem e apoiar a proposta de privacidade da companhia. Isso também permitiria que certos recursos funcionassem sem uma conexão de internet.
Vantagens da Apple de Rodar IA Localmente
A Apple já executa partes de seu sistema de IA localmente, incluindo tradução, algumas funcionalidades de sumarização e recursos que estão intimamente associados a informações pessoais. Horace Dediu, fundador da Asymco, acredita que a Apple provavelmente está tentando manter a maioria das interações comuns com a Siri no dispositivo, reservando as tarefas mais exigentes para a nuvem. O benefício não é apenas a economia de memória, mas também a capacidade de implementar um modelo mais eficiente dentro dos limites físicos.
Comparação entre Práticas de Modelos e Exigências de Energia
Carolina Milanesi, presidente e analista da Creative Strategies, mencionou que modelos menores poderiam permitir que a Apple incorporasse recursos mais exigentes no iPhone, incluindo fotografia computacional e ferramentas de saúde e fitness que dependem de dados pessoais sensíveis. "Quanto mais você puder fazer localmente, melhor será", comentou ela.
A PrismML afirmou que consegue reduzir modelos de IA simplificando drasticamente a forma como suas informações internas são armazenadas, reduzindo cada valor de 16 bits para apenas um ou três valores possíveis. Isso reduz significativamente a memória necessária para armazenar e operar o modelo. Hassibi comparou essa inovação ao movimento da indústria de chips de computação de oito bits para quatro bits, mas afirmou que a startup está dando um passo adiante.
Os modelos comprimidos consomem entre 10 e 15 vezes menos memória, geram respostas de seis a oito vezes mais rapidamente e consomem entre três e seis vezes menos energia do que as versões convencionais que são executadas em hardware existente. No entanto, Hassibi reconheceu que há uma compensação; os modelos da PrismML geralmente perdem alguns pontos percentuais de desempenho geral, com a lembrança factual enfraquecendo antes de habilidades como raciocínio, matemática e codificação.
Disponibilidade do Modelo e Impacto em Chips de Memória
A PrismML está lançando duas versões comprimidas do modelo gratuitamente, que são projetadas para serem executadas em dispositivos comuns, incluindo iPhones, MacBooks e PCs com tecnologia Nvidia. A tecnologia teve origem no grupo de pesquisa de Hassibi na Caltech, que detém as patentes subjacentes e as licencia exclusivamente para a PrismML. Em março, a companhia levantou um investimento inicial de 16,25 milhões de dólares, apoiado pela Khosla Ventures e outros investidores.
Hassibi afirmou que o modelo de código aberto Gemma, do Google, está na sequência do que a PrismML está desenvolvendo, seguido de modelos muito maiores, que atualmente exigem hardware de datacenter. Além disso, segundo a PrismML, essa tecnologia pode, em última análise, se estender além de telefones e laptops, alcançando robótica, sistemas autônomos e outros produtos que necessitam de tomadas de decisão rápidas, sem depender de uma conexão com a nuvem.
Demandas Críticas e Perfis de Desempenho
PrismML enfatiza a importância de que a inteligência seja local e capaz de operar rapidamente. No entanto, alguns analistas expressaram a necessidade de validação externa das reivindicações da startup. Tarun Pathak, diretor de pesquisa da Counterpoint Research, destacou que o desempenho do modelo em prompts longos, o consumo de bateria durante multitarefa e a confiabilidade em milhões de solicitações serão fatores críticos.
O diretor de pesquisa de processadores da IDC, Phil Solis, apontou que o consumo de energia pode ser a maior questão ainda em aberto para modelos que são suficientemente capazes de serem utilizados com frequência ou de forma contínua, pois isso pode drenar a bateria de um telefone, mesmo que esses modelos exijam menos memória.
Reflexões Finais sobre a Eficiência e o Mercado de Chips
O lançamento da PrismML ocorre em meio a um intenso debate sobre se as melhorias na eficiência da IA poderiam, eventualmente, reduzir a demanda por chips de memória e infraestrutura de datacenter cara. A memória é um dos maiores custos e limitações em eletrônicos de consumo e servidores de IA. A Morgan Stanley estima que o custo médio do acesso aleatório dinâmico de memória da Apple por bit poderá aumentar cerca de 190% ano a ano até o exercício de 2027, com custos de NAND subindo cerca de 180%.
A PrismML sugere que sua abordagem pode permitir que um modelo em nuvem que normalmente requer oito GPUs funcione em uma única GPU, ao mesmo tempo em que possibilita que modelos que antes exigiam um servidor sejam executados em celulares e laptops. Isso poderia diminuir a quantidade de memória ou capacidade de computação necessária para uma determinada tarefa de IA, mas não implica necessariamente que a demanda geral por chips diminuirá.
Ainda assim, o mercado reagiu rapidamente a qualquer sugestão de que a IA pode precisar de menos memória do que o esperado. As ações da Micron, por exemplo, sofreram uma queda acentuada em março após a publicação do artigo TurboQuant pelo Google, que discutiu a redução do uso de memória sem prejudicar o desempenho do modelo, embora o valor das ações tenha se recuperado posteriormente.
A liberação pública da PrismML oferece a usuários e investidores a chance de testar se as melhorias alegadas se sustentam fora do ambiente controlado de laboratório. Para a Apple, executar IA mais capaz diretamente no iPhone pode ajudar a companhia a aprimorar o Siri sem comprometer a privacidade e a integração de hardware que diferenciam seus produtos.
Fonte: www.cnbc.com
