Liquid AI lança LFM2.5-2.6B: A inteligência artificial que você pode rodar em uma Raspberry Pi
Até agora, se você quisesse integrar uma IA capaz em seu negócio, estava atado à nuvem. Precisava pagar assinaturas ou consumo por tokens, depender de uma conexão à internet impecável e, o mais crítico para muitas empresas, enviar informações privadas para servidores de terceiros.
Liquid AI, uma companhia fundada em 2023 por ex-pesquisadores do MIT, acaba de chacoalhar o mercado com o lançamento de LFM2.5-2.6B. Trata-se de um modelo de inteligência artificial projetado especificamente para funcionar de maneira local em dispositivos com muito poucos recursos.
Quais recursos? Você pode rodá-lo perfeitamente no seu celular, em um laptop comum ou até em uma humilde Raspberry Pi, sem depender de servidores externos nem de caras placas gráficas (GPUs).
Os números duros: leve mas rápido
O problema que o LFM2.5-2.6B resolve é o equilíbrio entre desempenho e tamanho. Este modelo pesa menos de 2,5 GB em memória RAM e conta com apenas 2.600 milhões de parâmetros, mas sua arquitetura está tão otimizada que consegue ler um contexto de até 128.000 tokens (equivalente a vários livros inteiros).
Em termos de velocidade, as métricas são bastante sólidas. O modelo pode processar cerca de 220 tokens por segundo em um laptop com chip Apple M5 Max, e cerca de 30 tokens por segundo em um smartphone médio. Basicamente, permite que você tenha respostas instantâneas da IA diretamente no bolso.
Para que serve (e para que não)
Este modelo não vem para competir com gigantes como GPT-4 ou Llama 3 em tarefas de raciocínio profundo ou desenvolvimento de software pesado. Seu ponto forte são as tarefas estruturadas e repetitivas, o que na indústria é conhecido como "trabalho de agentes".
É ideal para chamar outras ferramentas, ler documentos de maneira privada, gerenciar calendários, automatizar fluxos de dados em empresas B2B ou dotar de inteligência a eletrodomésticos e dispositivos de uso industrial (IoT). Se você precisa que a IA trabalhe offline e sem comprometer a privacidade de seus clientes, este é o caminho.
A letra miúda: É realmente gratuito?
Aqui está um detalhe importante que muitas empresas ignoram. Embora você possa baixar os pesos do modelo livremente (open-weights), o LFM2.5-2.6B é distribuído sob a LFM Open License v1.0.
Isso significa que é 100% gratuito para pesquisadores, organizações sem fins lucrativos e projetos pessoais. Para uso comercial, também é gratuito desde que sua empresa fature menos de 10 milhões de dólares anuais. Se o seu negócio ultrapassar esse valor, você terá que negociar uma licença comercial diretamente com a Liquid AI.