Si sueles hacer pruebas con modelos locales, es muy probable que llama.cpp ya sea parte de tu rutina. Desde que Georgi Gerganov lo lanzó a principios de 2023, ha sido la opción por excelencia para correr inteligencia artificial en hardware doméstico. Pero en los últimos días, una actualización bastante silenciosa está cambiando las reglas del juego: el servidor ahora incluye herramientas nativas integradas.
Y no estamos hablando de simples atajos, sino de comandos con acceso directo al sistema operativo.
De simple servidor a "mini agente"
Hasta ahora, si querías que tu modelo local leyera un documento o ejecutara una acción en tu computadora, tenías que armar un puente. Ya sea configurando servidores MCP (Model Context Protocol) o peleando con dependencias externas y wrappers pesados, el proceso te sacaba del flujo de trabajo.
Con esta nueva actualización experimental (que activas usando la bandera --tools), llama.cpp elimina a los intermediarios. Al usar herramientas integradas como exec_shell_command, edit_file o read_file, el servidor básicamente se convierte en un agente autónomo. Le pasas tu modelo en formato .gguf, enciendes el servidor y listo: la IA ya puede consultar la fecha del sistema, leer tus archivos o ejecutar comandos en la terminal por sí sola.
Menos fricción, pero con una gran advertencia
Para los desarrolladores, esto es un alivio inmenso porque reduce la necesidad de usar plataformas adicionales como Ollama o LM Studio si solo buscas automatizar tareas locales sencillas. Te concentras en la lógica y dejas que llama.cpp se encargue de la interacción con tu máquina.
Pero hay un detalle importante que la comunidad ya está señalando: la seguridad. Actualmente, estas herramientas se ejecutan sin ningún tipo de sandboxing (aislamiento). Esto significa que si le das permisos de shell a un modelo y tu servidor está expuesto en una red (o si el modelo alucina un comando destructivo), corres un riesgo real de comprometer tu sistema operativo. Las operaciones de archivo actúan sobre la carpeta donde iniciaste el servidor, así que la precaución debe ser máxima.
En definitiva, que llama.cpp empiece a incorporar estas capacidades de fábrica es una gran noticia para quienes buscan un flujo de trabajo más limpio e independiente, siempre y cuando sepas exactamente qué permisos le estás dando a tu modelo.