By Diego Cambiaso 
Ejecutar modelos de lenguaje en el teléfono o en la computadora reduce la dependencia de internet y cambia qué hardware conviene elegir
La inteligencia artificial generativa suele asociarse a una conexión permanente, pero ejecutar modelos de lenguaje en el propio dispositivo ya es una alternativa viable. Aplicaciones como Google AI Edge Gallery o MNN Chat procesan las consultas en el hardware del teléfono, así que funcionan incluso sin red, por ejemplo durante un vuelo comercial. La generación de texto es más lenta que en los servicios alojados en servidores externos, pero la operatividad básica se mantiene.
Esto cambia el criterio para elegir un teléfono. Los equipos de gama media suelen ofrecer un buen equilibrio entre rendimiento y autonomía, y muchos usuarios los prefieren o desactivan funciones de un gama alta para ahorrar batería. Con modelos locales el cálculo es distinto: la NPU (unidad de procesamiento neuronal, un componente pensado para acelerar tareas de IA), los procesadores recientes y una mayor cantidad de memoria RAM mejoran los tiempos de respuesta. Si el objetivo es usar un agente conversacional fluido en el teléfono, un gama alta tiene una justificación de rendimiento. El resultado exacto depende del modelo y de la aplicación, por lo que conviene probar.
En las computadoras, LM Studio permite descargar y ejecutar modelos abiertos como Hermes. Como en el móvil, la inferencia (el proceso con el que el modelo genera la respuesta) es más lenta que en la nube. A cambio, la arquitectura local aporta dos ventajas: privacidad y control.
Al procesarse todo en el equipo, los textos que se le entregan al modelo no salen del dispositivo ni sirven para entrenar sistemas de terceros. Eso lo hace adecuado para información sensible; en mi caso, lo uso para traducir al italiano documentos con datos financieros. Hay una precisión necesaria: la privacidad también depende de la aplicación. MNN Chat forma parte del proyecto MNN, publicado en GitHub, lo que permite auditar su código. LM Studio es gratuito, pero su aplicación no es de código abierto, así que la confianza descansa en sus términos de uso y en comprobar, por ejemplo, que funciona sin conexión.
La segunda ventaja es, en mi opinión, el control. Un modelo local de pesos abiertos no pasa por las políticas de moderación de una plataforma, y el usuario decide los parámetros de generación. Algunos modelos conservan restricciones incorporadas durante su entrenamiento, algo que varía de uno a otro.
Probar un modelo local lleva pocos minutos y permite juzgar con experiencia propia si la menor velocidad compensa la privacidad y el control.