712 - IA Local en tu Android. Potencia sin Conexión
Controla tu casa, #linux y todo desde #android con HTTP Shortcuts. Acciones rápidas para tu servidor y dispositivos. ¡Automatiza con un toque!
Una de las preguntas mas recurrentes cuando hago algún episodio sobre IA, modelos de lenguaje, etc, donde utilizo alguno de los player mas habituales como ChatGPT o Gemini, es si lo mismo se puede hacer con una IA local. Ya hice, hace algún tiempo algún que otro vídeo sobre utilizar modelos de lenguaje de forma local, es decir, sin conexión a internet, pero siempre desde el mi equipo de escritorio Linux. Sin embargo, creo que hoy, es mas interesante tener la posibilidad de recurrir a una IA local en el móvil, porque al fin y al cabo, lo que siempre llevamos con nosotros es el móvil, y lo que nos puede sacar de un apuro, en un momento concreto, es precisamente una IA… o no, depende de lo imaginativa que sea. Sea como fuere este episodio trata precisamente de como puedes tener una IA local en tu Android, toda la potencia, sin conexión.
IA Local en tu Android. Potencia sin Conexión
De donde surge la idea
La cuestión es que hace unos días escuchando a Carlos Castillo en uno de los episodios de Reflex Podcast, mencionaba precisamente la posibilidad de tener una IA local en el móvil Android. Lo cierto, es que en mi increíble torpeza no fui capaz de localizar ese episodio para ver de que app se trataba. Así que, me tocó realizar una búsqueda en la red de redes, en busca de alguna aplicación que me permitiera hacer eso, y di con Google AI Edge Gallery.
Google AI Edge Gallery
Google AI Edge Gallery es una aplicación Open Source, diseñada para llevar la inteligencia artificial generativa directamente a tus dispositivos móviles. Su característica principal es que permite ejecutar modelos avanzados de IA, como los que crean texto o imágenes, de forma local en tu teléfono o tablet. Esto significa que, a diferencia de muchas herramientas de IA que requieren una conexión constante a internet para procesar la información en la nube, esta aplicación realiza todo el trabajo en tu propio dispositivo. Actualmente está disponible para Android y se espera que llegue pronto a iOS.
El gran beneficio de esta aproximación en el borde (edge) es la privacidad y la accesibilidad. Una vez que el modelo de IA se ha descargado e instalado en tu dispositivo, puedes utilizar todas sus funcionalidades sin necesidad de estar conectado a internet. Esto abre un mundo de posibilidades para el uso de la IA en cualquier momento y lugar. La aplicación te permite explorar y experimentar con diferentes modelos, permitiéndote chatear con ellos, hacer preguntas utilizando imágenes como entrada, y descubrir cómo formular las instrucciones (prompts) para obtener los mejores resultados.
Características principales
Algunas de las características principales de Google AI Edge Gallery son,
- Ejecución Local, Completamente Offline. Esta característica destaca la capacidad de la aplicación para funcionar sin necesidad de una conexión a internet. Todo el procesamiento de la inteligencia artificial se realiza directamente en el dispositivo del usuario, lo que garantiza privacidad y accesibilidad en cualquier momento y lugar.
- Elige Tu Modelo. Permite a los usuarios seleccionar y alternar entre diferentes modelos de IA generativa disponibles en la plataforma Hugging Face. Esto es útil para comparar el rendimiento, la calidad o las capacidades de distintos modelos para una tarea específica.
- Pregunta a la Imagen. Esta función habilita la interacción con la IA a través de imágenes. Los usuarios pueden subir una imagen y formular preguntas sobre su contenido, lo que permite a la IA proporcionar descripciones, ayudar a resolver problemas visuales o identificar objetos dentro de la imagen.
- Laboratorio de Prompts. Es un espacio para experimentar con la IA generativa mediante prompts. Los usuarios pueden pedir a la IA que resuma textos, reescriba contenido, genere código de programación o explore otras aplicaciones de los modelos de lenguaje grandes (LLM) en interacciones sencillas.
- Chat de IA. Facilita conversaciones más dinámicas y continuas con la inteligencia artificial. A diferencia del Prompt Lab que se enfoca en interacciones de un solo turno, el AI Chat permite un diálogo prolongado donde la IA puede recordar el contexto de turnos anteriores.
- Información de Rendimiento. Proporciona métricas en tiempo real sobre cómo se están ejecutando los modelos de IA en el dispositivo. Incluye datos como el Time To First Token (TTFT, tiempo hasta el primer token), la velocidad de decodificación y la latencia, lo que es valioso para entender la eficiencia del modelo.
- Trae Tu Propio Modelo. Dirigida a usuarios más avanzados o desarrolladores, esta característica permite cargar y probar modelos de IA personalizados en formato LiteRT .task directamente en la aplicación. Esto fomenta la experimentación y el desarrollo de modelos propios.
- Recursos para Desarrolladores. Ofrece enlaces rápidos y convenientes a recursos externos importantes para desarrolladores. Esto incluye acceso a «tarjetas de modelo» (documentación detallada sobre cada modelo) y al código fuente, facilitando la comprensión y el uso de los modelos.
Instalación y uso
Antes de lanzarte a instalar la aplicación, indicarte que los modelos te los tienes que descargar de Hugging Face, y para ello es necesario que te registres en esta plataforma.
Una vez realizado el requisito anterior, el siguiente paso es descargar en el móvil la aplicación desde el repositorio de GitHub e instalarla. Para ello, es necesario que le des permisos al navegador para que pueda realizar esta instalación.
Cuando ya tengas instalada la aplicación, simplemente descarga los modelos que quieras y empieza a jugar con los mismos.
Más información,