Transcripción
Hola, soy Lorenzo y esto es Atareado con Linux, episodio número 712,
Cada vez que saco un vídeo sobre modelos de lenguaje, sobre inteligencia artificial,
Mal llamado desde mi punto de vista, siempre hay una pregunta que sale en los comentarios,
Ya sea en los comentarios de YouTube, ya sea en los comentarios de Atareado.es,
Siempre sale esa pregunta y siempre hay alguien que pregunta si eso mismo se puede hacer,
Con un modelo de lenguaje, con una inteligencia local.
Y es que, sin lugar a dudas, una de las preocupaciones que tenemos más los usuarios,
Ya sea de Linux como de Android y otros sistemas operativos, es qué es lo que van a hacer,
Con esas preguntas que yo le hago los modelos de lenguaje,
¿Van a entrenar a otros modelos de lenguaje con esas preguntas que yo hago,
¿Van a hacer mal uso de esa información.
Y esa pregunta, esas cuestiones siempre quedan ahí remanentes.
Yo, desde luego, evidentemente para mí, todos estos modelos de lenguaje me sirven para trabajar,
En el sentido de que, bueno, pues le doy para hacer resúmenes, le doy para hacer este tipo de cosas,
Con lo cual ese entrenamiento que puedan hacer o lo que quieran hacer con ello no me reporta nada,
Porque me es más beneficioso que otra cosa.
Sin embargo, ya he hecho algún que otro vídeo en el que he utilizado modelos de lenguaje locales,
En concreto, he estado utilizando Oyama, además integrado con un modelo de lenguaje que era capaz de transcribir,
Y posteriormente leer, en fin, que podía hacer todo este tipo de operaciones, pero en el ordenador.
Y es que, dándole una vuelta a todo esto de las preguntas repetitivas, no, recurrentes,
Sobre cómo utilizar modelos de lenguaje en local, he pensado, ostras, más que modelos de lenguaje en un Linux.
¿Por qué no modelos de lenguaje en Android,
Pero modelos de lenguaje locales, modelos de lenguaje que no requieran ningún tipo de conexión,
Y claro, te estarás preguntando, bueno, pero ¿qué sentido tiene tener modelos de lenguaje locales,
Bueno, pues el sentido es muy claro,
Y es que no siempre, no en todas las circunstancias, vas a tener conectividad con Internet, punto número uno,
Y punto número dos, hay determinadas cuestiones que no vas a querer preguntarles a un modelo de lenguaje,
Llamado con conectividad, a un modelo de lenguaje de terceros, por aquello de que van a hacer con esos datos privados,
Así que, claro, con todo esto digo, ostras, ¿qué herramienta, qué dispositivo es el que tenemos todos en la mano,
¿O que tenemos siempre a nuestro alcance.
Pues básicamente un móvil,
Un móvil, o en segundo caso, pues yo te diría que una tablet,
Pero lo que va a ser más difícil que lleves en un bolsillo va a ser un ordenador portátil,
O un ordenador de escritorio,
Lo más sencillo es tu móvil,
Y eso es lo que estaba buscando básicamente con este episodio,
Encontrar un modelo de lenguaje que pudiera utilizar directamente en el móvil sin conexión, sin conectividad,
Sin que tus datos salgan de tu móvil.
Y esto es precisamente lo que nos trae, lo que te traigo, o mejor dicho, lo que te traigo en este episodio.
Una IA local en tu Android,
O lo que es lo mismo, potencia sin conexión,
Así que vamos directos al turnón,
Te voy a hablar en este episodio sobre cómo puedes tener una IA,
O mejor dicho, un modelo de lenguaje en tu móvil Android.
Bueno, lo primero y principal es preguntarte, o te estarás preguntando,
Bueno, ¿y de dónde surge esta idea,
Sí, te he contado un poco la cuestión.
Te he contado un poco la envolvente o el background de lo que tiene esto,
Pero nos falta un detalle.
Cómo AT o cómo conseguí enlazar el tema del modelo de lenguaje en local con el modelo de lenguaje en Android,
Y esto es precisamente lo que viene de Carlos Castillo,
De uno de sus episodios de Reflect Podcast,
En el que habló precisamente de que había estado utilizando un modelo de lenguaje local,
Pues para hacerle determinadas preguntas y ver cómo se comportaba.
Y claro, esto pues me llamó mucho la atención y se me quedó ahí grabado,
Lo que no se me quedó grabado, como de costumbre, es en qué episodio lo contó.
Ni tomé nota ni nada por el estilo,
Con lo cual, cuando quise averiguar exactamente cómo lo estaba haciendo él.
Pues miré dos o tres episodios y al tercer o cuarto ya dije,
Esto es muy pesado,
Voy a hacer una navegación internautica en busca de cuál es esa herramienta,
Que me va a permitir precisamente eso,
Que va a permitir buscar o trabajar directamente con una idea local.
Y lo encontré,
Tampoco era tan difícil,
Tampoco era para exprimirnos las meninges,
Simplemente es una herramienta que se llama Google iEdge Gallery,
No te preocupes que te lo dejo en las notas del episodio para que no lo pierdas.
Bueno, pues Google iEdge Gallery es una herramienta,
Es una aplicación open source que está pensada, está diseñada,
Está concebida para que puedas tener un modelo de lenguaje generativo,
Directamente en tu dispositivo móvil y llama dispositivo móvil a tu tableta Android,
A tu móvil Android o a cualquier otro dispositivo Android,
También te tengo que decir que en la documentación o en la página web de.
Bueno, mejor dicho, en el repositorio de GitHub,
De donde te tienes que descargar esta herramienta,
También hablan de que en un futuro, en un futuro lejano,
No, en un futuro no muy lejano, también estará disponible en iOS,
Lo que no sé es exactamente cómo lo van a poner en iOS,
Pues porque en el caso de Android, y como te contaré más adelante.
Pues la instalación no viene de la tienda de aplicaciones de Android,
Sino que la tienes que descargar, tienes que descargar el APK,
Directamente desde el repositorio.
Bueno, ¿qué características tiene esta herramienta,
¿Qué características fundamentales,
Bueno, la primera es que es una ejecución local,
Es decir, completamente offline.
Y esto es precisamente la característica más demandada,
Lo que se buscaba o lo que había que buscar era una herramienta,
Que te permitiera ejecutar un modelo de lenguaje,
Directamente en tu móvil, para que en esas circunstancias,
Ya sea porque no tienes cobertura,
Ya sea por lo que te comentaba anteriormente,
De la sensibilidad de los datos,
No quieras compartirlo con terceros.
Así que esta es la solución.
Dicho esto, ¿qué opciones te ofrece esta herramienta.
Pues esta herramienta te ofrece varias opciones,
La primera es directamente preguntarle,
Por una imagen, ¿qué es lo que tiene esa imagen.
Luego tienes un laboratorio de prompts,
Y además tienes un chat para chatear con él,
Que es básicamente lo que vas a buscar.
Además de todo esto, cualquier chat que abras,
Pues lo que te va a permitir es,
Tener información de tiempos de respuesta,
Vaya, información estadística de, por ejemplo, datos como el time to first token,
O la velocidad de codificación o la latencia,
Todas estas cosas que nos importan.
Y luego, aparte de esto, también te permite,
O por lo menos teóricamente te permite.
Importar tu propio modelo,
E incluso tienes recursos para desarrolladores,
En mi caso, yo esta parte no la he probado,
Simplemente me he quedado en esta parte primera,
En la parte de poder utilizar los modelos que tiene incorporados,
Y ver exactamente qué opciones tiene.
Decirte que la instalación y uso,
Que es lo primero de lo que te quería hablar,
Es una instalación bastante sencilla,
Simplemente tienes que ir al repositorio de Google iEdge Gallery,
Que te lo dejo en las notas del episodio,
Y descargarte la aplicación.
Antes de que, bueno, y la instales,
Para instalarla, evidentemente,
Le tienes que dar permisos de instalación,
A lo que estés utilizando.
Si no tienes los permisos de instalación,
Tienes que ir a la configuración y habilitarlos,
Porque si no, no vas a poder instalarlo,
Bueno, dicho esto.
Y antes que te lances a utilizar la aplicación,
Decirte que te tienes que dar de alta,
En el portal HuggingFace.
Que te dejo también en las notas del episodio.
Esto de darte de alta aquí,
Es simplemente para poder descargarte,
Los modelos de lenguaje para poder utilizarlos,
En concreto, yo me he descargado dos,
Que son el Gemma,
Que es la versión open source de Gemini,
Y Queen 2.5,
Que últimamente ha salido bastante en las noticias,
Y está dando bastante que decir.
Si, por ejemplo, abro cualquiera de los dos,
Por ejemplo, este primero,
Lo que me dice es que, bueno,
Pues que empiece a probarlo.
Este modelo dice que solamente,
Soporta texto y visión.
Luego está el otro, el Queen.
Que es mucho más simple.
Mira, vamos a probar por el Queen,
Y simplemente aquí es preguntarle cualquier cosa, ¿no.
¿Cuál, a ver, qué año fue el del apogeo del Imperio Romano,
Bueno, por ejemplo.
Le preguntamos esto por preguntarle cualquier cosa.
Y entonces él se pone,
Si te fijas.
Bueno.
Básicamente ha contestado,
Lo que absolutamente le ha dado a gana,
Me voy a ir a Gemini a ver si aquí funciona mejor,
Y luego te cuento más cosas, ¿no.
¿Qué año fue el del apogeo del Imperio Romano,
Otra vez,
A ver qué es lo que nos dice,
En este caso.
En este caso se está corriendo,
Sobre el modelo en CPU.
Yo creo recordar,
Que las primeras veces,
Tardó un poquito,
Pero luego va bastante bien.
Mira, aquí sí que nos ha contestado correctamente,
Dice el apogeo del Imperio Romano,
Es un tema debatido.
Pero bueno, esto es la típica,
Fue bajo el emperador Trajano,
En el siglo II después de Cristo,
Yo más o menos,
Esto es un poco lo que he ido.
Lo que he encontrado en otros sitios,
También le puedes preguntar,
Los, por ejemplo,
Los principales ríos de España.
Voy a ponerle,
Voy a acotarlo,
Para que sean los 10 principales ríos de España,
Y a ver qué nos dice.
Y entonces aquí ya,
De nuevo ejecutándolo en CPU.
Él te va diciendo, ¿no,
El tajo,
Bueno, aquí te cuenta,
Obra y milagros,
De cada uno de los,
De los,
De los ríos,
Voy a poner exactamente lo mismo.
Los 10 principales ríos de España.
A ver.
Dime,
Los 10 principales,
Ríos de España,
Pero,
De forma,
Lista,
A ver,
En vez de lista,
Los nombres,
De los,
Así,
Vale,
Lista los nombres,
De los 10 principales ríos de España.
A ver si así simplemente dice,
Los 10 nombres,
Y no se enrolla contando historias,
Vale.
Bueno,
Pues se enrolla contando historia.
Te dice Tajo,
El largo.
El más largo.
Ebro,
Bueno,
Solamente está diciendo la longitud,
De cada uno de los ríos,
Supongo que,
Como le he dicho,
Que diga,
Los principales,
Se ha basado,
O ha cogido como criterio,
Básicamente la longitud.
Pero bueno.
Es bastante rápido,
A la hora de contestar,
Ahora le podemos decir,
Que nos diga,
Los tres ríos,
Más caudalosos,
Caudalosos,
De España,
Por hacerlo,
Voy a decir,
Que nombra,
Los tres ríos,
Más caudalosos,
De España,
Vale.
A ver si así,
Es todavía más,
Conciso.
Vale.
El Ebro.
Que es el más caudaloso,
Con una media,
Alrededor de 1540 metros cúbicos,
Por segundo.
El Duero,
1000,
Y el Tajo.
Vale.
Más o menos,
Esto.
También tienes la posibilidad,
De,
En lugar de hacerlo,
Con CPU,
Hacerlo con GPU.
Yo aquí,
Tengo que decirte,
Que tengo,
Sentimientos encontrados,
En el sentido,
De que,
Dependiendo de cómo,
Lo he estado probando.
He visto que iba,
Más rápido con CPU,
Que con GPU,
Y en otras ocasiones,
Era al revés,
Cuando teóricamente,
La realidad,
Es que con GPU,
Deberías de ir,
Significativamente,
Más rápido,
Porque los procesos,
Estos que se ejecutan,
Con modelos de lenguaje,
Son.
Digamos.
Que tienen mucho más sentido,
Ejecutarlos,
Sobre una GPU,
Pero bueno.
Son cosas,
Que así.
Y luego,
Otra característica interesante,
Antes de ejecutarlo,
Con GPU,
Es que puedes ver,
Las estadísticas,
Que he comentado,
Anteriormente,
Por ejemplo,
Para la pregunta,
De los ríos,
Más caudalosos.
El first to time token,
Es decir,
El tiempo que tarda,
En llegar el primer token,
Es 1,6 segundos.
Y luego,
La velocidad,
De decodificación,
Es 6 tokens,
Por segundo,
Y la latencia,
De unos 20 segundos.
Ahora le vamos,
A preguntar,
Por ejemplo.
Las tres ciudades,
De España,
Con más población,
A ver,
Ya sé cuáles son,
¿No,
Pero voy a ponerle,
Otra vez,
Que nombra,
Las tres ciudades,
De España,
Con más población,
Vale.
Y a continuación,
Pues ya,
Ahora ya está corriendo,
Bueno,
Pues ya ha contestado.
Las tres ciudades,
De España,
Con más población,
Son Madrid.
Barcelona,
Y posteriormente,
Tiene que ser,
Valencia,
Muy bien,
Pues esto es,
Una de las grandes,
Ventajas,
También he hecho,
Bueno,
Aquí también puedes ver,
Las estadísticas,
Aquí ha tardado,
1,54,
Antes era 1,6,
Y la latencia,
14,09.
También le podemos,
Hacer otra pregunta,
¿Cuál era,
La comida,
Típica,
Típica,
En el,
Imperio,
Romano.
Romano,
En,
El 150,
Después,
De,
Cristo,
A ver qué dice.
Ahora,
De nuevo,
Está ejecutándolo,
Con GPU,
Y ya está contestando.
En el año,
Occidental,
El imperio romano,
Era un vasto,
Territorio,
Y la dieta,
Variaba según,
La región,
Y el estatus,
Social,
Sin embargo,
Podemos describir,
Algunos elementos,
Comunes,
De la comida,
Típica,
El trigo.
Que era la base,
De la dieta,
El cerdo,
Que estaba,
Muy consumida.
Las legumbres,
Bueno,
En fin,
Que es una herramienta,
Que es muy potente,
En el sentido,
De que todo esto,
Lo estoy haciendo,
Sin,
Bueno,
Realmente sí que tengo,
Conectividad a internet,
Pero lo que te quiero decir,
Es que estos modelos,
De lenguaje,
Se ejecutan,
Sin tener conectividad,
A internet.
Con lo cual,
Pues tienes la ventaja,
De tener,
Elementos,
Bastante potentes,
Decirte que,
A mí me parece,
Una herramienta,
Muy interesante,
Para básicamente,
Las dos circunstancias,
Que hemos comentado,
O que te he comentado,
A lo largo del episodio,
Es decir,
Una posibilidad,
De que no tengas,
Conectividad a internet,
Y quieras hacer,
Determinada consulta,
Y luego otra posibilidad,
De que quieras hacer,
Consultas,
Pues digamos.
Bastante,
Sensibles.
Aparte de esto,
Te tengo que dar,
Una mala noticia,
Y es que,
Cada vez que inicias,
Inicias de cero.
Con lo cual,
Tienes que configurar,
Nuevamente,
Todo para que,
Esto funcione.
Tarda un poquito,
Al principio,
Para iniciarse,
Es decir,
Para cargar,
El modelo de lenguaje,
En el dispositivo,
Bueno,
Para cargarlo,
Para poder utilizarlo,
Cuanto más grande,
Más tarda,
Evidentemente.
Y evidentemente,
Esto va a depender,
De la memoria RAM,
Que tengas disponible,
En tu dispositivo,
En mi caso,
Yo creo que eran 12,
O no sé,
No recuerdo exactamente,
Cuánto memoria RAM,
Tiene,
Pero es un inconveniente,
Y no solamente,
Este es un inconveniente,
Sino que además,
El problema que tienes,
Es que,
No guardan nada,
En memoria.
Con lo cual,
Si le aportas datos,
Como quién eres,
A qué te dedicas.
Cómo quieres que te conteste,
Cómo quieres que interactúe contigo,
Todos esos datos,
No los vas a tener,
No los vas a poder,
Reutilizar,
De una vez a otra,
Mira,
Aquí ha dado,
Un error.
Le voy a decir,
Que ok,
Y ya está.
Y esto es un poco,
Un inconveniente,
Yo me imagino,
Que con el paso,
De los tiempos,
O sea,
Con el uso,
Con las nuevas llegadas,
De otros modelos,
Pues esto irá,
Bastante mejor,
Porque la verdad,
Es que es una herramienta,
Muy potente,
Una herramienta,
Muy interesante,
Y una herramienta,
Que te puede dar,
Mucha versatilidad.
Incluso yo te diría,
Que no solamente esto,
Sino que además,
Te va a permitir,
Combinar,
Modelos de lenguaje,
Locales,
Para determinadas operaciones,
Y para otras operaciones,
Para las operaciones,
Que no estén disponibles,
En local.
Pues puedes utilizar,
Otros modelos de lenguaje,
Y esto es un poco,
Lo que quería contarte,
Yo desde,
Mira,
Este está cargado,
En memoria.
Puedes hablar,
En español.
Puedes hablar,
En español.
Y a ver,
Qué nos dice.
Y,
Sí, sí que,
Y es bastante rápido,
Este es el modelo,
Queen 2.5,
Y el primer token,
Es 2 segundos.
Creo que los otros,
Eran 1.6,
O sea, que tampoco,
Bueno, en fin,
Que son distintos modelos,
Es cuestión de jugar con ellos.
Ver qué opciones,
Y sobre todo,
Utilizarlo,
Cuando lo tengas que utilizar,
Y cuando no,
Pues recurrir a otros modelos.
Y nada más,
Esto es un poco,
Lo que quería contarte,
En este episodio,
Esto es lo que quería ver contigo.
Y pues eso,
Traerte una herramienta,
Una posibilidad,
De poder utilizar,
Modelos de lenguaje,
Directamente,
Desde el móvil,
Y sin la necesidad,
Sin tener que recurrir,
A servicios de terceros,
Pero simplemente,
Desde el local.
Y poco más,
Espero que te haya gustado,
Este nuevo episodio,
Si puedes, ya sabes,
Suscríbete,
Ya sea en el canal de YouTube,
Ya sea donde quieras,
Pero suscríbete,
Para dar a conocer,
Este proyecto,
Y que le llegue,
A mucha más gente.
Recordarte que este es un podcast,
De la red de podcast,
De sospechosos habituales,
Donde puedes encontrar,
Fantásticos y maravillosos podcasts.
Puedes participar en esa red,
Entrando en WinTablet Info,
Y de la misma manera,
Si quieres participar,
En el grupo de Atareado con Linux,
Simplemente tienes que buscar,
Atareado con Linux,
En Telegram,
Y allí nos vas a encontrar,
Hablando de modelos de lenguaje.
Aplicaciones,
Y servicios Linux,
Donde los busques.
Y nada más.
Recordarte que la vida,
Son dos días,
Y uno ya ha pasado,
Así que disfruta,
Como si no hubiera mañana,
Y sí puede ser con Linux,
Y en este caso,
Con modelos de lenguaje locales,
En Android,
Mejor que mejor,
Un saludo,
Y nos escuchamos,
El próximo lunes,
Hasta luego.