Transcripción
Hola soy lorenzo y esto es atareado con Linux episodio número 720 en este episodio te voy,
A hablar sobre cómo puedes tener tu propio chat gpt en tu ordenador en tu equipo Linux pero cómo,
Lo puedes tener completamente gratuito sin tener que gastarte ni un euro ni una moneda sin gastarte,
Nada en absolutamente nada y esto es una gran ventaja porque vas a poder exprimirlo al máximo,
Todo lo que tú quieras y es que ya vienen en varios episodios atrás pidiendo la posibilidad de cómo,
Pueden o cómo se puede tener pues chat gpt o cualquier otro modelo de lenguaje directamente,
En tu entorno de escritorio y en el episodio 712 en lugar de hacer esto lo que hice fue hablarte,
Sobre cómo podías tener chat gpt en android pero claro y cómo tenerlo en Linux porque realmente,
En el móvil pues lo tienes para preguntarle cuatro cosillas pero cuando quieres exprimirlo de verdad,
Cuando quieres sacarle toda la potencia pues lo necesitas directamente en tu entorno de escritorio,
En tu entorno de escritorio donde por donde puedas hacer todo lo que tú quieras donde puedas,
Preguntarle donde puedas exprimirle al máximo donde puedas sacar exactamente todas las cosas que,
Requieres y en este sentido hace ya pues bastante tiempo te hablé sobre cómo podías tener o llama o cómo,
Podías tener tu modelo de lenguaje como puede ser o llama bueno o llama realmente no es un modelo de,
Lenguaje o llama es una herramienta que te va a permitir utilizar modelos de lenguaje te va a permitir,
Utilizar ias en tu ordenador pero no era cómodo digamos que la experiencia de usuario no es como,
La que te traigo en este episodio como lm estudio porque aquí en lm estudio sí que puedes sí que vas a,
Tener una experiencia de usuario mucho más cercana mucho más cómoda y mucho más real a la que podrías,
Tener de otras circunstancias quiero decir lo mismo que vas a ver en chat gpt por lo mismo lo,
Vas a tener en tu ordenador con lm estudio así que vamos directos al turrón te voy a hablar en este,
Episodio sobre cómo puedes olvidarte por completo de chat gpt y tener tus propios modelos o incluso el,
Modelo de chat gpt open source y sacarle todas las ventajas posibles y empiezo un poco por el principio,
Qué es esto de lm estudio de qué te estoy hablando bueno pues lm estudio no es ni más ni menos que una,
Aplicación de escritorio evidentemente que te va a permitir ejecutar y experimentar con modelos de,
Lenguaje grandes como puede ser chat gpt bueno tan grandes no pero grandes pero de una manera,
Completamente local en tu propio ordenador con Linux pero no solamente con Linux sino que se trata de,
Una herramienta que es multiplataforma la puedes tener tanto en Linux como en macos como en windows,
En lugar de enviar todos tus datos a un servidor externo lm estudio lo que la gran ventaja que te,
Da es que te da un control total sobre tus datos no envía nada a ningún sitio funciona como una caja de,
Herramientas como una sandbox donde todo lo que necesites lo vas a tener allí no vas a salir de ese,
Entorno qué características principales presenta lm estudio bueno lo primero y principal que es un,
Poco lo que te vengo contando en este episodio es la privacidad te va a dar una privacidad total tus,
Datos tus conversaciones tu toda la información que le aportes al m estudio se va a quedar en el m estudio y,
Esto es realmente ideal sobre todo para información que es sensible porque no hay escape quiero decir,
No es esta duda que nos genera cuando le preguntas a gemini o cuando le preguntas a chat gpt sobre,
Cualquier cosa y en ese momento te planteas la cuestión y esto esto que le estoy preguntando,
Esto se lo quedará para su propio aprendizaje estará utilizando esta información para otra cosa,
Siempre nos queda esa duda porque es así somos conspiranoicos por naturaleza pero en este caso con,
Lm estudio pues no te tienes que preocupar porque el modelo de lenguaje se ejecuta completamente local,
No necesitas conexión a internet no tienes que pagar una suscripción no tienes que pagar absolutamente,
Nada simplemente te descargas lm estudio te descargas el modelo de lenguaje con el que quieres,
Trabajar y a funcionar la siguiente característica fundamental de lm estudio es la facilidad de uso,
A diferencia de otras herramientas como lo que te he comentado anteriormente de oyama open web ui para,
Utilizar oyama que requieren soluciones complejas lm estudio tiene una interfaz de usuario realmente,
Sencilla realmente cómoda realmente intuitiva que es al final lo que los usuarios siempre buscamos una,
Herramienta intuitiva una herramienta que te va a permitir buscar te va a permitir descargar y te va a,
Permitir chatear con todos esos modelos de lenguaje que te descargues y en unos solos en unos pocos,
Clics no te tienes que calentar la cabeza de buscar no todo lo tienes ahí tienes esa caja de herramientas,
Donde todo lo que necesitas lo tienes ahí a tu disposición por supuesto y como no podía ser de,
Otra manera con lo que te estoy diciendo hasta el momento tienes un catálogo completo de modelos,
Lm estudio se conecta directamente con los repositorios de hacking face de los que ya te hablé en el episodio,
Anterior en el episodio 712 para que puedas descargar una muy amplia variedad de modelos de,
Lenguaje de código abierto llama fi mistral o el propio gpt o ss 20 b del que te comentaré un poquito,
Más adelante y probarlo directamente en tu máquina es un otra de las características muy interesantes que,
Tiene el m estudio para sobre todo aquellos que nos gusta el tema de la programación es que levanta un,
Servidor local así como oyama ya levanta su propio servidor y tienes que utilizar en open web ui o creo,
Que recordar que se llama así para poder interrelacionarte aquí va todo montado en el mismo paquete es un paquete,
Que tiene tanto la parte de servidor como la parte de búsqueda de modelos como todo va ahí y esto te va a,
Permitir pues interrelacionarlo con otras herramientas de las que probablemente te hable en un futuro,
Episodio y que seguro que te van a ser muy interesante de hecho lo puedes utilizar como backend para tus,
Propias aplicaciones scripts o incluso en editores de texto como pueden ser neobim o sea que lo tienes,
Todo y luego por último la otra de las características fundamentales que tiene es la optimización de hardware,
Te permite configurar y optimizar el uso de tu gpu si tienes una para acelerar significativamente el,
Rendimiento de los modelos y esto se nota de verdad que se nota respecto a la instalación esto es una de,
Las características fundamentales para mí la instalación de esta herramienta es súper sencilla en el sentido de,
Que simplemente como te conté en la aplicación anterior que te conté en el episodio anterior zap zap para este,
Cliente para de whatsapp en Linux es una app image con lo cual aquí tienes las grandes ventajas de las,
App image que de una manera muy sencilla vas a poder tener instalado esta herramienta y puedes tenerla,
Funcionando en las notas del episodio te he dejado un enlace para que te puedas descargar directamente,
La app image lo mueves a tu ruta donde tengas tus binarios lo de las permisos de ejecución y ya,
Está tal y como te conté en el episodio anterior lo más interesante de esto es que bueno que no,
Solamente hagas esto sino que integres directamente app image con tu entorno de escritorio pero esto es,
Una cosa que dejó un poco a tu libre elección como te decía esta herramienta directamente lo que te va a,
Permitir es utilizar o buscar o añadir modelos tienes un buscador de modelos donde puedes elegir todos los,
Modelos que quieras por ejemplo tienes disponibles los modelos de open ahí los el de 120 billones o como,
Dicen tanto mi archienemigo,
El refog o carlos castillo de 120 mil millones que es más adecuado o el de 20 mil millones o los queen,
Bueno en fin tienes aquí una gran variedad los mistral tienes todos los que quieras yo en concreto me he,
Instalado el de 20 mil millones y el gema de,
De ahora no me va a salir el nombre de gemini de google para exprimirlo aquí tienes la búsqueda luego,
Tienes las los runtime lo que puedes hacer lo si está instalada la última versión el hardware que,
Tienes disponible la configuración que puedes aplicar tanto la configuración general como la,
Configuración del chat como quieres mostrarlo si quieres mostrarlo como bloques si quieres utilizar,
El el modelo de razonamiento o quieres verlo o no quieres verlo si quieres expandir el chat al,
Tamaño al ancho completo si quieres generar el renombrado completo en fin que tienes todas estas,
Opciones como te digo la selección de los modelos de lenguaje son realmente sencillo aquí simplemente,
Tendrías que buscar gpt o ss y ya tendrías ahí todas las opciones a tu alcance simplemente seleccionas,
La que a ti te interese le das a descargar te esperas un poquito porque la verdad es que tarda,
Bastante y una vez la tienes pues bueno ya puedes empezar a disfrutar a partir de aquí que puedes,
Hacer bueno pues a partir de aquí lo que puedes hacer es crearte o bien un una carpeta de contenido,
De chats o directamente un chat y en ese chat puedes empezar a preguntar cosas por ejemplo le podrías,
Preguntar hola y decirle sabes quién soy para ver si es capaz de saber quién eres sabes quién soy,
Y evidentemente lo que te va a decir es que no tiene forma de saber quién eres a menos que le digas,
Quién eres evidentemente pero bueno hay maneras de darle contexto de darle información para que pueda,
Leer exactamente cosas de esto ya te hablaré en un episodio siguiente sobre crash que es una,
Herramienta muy interesante también para la terminal pero bueno esto ya te hablaré un poquito más adelante,
Lo cierto es que hace unos días creo hace cuatro o cinco días y lo nombró carlos castillo en su podcast,
Reflet podcast habló sobre los modelos open source de open ahí que había liberado dos modelos uno el de,
20 Mil millones y otro el de 120 mil millones yo he instalado el de 20 mil millones y como te puedes,
Imaginar es relativamente rápido le puedes preguntar y además esto es algo que me ha llamado muchísimo la,
Atención le puedes preguntar por ejemplo cuál es lo típico que le pregunto yo cuál es la época,
Del en qué año en qué años fue el apogeo del imperio romano,
Y rápidamente te contesta el apogeo del imperio romano suele situarse o sea es relativa vamos es muy,
Rápido yo creo que en este sentido es suficientemente rápido como para que lo utilices directamente en,
Sustitución de otras herramientas la principal ventaja de utilizar estos modelos open source con,
M estudio es que vas a poder interactuar con ellos de una manera exactamente igual que lo harías pues en,
En otro directamente con con chat gpt directamente en la web y además que te va a simplificar muchísimo todo,
El proceso tanto de la instalación como de la configuración como de poder pasarle determinados,
Datos a tu sistema por ejemplo aquí le podrías decir soy a ver por ejemplo el usuario.
Es lorenzo carbonei creador del blog,
Https dos puntos barra barra atareado punto es,
Del podcast atareado con Linux,
Y del canal de YouTube,
Atareado,
Vale ya lo tengo aquí y ahora sí que le puedo preguntar quién soy,
Y ahora ya me lo dice esto es una de las ventajas de tener este tipo de cosas le puedes pasar mucho más mucho más contexto de manera que le puedes decirle cómo te tiene que contestar cómo tiene que qué tratamiento tiene que hacer cómo tiene que funcionar etcétera etcétera,
Por otro lado como te estaba que me he ido un poco de la rama por las ramas con el tema de los modelos open source a nivel técnico el m estudio gestiona la ejecución del modelo de forma completamente eficiente y aprovechando en el caso de que tengas gpu con lo cual pues los modelos van a funcionar perfectamente yo la verdad es que estoy,
Bastante,
Sorprendido de lo rápido que funciona esto yo creía que iba a ser bastante más extraño o sea quiero decir que iba a funcionar mucho más lento pero la verdad es que va muy bien y este modelo funciona muy bien,
Decirte que cuando abres el m estudio te pregunta por cómo quieres utilizarlo y tienes tres modos el modo usuario el modo usuario avanzado y el modo desarrollador en el modo usuario pues no te aparecen algunas pestañas en el modo usuario avanzado ya te aparecen lo que es el chat el modo desarrollador y los modelos,
Y luego en el modo desarrollador además te pone eh información de depuración te pone los tokens por segundos etcétera etcétera o sea que te da mucha más información de la que te podrías imaginar,
Y además de esto puedes utilizar eh lo que son a ver si me lo deja sí para que no se tape todo puedes utilizar lo que son los eh MCP los los modelos,
Para obtener información de internet por ejemplo yo he creado este sencillo que lo que me permite,
Creo decir he creado uno sencillo que es url text,
Que lo que hace es eh traerte información directamente a internet simplemente puedes decirle que lee,
Eh atareado punto es,
Y él utilizando fetch url text lo que va a hacer es leer,
Y te dice eh sobre quién es el enfoque,
Linux Docker ta ta ta ta ta oferta,
O sea que te permite integrar otras herramientas que de otra manera pues no las puedes hacer,
Con lo cual bueno pues como ves es bastante bastante cómodo,
Y aquí me queda,
Básicamente,
Aparte de todo lo que te he mostrado,
La parte del contexto que te he mostrado,
El modelo que estamos utilizando,
Que puedes personalizarlo,
Puedes mostrarle la temperatura,
Puedes mostrarle eh los hilos de CPU,
En fin que tienes toda una serie de parámetros con los que juguetear,
Y luego tienes la parte de,
Lo que te estaba hablando de los MCPs,
Para conectar distintos plugins,
Que dependiendo del modelo que hayas seleccionado,
Puedes utilizarlos o no,
Bueno eh me queda,
Única y exclusivamente es la prueba de Carlos,
La prueba de Carlos Castillo,
En la que le pone una,
Una adivinanza,
Bueno digamos no es una adivinanza,
Es un una,
Ahora no me va a salir el nombre,
Bueno,
Un reto,
Para que lo resuelva,
A ver si puedo,
Si aquí está el reto,
El reto,
Y es el reto que le pone siempre Carlos Castillo,
Es que,
Carlos va paseando por el campo,
Con su perro pistón,
Y su gata biela,
Cuando se encuentra con un río,
Y para cruzar el río,
Hay una barca,
Pero en la barca,
Solo puede ir Carlos,
Y una de las mascotas a la vez,
Como tiene que hacer Carlos,
Para cruzar al otro lado,
Con sus dos mascotas,
Esta es la típica,
Que pregunta siempre,
Le voy a poner,
Yo sé ya la respuesta,
Quiero decir,
No porque sea muy compleja,
Sino que,
Ya he visto,
Le he hecho anteriormente,
La pregunta,
Y la verdad es que,
Es muy interesante,
O sea,
Es muy interesante,
Quiero decir que es muy fácil,
Y aquí acierta,
Bueno,
Acierta menos el nombre de Carlos,
Que le llama,
Al principio César,
No sé por qué,
Carlos y el perro pistón,
Cruzan juntos,
Carlos regresa solo a la orilla,
Carlos y la gata biela,
Cruzan juntos,
Listo,
Todos están,
En el otro lado del río,
Con solo tres viajes,
Dos de ida,
Y uno de vuelta,
Es decir,
Uno de ida,
Vuelta e ida,
En decir que,
Estoy utilizando,
El modelo medio,
De razonamiento,
Pensaba que estaba,
Utilizando el bajo,
Vamos a probar con el bajo,
Ya por curiosidad,
A ver si me deja,
Sí,
Le voy a enviar otra vez,
El,
El modelo de razonamiento,
Nos ha hecho,
Con el modelo de razonamiento,
Sencillo incluso hace,
Un cuadrito,
Carlos,
Carlos y pistón cruzan,
Y en la orilla izquierda,
Se queda biela,
Y Carlos y pistón,
Luego,
Cruza,
Carlos regresa solo,
Y Carlos regresa bien,
En la sencilla,
También funciona,
La mar de bien,
También probé,
El otro,
Que cuenta,
Que es,
De,
Cuál es,
Alfabéticamente,
Alfabéticamente,
Cuál es,
El,
Primer,
Número,
Del,
Uno,
Al,
Cien,
Esto es,
Le he puesto,
El modelo,
Sencillo,
Este lo he probado,
Yo creo que en varios,
De los modelos,
De razonamiento,
Y,
Ha fallado,
Y aquí también ha fallado,
Los números,
Del uno,
Al cien,
Es,
Cien,
El número,
Lo que no sé,
Es,
Si lo he entendido bien,
O si yo me he expresado bien,
Pero bueno,
Sobre todo,
Para mí,
Lo más interesante,
De esto,
Espera,
Voy a poner el razonamiento,
Medio,
Y a ver,
Alfabéticamente,
De los números,
De todos los números,
Del,
Uno,
Al cien,
Ambos,
Inclusive,
Cuál,
Sería,
El primero,
Este es el razonamiento,
Le pongo,
Con el razonamiento,
Este medio,
Y a ver lo que hice,
Pero la cuestión es que,
Ya está razonando,
Y ya está contestando,
O sea,
Es rapidísimo,
También me ha dicho,
Otra vez el cien,
Pero bueno,
Me quedo con,
Con esto,
Sobre todo,
Claro,
Aquí le puedes cargar archivos,
Para que te haga resúmenes,
Puedes conectar,
Con,
Con distintas herramientas,
Yo por ejemplo,
La que tenía conectada,
Y que te he comentado,
Anteriormente,
Para traerme,
Información,
De internet,
Pues funciona,
Perfectamente,
Y tienes,
Otras opciones,
Y otras posibilidades,
Que realmente,
Funciona muy bien,
Y poco más que decirte,
Ya ves,
Una herramienta,
Súper interesante,
Para tener,
Completamente integrado,
El EM,
O sea,
Los modelos de lenguaje,
Para tener tu propia,
Inteligencia,
En tu escritorio,
Ya queda menos,
Para que se integre,
Completamente,
Con el entorno,
De escritorio,
Y poder hacer cosas,
Realmente interesantes,
Pero con esto,
Ya puedes hacer resúmenes,
Ya puedes hacer cualquier cosa,
Sin tener que salir,
Para nada,
De aquí,
Al exterior,
Y nada más,
Esto es un poco,
Lo que quería contarte,
Espero que te haya gustado,
Este nuevo episodio,
Y que lo hayas disfrutado,
Tanto como lo he disfrutado yo,
Recordarte que este es un podcast,
Bueno,
Recordarte que si puedes,
Pues ese comentario,
Esa valoración,
Esas sugerencias,
Me vienen siempre,
Fantásticas,
Para nuevos episodios,
Y nuevas ideas,
Para darle más marcha,
A esto,
Como te digo,
Recordarte que este es un podcast,
De la red de podcast,
De sospechosos habituales,
Donde puedes encontrar,
Fantásticos y maravillosos podcasts,
Puedes participar,
En esta red,
Entrando en Telegram,
En Wintablet Info,
Y de la misma manera,
Si quieres participar,
En el fantástico,
Y maravilloso grupo,
Atareado con Linux,
Simplemente tienes que buscar,
En Telegram,
Atareado con Linux,
Y allí nos vas a encontrar,
Hablando de modelos de lenguaje,
De lenguajes de programación,
De Docker,
De Linux,
Y cualquier otra cosa,
Que te puedas imaginar,
Y poco más que decirte,
Simplemente recordarte,
Que la vida son dos días,
Y uno ya ha pasado,
Así que disfruta,
Como si no hubiera mañana,
Y si puede ser,
Con Linux,
Y en este caso,
Con LM Studio,
Y los modelos de lenguaje,
De OpenAI,
Mejor que mejor,
Un saludo,
Y nos escuchamos,
El próximo lunes,
Hasta luego,
Adiós,
¡Gracias.
Buena para el escritorio, pero esperaba leerte algo para contenedores, ahora que estoy en ellos.
Con Alpaca para GNOME se facilita mucho la instalación y gestión.
He instalado en Debian, y va super lento, he probado con varios algoritmos, mas pesados o mas ligeros, y va su perlento, las respuestas han llegado a tardar 5 minutos.
Tengo un i7 moderno, 16GB de RAM y Nvidia GeFortce.
Me he quedado un poco decepcionado.
Crees que hay alguina razón para ello??? O simplemente es que necesitan muchos recursos.