Durante estos últimos meses no paro de escuchar a Carlos Castillo, a Relfon, a Javier o incluso a mi archi enemigoRafa hablar sobre IA o rebuznos como les llama mi Némesis. Llevo ya semanas queriendo enfocarme en esto, pero todavía estaba peleándome con Podman, como para enfrentarme a un nuevo reto. Pero por fin llegó el momento, desde hoy mismo, y durante los próximos cuatro meses este podcast, va a pivotar ligeramente, para centrarse en el mundo de la IA, pero con la intención de hacerlo eminentemente práctico, y exprimirlo hasta límites insospechados. En este sentido, tengo que confesarte que el detonante de esto, y, probablemente el culpable, es de nuevo Alejandro de Slimbook, que hace una semana me invitó o empujó a impartir un taller en Linux Center y que se impartirá el próximo 25 de abril.
Tu propio Laboratorio de IA
Una introducción y la filosofía de los próximos episodios
Mi objetivo es que hacer un de 0 a 100, pero de verdad. No como los típicos tutoriales de YouTube que titulados de 0 a 100 en una hora. Por otro lado, no se trata de prompting, aunque algo podría aparecer por aquí, sino mas bien se trata de ir mas allá. Montar tu propio laboratorio de IA, con tus propios modelos, con tus propios datos, con tu propia infraestructura, y con tu propia soberanía digital. En este sentido, el objetivo es que al finalizar esta serie de episodios, tengas tu propio laboratorio de IA, y sepas como utilizarlo para tus proyectos personales o profesionales.
No solo se trata de utilizar Ollama, o cualquier otro servicio posible, también se trata de exprimir RAG y la inteligencia con nuestros datos, y también de utilizar Skills, Agentes y MCP para que la IA ejecute tareas por nosotros. Y por último, también se trata de escalar esto a la nube, a producción, y de utilizar Rust para exprimir al máximo el rendimiento de nuestros modelos.
Como te digo, el objetivo es hacerlo en aproximadamente unos cuatro meses, empezando hoy mismo, de forma que durante este primer mes montemos el laboratorio, el siguiente mes abordemos RAG, en el tercer mes entremos en la ejecución de tareas mediante skills, agentes y mcp y el último mes abordemos el modelo híbrido en busca de la escalabilidad, seguridad y rendimiento.
Esto que te acabo de explicar, es mas bien, una idea, y aunque, ya tengo estructurados los próximos 32 episodios, lo cierto es que es masa que probable que vayan variando con el paso del tiempo. Algo muy similar a lo que me pasó con los episodios de Podman. Si bien, en este caso, no voy a hacer como con Podman. En este caso, van a ser cuatro meses enfocados en esto. Y esto es así, porque como verás se entremezcla todo.
Soberanía Digital
Los primeros episodios, los vamos a dedicar a correr la IA en Local. Y esto es así, por una razón muy clara, la Soberanía Digital. Tu tienes el control y el poder. Lo cierto es que hay tres razones fundamentales para correr la IA en local,
Privacidad. Tus datos no salen de tu máquina, y no tienes que preocuparte por lo que hacen con ellos las grandes empresas.
Costo. Correr modelos en la nube puede ser caro, especialmente si los usas con frecuencia. En local, solo pagas por la electricidad y el hardware que ya tienes.
Latencia. Correr modelos en local puede ser mucho más rápido que hacerlo a través de una API, especialmente si tienes una buena GPU. Probablemente este sea el mayor de los problemas, y por esta razón, en algunas ocasiones es interesante ir a un modelo híbrido, dependiendo de la tarea que quieras realizar.
Vamos a lo Juan Palomo
En ocasiones pienso que para cursos o talleres, es realmente interesante implementar scripts que realicen todo el despliegue y podamos ponernos manos a la obra rápidamente. Pero en este caso, vamos a cocinas a fuego lento. No voy a darte todo el trabajo hecho, bueno realmente si. Lo que quiero decir, es que me puedes acompañar en todo el desarollo de lo que vayamos haciendo, y como lo vamos utilizando.
Esto no quiere decir, que por tu lado, no descargues el repositorio de GitHub y lo instales en un momento. No se trata de esto. Tu puedes hacer lo que consideres, faltaba mas, pero te invito a que me acompañes en este camino.
El Stack Técnico
Podman vs Docker
Después de haberte dado la paliza en los meses anteriores hablándote de Podman semana si, semana también, no podía ser de otra forma que el stack técnico de este laboratorio de IA, se base en Podman. Y esto es así, porque Podman es la mejor opción para correr modelos de IA en local, por varias razones, que ya te he ido contando en los episodios anteriores, pero que ahora te resumo,
Filosofía Daemonless. Podman no requiere de un demonio centralizado, lo que mejora la seguridad y la estabilidad.
Seguridad Rootless. Podman puede ser ejecutado sin privilegios de root, lo que reduce el riesgo de vulnerabilidades. Y teniendo en cuenta que utilizaremos agentes que correran comandos de sistema, esto es algo fundamental.
Los Quadlets
Por otro lado lo vamos a hacer todo con Quadlets, lo que nos va a permitir integrar nuestros contenedores de IA con Systemd, y hacer que sean ciudadanos de primera clase en nuestro sistema operativo. Esto tiene algunas ventajas como te he contado en algunos de los episodios anteriores, como por ejemplo, el arranque automático de nuestros servicios de IA, la gestión de recursos y la monitorización integrada con Systemd.
Fish y herramientas modernas
De nuevo, utilizaremos fish como shell por defecto, así como algunas del stack de herramientas que he ido incorporando en estos últimos meses, como por ejemplo, starship para la personalización del prompt, fzf para la búsqueda rápida de archivos y comandos, o bat para la visualización de archivos con resaltado de sintaxis. Estas herramientas nos ayudarán a ser más productivos y a tener una experiencia de terminal más agradable.
Pero no solo esto, en este episodio te traigo, también herramienta de desarrollo propio que te va a permitir gestionar los quadlets de forma sencilla. Y esta no será la única herramienta que implementemos. Con el paso de los episodios, iremos implementando herramientas en Rust para gestionar nuestros modelos, para procesar nuestros datos, para monitorizar nuestros servicios, y para integrar todo esto con nuestras aplicaciones favoritas como Neovim o Obsidian.
Hay que aprovechar al máximo todo ese conocimiento que tenemos en archivos markdown para meterlos en un RAG y conseguir de esta forma tener nuestro propio cerrebro con toda la información que hemos ido acumulando a lo largo de los años.
Preparación del sistema
Estructura de directorios
Todo lo que voy a comentar en este y en los siguientes episodios se encuentra en un repositorio de GitHub como es habitual, Podman. Como ves el nombre del repositorio es un poco genérico, en tanto en cuanto se refiere a Podman. Esto es así, porque ahí voy a ir añadiendo distintos quadlets organizados para utilizarlos con todo tipo de propósito. En concreto estos son para IA, pero posteriormente subiré los de Jellyfin, y mas…
Este repo, te lo puedes descargar donde quieras, porque la realidad es que el funcionamiento será mediante enlaces simbólicos. Este es mi planteamiento, pero tu puedes hacerlo como quieras, por supuesto.
En este sentido, los quadlets estarán en un directorio del repositorio, y crearé los enlaces simbólicos en ~/.config/containers/systemd. Y todo ello con una sencilla herramienta llamada qctl, que se encargará de todas estas operaciones y que puedes descargar desde el repo de Github de qctl.
Hardware
En mi caso el hardware que utilizo en local dispone de una tarjeta de NVIDIA, con lo que todos los comandos y operaciones tendrán en cuenta este hecho. Si tu tienes una tarjeta AMD o otro tipo de solución, si quieres me lo comentas y vemos como añadirlo al repositorio para que otros también puedan utilizarlo.
El Quadlet de Ollama
Anatomía de un Quadlet
El Quadlet a utilizar es el siguiente,
[Unit]
Description=Ollama
After=network-online.target
[Container]
# We use the official image (check their latest tag)
Image=docker.io/ollama/ollama:latest
ContainerName=ollama
PublishPort=11434:11434
AddDevice=nvidia.com/gpu=all
Annotation=run.oci.keep_original_groups=1
# Environment
Environment="OLLAMA_DEBUG=1"
Environment=NVIDIA_DRIVER_CAPABILITIES=all
Environment=NVIDIA_VISIBLE_DEVICES=all
#Volumes
Volume=ollama-data.volume:/root/.ollama:Z
# Networks
Network=ollama-network.network
[Service]
# Restart the container if it fails
Restart=always
[Install]
# Start this container when the user logs in
WantedBy=default.target
Los detalles importantes,
11434:11434. Es el puerto que utiliza Ollama para su API, y que vamos a mapear al mismo puerto en el host.
AddDevice. Añadimos el dispositivo de la GPU para que el contenedor pueda utilizarla, y también añadimos las variables de entorno necesarias para que Ollama pueda acceder a la GPU.
Volume=ollama-data.volume:/root/.ollama:Z. Creamos un volumen para persistir los datos de Ollama, como los modelos descargados o las configuraciones. El :Z es para que se apliquen las etiquetas de seguridad correctas en SELinux.
Network=ollama-network.network. Creamos una red personalizada para el contenedor, que posteriormente la utilizaremos para conectar con otros contenedores.
El despliegue
Si lo haces a mano, tienes que crear un enlace simbólico del Quadlet en ~/.config/containers/systemd/ollama.service, y luego ejecutar systemctl --user enable --now ollama.service para habilitarlo y arrancarlo. Pero como te he comentado antes, lo que yo hago es utilizar la herramienta qctl para gestionar todo esto de forma sencilla.
Con esta herramientas simplemente entra en el directorio de Ollama, que tendrá el subdirectorio quadlets, y ejecuta los comandos,
qctl install. Instala el Quadlet creando el enlace simbólico.
qctl start. Arranca el servicio de Ollama.
Pruebas
Una vez levantado, tienes que hacer algunas llamadas para verificar que todo funciona correctamente. Para ello, ejecuta,
curl localhost:11434. Simplemente te devolverá un sencillo Ollama is running.
curl localhost:11434/v1/tags. Esto debería devolver la lista de modelos disponibles en Ollama.
Algunas herramientas
Además de qctl de desarrollo propio, estoy utilizando nvtop, que me permite visualizar el consumo de la GPU en tiempo real, y btop para monitorizar el consumo de CPU y memoria. Estas herramientas son fundamentales para entender el rendimiento de nuestros modelos y para detectar posibles cuellos de botella. Y por supuesto, y como no podría ser de otra forma jq, para ver con buenos ojos las respuestas de Ollama.
Conclusión
Ya tenemos la primera pieza de nuestro laboratorio de IA montada, y en los próximos episodios iremos añadiendo mas piezas, como por ejemplo, la parte de RAG, la parte de Skills y Agentes, y la parte de producción y escalabilidad. Pero lo importante es que ya tenemos el corazón del laboratorio funcionando, y que podemos empezar a experimentar con nuestros propios modelos de IA en local.
Hola, soy Lorenzo y esto es Atareado con Linux, episodio número 789. Durante estos últimos meses,
Yo diría que ya años, bueno, año por lo menos, no para de escuchar a Carlos Castillo de Reflex,
Podcast o a Redfon o a Javier de Mayón en 10 minutos o incluso a mi herchenemigo Rafa de,
Leña al Mono hablar sobre la IA o sobre los rebuznos, como dice mi némesis. Y desde que,
Empecé el proyecto este de Podman, que ya he concluido a falta de emigrar fundamentalmente,
A Tarea.es a Podman, que era mi objetivo principal, desde ese momento o desde antes incluso estaba,
Planteándome profundizar en todo esto de la inteligencia artificial, bueno, de los modelos,
De lenguaje. Pero no solamente conocer cómo funciona el tema de los modelos de lenguaje,
Sino aprovecharlo desde el punto de vista de la programación, en el sentido de crear mis,
Propios RAC, las skills, los agentes, los MCP, en fin, darle toda una vuelta a todo esto para,
Intentar exprimirlo al máximo. Y todo esto me ha llevado sobre todo y empujado por culpa,
Exclusivamente de Alejandro, de Slimbook, que me ha metido como de costumbre, me ha empujado,
Me ha invitado, por así decirlo, a participar o a dar un taller el próximo día 25, el próximo,
Sábado día 25, en el Linux Center, sobre precisamente OpenClaw. Pero, claro, una vez,
Metidos ahí, pues dije, ostras, pues también sería muy interesante, igual que hice una serie,
Sobre Podman, esta serie que acaba de concluir recientemente, pues hacer una serie, pero en,
Este caso enfocada al mundo de los modelos de lenguaje, o más bien de cómo exprimir al máximo,
La inteligencia artificial. Y es que llevo una temporada que la estoy utilizando prácticamente,
Para casi cualquier cosa. Pero lo que me empieza a preocupar un poco es que la estoy,
Utilizando casi exclusivamente en la nube. Básicamente estoy utilizando Gemini. Estoy,
Siguiendo, pues, muchos de los consejos que va dando Carlos Castillo o Relfont o incluso,
Javier de cómo aprovechar todo esto. Básicamente utilizando, no solamente utilizando Gemini,
Directamente, sino utilizando Google iStudio o utilizando otras herramientas. Incluso,
Pues, lo que vas aprendiendo sobre el prompting y todo este tipo de cosas. Pero ha llegado,
Un momento en que, sí, todo eso está bien, pero yo quiero ir un paso más allá. Lo cierto,
Es que tengo una gran cantidad de información de todo lo que es Atareado.es, metido en distintos,
Bueno, en cientos, en miles de documentos, Markdown, que todo esto se le puede dar un uso,
Mucho más interesante. En fin, que todo esto, toda esta conjunción de personas y eventos,
Ha llegado o me ha llevado a precisamente iniciar esta serie, que es precisamente de lo que te,
Voy a hablar en este primer episodio y además que vamos a empezar con Oyama. Así que vamos,
Directos al terror. En este episodio te voy a hablar sobre tu propio laboratorio de IA,
Bueno, antes de nada, explicarte un poco de qué va todo esto y cuál es un poco la filosofía,
De los próximos episodios. Y es que mi objetivo principal es hacer un de 0 a 100 sobre IA. Pero,
No un de 0 a 100 como son los típicos tutoriales de YouTube, en los que de 0 a 100 te lo explican,
En una hora y cuando has terminado de ver el vídeo, pues no sabes ni de qué te han contado,
Ni nada de nada. O quizá es una visión tan sumamente ligera que no vale absolutamente para,
Nada. Así que, como te digo, mi objetivo es profundizar al máximo. No solamente se trata,
De utilizar Oyama o de utilizar Gemini. Se trata de exprimirlo al máximo. Se trata de utilizar,
RAG, de darle inteligencia, darle memoria, utilizar skills, agentes, MCP, utilizarlo todo,
Y enfocarlo cada una de estas cosas según las necesidades que tengamos cada uno de nosotros.
Con esto, mi objetivo es durante los próximos cuatro meses. No te estoy hablando de los próximos,
Dos o tres días. No, no. Te estoy hablando de los próximos cuatro meses y, como bien sabes,
Siguiendo la misma funcionalidad actual del podcast, que es martes y jueves,
Pues te voy a estar hablando un poco de todo esto, pero siempre desde un punto de vista,
Muy práctico, donde no solamente te voy a contar qué es lo que se puede hacer, sino,
Que además te voy a dar las herramientas o te voy a contar las herramientas que yo estoy,
Utilizando, cómo las estoy utilizando y cómo las puedes utilizar tú. Y no solamente esto,
Sino también desarrollar pequeños scripts o desarrollar herramientas con las que todavía,
Exprimir mucho más todo esto. Como te digo, más o menos ya tengo estructurados los próximos 32,
Episodios que se dice pronto. Y al contrario de lo que sucedió con Podman, que iba intercalando,
Episodios de Podman con otros episodios, en este caso los próximos 32 episodios van a ser única y,
Exclusivamente dedicados a esto. Y dedicados a esto pues para exprimirlo al máximo, que es el,
Objetivo fundamental. Dicho esto, lo siguiente y que te estarás preguntando es, vale, bien, sí, pero,
¿Qué sentido tiene una IA en local? ¿Por qué sentido tiene utilizar Oyama? Bueno, pues la razón,
Fundamental es la soberanía digital. Es decir, tener tú todo el control y el poder, o por lo menos que,
Seas tú el que decide cuando utilizas tu control y tu poder. Y para esto hay tres razones fundamentales,
Que son, por un lado, la privacidad. De esto no cabe duda. Lo que mandes a un modelo de lenguaje que,
Esté en la nube, pues allí va a estar. No sabes o no vas a saber nunca qué es lo que van a hacer con,
Ello. Y no solamente esto, sino que teniendo en cuenta cómo van las cosas, es muy probable que,
Tarde o temprano empiecen a aparecer anuncios y todo este tipo de cosas que seguro que no te van a,
Hacer mucha gracia. Luego, por otro lado, y esto es fundamental, es el tema de la pasta, el dinero,
El coste. Delegar todo esto en modelos de lenguaje, sobre todo el tema de los agentes.
Pues puede ser muy peligroso porque si tienes varios agentes corriendo cada uno por su cuenta,
Y haciendo cada uno lo que le dé la gana, aquello puede ser un desmadre continuo. Puede ser que te,
Lleven la sorpresa de que a final de mes vengan a requisarte la vivienda. Y por último está el tema,
De la latencia. Aunque, bueno, aquí hay que tener un poco de, o hay que ir con mucho cuidado. Te digo,
La latencia porque no es lo mismo correr un modelo que tengas en tu propia máquina que un modelo que,
Está en la nube. Aunque, como te digo, tienes que tener cuidado en el sentido de que, vale, sí.
Está claro que si lo tienes en tu propia máquina va a ir más rápido porque no hay prácticamente latencia,
Pero también tienes que tener en cuenta que los modelos que vas a correr en tu máquina, pues a lo mejor,
Te van a dar la mitad de tokens por segundo de lo que te da, perdón, de lo que te da un modelo,
En la nube. Y por último, de lo último que te quería hablar en esta introducción es del tema de,
Alojuan Palom. Y es que no solamente se trata de ir conociendo todas las herramientas que tenemos,
A nuestra disposición, sino también de exprimirlas al máximo. Y para exprimirlas al máximo, pues se trata,
De crear nuestros propios scripts, de nuestras propias aplicaciones, incluso pues reaprovechar,
Todo el circuito, en el sentido de que al final vamos a tener determinadas herramientas que nos van a,
Poder crear scripts que vamos a poder utilizar para poder exprimir al máximo los modelos de lenguaje,
O sea que estamos aquí juntándolo todo para conseguir lo mejor posible,
Dicho esto, ¿cuál va a ser el stack técnico? Bueno, pues el stack técnico, las herramientas que,
Vamos a utilizar, pues y esto ya te lo podrías imaginar, va a ser Podman. No voy a instalar pues,
Ni Oyama, ni OpenWeb UI, ni OpenClaw, no voy a instalar absolutamente nada directamente en mi equipo,
Sino que lo voy a instalar todo en contenedores. Y lo voy a instalar todo en contenedores para evitar,
Enguarrar por completo mi equipo y que se vuelva aquello completamente ingobernable.
Que es cierto que se pueden hacer determinadas soluciones y determinadas, bueno, sí, todo lo que tú,
Quieras, pero lo que está en un contenedor, está en un contenedor y yo con solamente borrar el,
Contenedor me lo he quitado de encima. De hecho, ayer y a raíz de un episodio que escuché de Relford,
Estaba probando VoiceBox, que es una herramienta que te permite clonar tu voz y probándolo, pues,
Primero intenté instalarlo en mi equipo directamente y aquello, bueno, empezó a descargar,
Todo tipo de porquería. Bueno, porquería me refiero a dependencias, herramientas y lo corté,
Inmediatamente. Me di cuenta de que me estaba equivocando por completo, que la solución no era,
Esa, que la solución era montarlo dentro de un contenedor. Y ahora, dicho esto, ya que te he,
Dicho de montarlo dentro de un contenedor, pues te estarás preguntando, bueno, ¿y con cuál? Con Docker,
¿No? Y no, no. No he estado tres meses dándote la paliza con Podman para ahora decirte que lo vamos a,
Instalar con Docker. No. Hay varias razones para preferir Podman a utilizar Docker. La primera es que,
No tienes ningún agente, no tienes ningún demonio corriendo por detrás. No tienes ningún ese demonio,
Centralizado que se encarga de gestionar todos los contenedores que tiene. Esto, el problema más,
Grave que tienes es que si hay algún tipo de vulnerabilidad en algún contenedor que sea capaz,
De escalar a través del demonio de Docker, pues puede hacerte ahí un disparate. En el caso de,
Podman, esto no lo vas a tener. Y luego, por otro lado, tienes rootless en el sentido de que, o sea,
Quiero decir, vas a utilizarlo o yo por lo menos lo voy a utilizar Podman en rootless. Es decir,
Que no voy a darle derechos de administrador. Con lo cual, esto tiene mucho sentido desde el punto,
De vista que tarde o temprano lo que vamos a hacer es que vamos a correr comandos, comandos del sistema,
Que van a hacer operaciones directamente sobre nuestro sistema. Si todo esto lo tenemos contenerizado,
Lo tenemos en un contenedor y ese contenedor en ningún caso va a tener posibilidades de ganar,
Derechos de administrador, pues bueno, dentro de lo que cabe estamos un poquitín más seguros,
Perdón. Dicho esto y una vez ya te he hablado de esta parte de Podman versus Docker, lo siguiente es,
Hablarte de los quadlets. Porque sí, podía haberlo montado todo utilizando Podman Compose, es decir,
El primo hermano de Docker Compose, pero me he decantado por los quadlets por la facilidad o por todo,
Lo que te he estado contando hasta el momento. Es decir, aquí lo que se trata es de conseguir,
Integrar los contenedores dentro de SystemD, convertirlos en ciudadanos de primera clase,
Que tengan las mismas características que cualquier otro servicio y puedan utilizarlo prácticamente todo,
Y por supuesto que puedan arrancar con tu sistema conforme lo arrancas, conforme inicias tu equipo.
Si quieres conocer más sobre el tema de los cuales te remito al episodio en cuestión del podcast en el que,
Te hablé sobre todo esto de los quadlets. Y luego sobre las herramientas que voy a utilizar.
En este caso, quiero centrarme mucho a que voy a utilizar FISH como misel por defecto,
Porque ya la estoy utilizando, y luego otras herramientas como pueden ser BAT o como puede ser.
Ahora no me va a salir ninguna de las que yo te quiero comentar, pero seguro NVTOP o,
En fin, que hay toda una serie de nuevas herramientas que están aterrizando de la mano de RAST,
Bueno, y de la mano de Go, y que nos van a facilitar mucho el trabajo y las posibilidades.
Pero no solamente esto, no van a ser todas estas herramientas que ya he ido contándote a lo largo de distintos episodios,
Sino que también voy a desarrollar nuevas herramientas, o mejor dicho, vamos a desarrollar nuevas herramientas.
Herramientas que nos van a permitir gestionar no solamente los quadlets, sino que nos van a permitir interaccionar con Oyama,
Que nos van a permitir interaccionar con otras opciones y otras herramientas y formar nuestro propio stack,
Para aprovechar y sacarle el máximo beneficio a todo,
En este sentido, por ejemplo, vamos a crear una herramienta que nos va a permitir lanzar comandos directamente de Oyama.
O como si tuvieras una línea de comandos inteligentes,
Nos va a permitir hacer todo tipo de operaciones.
Y, por supuesto, aprovechar al máximo toda la información que tenemos en nuestro equipo,
Y para esto, dado que tenemos todos nuestros documentos, o yo por lo menos tengo todos los documentos en Markdown.
Pues hay que conseguir hacer nuestro propio cerebro utilizando un RAG.
Esto lo combinaremos con RAST o con Python, según tu interés,
Y haremos una verdadera memoria digital que nos va a permitir extraer toda la información.
Incluso que nos va a permitir crear nuestros propios documentos,
O nuestros propios artículos de una manera mucho más perfecta de lo que podamos hacerlo hasta el momento.
Respecto de la estructura de directorios que voy a utilizar.
Todo esto lo tengo actualmente montado en un repositorio de Git que se llama Podman.
Y se llama Podman porque en ese repositorio actualmente hay unos pocos servicios.
Pero dentro de poco estoy incorporando más servicios,
En concreto, ahora mismo está Oyama, creo que está OpenClaw y VoiceBox,
Pero estoy añadiendo más servicios para poder utilizarlos,
Por ejemplo, Jellyfin,
Son todo para utilizarlos de forma local.
La composición, pues, es dentro del directorio, dentro del repositorio,
Tienes los distintos Oyama, VoiceBox, OpenClaw,
Y dentro de cada uno de esos directorios tienes, a su vez, otro directorio que se llama Quadlets,
Donde tienes la composición de las distintas piezas de los distintos Quadlets que van a formar parte de tu servicio.
En este caso, por ejemplo, yo tengo ahí Oyama y OpenWeb UI,
Que este OpenWeb UI saldrá de ahí, no va a estar ahí,
Y dentro tengo tres piezas, una que es el propio contenedor en sí,
Otra que es el volumen, donde se van a guardar todos los modelos que vayamos a descargar de Oyama,
Para utilizarlo en local, y luego lo que es la red.
Que la haremos extensible a las distintas piezas que vayamos a utilizar.
Actualmente solamente estoy utilizando Oyama,
Pero en próximos episodios, pues también utilizaremos OpenClaw,
O utilizaremos VoiceBox, o utilizaremos OpenWeb UI,
Y aquí haremos uso precisamente de estas piezas para poder relacionarnos de esta red.
Yo, tal y como lo hago, lo que implemento es que no copio estos contenedores directamente,
Al directorio de config containers systemd,
Sino lo que hago es un enlace simbólico,
De manera que con este enlace simbólico, de una manera muy rápida,
Puedo tenerlo todo preparado para arrancar y arrancar,
Y no tengo que estar moviendo estos archivos de un sitio para otro.
Vale, esto respecto a lo que es la parte de software,
Respecto a la parte de hardware, decirte que voy a utilizar en mi equipo,
Mejor dicho, tengo NVIDIA.
No es que yo tenga NVIDIA, sino que tengo una tarjeta NVIDIA,
Y además, pues toda la configuración que estoy preparando,
Pues va dirigido a poder exprimirla al máximo,
En el caso de que tú tengas AMD o que tengas otro tipo de configuración,
Y quieras comentarlo o quieras decirlo, pues simplemente.
O incluso modificar parte del repositorio,
Pues eres completamente libre,
O incluso hacer algún pull request para poder aprovecharlo,
Vale, respecto al contenedor de Ollama,
El contenedor de Ollama es bastante sencillo,
Simplemente lo que tiene es así destacable el puerto de publicación,
Que es el 11.434.
La parte correspondiente al Add Device,
Que lo que nos va a permitir es aprovechar al máximo la tarjeta NVIDIA,
Y así como unas variables por defecto, unas variables de entorno.
Y luego lo que es el directorio donde vamos a guardar los volúmenes,
Que te he comentado anteriormente, y las redes.
Esto es básicamente lo que es el propio contenedor,
No hay mucho más,
Quiero decir que las cosas fundamentales es el tema del Add Device.
El volumen que te he comentado anteriormente,
Y la parte de la red,
Y luego nos queda la parte del despliegue.
Como te digo, si yo ahora listara lo que hay en el directorio de config,
Container, systemd, verías que no hay absolutamente nada,
O no debería de haber absolutamente nada,
Entonces, ¿qué es lo que tengo que hacer,
Lo que tendría que hacer es copiar todo esto,
Todos los archivos que se encuentran en quadless.
En el directorio de quadless,
Sería copiarlos directamente al directorio de systemd,
Hacer un reload y ponerlo en marcha,
Sin embargo, yo lo que he hecho ha sido desarrollar una pequeña herramienta,
Una sencilla herramienta,
Que se llama QCTL de quadless control,
Que lo que nos va a permitir es trabajar con todo esto,
De una manera mucho más sencilla.
Simplemente puedo hacer un QCTL status,
Quadless status,
Que lo que nos dice, por ejemplo,
En este caso, donde tengo estos dos contenedores.
El contenedor de OYAMA y el contenedor OpenUI,
Me dice que ahora mismo no hay ningún enlace simbólico,
En el directorio de systemd,
Y que además no están funcionando.
Simplemente lo que tengo que hacer con esta herramienta,
Sería QCTL install.
Que lo que va a hacer es instalar.
Que simplemente es crear los enlaces simbólicos,
Y luego la siguiente parte que es QCTL start,
Que lo que va a hacer es básicamente arrancar esos servicios,
Arrancar tanto OYAMA como arrancar OpenWeb UI.
Simplemente esto,
No voy a hacer mucho más porque este primer episodio,
Es un episodio de introducción en el que simplemente te quiero hablar de esto.
Voy a ver si me puedo,
No quiero hacer mucho más,
Pero sí que te quiero mostrar que UCTL tiene distintas operaciones,
Como puede ser para instalar,
Que lo único que hace es, como te digo,
Es crear los enlaces simbólicos y recargar el systemd.
Desinstall o uninstall, mejor dicho,
Que lo que hace es parar los servicios y quitar los enlaces simbólicos,
Luego tienes Start, Stop, Restart, Status.
Otra herramienta para borrar o para limpiar los volúmenes,
Un check para verificar y luego el Help.
Esta herramienta está disponible en GitHub directamente.
En atariado.GitHub.com barra atariado barra QCTL,
Y te la puedes descargar.
Con estos comandos tan sencillos,
Pues simplemente ya tendrías todo,
No se trata ahora de que te lances a esto,
Sino simplemente de que lo pruebes,
Que lo instales si quieres,
Que hagas tus cositas, tus pinitos y veas cómo funciona.
Y esto es un poco lo que te quería contar en este episodio,
No quería contarte mucho más.
Simplemente estos pequeños detalles y ya está,
Por ejemplo, ahora mismo ya tendría levantado el Oyama,
Y aquí lo que podría hacer,
Pues por ejemplo sería hacer un curl directamente al 11.434,
Donde me va a decir que Oyama está funcionando,
O incluso mirar cuáles son los modelos que tengo ahora mismo,
Instalados que me dice que esta página que me la he inventado,
Bueno, a ver, pero bueno.
Apitax, eso es,
Vale, con Apitax es como se saque,
Y esto es un poco lo que quería contarte,
También decirte que aquí tengo otra herramienta,
Que veremos más adelante que se llama NV Top.
Que lo que nos va mostrando es el consumo de GPU que tenemos,
Tanto de NVIDIA como de la otra,
Que es lo que vamos haciendo para poder tener esto monitorizado.
Y igual que esto, también utilizaremos otras herramientas,
Como pueden ser Vtop.
Que ahora mismo no me lo va a enseñar,
Porque tengo la pantalla muy grande,
Y otro tipo de cosas.
Y al final esto es la primera de las piezas,
Que tenemos en nuestro laboratorio,
Y ya la tenemos montada,
Ahora nos queda ir paso a paso exprimiéndolo todo,
Como te digo, estos primeros episodios,
Estos ocho primeros episodios,
Van a estar muy centrados en esto,
En tenerlo en local,
Y luego ya iremos avanzando en el tema de los RAR,
De los agentes, de los skills, poco a poco.
El objetivo es ir añadiendo todas las piezas.
Una a una, ir exprimiéndolas,
Y sacándoles el máximo partido posible,
Y esto es un poco lo que quería contarte en este episodio,
No quería contarte mucho más,
Simplemente darte la bienvenida,
A esta nueva serie de episodios,
Y si te gusta, si te interesa,
Pues déjame un comentario,
Porque la verdad es que siempre viene bien,
Para poder reorientar un poco el podcast,
Y poco más que decirte,
Recordate que este es un podcast,
De la fantástica y maravillosa red de podcast,
De sospechosos habituales,
Que puedes participar en esa red,
Entrando en telegram,
T.me barra Wintablet Info,
Y de la misma manera,
Si quieres participar en el grupo,
De Atareado con Linux, pues ya sabes,
Nos puedes encontrar en Telegram también,
Buscando Atareado con Linux,
Y nada más que decirte,
Recordarte que la vida son dos días,
Y uno ya ha pasado,
Así que disfruta como si no hubiera mañana,
Si puede ser, con Linux.
Y en este caso con Oyama.
Mejor que mejor,
Un saludo y nos escuchamos el próximo jueves,
Hasta el próximo jueves que te voy a hablar,
O vamos a profundizar en Oyama, por cierto.
Y nada más.
Nada más que decirte,
Hasta luego.
4 comentarios en “Tu propio Laboratorio de IA”
hola me encanta el contenido que publicas, me gustaria saber si nos das una mano a los que tenemos tarjeta de video amd, ando con una rx6800 de 16GB de vram, y quisiera montarme el laboratorio, muchas gracias y saludois desde Colombia
Estoy empezando con esta sección de IA, me parece súper interesante este proyecto. Ya escuché los episodios, pero ahora voy a seguir los artículos para montar mi propio laboratorio. Haces un trabajo genial.
hola me encanta el contenido que publicas, me gustaria saber si nos das una mano a los que tenemos tarjeta de video amd, ando con una rx6800 de 16GB de vram, y quisiera montarme el laboratorio, muchas gracias y saludois desde Colombia
Muchas gracias por tu comentario. Haré unas pruebas y crearé una entrada específica para eso.
Gracias por la sugerencia.Saludos.
Crear tu propio laboratorio de IA es inspirador, igual que entender la importancia del descanso para aprender mejor en Telkom University Jakarta.
Estoy empezando con esta sección de IA, me parece súper interesante este proyecto. Ya escuché los episodios, pero ahora voy a seguir los artículos para montar mi propio laboratorio. Haces un trabajo genial.
Un apunte, el enlace al repo en el artículo está roto, apunta a https://github.com/atareao/podman que no existe. Por similitud supongo que el correcto es https://github.com/atareao/podman-quadlets