Desmitificando Docker o que hay bajo el capó

Vistas: 1075
0:00 / 0:00
Desmitificando Docker o que hay bajo el capó

El próximo sábado día 21 de Enero, en el Linux Center de Slimbook voy dar un taller sobre Docker. Así que como puedes imaginar, me he estado preparando el taller. Desde luego, que todo el material que he estado preparando para el taller, los vas a poder encontrar en un repositorio en GitHub para que lo puedas aprovechar, si así lo consideras. La cuestión, es que con independencia de que se trate de un taller, si que quería hacer una introducción para tratar de bajar Docker o todo esto de la tecnología de los contenedores al mundo terrenal, y de ahí, el título de este episodio del podcast Desmitificando Docker o que hay bajo el capó.

Y es que parece que esto de la tecnología de los contenedores es algo de otro mundo, pero nada mas lejos de la realidad. De echo, gran parte de lo que hace Docker, lo puedes hacer perfectamente sin Docker.

Dismitificando Docker o que hay bajo el capó

Desmitificando Docker o que hay bajo el capó

¿Porque lo contenedores?

Ya que últimamente te vengo dando tanto la paliza con esto de los contenedores, está bien que te explique la razón que hay detrás de este amor incondicional a esta tecnología.

Y es que los contenedores vienen a resolver dos problemas relativos al software,

  • La compilación. Es muy posible que necesites una versión de una librería que tu no tienes instalada en tu equipo.
  • La distribución, despliegue e instalación. Por la misma razón, porque es muy posible que la máquina donde quieres hacer ese despliegue e instalación no tenga todas las librerías y dependencias necesarias.

Como ves se trata de al fin y al cabo de un problema de dependencias, tanto en la generación como en la distribución de software.

Pero ¿y si metemos dentro de un contenedor todas las dependencias que nuestra aplicación necesita? Y lo mismo sucede para la compilación. Utilizar un contenedor que tenga todas las herramientas y dependencias necesarias para compilar nuestra aplicación.

Sobre incluir todas las dependencias necesarias

Así por ejemplo, si quieres distribuir una aplicación que has implementado en Python, tu contenedor debe llevar en su interior,

  • el código de tu aplicación
  • todos los paquetes Python que utilice tu aplicación que puedes instalar con un requirements.txt
  • La versión de Python que necesites para ejecutar tu aplicación
  • libc y algunas otras librerías de sistema.

Todo esto es lo que básicamente se incluye en una imagen Docker, que no es mas que un tarball de un filesystem. Ni mas ni menos, ni menos ni mas.

Así que cuando construyes una imagen Docker, no estás hacinedo otra cosas que partir de tu sistema operativo, añadir tu código y dependencias, realizar las configuraciones que necesites y meterlo todo en un tarball.

Y por el contrario, cuando corres una imagen, lo que haces es justo el proceso contrario. Es decir, descargar el tarball, lo descomprimes en un directorio y ejecutas la aplicación como si ese directorio fuera el filesytesm.

Y precisamente aquí es donde reside la magia.

Un contenedor es un grupo de procesos Linux

Un contenedor no es mas que un grupo de procesos Linux, y para comprobarlo no tienes mas que abrir un par de consolas. En una de ellas entra y ejecuta top, mientras que en otra ejecuta,

ps -ef | grep top

Así cualquier proceso en un contenedor puede hacer lo mismo que un proceso normal, o casi. Y digo que casi, porque habitualmente, se le imponen una serie de restricciones.

  • Se limita la memoria
  • Se limitan las funcionalidades
  • Tiene restringidas algunas llamadas de sistema

Todas estas restricciones están impuestas por el Kernel.

¿Que características tiene un contenedor?

Llegados a este punto, está claro que no hay ninguna magia. Los contenedores aprovechan algunas características del kernel para hacer sus cosas.

  • Se trata de un proceso o grupo de procesos aislados del resto del sistema operativo utilizando lo que viene a continuación, los Namespaces.
  • Está aislado del sistema operativo utilizando Namespaces
  • Tiene una cantidad de recursos limitada utilizando Cgroups
  • Cuenta con un sistema de archivos independiente al sistema operativo en el que corre Chroot.

Vamos al detalle…

Sobre los processos

A estas alturas de tu vida Linuxera no te voy a explicar que es un proceso, pero, para aclararnos. Un proceso no es mas que una instancia de una aplicación, y que como bien sabes viene identificado por un PID. Esto, lo has podido ver cuando has ejecutado ese ps -ef | grep top, para comprobar que la ejecución de top en el contenedor se veía también desde fuera.

¿Namespaces?

Los Namespaces son una capa de abstracción de Linux, que permiten encapsular los recursos del sistema, de forma que los procesos en un Namespace puede tener una visión de los recursos del sistema distinto de los procesos de otro Namespace.

Existen distintos Namespaces,

  • cgroup directorio raíz de cgroup
  • ipc colas de mensajes
  • network dispositivos de red
  • mount puntos de montaje
  • pid los id de procesos
  • user los id de usuarios
  • uts los nombres de host y nombres de dominio

Los namespaces permiten que los procesos tengan sus propios puntos de montajes, pid, redes, etc.

Dentro de un contenedor las cosas se ven distintas. Así, cuando antes has hecho un top dentro del contenedor has visto solo cuatro procesos corriendo, por decirte algo. Mientras que fuera del contenedor ves decenas de procesos.

Además, si te has fijado el PID del proceso era distinto dentro del contenedor a fuera del contenedor. Fuera del contenedor, probablemente tenga un PID superior a 10000, mientras que dentro a lo mejor no llegaba ni a 100.

Por regla general un proceso utiliza el mismo namespace que su padre, sin embargo, tu puedes hacer que un proceso utilice un nuevo o nuevos namespace o que utilice alguno ya existente.

chroot y pivot_root

Como te he comentado anteriormente, una de las magias de esto de los contenedores es hacer que un directorio se convierta en el filesystem para un proceso. Esto se puede hacer con chroot. Esto es tan sencillo como ejecutar,

chroot $PWD aplicacion-que-quieras

Sin embargo, los contenedores en lugar de utilizar chroot utilizan pivot_root

cgroups

Un cgroup es un conjunto de procesos. Todos los procesos dentro de un contenedor están en el mismo cgroup. Es posible limitar tanto el uso de memoria y de CPU de un determinado cgroup.

Así, si un determinado proceso quiere consumir mas memoria o mas CPU, sabes que no lo podrá hacer por que está limitado. Y por supuesto, los cgroup registran el uso de cpu y memoria.

Conclusión

Como ves no hay ningún tipo de magia. Docker al igual que Podman, al igual que puedes hacer tu, simplemente utiliza algunas características del Kernel para funcionar.

  • Los namespace para definir los recursos y lo que pueden ver los procesos
  • cgroup para establecer y limitar los recursos que se pueden utilizar
  • pivot_root para establecer que el directorio en el que se encuentran los procesos como filesystem que verá cada proceso.

Más información,

Espero que te haya gustado este nuevo episodio del podcast. Si puedes, te agradecería una valoración en iVoox y/o en Apple Podcast.

Ver el vídeo de este episodio
Transcripción

Hola soy lorenzo y esto es atareado con Linux episodio número 455 el próximo sábado 21,

De enero en el Linux center de Slimbook voy a dar un taller sobre Docker así que como puedes,

Imaginar durante estos últimos días durante estas últimas semanas me he estado preparando,

El taller desde luego que todo el material va a estar disponible para aquel que no pueda ir al,

Taller pues va a estar disponible en el repositorio de hija para que puedas utilizarlo en el caso de,

Que quieras aprender básicamente al final siempre se trata de todo lo que te he ido mostrando los,

Distintos tutoriales sobre Docker por llevarlo un poco a la práctica en un taller y hacerlo lo más,

Ameno posible que siempre es un poco lo más complicado sin embargo hasta el momento nunca,

He profundizado a la hora de hablar sobre el tema de que es Docker que hay detrás de Docker que hay,

Detrás de la con de la tecnología de los contenedores y no me refiero en exclusivo a Docker sino también a,

Otros servicios como Podman del que también tienes un tutorial en atareado punto es así que y esta es,

La razón de este episodio del podcast voy a intentar desmitificar todo lo que hay detrás de Docker o de,

Podman o de los contenedores y ver o bajar un poco al terreno lo que hay bajo el capó lo que,

Podemos encontrar detrás de esta tecnología de los contenedores porque al final no se trata de,

Que estemos utilizando ni aplicaciones ni servicios de terceros bueno en el caso de Docker un poco sí,

En el caso del Podman supongo que también pero básicamente tú mismo te puedes montar tus propios,

Contenedores sin necesidad de absolutamente ningún ninguna herramienta más simplemente lo que te,

Proporciona el kernel simplemente lo que te proporciona el Linux así que lo primero y antes de nada vamos,

Directos al turrón como de costumbre y es contarte un poco qué es esto de los contenedores porque los,

Contenedores que es esto de los contenedores y porque estoy tan sumamente enamorado del tema de,

Los contenedores bueno en general los contenedores lo que vienen a resolver como bien sabes son dos problemas,

Fundamentales por un lado el problema de la compilación y por el otro lado el problema de,

El despliego el problema de la puesta en producción me refiero al problema de la compilación en tanto en,

Cuanto es posible que cuando descargues cualquier código fuente a tu máquina resulte que te falten,

Dependencias necesitas algunas de las librerías que no tienes instalada en tu máquina bueno y me dirás esto es tan,

Sencillo como instalarlas sí pero y si las librerías que te estás descargando no son las librerías,

Necesarias para poder compilar la aplicación ahí ya tienes el primer problema tendrías que montar una,

Máquina virtual exactamente de las mismas características que el software necesario o las librerías necesarias,

Pero no solamente es esto digamos que cuando vas a desplegar tu aplicación cuando vas a poner en producción,

En tu aplicación en un servidor de terceros en ese servidor de terceros por la razón que sean no está,

Corriendo la versión de pongamos python que estás utilizando o que utilizaste tú para crear esa,

Aplicación digamos que has implementado una aplicación en python 2.7 que actualmente ya está,

Descatalogado y lo quieres desplegar en una o poner en producción en una máquina virtual en una,

Raspberry por ejemplo donde única y exclusivamente ya hay python 3.10 por ponerte una versión que haces,

Entonces bueno pues precisamente los contenedores es lo que vienen a resolver vienen a resolver este problema y no,

Solamente esto seguro que más de una ocasión he escuchado aquello de en mi ordenador sí que corre o sí que,

Funciona y sin embargo cuando lo pones en producción no funciona bueno pues este es otro de los problemas que,

Evidentemente también vienen a resolver los contenedores porque si una aplicación funciona en,

Un contenedor en tu máquina también va a funcionar en otro contenedor en cualquier otra máquina bueno,

Siempre siempre no siempre y cuando las condiciones de contorno sean exactamente las mismas pero bueno,

Esto es otro temilla la cuestión es que al fin y al cabo es tan sencillo como esto se trata de resolver,

Estos dos problemas y cómo se resuelve esto bueno pues esto es tan sencillo como meter en el contenedor,

Docker todas las dependencias bueno en el contenedor o donde lo quieras meter o sea quiere,

Decir el contenedor Docker en el contenedor potman o donde tú quieras al final se trata de meter todas,

Las dependencias juntas se trata de poner todas esas dependencias juntas de manera que no tu aplicación no,

Necesite nada así por ejemplo si lo que vas a hacer es una aplicación python que la quieres poner en,

Producción en una máquina lo que tendrías que hacer es por un lado poner el código de tu aplicación por otro,

Lado poner todas las dependencias de tu aplicación básicamente lo que viene en el requirements punto txt,

Luego por otro lado añadir la versión de python que tú hayas utilizado para crear tu aplicación y por último,

Otras librerías adicionales como vaya libce y las librerías necesarias para que funcione el sistema,

Básicamente esto es lo que meterías o lo que tendrías que tener bueno pues esto es básicamente una imagen Docker,

O una imagen que puedes utilizar en Docker en potman o donde quieras se trata de un tarbol un tar punto gz,

Donde va metido todo esto donde va metido el como te he dicho el código de tu aplicación las librerías o las,

Los módulos de python necesarios la versión de python que tú quieres y lo mismo con el libce y todas aquellas,

Dependencias o librerías necesarias esto es básicamente una imagen Docker ni más ni menos con lo cual primer mito,

Eliminado estamos ante algo tan sencillo como hacer un tarje zeta de un determinado sistema donde metes allí,

Todo lo que necesitas lo que necesitas claro que si lo has metido todo pero cuando lo descomprimes cuando,

Lo pones en producción cuando lo sacas de ese tarje zeta el directorio estará donde lo saques,

Cómo le dices que eso realmente es un file system pues aquí es donde viene una de las magias de la,

Tecnología de los contenedores se trata de engañar a los procesos que corren en esa imagen y decirles que,

El directorio en el que en el que vaya el directorio que has descomprimido es exactamente el ruto el,

Directorio ruto y aquí ahí ahí es donde va a residir toda la gracia al final un contenedor no es más que,

Un conjunto de procesos un grupo de procesos y esto es tan sencillo como que lo puedes ver ahora mismo si,

Tienes un Docker bueno si tienes un contenedor en funcionamiento ahora mismo simplemente entra,

Dentro de ese contenedor ejecutando un Docker exec menos it el nombre proceso en fin tú ya sabes cómo,

Tienes que entrar y ejecuta un top y mira a ver exactamente qué procesos están corriendo allí,

Dentro verás que si es un servicio más o menos sencillo tendrás cuatro o cinco procesos corriendo,

Sin parar esto abre otra terminal y ejecuta un ps-ef con un pipe grep top para ver exactamente,

Ese top que has ejecutado dentro de tu contenedor verás que efectivamente en tu sistema hay otro,

Proceso digo en el host hay otro proceso también llamado top bueno pues este proceso top y el proceso,

De tu contenedor son el mismo proceso lo que pasa que como te darás cuenta mientras que en el,

Proceso que estás viendo en el ps-ef de tu host tiene un p y de tiene un identificador distinto,

Y además probablemente muy alto dentro de tu contenedor cuando has visto en top verás que,

Tiene otro p y de completamente distinto y este muy bajito porque al fin y al cabo dentro del,

Contenedor están corriendo pocos procesos y es que como te digo al final no es ni más ni menos que un,

Grupo de procesos un grupo de procesos donde tiene unas características especiales como que puedes,

Limitar los recursos de esos procesos puedes decirle cuánta cpu y cuánta memoria pueden utilizar esos,

Procesos y además puedes restringir qué llamadas pueden realizar al kernel y todo esto todo esto que,

Te estoy contando lo haces directamente con el kernel no estás haciendo nada más así que qué,

Características tiene un contenedor bueno pues un contenedor tiene por un lado que es un proceso,

Un grupo de procesos aislados del del resto del sistema operativo y cómo están aislados pues,

Básicamente utilizando namespaces y ahora te hablaré sobre esto lo siguiente es que tienen la cantidad de,

Recursos limitados utilizando para ello cgroups está aislado del sistema utilizando namespaces como te,

Digo y cuenta con un file system independiente del file system y para ello utiliza pivot root que,

También se hablaré sobre ello voy en detalle a cada una de las cosas sobre el tema de los procesos que,

Es al final lo que te digo que el contenedor no es más que un grupo de procesos que están corriendo y,

Que ven el sistema desde un punto de vista completamente distinto a un grupo de procesos que estén en el,

Host ahora a estas alturas de tu vida Linux era no te voy a explicar para nada que es un proceso tú ya,

Bien lo sabes no es ni más ni menos que la instancia de una aplicación esto es un proceso un proceso que,

Tiene un pide y que como ya has visto anteriormente tiene un pide que depende desde donde lo veas depende,

De si lo ves desde dentro del contenedor o lo ves desde fuera del contenedor pues simplemente tiene pides,

Distintos y que son esto de los namespaces por otro lado bueno pues los namespaces no son nada más y,

Nada menos que capas de abstracción de Linux capas de abstracción del kernel que te permiten encapsular,

Los recursos del sistema de forma que cada proceso en un namespace puede tener una visión completamente,

Distinta de los procesos que están corriendo en otro namespace así pues tienes namespaces de cgroup de ipc,

De network de pide de user y de uts los de cgroup son los directorios de cgroup el ipc las colas de,

Mensaje network son los dispositivos de red los mons son los puntos de montaje los pide los identificadores,

De los procesos user pues son los id de los usuarios y los uts que te he dicho son los nombres de los,

Juegos y los nombres de dominio dentro de un contenedor como te digo dentro de un namespace,

Concreto las cosas se ven completamente distintas desde que desde fuera del namespace aquí las cosas,

Tienen otro punto distinto por eso que te comentaba anteriormente los cgroups digo los namespace de pide,

Permiten asignar distintos pides a los procesos que están corriendo dentro de un determinado,

Namespace de los que están fuera de ese namespace respecto de ch root y pivot root que te he comentado,

Anteriormente esta es la magia que permite que un determinado directorio se convierta para todos los,

Procesos que consideremos en el directorio raíz en el root con lo cual cuando él mire cualquier cosa,

Cuando él vaya a mirar en usr barra bin estará mirando en el en la ruta del directorio que tú,

Hayas establecido como root y aquí es claro evidentemente ya te puedes hacer una idea que,

Es una de las grandes magias respecto de cgroups como te decía de groups no es ni más ni menos que,

Otra herramienta del kernel que te permite establecer y delimitar los recursos que pueden,

Utilizar un determinado grupo de procesos de esta manera tú puedes limitar pues que por ejemplo todos,

Los procesos en un determinado contenedor solamente puedan consumir un giga de ram a lo máximo y también,

Limitar la cpu que pueden hacer uso de ello y al final esto esto que te acabo de decir en apenas,

12 13 14 Minutos es lo que son los contenedores como has visto aquí no hay nada no hay nada más,

Simplemente estamos utilizando algunas de las características del kernel que nos permiten por,

Un lado aislar completamente los procesos que están corriendo por otro lado nos permite definir,

Un root distinto y por otro lado nos permite limitar básicamente los recursos que pueden hacer uso,

Simplemente es esto y todo como te digo con las características del kernel de Linux así así de,

Sencillo no hay más por esto es simplemente tanto Docker como Podman lo único que añaden son capas,

Adicionales pues de software para facilitar la gestión de estos contenedores así por ejemplo en,

El caso de Docker tienes el vaya que puedes hacer directamente llamadas al sistema para conocer tanto,

Los procesos que están corriendo como puedes en fin puedes hacer todo ese tipo de procesos que todo ese,

Tipo de acciones que normalmente haces utilizando Docker hacer un Docker ps hacer en fin todo este,

Tipo de cosas no solamente esto además te puedes conectar directamente al socket de Docker y utilizando,

Las distintas opciones que ponen a tu disposición puedes consultar qué eventos se están produciendo puedes,

Consultar qué recursos se está utilizando cada uno de los procesos que están corriendo en tus en tu,

Contenedor o en cada uno de los contenedores todo esto lo puedes ver fácilmente no solamente lo puedes,

Ver fácilmente sino que además puedes tener una información fidedigna al instante utilizando algo,

Tan sencillo como grafana con grafana y un sencillo dashboard puedes tener toda la información de todos,

Los contenedores que están corriendo en tu sistema operativo y bueno en tu host así de sencillo y de esta,

Manera poder graficar que está consumiendo que está consumiendo más que está consumiendo menos que,

Contenedores son una barbaridad o no son una barbaridad marcar en un momento determinado qué,

Tipo de contenedor deberías de tener si es que lo tienes que detener y ya está fíjate qué conceptos,

Más sencillos name spaces pivot root c group con estos tres conceptos lo tienes o sea que al fin y al cabo,

Levantar un Docker o levantar un contenedor de nginx es prácticamente lo mismo que levantar un con que,

Levantar directamente nginx sobre tu máquina levantar un servidor están exactamente igual hacerlo en tu,

Máquina como hacerlo fuera así de sencillo por esto la recomendación que te hago tan a menudo de utilizar,

Contenedores es tan práctica porque al fin y al cabo no estás haciendo un uso extraordinario de los,

Recursos del sistema simplemente estás utilizando los recursos del sistema no estás haciendo nada,

Más y esto es un poco lo que quería contarte ya has visto en 15 minutos te he contado que esto de los,

Contenedores pues básicamente no es nada del otro mundo de hecho decirte que como te contaba al principio,

Del podcast prácticamente prácticamente no de hecho en tú puedes mediante 10 o 12 líneas de código,

Levantar tu propio contenedor sin necesidad ni de Docker ni de ni de Podman ni de nada de nada,

Simplemente utilizando los recursos que el sistema pone para ti así que nada nada más espero que te,

Haya gustado este nuevo episodio del podcast espero que lo disfrutes si tienes la suerte de asistir al,

Taller de Docker del próximo sábado 21 de enero en Linux center pues fantástico allí nos veremos y si no,

Pues que sepas que los recursos del taller estarán disponibles dentro de GitHub así que nada nos vemos en,

Un nos vemos no nos escuchamos el próximo jueves en el podcast hasta luego se me ha olvidado decirte,

Esto es un podcast de la red de podcast de sospechosos habituales,

Hasta luego.

Deja una respuesta