Docker lo puede llenar todo

Vistas: 819
0:00 / 0:00
Docker lo puede llenar todo

En los últimos meses he tenido diferentes avisos de que se me había llenado la partición root o que estaba a punto de llenarse. Todo depende del tiempo que le esté dedicando a Docker en cuanto a lo que a hacer nuevas imágenes se refiere y otras tareas relacionadas con Docker. La cuestión es que esta es una de esas cosas que sabes como resolver, pero que nunca tienes tiempo de hacerlo. Siempre hay alguna tarea que resulta mas importante o interesante o ambas cosas. Sin embargo, el otro día, decidí ponerme manos a la obra y resolver el problema. Por dos razones, la primera por simple hartazgo, y la segunda porque quería subir imágenes a mi registry y quería dejarlo todo limipito. No hay como marcarse nuevas metas para hacer cosas que llevas tiempo posponiendo. Así, en este episodio te cuento como he resuelto el problema y como he recuperado mi registry.

Docker lo puede llenar todo

Docker lo puede llenar todo

Sobre las recomendaciones

Encontrarás en Internet cientos de recomendaciones sobre el tamaño de las particiones de Linux. Y si bien, en general las recomendaciones son eso, en algunos casos, te puedes encontrar gurus, que consideren esas recomendaciones obligaciones a cumplir, y nada mas lejos de la realidad.

En concreto, y en el caso de Docker, trata sobre el tamaño de la partición de /var. Si estás utilizando Docker, olvidate de estas recomendaciones y piensa distinto. En concreto deberías crear una partición específica para Docker, un /var/lib/docker, suficientemente generoso. Todo dependiendo de lo que vayas a hacer.

Para que te hagas una idea, es fácil, que con la gestión de Docker que hago actualmente me vaya a los 30 GB en ese directorio. Y si, yo no lo tengo en una partición, y esto me ha obligado a mover el directorio.

Crear una partición

Como te decía, en los últimos meses he llenado en varias ocasiones el directorio root, porque a pesar de mis recomendaciones, no tengo separado ese directorio en una partición específica.

De esta forma, cada cierto tiempo, me aparece un odioso mensaje que me dice que me estoy quedando sin espacio en root, con lo absolutamente peligroso que es eso. Como puede imaginar, la primera ocasión que me sucedió me entró un auténtico ataque de pánico. Actualmente, se ha convertido en algo habitual, y lo considero algo mas.

La cuestión es que resolver el problema es tan sencillo como ejecutar un comando,

docker system prune --all

Aunque como te imaginas esto no es mas que un remedio temporal, muy temporal, en menos de lo que te imaginas te encontrarás en la misma situación en la que te encontrabas antes de ejecutar el comando.

Pero la verdad, es que me he cansado, de que de tarde en tarde, me aparezca el dichoso mensaje indicándome que me estoy quedando sin mensaje o de que ya me he quedado sin mensaje, así que decidí ponerle solución. Y no crear una partición específica como debería hacer, sino que me he ido a lo fácil, a cambiar el directorio raíz donde se encuentra todos los datos de Docker.

Cambiando el directorio raíz de Docker

docker info | grep 'Docker Root Dir

Edita el archivo /etc/docker/daemon.json y añade lo siguiente,

{  
  "data-root": "/data/docker/var/lib"  
}

Por supuesto cambia /data/docker/var/lib por el directorio de tu elección. Este es la opción por la que yo he optado.

El siguiente es parar Docker y asegurarte que definitivamente está parado. Tan sencillo como ejecutar las dos siguientes instrucciones,

sudo systemctl stop docker
ps aux | grep -i docker | grep -v grep

Ahora simplemente copia toda la información del antiguo al nuevo,

sudo rsync -axPS /var/lib/docker/ /data/docker/var/lib

De nuevo, recuerda cambiar /data/docker/var/lib por el directorio que tu prefieras.

Reinicia Docker, verifica que se ha iniciado correctamente y que todos tus contenedores están funcionando como esperas. Para esto ejecuta los siguientes comandos,

sudo systemctl start docker
docker info | grep 'Docker Root Dir
docker ps

Y como paso final simplemente te queda eliminar el directorio que has dejado de utilizar como datos de Docker, y esto lo puedes hacer con,

sudo rm -r /var/lib/docker

Trabajando con otros registries

¿Que es un registry?

Un registry es un servicio que almacena imágenes de Docker. Un registry puede ser público o privado. Docker Hub es un ejemplo de un registry público, que cualquiera puede utilizar. Docker Hub es el registry por defecto para Docker.

Un poquito de historia

En general suelo trabajar con Docker Hub como registry por defecto. De echo es el que utilizo en la mayoría de los casos. Pero en ocasiones, me he encontrado con la necesidad de utilizar otros registries. En concreto, en el caso de que quiera compartir imágenes con otros usuarios, o simplemente, porque quiero tener un registry privado.

Esto es precisamente lo que me sucedió hace poco y lo que generó la necesidad de recuperar mi registry, y ponerlo en funcionamiento.

Mi propio registry

En el episodio 573 que titulé Por fin tengo mi propio Docker Registry, te conté como había montado mi propio Registry, pero con interfaz gráfica. La cuestión, es que había visto la opción de tener un registry directamente, sin interfaz gráfica, pero consideraba que era imprescindible tener una interfaz gráfica para gestionar las imágenes.

La cuestión es que por terminal lo puedes hacer perfectamente, pero, me daba mucha pereza, tener que conectarme al VPS, mirar las imágenes, y descartar aquellas que no necesitaba. Así, que finalmente opté por levantar ese registry con interfaz gráfica y ponerlo de nuevo a funcionar.

La operativa

docker login registry.tuservidor.es --username TuUsuario
docker push registry.tuservidor.es/TuUsuario/imagen
docker pull registry.tuservidor.es/TuUsuario/imagen

El nombre TuUsuario/imagen, es totalmente opcional. Directamente lo puedes poner como el nombre de la imagen. Esto es algo que depende única y exclusivamente de ti.

De la misma forma en tus docker-compose.yml tienes que hacer exactamente lo mismo. Por ejemplo,

services:
  tuservicio:
    image: registry.tuservidor.es/TuUsuario/imagen

Más información,

Ver el vídeo de este episodio
Transcripción

Hola soy lorenzo y esto es atareado con Linux episodio número 672 en los últimos meses yo,

Te diría que los últimos dos o tres meses más o menos he tenido diferentes avisos de que se me,

Había llenado o que estaba a punto de llenarse la partición de root todo depende y en esto viene a,

Ser un poco la razón de porque se ha ido llenando es el tiempo que le he ido dedicando a crear imágenes,

En Docker cuantas más imágenes de Docker estaba creando cuanto más trabajaba con Docker menos,

Tiempo transcurría entre una llenada un llenado de partición y otro llenado de partición a lo largo,

Del episodio te contaré cómo se ha llenado porque se ha llenado y cómo he conseguido vaciarlo pero,

Como te puedes imaginar las primeras ocasiones pues siempre te ibas un susto luego bueno pues,

Poco a poco pues lo resuelves pero qué es lo que sucede con este tipo de cosas que como sabes,

Cómo hay que resolverlo que como sabes que al final tampoco es un problema muy grave pues,

Simplemente lo dejas pasar y piensas bueno total que me cuesta borrarlo que me cuesta arreglar lo,

De la partición y que me cuesta borrar en un momento determinado que se haya llenado la partición pues,

Como tampoco pasar tanto pues no le dejas importancia y vas posponiendo esto en favor de,

Otras tareas otras tareas que son más importantes o que simplemente te dan mejores satisfacciones la,

Cuestión es que por dos distintas razones que no tienen mucho que ver una con la otra al final he,

Decidido resolver el problema una de las razones es que bueno ya me había cansado de ver el mensajito,

Y la otra razón es simplemente porque quería recuperar mi registry para hacer determinadas,

Operaciones que te contaré también a lo largo del episodio con lo cual se han juntado estas dos,

Razones y al final he decidido resolver el problema de que Docker lo pueda llenar todo así que vamos,

Directos al turrón te voy a hablar sobre por qué Docker ha llenado mi partición y cómo lo he resuelto,

Sobre las recomendaciones seguro que vas a encontrar en internet cientos si no miles de,

Recomendaciones como tienes que hacer tus particiones en Linux qué tamaño le tienes que dar qué,

Ocupación le tienes que dar qué formatos vas a encontrar cualquier cosa pero hay dos grandes problemas,

En encontrar todo tipo de información en internet uno de los problemas es que mucha de la información que,

Vas a encontrar está ya obsoleta y esto es realmente peligroso porque puedes encontrarte aplicando,

Soluciones que están completamente descatalogadas y que incluso en tu equipo pueden producir efectos,

Adversos eso por un lado y luego por otro lado hay información que es muy general por ejemplo decirte el,

Tamaño de la partición de root o decirte el tamaño de una determinada partición pues depende de a qué,

Vayas a dedicar ese ordenador si es un ordenador personal es muy probable que con 30 gigas tenga suficiente,

De root o 50 gigas o no porque si te sucede como a mí que en un momento determinado te decides a,

Instalar Docker y a mantener Docker y empiezas a crear imágenes y probar imágenes etcétera etcétera al final,

Puedes encontrarte con la circunstancia curiosa de que Docker lo ha llenado todo,

Así que bueno seguro que has encontrado alguna recomendación por ejemplo de qué tamaño tiene que,

Tener bar y como te digo pues a lo mejor esa recomendación es de unos pocos gigas y yo con 30 gigas,

Me he encontrado fácilmente en tener que liberarlo en concreto el bar barra lib barra Docker y es que,

Esto es algo o es una solución muy similar pues a la que puedes encontrar con otras herramientas como,

Por ejemplo un maría debe y esto es lo que te voy a contar a continuación porque la solución real la,

Solución más adecuada para contener el problema que puede generar un crecimiento desmesurado del,

Del directorio bar o sea barra bar barra lib barra Docker es simplemente crear una partición específica,

Para este para este directorio de manera que aunque crezca de manera descontrolada lo más que va a poder,

Suceder es que Docker no va a poder crecer más pero no va a afectar al resto del sistema porque de,

Otra manera lo que te puedes encontrar es que Docker haya crecido tanto que es imposible ni siquiera,

Acceder a tu sistema así que esto es algo que tienes que tener muy en cuenta desde luego que la,

Solución a cualquiera de los problemas que te estoy diciendo y por lo que yo directamente pues he,

Pospuesto hasta ahora mismo prácticamente el hecho de resolver el problema de cambiar la partición o,

Resolver la partición ha sido porque simplemente lo que tienes que hacer es un prun hay un comando que,

Se llama Docker system prun menos menos all que lo que hace es pues básicamente te borra todo lo que,

No estés utilizando en el momento te borra volúmenes te borra imágenes te borra te lo borra todo,

Prácticamente con lo cual esto es también muy peligroso y además es muy incómodo porque en un,

Momento lo que te puedes encontrar es que tengas que estar bajándote una y otra vez las mismas,

Imágenes para hacer las mismas operaciones simplemente porque a lo mejor es una imagen por,

Ejemplo yo utilizo una imagen en concreto una imagen de Ubuntu para hacer pequeñas operaciones,

Además tengo dentro de esa imagen de o sea se trata de una imagen de Ubuntu que personalizado y dentro de,

Esas de esa imagen de Ubuntu tengo determinadas herramientas que utilizo muy a menudo sin,

Embargo ese Docker no está siempre levantado qué es lo que sucede cuando haces un Docker system prun,

Menos menos all que ese contenedor incluso esa imagen si no justo en ese momento la tienes levantada,

La va a borrar hay otras opciones quiero decir hay otras opciones para ejecutar el Docker system prun,

Pasándole hasta el la fecha o el la aquellas imágenes que quieres o que deberías de borrar,

Pero yo no voy tanto a eso yo voy a la raíz del problema y la raíz del problema se resuelve pues,

Creando una partición específica para eso y sin embargo después de haberte metido toda esta paliza,

Y hablarte sobre crear una específica partición para esto yo lo que he hecho es ha sido otra cosa,

Completamente distinta y es que te lo confieso te lo confieso de corazón me daba muchísima pereza,

Tener que crearme un usb conectarme o sea entrar con el usb mover la partición que al final estamos en,

Las mismas estamos que va a ser un ratillo quiero decir que al final a lo mejor en 20 minutos o en 10 minutos,

Lo tengo resuelto pero no me apetecía así que lo que he hecho ha sido otra solución otra alternativa,

Que también puedes aplicar tú que es ni más ni menos que cambiar el directorio donde se guarda toda la,

Información de Docker como te digo si haces ahora mismo un Docker info y le haces un grep buscando,

Docker rootdir no hace falta que apuntes nada que todo esto lo tienes en las notas del episodio como,

Te digo siempre bueno si haces esto si haces un Docker info y le pasas un grep vas a ver que toda la,

Información o vas a ver dónde está guardando actualmente Docker la información y que en general,

Lo puedes ver viendo o sea vas a ver que está en bar barra lib barra Docker dicho esto si lo que quieres,

Hacer es como yo modificarlo simplemente tienes que crear un nuevo archivo que se llame etc barra,

Docker barra Docker daemon punto jason y dentro de él escribir la ruta donde lo quieres instalar yo,

Actualmente tengo una ruta tengo un directorio bueno tengo más bien un disco que le llamo disco data y,

Ahí es donde normalmente trabajo entonces lo que he hecho ha sido directamente mover el disco mejor dicho,

Mover el directorio Docker a esa nueva partición qué es lo que puede pasar bueno en esa partición,

Actualmente tengo un tera libre y lo que puede suceder es que vaya gastando ese tera de manera,

Incontrolada hasta que incluso llegue a ocupar todo el espacio pero si sucede esto si llega a ocupar todo,

El espacio bueno pues como está en otra partición completamente distinto está incluso en otra unidad,

Distinta no me tengo que preocupar porque desde mi directorio root voy a poder realizar las operaciones,

Que quiera bueno como te digo simplemente la operación de traslado es tan sencillo como crear ese archivo,

Daemon parar Docker asegurarte por supuesto que has parado Docker para no estropear absolutamente nada,

Y a continuación pues simplemente con un rsync copiar todos los archivos que tengas en el,

Directorio original en el bar barra lib barra Docker al nuevo directorio que has creado y con esto,

Prácticamente ya lo tienes todo resuelto una vez has hecho esto simplemente te toca reiniciar otra vez,

El servicio de Docker lo reinicias te aseguras que ha cambiado la ubicación del root de Docker y luego,

Comprobas que está todo funcionando y ya está bueno casi que ya está solamente te quedaría el punto,

Final la guindilla del pastel solamente te quedaría directamente borrar el directorio bar barra lib,

Barra Docker para que bueno pues para que no lleve a engaño o por lo menos que no te distraiga vaya,

En fin que con esto ya has visto que a pesar de la recomendación que te he dicho de que crees una,

Partición bueno pues yo lo que he hecho ha sido moverlo y me he quedado más ancho que el largo y,

Todo esto ha sido porque actualmente estoy trabajando en un pequeño proyecto o en un gran proyecto según lo,

Veas donde actualmente tanto la parte del repositorio como la parte de las imágenes no quiero que estén públicas,

Entonces la parte del repositorio la estoy alojando en mi repositorio personal en mi guitea de manera que,

Está privado y nadie lo puede hacer y la parte de las imágenes pues inicialmente empecé a utilizar,

Docker hub pero claro allí me quedé un poco digo ostras no puedo poner todas mis imágenes en Docker hub,

Tengo que utilizar mi registry y la verdad es que el registry estaba allí esperándome solo sin nada sin,

Nada guardado porque si lo puse en marcha comprobé que todo funcionaba comprobé que podía utilizarlo,

Pero hasta el momento no he tenido la necesidad de utilizarlo pero tampoco pasa nada porque esto es,

Una de las grandes maravillas del sunhost del auto alojamiento puedes tener un servicio funcionando,

O simplemente lo puedes tener parado y cuando lo necesitas lo arrancas y lo utilizas y la gran,

Ventaja es que no dependes de un tercero simplemente lo tienes ahí para cuando lo quieras utilizar,

Pero qué es esto del registry bueno si eres nuevo en el mundo de Docker o si te acabas de incorporar o,

Simplemente si tienes curiosidad esto de los registry simplemente es un sitio un servicio donde se,

Almacenan todas las imágenes en general hasta el momento y si no te has preocupado normalmente todas,

Las imágenes que utilizas están en Docker hub y en general se pueden alojar allí de manera,

Completamente gratuita siempre y cuando pues las compartas de manera o sea utilizando licencias libres,

Tampoco quiero meterme en este jardín porque no estoy al tanto de los requerimientos que es vaya que,

Que hay detrás de esto pero yo actualmente lo estoy utilizando básicamente así,

Sin embargo no solamente está el registry de Docker hub hay otros muchos más registries entre ellos,

GitHub actualmente te permite también alojar tus imágenes Docker directamente en GitHub las puedes,

Utilizar desde allí con lo cual ahí tienes otra gran ventaja que puedes aprovechar,

Pero tampoco es el único hay más que es lo que sucede pues lo que sucede es que al final en muchos,

De estos casos dependes de precisamente un tercero y como te digo depender de un tercero en determinadas,

Ocasiones o en determinadas circunstancias no es lo más adecuado como por ejemplo en lo que te estoy,

Contando ahora ahora mismo pues estoy creando estoy trabajando en un proyecto que por el momento es,

Completamente privado y no puedo tenerlo alojado en un servidor de tercero ni puedo tener el código,

Alojado en un repositorio de un tercero debe estar todo pues en en repositorios personales y así es como,

Lo tengo tanto el registry como la el código está cada uno en su sitio en el episodio 573 del de te estuve,

Hablando sobre el tema de cómo podías tener tu propio Docker registry y la verdad es que se compone,

Básicamente de dos partes una parte que es la parte fundamental el núcleo el core de de la,

Herramienta que al final viene por defecto con Docker que no es ni más ni menos que un registry y,

Luego la otra parte que es la parte de la interfaz gráfica en ese episodio en el episodio 573 te conté,

Ambas cosas te conté pues cómo podías levantarlo cómo podías utilizar la interfaz gráfica etcétera la,

Cuestión es que como te digo bueno pues lo tenía ahí y sí que he subido alguna imagen pero bueno,

Casi testimonial porque no lo he hecho pues básicamente por pereza por pereza y porque bueno,

La mayoría de todo lo que hago es tiene licencia libre y tiene todo el sentido que tanto el código,

Como las imágenes estén a tu disposición para que las puedas utilizar cuando quieras pero bueno pues,

Al final lo estoy utilizando y cómo poner en marcha tu propio registry bueno para poner en marcha tu,

Registry sigues las instrucciones que dejé en el episodio 573 pero hay otra parte interesante que es cómo,

Utilizarlo en este caso lo que tienes que hacer es en tu propia máquina hacer un Docker login contra tu,

Registry pasándole tu username directamente esto te va a pedir la contraseña introduces la contraseña y,

Ya puedes seguir funcionando luego con los típicos Docker push para subir la imagen y con el Docker pull,

Para descargar la imagen ya lo tienes respecto a esto me he montado un poco de película porque al final,

No sabía cómo tenía que poner si registry tu usuario barra imagen o sea registry me refiero al nombre del,

Registry no por ejemplo yo podría ser registry punto tu servidor punto es barra tu usuario barra imagen,

Pero si recuerdas si tienes en mente esto de Docker hub verás que hay algunas imágenes lo que son las,

Imágenes,

Que llevan una marca de revisada o con vaya las que son propietarias o no es propietaria la palabra,

Digamos que las las más top por ejemplo Ubuntu o mysql o mariadb no necesitan tener el nombre de usuario barra el,

Nombre de la imagen sino que directamente tienen el nombre de la imagen pues esto precisamente lo puedes,

Hacer en tu propio registry yo por costumbre como actualmente mi Docker hub tengo puesto atareado,

Barra pues aquí hago exactamente lo mismo también estoy haciendo lo mismo estoy poniendo registry mi,

Servidor punto es barra mi nombre de usuario barra barra la imagen y con esto ya está directamente en,

Tu Docker con post tienes que hacer exactamente lo mismo cuando llega el momento de la imagen pones,

Registry tu servidor punto es barra tu usuario barra imagen y ya está la gran ventaja de tener todo esto,

Es que tú tienes todo el control de tus imágenes dentro de tu propio registry y no te tienes que preocupar,

De absolutamente nada y la verdad funciona muy bien no te tienes que preocupar como te digo de,

Absolutamente nada y nada más esto es un poco lo que quería contarte por un lado este esta desafón de,

Estar continuamente resolviendo el problema del espacio ocupado por Docker y luego la posibilidad de,

Utilizar tu propio registry y nada más espero que te haya gustado este nuevo episodio y que lo hayas,

Disfrutado tanto como lo he disfrutado yo recuerda ese comentario en atareado punto es o en spotify que,

Me viene siempre fantástico para saber que hay alguien detrás escuchando y nada más recordarte que la,

Día son dos días y bueno recordarte que este es un podcast de la red de pocas de sospechosos,

Habituales donde puedes encontrar fantásticos y maravillosos podcast puedes participar en esa red,

Entrando en win tablet info y de la misma manera si quieres participar en el grupo de atareado con,

Linux simplemente tienes que entrar en telegram buscando atareado con Linux y allí pues nos vas a,

Encontrar hablando de Docker de los registry de todo esto que te he comentado en este nuevo episodio,

Y nada más recordarte ahora sí que la vida son dos días y uno ya ha pasado así que disfruta como si,

Hubiera mañana y si puede ser con Linux y en este caso con Docker llenando todo tu espacio y los,

Registres mejor que mejor un saludo y nos escuchamos el próximo lunes hasta luego.

Deja una respuesta