El Poltergeist de Docker que casi borra toda mi información

Vistas: 816
0:00 / 0:00
El Poltergeist de Docker que casi borra toda mi información

En este episodio me toca contarte una historia de terror, o mejor dicho, una historia de un poltergeist en Docker. Y es que, hace unos días, me encontré con un problema bastante extraño en mi entorno de Docker, que me hizo pensar que tenía un poltergeist rondando por allí. Quizá con esto de una historia de terror, me he pasado un poco, pero seguro que si te digo que durante unas horas me cayeron unas gotas de sudor frío, seguro que sabes a que me refiero. La cuestión es que finalmente acabó bastante mal, aunque ya sabes que siempre puede terminar peor.

El Poltergeist de Docker que casi borra toda mi información

Preliminares

Hace ya tiempo que decidí que dedicaría un contenedor de base de datos para cada uno de los servicios en lugar de tener un único contenedor común para todos los servicios.

Siempre surge la pregunta de ¿que es mejor?, ¿uno para todos? o ¿uno para cada uno?. Yo desde el principio me decanté por la segunda opción, y la verdad es que no me arrepiento en absoluto. Tener un contenedor de base de datos para cada servicio me permite tener una mayor flexibilidad a la hora de configurar cada uno de los servicios, y también me permite tener una mayor seguridad, ya que si un servicio se ve comprometido, no afecta al resto de servicios.

Pero además, está el asunto de las versiones. Hay servicios que por la razón que sea utilizan una determinada versión de base de datos y no es compatible con otras versiones. Tener un contenedor de base de datos para cada servicio me permite tener la versión que necesito para cada uno de los servicios sin tener que preocuparme por las incompatibilidades.

Los hechos

Hace unos días todas las instancias de PostgtresSQL que tenía en Docker, empezaron a caer como chinches. Al principio pensé que era una única instancia la que estaba dando problemas, pero al final me di cuenta de que todas las instancias de Postgres que se habían reiniciado porque se había actualizado algún servicio del stack. Quiero decir, no es que se hubiera actualizado el propio Postgres, lo que se había actualizado era alguno de las imágenes del stack. Una vez reiniciado el stack era cuando había fallado Postgres y comenzaba un ciclo de reinicios continuos.

Como te puedes imaginar esto no se me ocurrió al principio, ni remotamente. Mi primer pensamiento fue exactamente igual que el tuyo, y lo que me había ocurrido además recientemente con la actualización de Posgtres de las versión 17 a la 18. Pensaba que había llegado una actualización de la imagen de Posgtres. Pero no, realmente no era eso lo que había sucedido.

Mi reacción

Como te puedes imaginar, mi primera reacción fue detener todos los stacks que se estaban reiniciado continuamente. Fue justo ahí donde me di cuenta que no eran todos los Postgres los que se estaban reiniciando.

Intenté reiniciar uno de ellos, en concreto el de miniflux. Al repasar la configuración, vi que tenía configurado Postgres versión 18 con Alpine Linux. Al iniciar el stack, todo parecía ir bien, pero al cabo de unos segundos, el contenedor de Postgres se reiniciaba. Intenté revisar los logs, pero no había nada que me diera una pista clara de lo que estaba sucediendo.

Aquí fue cuando pensé que había sido una actualización de la imagen de Posgres. Estuve repasando y probando distintas configuraciones y cambiando las imágenes. Y nada de nada. No conseguía resolver el problema.

Te puedes imaginar que hice una barbaridad de pruebas, tanto con distintas configuraciones como con distintas imágenes. No había forma.

El poltergeist

Llegados a este punto, me centré únicamente en intentarlo con la imagen de Postgres 18-alpine, con lo que di por perdido todo lo que tenía en miniflux. Que para colmo de males, no había guardado… Ahora que lo he recuperado todo, tampoco tengo una copia de lo que hay en miniflux.

Paré el stack, lo inicié, y cuando parecía que todo había arrancado correctamente, volvía al ciclo de reinicios constantes. Y fue justo aquí donde apareció el poltergeist. Cuando iniciaba el arranque tenía un 18-alpine, pero al parar de nuevo el stack se había convertido en un 18rc1-trixie.

postgres  18-alpine     ff4a089dadda  5 days ago    286MB
postgres  18rc1-trixie  a6ef897077cd  5 months ago  456MB 

Los errores que daba justo se correspondían con esa versión 18rc1-trixie.

Lo intenté varias veces. Borraba la imagen, descargaba la imagen 18-alpine, iniciaba y de nuevo, magia, aparecía que todo había arrancado correctamente, pero al parar de nuevo el stack se había convertido en un 18rc1-trixie.

La cuestión es que cada vez que hacía esta operación de eliminar trixie y reiniciar el stack descargaba la imagen. Estaba totalmente sorprendido.

Los nervios

En este punto, me entró los nervios, el pánico y la flojera, y en lugar de pensar fríamente a ver que pudiera ser, hice lo peor, lo que siempre hago en estos casos y lo que nunca debería hacer, borrar.

Al ver que la imagen aparecía una y otra vez, a pesar de que yo la borraba y volvía a borrar, me lancé a borrar todo, digo a limpiar. Empecé solo por las imágenes, pero como no se resolvía continué con un docker system prune y así sucesivamente.

Y aquí fue cuando aparecieron esos sudores fríos que te mencionaba al inicio del episodio. En ese momento caí en que tenía varios stacks parados, y con todos esos prune había perdido todo el contenido de los mismos. Si, algunos tenían copias de seguridad y otros no, porque el contenido no era vital, pero… si los quería tenía que volver a reconstruirlo todo.

El analizador de logs

Hace meses que he dejado de interpretar logs. Esto de investigador forense queda muy bien pero la realidad es que es verdaderamente tedioso. Sobre todo cuando los logs aparecen con caracteres extraños, pero en general, es realmente muy cansado.

Así que decidí hace ya tiempo, hacer uso de Gemini para analizar los logs. Simplemente copio la parte donde intuyo que está el error, y se lo paso a Gemini para que me lo analice. Y la verdad es que me ha dado muy buenos resultados.

Justo aquí es donde me dio la pista, y además de forma clara, el mensaje fue el culpable mas probable: Watchtower.

El culpable

A pesar de que Gemini había apuntado un posible culpable, la realidad es que no, el realmente no era el culpable. El culpable era What’s up Docker. Y te estarás preguntado que como lo averigüé, pues de la forma mas sencilla, simplemente parando el servicio.

Probablemente, me digas que esto no puede suceder, que WUD solo notifica, que … Lo que quieras, pero, la realidad más real es que fue parar el servicio y desaparecer el poltergeist, con lo que opté por la opción más razonable, desinstalar el servicio. Que, por otra parte, te tengo que decir, que pensaba que ya no lo tenía instalado. Menudo desastre.

Conclusión los actualizadores automáticos los carga el diablo. Cada vez tengo mas claro, que el camino que emprendí de migrar a Podman, es el camino correcto. En Podman, el encargado de actualizar es el propio Podman, no es un servicio de terceros.

Ver el vídeo de este episodio
Transcripción

Hola soy lorenzo y esto es atareado con Linux episodio número 783 hoy te vengo a contar una,

Verdadera historia de terror bueno más o menos quiero decir al final luego cada uno interpreta,

Las historias de terror según le bien probablemente lo que yo te voy a contar para mí fue una historia,

De terror y para ti bueno pues simplemente una anécdota que me quiere contar el amigo lorenzo,

Pero seguro que en una situación similar a la que te voy a contar te has encontrado tú y te haya,

Sucedido lo que más o menos a mí me refiero a encontrarte en esa parálisis en esa situación,

En la que no sabes exactamente qué hacer y que una gota de sudor frío recorre tu frente seguro que,

Te has encontrado en esa situación ya sea por determinadas circunstancias o simplemente por,

El tema de tu equipo de tu ordenador donde en un momento determinado hiciste es un rm menos rf,

Pensando que estabas en un directorio cuando no estabas en ese directorio estabas en otro y,

Resulta que has borrado toda la documentación que tenías justo en ese momento es cuando esa gota,

Fría recorre tu frente y piensas que se está acabando el mundo por momentos bueno pues algo,

Similar me sucedió a mí hace unos días quizá no tanto no con tanto problema pero pero bueno,

Todo derivó en una pequeña catástrofe que más o menos supe salvar bueno por decirlo de alguna,

Manera la cuestión es que te voy a hablar sobre un poltergeist en Docker una de esas situaciones en,

Las que no sabes exactamente qué es lo que está sucediendo y que empujado por los nervios,

Directamente cometes algún tipo de locura como exactamente la que te voy a contar en este,

Episodio así que vamos directos al turrón te voy a hablar sobre un poltergeist en Docker,

Y antes de nada quiero ponerte un contexto un contexto importante y es que hace ya tiempo que,

Decidí que dedicaría un contenedor de bases de datos para cada uno de los servicios esto es una,

Pregunta muy recurrente habitualmente en el grupo de atareado con Linux a alguien se le ocurre preguntar,

Esto si es mejor tener un contenedor de base de datos para todos tus servicios de manera que todos,

Comparten ese servidor de bases de datos o bien tener un contenedor para cada uno de tus servicios o,

O sea un contenedor una base de datos un servidor de bases de datos para cada uno es decir en obtener un,

Contenedor común o en cada uno de tus Docker compost tener tu propio con tu propio servidor de base de,

Datos y la pregunta es muy pertinente en el sentido de que claro puedes llegar a pensar que esto de tener,

Un solo servidor de base de datos pues lo que vas a ahorrar es consumo en el sentido de que tener,

Muchos servidores pues al final vas a tener muchas estancias levantadas cuando podrías tener una única,

Sin embargo mi pensamiento sobre esto es un poco distinto en el sentido de que no solamente influye esto,

Sino claro en el mundo del ser hostit no vas a tener un solo no vas a tener un solo servicio vas a tener,

Muchos servicios y cada servicio va a ser de su padre y de su madre en el sentido de que pues un,

Servicio puede utilizar una versión de una base de datos otro servicio puede utilizar otra versión de,

Una de otra base de datos y pueden ser perfectamente que no estén alineadas incluso en el caso de que,

Estuvieran alineadas en el caso de que tuvieras dos servicios y casualmente los dos servicios justo,

Utilizaran la misma versión puede ser que el desarrollador un día se levantara y dijera voy a,

Aumentar la versión que estoy utilizando entonces qué es lo que haces el otro desarrollador no ha,

Decidido actualizarlo con lo cual ya te quedas ahí otro pie otro en otro en otro dilema incluso si,

Todos lo actualizaran a la vez también podría ser que uno de los dos servicios por lo que fuera,

Corrompiera la base de datos o consumir a muchos recursos con lo cual vas a terminar con el otro,

Servicio al final son todo pegas para tener dos servicios y luego por otro lado o sea quiero decir,

Para tener dos bases de datos o dos servidores de base de datos o mejor dicho dos bases de datos en,

Un único servidor y luego por otro lado si lo piensas y todo depende de cómo funcione normalmente,

Cuando estás funcionando en el mundo del ser hosted lo que viene a suceder es que,

Básicamente eres tú el único consumidor o a lo mejor tu familia quiero decir que sois unos pocos,

Los que están consumiendo esos servicios y normalmente cuando estás por ejemplo trabajando con una base de,

Datos no estás viendo una película quiere decir que el servidor de base de datos solamente lo estás,

Utilizando para eso y no lo estás utilizando para el otro con lo cual realmente el consumo que haces de,

Cada uno de los servicios es muy pequeño y cuando necesitas hacer consumo pues lo haces sobre una,

Base de datos con lo cual son todas estas variables son las que tienes que gestionar tú en un momento,

Determinado y decidir qué es realmente lo importante para ti a mí al fin y al cabo como la mayoría de los,

Servicios los consumo yo tener dos o tres o cuatro servidores de base de datos no me preocupa para nada,

Porque el consumo de estos servicios de base de datos cuando no estás haciendo uso de ellos es mínimo,

Así que prefiero optar por esta solución y esto es así como lo tengo quiere decir en mi servidor en mi,

Vps actualmente tengo yo te diría que de postgreSQL es muy fácil que tenga 10 o 12 instancias levantadas así,

Y por supuesto ni todas están con alpine Linux ni todas están con devian ni nada por el estilo cada,

Una cada contenedor Docker está hecho de su padre y de su madre cada uno tiene su propia versión con lo,

Cual ahí hay un batiburrillo que es importante una vez ya te he contado los preliminares vamos a los,

Hechos y es que hace unos días pues me empezaron a entrar notificaciones en matrix de que tenía,

Una de las bases de datos que estaba reiniciándose continuamente y no le presté más atención a esto,

Simplemente dije bueno cuando llegue a casa ya lo arreglaré esto no me venía de nuevas porque hacía,

Poco había tenido que actualizar una uno de los postgres de versión 17 a versión 18 y en ese cambio habían,

Introducido una modificación que no era había que cambiar la ubicación del del de los datos la,

Cambié y ya todo funcionó correctamente y en ese momento cuando recibí esa notificación en matrix pensé,

Que era algo similar que se había actualizado de forma automática y en esa actualización pues algo,

No había ido bien y por eso se estaba reiniciando bueno como te digo no le presté más atención cuando,

Llegué a casa cuando empecé a investigar exactamente qué era lo que había sucedido lo que me di cuenta era,

Algo completamente distinto y es que había no una sino varias bases de datos varias instancias que,

Habían caído y no terminaba de entender por qué no terminaba de entender por qué porque quiero decir,

Era un poco extraño me di cuenta después a posteriori que las que habían caído era exactamente,

Porque uno de los servicios del stack que formaban esos conjuntos pues se había actualizado y al,

Actualizarse ese había pasado algo con la base de datos pero todavía no terminaba de entender el qué,

A mí me parecía más bien que era una historia con las versiones pero no terminaba de comprenderlo,

Perfectamente cuál fue mi reacción bueno pues mi reacción primera fue directamente parar todos los,

Stack que estaban fallando y una vez había parado todos los stacks empezar a investigar un poco qué,

Era lo que estaba sucediendo en esa parada lo que hice pues fue centrarme en uno de ellos en lugar de,

Estar toqueteando los todos a la vez pues dije vamos a mirar única y exclusivamente el de mini flux y a ver,

Exactamente qué es lo que estaba pasando paré empecé a hacer cambios empecé a mirar miré a ver qué,

Versión tenía me extrañó que tuviera la versión 18 ya directamente en el tag o sea es decir no tenía,

Dos puntos late sino tenía el 18 alpine creo recordar que era bueno entonces no entendía probé a cambiar la,

17 Probé a cambiar la debian y no terminaba de funcionar y no terminaba de entender exactamente qué,

Es lo que estaba sucediendo imagínate en esta situación claro yo tenía ya 10 servicios parados,

No sabía qué pasaba no sabía qué sucedía empezaba ya esa gota de sudor frío que te he contado al principio,

Del episodio a recorrer mi frente y ya empezaba a hacer determinadas tonterías que se acentuarían más,

Adelante llegados a este punto como te digo me centré única y exclusivamente en mini flux y cuando,

Intentaba me di cuenta que cuando ponía exactamente la versión 18 alpine paraba el contenedor arrancaba y,

Cuando arrancaba sucedía algo muy extraño y es que se iniciaba todo hacía una parada y volvía a funcionar,

Y en esa vuelta a funcionar lo que me decía es que el contenedor no era un 18 alpine sino que era un 18,

Release candidate 1 tricksy y además es que no era una cuestión de tagueo es que uno realmente tenía,

288 Megas mientras que el otro tenía 456 megas era algo realmente muy extraño lo intenté varias veces,

Borraba la imagen descargaba la imagen de alpine iniciaba y cuando sucedía todo esto otra vez aparecía,

La 18 release candidate volvía a parar volvía a borrar y aquí es donde claro aquí ya empezaba a patinar,

Aquí sinceramente los nervios me traicionaron por completo porque dije ostras aquí hay algo aquí está pasando,

Algo aquí hay una imagen que está mal tagueada o algún rollo de estos y en fin esas suposiciones esa,

Esos problemas que tenemos de vez en cuando cuando no terminamos de entender exactamente qué es lo que,

Está sucediendo y lo que hacemos es empezar a divagar a pensar en meigas en en brujería a pensar en cosas,

Extrañas que realmente no tienen ningún sustento su sustento técnico realmente en esos momentos deberíamos,

De pararnos analizar fríamente qué es lo que está sucediendo y tomar decisiones en base a ese análisis,

Pero en muchas ocasiones lo que como te digo pensamos es el tema de brujería bueno pues a lo,

Mejor es que ha pasado no sé qué ha pasado no sé cuánto si esto ha empujado no sé qué y nos lleva a hacer,

Pues básicamente lo que hice yo que dije ostras pues aquí hay algo con las con los volúmenes y tal que,

Está estropeándolo todo hice un system prune claro si recuerdas un poco lo que te he contado,

Anteriormente sabrás que había parado todos los stacks bueno todos los stacks que tenían algo de,

Postgre claro hacer system prune lo que me llevé por delante es todo porque hice un system prune de,

Los volúmenes con dos narices o sea aquí sin ningún tipo de prejuicios y claro me llevé por delante todos,

Los volúmenes y aquello fue tremendo fue tremendo porque sobre todo lo que más me preocupaba era la,

Parte de los de git que ahí tenía toda la información pues la había perdido la había perdido las cosas,

Como son bueno a partir de aquí bueno pues a partir de aquí una vez ya lo había borrado todo me,

Tranquilice porque dije bueno ahora ya no hay nada más que perder ya lo he borrado todo qué es lo que puede,

Suceder pues nada pues lo que hice fue empezar a analizar los logs lo que tenía que haber hecho al,

Principio lo que tenía que haber decantado mis decisiones para ir en el camino adecuado pues,

Lo hice a posteriori estuve mirando qué era lo que sucedía a los logs y aquí lo que hice fue apoyarme,

De nuevo como ya te conté en otro episodio en un par de modelos de lenguaje simplemente veía lo que,

Sucedía lo copiaba copiaba el log lo pegaba en gemini y gemini me daba pistas de qué cosas podía hacer y qué,

Cosas no es decir utilicé directamente a gemini como un investigador forense y en uno de sus análisis,

Me dio una pista de lo que podía estar sucediendo y es que aquí lo que me dijo me dio un mensaje claro,

Que el culpable más probable era westower,

Y claro esto ya me abrió mucho la los ojos sobre todo teniendo en cuenta que yo no tenía en ese,

Momento westower activado así que fui investigando la decena de decena no,

Perdón el el casi cincuentena o no setenta yo te diría casi el centenar de contenedores que tenía,

Allí funcionando y me di que tenía me di cuenta que tenía uno que se llama whatsapp Docker del que,

Te hablé en otro episodio anterior whatsapp Docker es un servicio que te permite hacer cosas similares,

A las que hace westower realmente lo que te debería hacer única y exclusivamente es el tema de las,

Notificaciones o por lo menos yo lo tenía planteado así pero no sé qué tipo de cosas estaba haciendo,

Por debajo que bueno pues que lo que me llevaba es que él,

Actualizaba o cambiaba la versión no sé exactamente qué era lo que estaba haciendo,

Tanto es así que lo que hice fue directamente pararlo para el contenedor iniciar de nuevo mini flux,

Os quiere decir iniciar de nuevo el stack y a partir de ahí empezó a funcionar todo correctamente,

O sea que fuera de manera directa o no whatsapp Docker era el que estaba detrás de todo esto era,

El que por algún tipo de razón que no terminó de comprender era el que me traía o el que,

Actualizaba o el que hacía algo con esa versión así que nada poco a poco pues he ido recomponiendo,

Todo la situación en la que me encontraba anteriormente y más o menos ya lo tengo casi,

Todo funcionando ha sido un verdadero dolor porque como te digo ahí el problema ha sido,

Gitea que lo tengo con postgreSQL y pues lo había perdido había perdido mucha de la información que,

Tenía tampoco es problemático porque la mayoría de cosas las tengo directamente en GitHub y ahí tengo,

Muy pocas cosas básicamente pero bueno es siempre un problema todo esto me ha hecho darle vueltas al,

Asunto quiero decir como ya sabes o como te he contado en los últimos episodios pues llevo bastante,

Camino recorrido en la migración de Docker a potman y cada vez estoy más convencido y quizá esta sea,

Una de las razones más claras para terminar en potman porque esto no me habría sucedido en potman,

Bueno espero que no me hubiera sucedido en potman quiere decir en potman para el tema de las,

Actualizaciones no tengo que recurrir a un mecanismo externo como puede ser watch watch,

Watch tower o whatsapp Docker esto directamente el tema de las actualizaciones el tema de la gestión,

Todo esto lo hace perfectamente,

El amigo potman potman se encarga de una vez al día comprobar si hay alguna imagen nueva y una,

Vez al día o cada cuando tú le digas mirar si hay a descargarla,

Perdón descargarla actualizarlo todo y en caso de que no haya funcionado bien utilizando los,

Mecanismos de health check y utilizando todo este tipo de cosas pues lo que va a hacer es,

Directamente ir a la imagen anterior con lo cual me podría haber ahorrado perfectamente este problema,

Y este dolor de cabeza pero bueno siempre hay que verle la parte positiva al asunto y la parte,

Positiva es que bueno primero cada vez tengo más claro que me tengo que apoyar o que nos tenemos que,

Apoyar directamente en los modelos de lenguaje porque es le das el contexto aquí es bastante difícil que,

Por lo menos alucine en marcarte dónde puede estar el problema otra cosa es que te diga cuál es el problema,

De verdad pero por lo menos darte un contexto o quitarte toda la faena de mirar gran cantidad de,

Logs para única y exclusivamente saber exactamente el punto dónde está eso está claro yo cada vez lo,

Tengo más claro otra es que utilizar una herramienta como puede ser potman una tecnología como puede ser,

Potman en lugar de Docker pues me va a venir fantástico para evitarme el problema claro de las,

Actualizaciones y luego pues que las cosas hay que tenerlas más atadas en el sentido de que hay que,

Tener perfectamente definido cuál es la etiqueta cuál es el tag de la imagen que te quieres instalar,

En cada uno de los contenedores para evitarte problemas esto de dejarte en la test es he dicho en la test no,

En la text es siempre muy problemático y nada más esto es un poco lo que quería contarte quería hacerte,

Partícipe de este terror de estos momentos de terror que pasé aquel día y que bueno pues me han hecho,

Replantearme algunas cosas para reconducir todo este trabajo y poco más que contarte espero que te haya,

Gustado este nuevo episodio que lo hayas disfrutado bueno positivamente claro tanto como lo he disfrutado,

Yo recordarte que este es un podcast de la red de podcast de sospechosos habituales donde puedes encontrar,

Fantásticos y maravillosos podcast puedes participar en esa red entrando en telegram en win tablet info y de la,

Misma manera si quieres participar en el grupo de atareado con Linux simplemente tienes que buscar,

Eso atareado con Linux en telegram y allí nos vas a encontrar hablando de Docker Podman y bueno y casi,

Todo lo que te puedas imaginar relacionado con Linux y con el mundo del open source y poco más que,

Contarte recordarte que la vida son dos días y uno ya ha pasado así que disfruta como si no hubiera,

Mañana y si puede ser con Linux y en este caso con Docker Podman y el portergeist mejor que mejor un,

Saludo y nos escuchamos el próximo jueves hasta luego.

Deja una respuesta