De nuevo ataco con esto de las copias de seguridad, pero en este caso me quiero referir a los backups de bases de datos en Docker programadas. Y es que, tal y como comento en muchas ocasiones, lo de tener tus servicios autolojados, tiene sus ventajas y sus inconvenientes, y precisamente uno de los inconvenientes, es que tienes que invertir un tiempo en tareas de mantenimiento. Aunque también puedes dejarlo a lo loco, y que sea el destino el que elija la suerte.
No está mal para empezar el año, con esos propósitos de año nuevo, y uno de esos propósitos podría ser perfectamente, realizar esas copias de seguridad periódicas. Pero, porque hacerlo nosotros si podemos programarlo para que se haga de forma completamente automatizada?.
Backups de bases de datos en Docker programadas
Un poco de contexto
Hace unos días escuché a AlexPro, en su podcast Desahogo Geek comentar que había preparado una script para realizar copias de seguridad de Nextcloud. En este sentido, explicó que había hecho para mantener copias de seguridad de la siguiente forma,
Uno por cada uno de los últimos siete días
Igualmente, uno por cada una de las últimas semanas
Lo mismo para los meses
Creo recordar que también lo hizo para los años, pero, de esto ya no estoy tan seguro. La cuestión, es que esto me llevó a rebuscar en el baúl de la Piquer, y no porque sea un equipaje muy viajado, sino porque con el paso del tiempo, ya hay prácticamente cualquier cosa que te puedas imaginar.
Entre las herramientas que encontré estaba una imagen Docker para hacer copias de seguridad de bases de datos PostgreSQL y esto fue el punto de partida.
Copias de seguridad de bases de datos PostgreSQL
En concreto me refiero a postgres-backup-local. Se trata de una imagen Docker con la que puedes hacer copias de seguridad al sistema de archivos local, es decir, al sistema de archivos del host, con rotado periódico de copias de seguridad. Esto del rotado periódico, es precisamente lo que explicaba anteriormente, y a lo que hacía referencia AlexPro, en su podcast.
A su vez, la imagen anterior se basa en otra que hace las copias de seguridad sobre S3.
En mi caso, he decidido basarme directamente en el que hace las copias de seguridad en local, y reemplazar la herramienta que utiliza para la programación de las copias de seguridad en una de desarrollo propio implementada en Rust.
cronirs
cronirs es una herramienta de desarrollo propio implementada en Rust, y que básicamente funciona como un cron, pero con la diferencia de que parte de segundos. Es decir, que puedes programar tareas que se repitan cada segundo o cada n segundos.
Básicamente utiliza el formato de programación siguiente,
sec min hour day of month month day of week year
* * * * * * *
Que es el que viene definido en tokio-cron-scheduler. El crate que estoy empleando para realizar la programación. De esta manera, puedes definir en un archivo cron.txt las tareas que quieres que realice. En concreto, para el caso que nos ocupa, solo una, la del backup.sh.
En este caso, lo que hice, fue pasarla como variable de entorno, y escribirla directamente en el archivo /app/cron.txt para simplificar al máximo la cosa. Lo cierto es que hubo un momento, que me planteé la necesidad de reescribir cronirs para aceptar variables de entorno, pero… ¿para que?.
postgres-backup
Este es el punto de partida, para realizar copias de seguridad de bases de datos PostrgreSQL con rotado de esos backup. Te permite realizar copias de seguridad de varias bases de datos.
Para utilizarlo, te remito al repositorio de GitHub, pero simplemente sería añadir lo siguiente en tu docker-compose.yml, donde ya tienes configurada tu PostgreSQL,
Utilizo una red internal, que es la misma en la que se encuentra la base de datos, el PostgreSQL. Este detalle es importante si quieres que la pueda encontrar.
La programación está para que se realice cada día a las 17:25:00 a las 17 horas y 25 minutos. Es importante el 0 en los segundos porque en el caso que pongas * hará una copia cada segundo, lo que no es nada recomendable.
La variable BACKUP_KEEP_MINS indica cuanto tiempo mantiene los archivos en el directorio last, que según ves, está configurado a 1440 minutos, es decir, un día.
El resto de parámetros, indica cuantos días, semanas y meses mantiene.
Si quieres indicar mas de una base de datos, en POSTGRESQL_DB, indica las que necesitas separadas por comas.
mariadb-backup
Este es el punto de partida, para realizar copias de seguridad de bases de datos PostrgreSQL con rotado de esos backup. Te permite realizar copias de seguridad de varias bases de datos.
Para utilizarlo, te remito al repositorio de GitHub, pero simplemente sería añadir lo siguiente en tu docker-compose.yml, donde ya tienes configurada tu PostgreSQL,
Como te puedes imaginar, el funcionamiento es exactamente igual que en el caso de la base de datos PostrgreSQL. Puedes consultar sobre los detalles en GitHub.
El asunto multiplataforma
Quizá lo que mas me ha costado ha sido conseguir que estas imágenes admitan al menos dos plataformas, amd/64 y arm/64, lo que te permitirá utilizarlo en tu Raspberry en el caso de que estés utilizando arm64. Para 32 bits, por el momento no he conseguido resolverlo… Veremos en un futuro no muy lejano.
Espero que te haya gustado este nuevo episodio del podcast. Si puedes, te agradecería una valoración en iVoox y/o en Apple Podcast.
Hola soy lorenzo y esto es atareado con Linux episodio número 453 nada más empezar el año,
Ya te vengo a dar la paliza con esto de las copias de seguridad de las de los backups hace,
Yo te diría que unos 20 o 30 episodios del podcast ya te estuvo hablando sobre copias,
De seguridad o backups en Docker pero en este caso y de la misma manera que lo hice la otra,
Vez quiero insistir sobre todo en las bases de datos en las copias de bases de datos correspondientes,
A mariadb y a posgre sql porque básicamente son las bases de datos que más utilizamos para todos,
Los servicios que levantamos habitualmente para todos los servicios autolojados y es que tal y,
Como he comentado en más de una ocasión esto de tener nuestros servicios autolojados pues tiene,
Sus ventajas y sus inconvenientes entre las ventajas pues ya sabes depende es única y exclusivamente de,
Ti siempre y cuando no hagas una actualización de algún servicio y lo pierdas pero bueno esto ya,
Son pequeños detalles la cuestión es que como te digo tienes que tener tus servicios actualizados para,
Que no tengan ningún tipo de problema ningún bug ninguna ninguna ninguna vulnerabilidad o como lo,
Quieras ver esto por un lado y por el otro lado también tienes que dedicarle un tiempo a realizar el,
Mantenimiento y realizar el mantenimiento es básicamente como te digo por un lado actualizarlo,
Y por el otro hacerle copias de seguridad copias de seguridad de todo lo que tengas quiero decir por,
Ejemplo en el caso de que tengas instalado un WordPress pues tienes que hacerle la copia de,
Seguridad correspondiente a todos los plugins que tengas instalados la copia de seguridad correspondiente,
A las imágenes o a todos los archivos que haya subido y por supuesto la copia de seguridad de la base de,
Datos respecto a la copia de seguridad tanto de los plugins me refiero al listado de plugins como,
También a los archivos que haya sido subiendo esto es algo que más o menos lo puedes tener controlado en,
Tanto en cuanto simplemente se trata de hacer una copia de exactamente lo que tengas en ese directorio y,
Con esto más o menos lo tendrías resuelto el otro problema son las bases de datos en el episodio que te,
Acabo de decir en el episodio hace 20 o 30 episodios en el que te estuve hablando sobre el tema este de,
Las copias de seguridad pues te hablé de dos métodos para poder o de algún que otro método para hacerlo,
En este caso y a raíz de lo que te voy a contar a continuación pues le he dado una vuelta más y he creado,
Un par de imágenes Docker para hacer esto pero te lo voy a contar a continuación así que vamos,
Directamente al turrón lo primero es ponerte en contexto porque a qué se debe que últimamente me,
Haya calentado la cabeza con hacer estas imágenes Docker que ahora te contaré la cuestión es que,
Hace algún episodio del podcast bueno hace algún episodio del podcast no hace algunos días escuchando,
Alex alex pro del podcast desahogo geek estaba comentando que está haciendo algunas copias de,
Seguridad sobre su nube sobre su netcloud y es con todo pues un poco como lo estaba haciendo el tema,
Este que se dice habitualmente que tienes que tener bueno que haces o mantienes una copia de seguridad de,
Los últimos siete días o cinco días lo que tú consideres una copia de seguridad de las últimas,
Cuatro semanas que sería una por semana una copia de seguridad de los últimos seis meses que sería uno por,
Mes y luego por último pues a lo mejor podrías tener una copia de seguridad de los últimos cuatro,
Años por ejemplo y sería uno por año yo de forma habitual llego hasta los meses es decir guardo de los,
Últimos cinco o seis días de los últimos cuatro semanas y de los últimos seis meses por ejemplo y en,
Concreto esto es lo que he hecho básicamente para los para las dos imágenes Docker que te contaré a,
Continuación la cuestión es que claro a mí la solución de tener o sea si tienes instalada la base de datos,
Directamente en la máquina pues bueno pues más o menos tienes algunos scripts que probablemente sería,
Algo lo que hiciera alex para hacer esto de las copias de seguridad y si no pues bueno pues tienes que,
Hacer un poquito más de trabajo y claro hacer trabajo actualmente cuando esto de las imágenes te pueden,
Resolver muchísimo la vida pues como que no lo terminó de ver quiere decir que si te puedes,
Bajar una imagen Docker y en esa imagen Docker configurando determinados parámetros ya por,
Ejemplo por ejemplo que te digo son las bases de datos que quieres copiar no configurando esos,
Parámetros básicos configurando el usuario contraseñas etcétera etcétera ya lo puedes en poner en,
Marcha pues mucho mejor y mucho mejor porque al final lo más importante es el tema de la,
Automatización quiero decir si cada vez que tienes que hacer una copia de seguridad tienes que hacer,
Un script pues mal vamos si cada vez que tienes que levantar una base de datos de maría debe por,
Ejemplo y tienes que preparar un script y tienes que todo esto son complicaciones complicaciones que no,
Te llevan a ningún sitio y complicaciones que lo único que hacen es distraerte de tu objetivo principal,
Y tu objetivo principal al fin y al cabo es tener el servicio levantado ni más ni menos ni menos ni,
Más no necesitas nada más necesitas única y exclusivamente eso necesitas tener esos servicios,
Levantado y por supuesto mantenidos con esas copias de seguridad así que a raíz de lo que escuché a alex,
Pues dije bueno pues vamos a darle una vueltecilla esto y vamos a meterlo también en un Docker estuve,
Bicheando y me encontré con que en uno de los servicios que tengo levantados en concreto el de,
Matermost tenía un script perdón un script no tenía una imagen que vaya había puesto había fusilado de,
Por ahí bueno de por ahí no vaya la había fusilado de un desarrollador y la estaba utilizando es una,
Imagen que utiliza básicamente una aplicación implementada en go que es la que hace el tema de la,
Programación para el tema de la vaca pues utiliza otros sistemas total que dándole una vuelta y recordando,
Que yo ya había implementado un cron un sistema de como un sistema de programación de tareas,
Implementado en rast y lo había dockerizado pues le di una vuelta y dije pues esto es lo que tengo que,
Utilizar no hay más para lo que tengo que hacer es migrar exactamente lo que había hecho esta persona,
En utilizando un paquete en go todo en rast y no solamente todo en rast sino que una de las cosas,
Que hacía era directamente bajaba el paquete y lo metía dentro del Docker yo lo que he hecho ha sido,
Directamente compilar una imagen Docker o sea compilar el binario de rast directamente una imagen Docker y de,
Esa imagen Docker crear básicamente lo que te contaré a continuación que son dos imágenes una,
Para am de 64 y otra para rm 64 y con esto básicamente tenía la parte del cron igual que,
Comenté en el episodio anterior del podcast probablemente te estarás preguntando ostras y,
Por qué no utilizar el cron pues básicamente por la portabilidad porque a mí no me gusta terminar,
Utilizando el cron para luego realizar tareas sobre Docker por los problemas que te puede conllevar,
Mezclar dos cosas que no son grandes problemas pero que lo tienes que tener claro pero no solamente eso,
Sino que estás delegando parte del trabajo que tienes que hacer con Docker precisamente en la máquina,
Principal precisamente en el host donde lo tienes hospedado todo y si el día de mañana no te acuerdas,
Pues aquello puede quedarse funcionando toda la vida o puede dejar de funcionar o lo que sea de esta,
Manera montándolo como te voy a contar a continuación es decir teniéndolo todo en Docker digamos que lo,
Tienes todo más o menos arreglado así que qué es lo que he hecho bueno pues básicamente lo que he hecho,
Ha sido primero dos imágenes Docker una como te digo en am de 64 con arquitectura md y otra con arquitectura,
Rm ambas de 64 donde he creado un cron un cron de los de casi toda la vida quiero decir no es un cron,
Al uso porque si recuerdas el cron que hay en Linux empieza en minutos tú puedes hacer tareas que empiecen,
En minutos horas etcétera etcétera en el caso del cron que implementado no está en minutos sino que ya,
Empiezan segundos es decir que podrías hacer una copia de la base de datos cada segundo que no es nada,
Aconsejable pero bueno ahí está como te digo una vez hecho esto lo que he hecho ha sido crear 2.
Y 22 imágenes una para postgre sql y otra para maría debe al fin y al cabo yo por ejemplo la mayoría de,
Los servicios que estoy utilizando utilizan postgre sql porque me gusta más esa base de datos le tengo en,
Alta estima como ya contado en innumerables ocasiones pero por ejemplo para WordPress siempre estoy,
Utilizando maría debe porque es la que está consolidada por defecto con lo cual digo bueno,
Pues vamos a tener esas dos soluciones son dos soluciones dos soluciones muy sencillas porque lo,
Único que tienes que tener es tenerlas en el mismo Docker con post en el en el que lo tengas es decir por,
Ejemplo para el caso que nos ocupaba del otro día de WordPress montado con un maría debe tú tendrías tu parte de,
Php o bueno tu parte de Docker de WordPress perdón tu base de datos maría debe tu redis en el caso de que,
Quieres hacer una aceleración vía caché con redis y luego por último tendríamos la parte de la copia de,
Seguridad con la base de datos la copia de seguridad de backup con WordPress qué parámetros habría que,
Pasarle pues como te contaré a continuación son unos parámetros muy sencillitos pero como ves el Docker,
Compose es básicamente lo que te aco de decir las cuatro piezas en el momento en que tú dejes de utilizar,
Ese WordPress lo único que tienes que hacer es pararlo y lo tendrías parado todo y lo que te,
Comentaba anteriormente no estás afectando en ningún caso no estás afectando en ningún caso al host en,
Ningún caso se te va a olvidar que tienes el WordPress con su copia de seguridad lo vas a tener todo ahí y no,
Solamente esto sino que las copias de seguridad las vas a tener también las vas a poder tener directamente,
En ese mismo directorio en el que tienes alojado el Docker compose con lo cual lo tienes todo bien,
Atadito vale respecto a los dos imágenes Docker que te acabo de decir una para maría debe y otra,
Para postgreSQL de la misma manera que te estaba contando anteriormente he hecho,
Dos para las dos arquitecturas para para la arquitectura amd64 y para la arquitectura rm64 con,
Lo cual en total estamos hablando de cuatro dockers de cuatro imágenes bueno realmente son dos imágenes,
Para dos arquitecturas que en total son cuatro vale y lo único que te digo es que lo tienes que,
Montar todo con el Docker compose y básicamente esto es la operación no tiene mucho más es algo,
Relativamente sencillo sobre todo porque lo he dejado súper súper sencillo en el en el en el,
Repositorio está actualmente ya ha subido a los repositorios de Docker y también está subido a Docker,
Hub con lo cual desde allí lo puedes instalar he puesto ejemplos con Docker compose para maría debe,
Y para postgreSQL directamente en los readme de los dos archivos de los dos de los dos servidores,
Para que lo puedas utilizar y esto es básicamente toda la operación como verás al final lo he dejado,
Bastante sencillito porque única y exclusivamente tienes que meter los mismos parámetros que has metido,
Anteriormente quiero decir tienes que meter los parámetros correspondientes a la base de datos que quieres,
Hacer copia de seguridad el host donde está la base de datos como se llama,
El la base de datos en cuestión el usuario y la contraseña y luego pues lo único que tienes que decirle es cuánto tiempo o cuántos días quieres que permanecer con los archivos es decir que lo que te he comentado al principio contaba el otro día Alex en desahogo geek es tú puedes elegir cuántos días quieres tener de buffer de backup cuántos días quieres tener de buffer cuántos días no cuántas semanas y cuántos meses,
Lo he dejado ahí y con esto básicamente ya lo tendrías todo bastante atadito creo que con esto no hay mucho más detalles importantes y que me llevaron un poquito por la caída de la amargura bueno un poquito no porque me di cuenta enseguida pero vaya el primero de los problemas con los que me encontré es el tema de que este Docker,
Este Docker en cuestión el Docker que estoy utilizando para hacer las copias de seguridad tanto de MariaDB como PostgreSQL evidentemente tienen que estar en la misma red en la que se encuentra MariaDB y PostgreSQL no pueden estar en otra red porque lo que hacen es conectarse al host en cuestión y al puerto pero si no están en la misma red no la va a encontrar ya que Docker se encarga de hacer tanto de la parte de DNS como la parte del enrutamiento,
Él se encarga de hacerlo todo para que cuando tú les dices que están en la misma red lo encuentren ese es un detalle que inicialmente se me coló porque no sé por qué en la base de datos que tenía en la base de datos de MariaDB en la base de datos de PostgreSQL tenía enlazado directamente el puerto con el puerto de la máquina,
En la misma red en la misma red con lo cual se pueden encontrar fácilmente y lo solucionan y luego el otro problema que me lleva de cabeza y que me lleva de cabeza ya bastante tiempo es la parte de crear imágenes multiplataforma,
Es decir hasta la fecha siempre creamos imágenes para la máquina en la que te encuentras es decir si estás trabajando pues como habitualmente AMD64 pues estás creando una imagen para AMD64 en el caso de que estés en una Raspberry pues estás creando la imagen en la Raspberry y es una imagen para la plataforma ARM64 o 32,
Pero ¿qué es lo que sucede? que si te das cuenta cuando tú miras en Docker Hub lo que te encuentras es que en muchas ocasiones tienes un nombre por ejemplo,
Atareado barra en crony rs dos puntos la versión y allí si miras verás que hay para dos plataformas para la plataforma AMD64 y para la plataforma ARM64,
Yo en general hasta la fecha no estaba haciendo eso yo hasta la fecha lo que hacía era hacer directamente la imagen para el archivo perdón para la plataforma en la que estaba trabajando,
Pero he decidido bueno he decidido no a raíz de todo esto que sucedió de la aplicación de podcast del servicio de podcast para escuchar directamente YouTube en un podcast,
Pues a raíz precisamente eso lo que se me ocurrió fue la idea de meterlo todo junto ¿no? como hay en muchas ocasiones,
Claro ¿qué es lo que sucede? pues que lo que sucede básicamente es que tienes que hacer una compilación cruzada,
Porque yo voy a compilar para ARM64 en mi máquina de AMD64 y esto pues tiene un poquito más de complicación,
También lo quería hacer para ARM32 pero para ARM32 me ha sido completamente imposible,
He estado peleando pero vamos muchísimo tiempo porque tenía mucho interés sobre todo en la aplicación de U2V Podcast,
La aplicación de YouTube, el servicio de YouTube estuviera disponible también para ARM32,
Porque hay muchos que todavía están utilizando ARM32 pero bueno al final no lo he conseguido,
Y como prácticamente desde la Raspberry 3 ya se puede emigrar a la Raspberry, perdón a la arquitectura ARM64,
Pues no hay más remedio que si lo quieres utilizar por lo menos esta versión por ahora,
La única solución es utilizar ARM64 ya te digo que me está dando muchos problemas y muchos quebradores de cabeza,
Sobre todo con la compilación donde interviene el SSL y ahora también en una historia que estoy preparando,
Que ya te contaré en un próximo episodio del podcast en el que estoy bueno en el que también necesito eso,
Y no hay manera ahí donde estoy teniendo problemas es en la compilación con SQLite,
Pero bueno al final lo importante en el caso que nos ocupa en el caso de las copias de seguridad,
Implementadas con, bueno implementadas no, PostgreSQL y MariaDB,
Actualmente como lo tengo con Crony RS y está funcionando perfectamente,
Yo lo que he hecho ha sido programarlo para que las copias de seguridad se hagan todos los días,
A la una de la mañana creo que es,
Pero tú puedes poner la fecha que quieras porque eso también es programable,
Y nada más esto es básicamente lo que llevo haciendo en los últimos en los últimos días,
Bueno realmente te estoy engañando en los últimos días lo que he estado haciendo es otra historia,
Pero esto ya te la contaré como te decía anteriormente en un futuro episodio del podcast,
Cuando lo tengamos puesto en producción porque yo creo que será muy interesante,
Y además supongo que a los amigos de Fitlipinos les llamará bastante la atención,
Bueno a los amigos de Fitlipinos y a cualquier otro que quiera hacerse un podcast por la patilla,
Y nada más esto es lo que yo quería contarte,
Esto es básicamente lo que quería hablarte hoy sobre el tema de las copias de seguridad,
Si le pegas un vistazo verás que es súper sencillo de configurar,
Como te digo yo he puesto un par de ejemplos pero tengo que subir,
Por lo menos tengo un par de ejemplos más,
Uno con PostgreSQL donde tengo montado PostgreSQL,
¿Qué más? PostgreSQL tengo pgadmin y la copia de seguridad,
Y luego en otro tengo exactamente lo mismo pero que en lugar de esto está,
Mariadb php myadmin y la copia de seguridad,
Todo muy aseadito,
Así que nada de cualquier manera en los ejemplos que he puesto,
Tanto en uno como en otro están allí disponibles,
En las notas del podcast dejaré tanto enlace a,
¿Cómo se llama,
A los repositorios de GitHub como a los repositorios de Docker Hub,
Para que sepas exactamente dónde tienes que ir,
Tengo que actualizar todavía los readmits porque me los he dejado un poquito,
Warringdongos sobre todo el de MaríaDB,
Pero bueno estos son pequeños detalles,
Si tienes cualquier lío o no tienes más que decirme,
Intentaré arreglártelo a la mayor brevedad posible,
Y poco más esto es lo que quería contarte,
Espero que te haya gustado este nuevo episodio del podcast,
Pero sobre todo lo que espero es que le saques provecho,
Y que bueno pues que pienses ya en empezar a hacer esas copias de seguridad,
Tan importantes y efectivas,
De las cuales no podemos prescindir si no queremos llevarnos una sorpresa,
Recordarte que este es un podcast de la red de podcasts de sospechosos habituales,
Donde puedes encontrar fantásticos y maravillosos podcasts,
Puedes suscribirte a la red de podcasts de sospechosos habituales,
En feedpress.me barra sospechosos habituales,
Y por último y como te digo siempre,
Recordarte que la vida son dos días y uno ya ha pasado,
Así que disfruta como si no hubiera mañana,
Y si puede ser con Linux, Docker y las copias de seguridad,