No pierdas tus datos. Backups infalibles

Vistas: 1949
0:00 / 0:00
No pierdas tus datos. Backups infalibles

Hace años que te vengo hablando sobre copias de seguridad. En concreto en el episodio 173 te comenté como había hecho un rm -rf, y fuí salvado por Borg. Se que no es un tema tan atractivo como hablar de multimedia, o de servicios que impactan, pero es algo imprescindible. El problema es que solo te acuerdas de las copas de seguridad cuando realmente las necesitas, y en ese momento, es posible que te acuerdes para mal, porque o bien en un momento determinado decidiste no hacerlas o decidiste dejarlo para mas adelante (maldita procrastinación), o simplemente no comprobaste que realmente se estuvieran haciendo de forma correcta. Así, tener un sistema de copias de seguridad eficaz y eficiente es realmente imprescindible y fundamental. En este episodio te hablaré sobre Restic, una alternativa a Borg que estoy probando y que con mucha probabilidad se quedé como sistema por defecto en las próximas semanas.

No pierdas tus datos. Backups infalibles

No pierdas tus datos. Backups infalibles con Restic y Minio

Un paseo por el pasado

Antes de hablarte de Restic, no quiero dejar de mencionar a BorgBackup, que es el sistema que estoy utilizando y que tan buen resultado me ha dado hasta el momento. Y ¿entonces?¿por que cambio?. Realmente no estoy cambiando. A raíz del próximo episodio, he retomado restic, y quiero ver las opciones y posibilidades que me ofrece y compararlo con mi sistema por defecto. No es que lo vaya a abandonar de buenas a primeras, quiero estudiarlo y en función de las conclusiones, tomar una decisión.

Restic

Restic es una herramienta de copias de seguridad rápida, segura y eficiente. Permite guardar múltiples revisiones de archivos y directorios en un repositorio cifrado almacenado en diferentes backends.

Y es precisamente esto de los backends, lo que mas me ha atraído, porque hasta la fecha, solo he tirado de ssh y rsync, para sincronizar las copias de seguridad en distintos sitios. Y, además al ver, la posibilidad de utilizar S3, no he podido resistirme.

La Instalación de restic es tremendamente sencilla. Simplemente ejecuta en una terminal lo siguiente,

sudo pacman -S restic

Y para crear tu primer repositorio tienes que ejecutar algo como,

restic - r /ruta/del/repositorio init

Perfiles para restic

Opcionalmente puede utilizar una herramienta auxiliar para facilitarte la vida en cuanto a la gestión de los distintos repositorios que utilices. Restic Profile, es un gestor de configuraciones organizados por perfiles para restic. Simplemente es un facilitador.

Así la configuración la tienes establecida en distintos perfiles como por ejemplo, lo que te muestro a continuación,

version: "1"

default:
  repository: "local:/data/resticbackup"
  backup:
    verbose: true
    tag:
      - default
    source:
      - "/data/ansible"
      - "/data/php"
    exclude: 
      - "*.aup"
      - "*.au"
      - "*.mkv"
      - "*.mp3"
      - "/data/**/__pycache__/"
s3:
  inherit: default
  repository: "s3:https://s3.tuservidor.es/restic-archi"
s3one:
  inherit: default
  repository: "s3:https://otros3.tuservidor.es/restic-one"

A partir de aquí, hacer una copia de seguridad es tan sencillo como ejecutar los siguientes comandos,

resticprofile default.backup
resticprofile s3.backup
resticprofile s3one.backup

Y de la misma forma puedes hacer para comprobar los datos utilizar check o para seguir una política de retención de datos utilizar forget.

De todas formas, si no quieres utilizar resticprofile, siempre puedes hacerte un sencillo script y listo. En mi caso particular, me ha gustado la idea de resticprofile, y lo he utilizado.

Para instalar resticprofile, indicarte que lo tienes que hacer desde los repositorios AUR, ejecutando,

paru -S resticprofile

Infraestructura del Backup

Actualmente, ya con BorgBackup implementé una política de tres copias de seguridad, dos en local y una en remoto. De esta forma, tengo una en el propio equipo, un segunda en un Slimbook One, y la tercera se encuentra en un VPS.

Dado que restic, permite configurar distintos repositorios de forma relativamente sencilla, lo que hice es probar distintas alternativas para ver cual se acoplaba mejor a mi flujo de trabajo. En este caso probé S3, en concreto Minio, y un servicio que hay específico para Restic conocido como Rest Server, que según indica es un servidor HTTP específico para Restic. Un servicio que te proporciona una forma eficiente de realizar copias de seguridad de forma remota.

En el caso del VPS, me decanté por Minio que ya lo tenía instalado, y simplemente tenía que crear una nuevo Bucket y ponerlo en funcionamiento, y la verdad es que en menos de 5 minutos tenía mis 9 GB de datos a resguardo.

En el caso del Slimbook One, probé inicialmente Rest Server, pero en hacer la misma copia de seguridad, tardó mas de una hora. Esto me llevó a pesar que, o bien tenía un problema en mi red local, o bien, el servicio no se adaptaba a mis necesidades. Finalmente, instalé también Minio en el Slimbook One, y listo. Efectivamente, en menos de 5 minutos tenía las copia de seguridad. Así que para mi Minio es la herramienta que andaba buscando.

La configuración de las copias de seguridad en Minio, es exactamente igual que en el caso de que al tuvieras en local. Si utilizas restic simplemente lo inicializas con,

restic -r s3:https://tuservidor.es/restic init

O en el caso de que utilices resticprofile,

resticprofile s3.init

Programación de las copias de seguridad

Es posible utilizar resticprofile para configurar las copias de seguridad. Sin embargo, dado que ya lo tengo configurado con BorgBackup, he optado por hacer un script que me permita hacer las copias de seguridad de forma automática. En mi caso, he optado por hacerlo con systemd, y para ello he utilizado el servicio y el temporizador de BorgBackup, añadiendo las líneas necesarias,

export RESTIC_REPOSITORY="/data/restic"
export RESTIC_PASSWORD="XXXXXXXXXXXXXXXXXXXXXXXXX"
export AWS_ACCESS_KEY_ID="XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"
export AWS_SECRET_ACCESS_KEY="XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"
PROFILES=(default s3 s3one)
for profile in "${PROFILES[@]}"
do
    echo "=== Backup ${profile} ==="
    create_output=$(resticprofile ${profile}.backup)
    ok=$?
    publish "${profile}" "create" "${create_output}" "${ok}"
    check_output=$(resticprofile ${profile}.check)
    ok=$?
    publish "${profile}" "check" "${check_output}" "${ok}"
    cleanup_output=$(resticprofile ${profile}.forget --prune --keep-daily 7 --keep-weekly 4 --keep-monthly 6)
    ok=$?
    publish "${profile}" "cleanup" "${cleanup_output}" "${ok}"
done

Como nota al margen, indicar que la función publish me permite publicar todos los datos en OpenObserve

Conclusión

Como ves, estos días he estado la mar de entretenido configurando y poniendo en marcha este nuevo sistema de copias de seguridad. Y la verdad es que me ha gustado mucho. No se si será definitivo, pero de momento, me ha gustado mucho. Y tu, ¿has probado Restic?¿Qué te parece?¿Qué sistema de copias de seguridad utilizas?¿Te animas a probarlo?¿Te animas a contarme tu experiencia?.

Ver el vídeo de este episodio
Transcripción

Hola soy lorenzo y esto es atareado con Linux episodio número 677 en este episodio te voy,

A hablar sobre backups y en principio le he dado un título que me ha llamado mucho la atención y,

Que creo que cuadra perfectamente que es algo así como no es si fallará sino cuando fallará,

Y en este episodio como te digo te voy a hablar sobre copias de seguridad ya sé que es un tema,

Que no tiene que no tiene tanto glamour como otros temas de los que te he hablado en otros episodios,

Como por ejemplo el que te hablé recientemente sobre plex o los que te he hablado sobre jellyfin en fin,

Es un tema que es digamos que es esa cosa accesoria que tenemos que hacer para mantener nuestro nuestra,

Salud mental en un punto adecuado y te digo esto porque como te decía no es si fallará sino cuando,

Fallará porque sin lugar a dudas va a fallar quiere decir en un momento determinado tu ordenador donde,

Tienes todo tu trabajo donde tienes todo tu ocio sea por la razón que sea sea porque el disco se,

Estropea sea por las razones son múltiples o porque simplemente tú haces un rm menos rf algo tan sencillo,

Como eso y te cepillas todos los datos vale en el caso de que te cepillas todos los datos que es lo,

Que haces pues lo primero es acordarte de mí acordarte de que en el episodio 677 te dije tarde o temprano,

Van a fallar pues te vas a acordar de mí en ese caso sin lugar de dudas te vas a acordar de mí,

Entonces qué hacer en ese momento bueno pues si realmente has hecho esa copia de seguridad pues,

No pasa nada restaurarás la copia de seguridad y como si no hubiera pasado vamos estarás más tranquilo,

Que tranquilo pero si no has hecho la copia de seguridad hay amigo ahí sí que tenemos un problema no,

Es la primera vez que te hablo de copias de seguridad en distintos episodios te he hablado,

Sobre cómo realizar copias de seguridad qué posibilidades hay para hacer copias de seguridad,

Y cómo hago yo mis copias de seguridad pero en este caso te voy a hablar de una otra alternativa,

Una alternativa más que estoy probando y que probablemente termine por por apartar por aplazar,

Por desplazar mejor dicho directamente a board backup así que vamos directos al turrón en este episodio,

Te voy a hablar sobre copias de seguridad y en concreto sobre restic y distintas características,

De restic que son las que me han llamado la atención como te digo vamos directos al turrón y empiezo,

Primero por qué es restic porque claro te he empezado a hablar de restic pero no te he dicho exactamente,

Lo que es bueno pues restic no es ni más ni menos que una herramienta una aplicación que puedes instalar,

Directamente en tu máquina que es segura eficiente y rápida con eso ya te lo digo todo y además es una,

Herramienta que me gusta mucho respecto además en comparación con board backup me gusta mucho por la,

Razón de que básicamente está implementada en golán con lo cual está implementada con un lenguaje,

Compilado y va a ser ligeramente más rápida o bastante más rápida que board backup por esta es,

Una de las razones que me han hecho probarla pero no solamente es esta la razón por la que he caído en,

Las garras de restic ha sido básicamente porque estaba probando otra herramienta que se llama gocron,

De la que te hablaré en el episodio siguiente en el episodio 678 y en una de las menciones hablaba,

De restic cierto es que hasta el momento yo siempre he utilizado board backup y de hecho lo sigo,

Utilizando como herramienta de copiar de seguridad pero claro,

Esto de quedarte anclado en una herramienta pues está muy bien por aquello de la máxima de los,

Informáticos que dicen si algo funciona no lo tocas pero a mí me gusta tocarlo son muy tocón y en este,

Caso digo a ver vamos a probar restic vamos a compararlo con board backup vamos a ver las,

Posibilidades que tiene si es más sencillo de configurar si es más rápido si dan más ventajas,

Que por backup y en este caso pues lo desplazamos y yo normalmente todas las pruebas las hago así quiero,

Decir yo me lo instalo lo pruebo veo que funciona o no funciona te lo cuento en caso de que te lo,

Tenga que contar y una vez he probado las alternativas pues me quedo con aquella que más me gusta que sí,

Que está muy bien que alguien en un vídeo de YouTube o en un podcast o en vete a saber que te cuente su,

Experiencia pero la experiencia de cada uno es como las narices cada uno tiene la suya así que bueno pues,

Decidí como te digo instalar restic pero no solamente instalar restic he instalado restic he,

Instalado restic profile he instalado también restic server en fin he instalado todo un conjunto de,

Herramientas para bueno pues para ver todas las posibilidades que me ofrece y bueno como te digo,

Una herramienta como esta que tiene de duplicación cifrado compatibilidad con múltiples backends,

Pues la verdad es que a mí me gusta mucho y viene a suplir por completo a board backup,

Board backup perdona sobre la infraestructura de mi backup como lo tengo yo montado actualmente,

Tengo un repositorio local es decir en la propia máquina donde tengo instalado bueno donde trabajo,

Mejor dicho donde hago todas las cosas relacionadas con atareado.es y proyectos o site,

Proyectos pues ahí tengo destinado un disco que le llamo data y en ese disco data pues,

Es donde hago las copias de seguridad lo cierto es que no lo hago del todo bien lo cierto es que,

Debería de tener un disco específico para él o en su defecto una partición dedicada a él pero bueno,

Llámame gandul llámame perezoso no lo tengo así la verdad para que te voy a decir otra cosa lo primero es lo,

Fundamental y luego la otra alternativa digo la otra en las otras copias de seguridad las tengo montadas,

Utilizando minio que es una variante de s3 pero open source y la tengo montada en un pequeño Slimbook one,

Que es el servidor que tengo en casa y también en un vps de esta manera pues tengo tres copias de seguridad de la que te hablaré dentro de unos minutos,

Pero así tal y como lo tengo por lo cierto es que me encuentro muy pero que muy cómodo y hasta el momento,

La funcionalidad ha sido bastante interesante aunque un poquito más adelante te hablaré sobre ello,

Sobre la instalación la instalación en Linux es súper sencilla yo como tú sabes estoy utilizando Arch Linux como de distribución de cabecera con lo cual para realizar la instalación simplemente he tenido que tirar de los paquetes del repositorio oficial de Arch con un sudo pacman-s restic y luego he instalado otra herramienta adicional que se llama restic profile esta herramienta lo que te,

Facilita es la configuración en lugar de tener que meter todos los parámetros vía un script por ejemplo lo puedes hacer directamente con restic profile creándote tantos profiles como necesites en mi caso por ejemplo yo me he creado tres profiles un profile para la copia local y luego un par de profiles adicionales,

Para hacer la copia para hacer la copia en el slipbook one y para hacer la copia en el vps de esta manera tengo de una manera muy sencilla todo,

Para realizar una copia de seguridad simplemente tengo que llamar a restic profile el nombre del profile .backup o .check para comprobar que todo funciona y luego está el tema de las políticas de backup,

En este caso en el caso de las políticas de backup yo estoy utilizando una política bastante sencilla que consiste en mantener los últimos cinco días o los últimos siete depende ahora yo creo que estoy manteniendo los últimos cinco luego una copia de las últimas cuatro semanas y una copia de los últimos seis meses de esta manera pues como ves lo tengo todo más o menos seguro,

Y tú dirás ostras pues con tanta copia vas a necesitar un disco importante pues no no hace falta porque con esto va con la de duplicación de manera que una con las copias no van creciendo o no vas realizando copias totales sino que son copias incrementales de manera que ese espacio no es tan grande como el que te podrías pensar,

Y luego hay otro problema otra necesidad fundamental que es la realizar realizar copias backups automáticos para los backups automáticos tienes igualmente la opción de utilizar,

Restive profile te da la opción de que tú allí configures cada cuánto quieres hacer las copias y tiene exactamente la misma configuración que existen de que los,

Que los timers que los timers de existen de con lo cual con esta solución ya tienes preparada la configuración de todas maneras siempre en cualquier caso te podrías montar tu propio timer de consistente para tu usuario y de esta manera ya podrías realizar tus copias de seguridad de una manera sencilla actualmente y no con restics y no con board backup lo que tengo es que cada vez que arranco el ordenador cada vez que,

Inicio mi ordenador personal lo que hace es una copia de seguridad de esta manera pues me quedo más o menos tranquilo siempre tengo una copia de seguridad antes lo que hacía era que todos los días a las seis de la mañana me hace una copia de seguridad pero claro no siempre a las seis de la mañana estoy con el ordenador personal hay veces que no y entonces cuando no estoy pues no hay copia de seguridad en este caso haciéndolo al revés es decir cuando inicio la el equipo,

Se hace la copia de seguridad me aseguro totalmente de que esas copias de seguridad se realizan,

Y como te digo hago esas tres copias de seguridad actualmente lo hago exactamente igual con board backup una copia de seguridad local otra en verde con board backup estoy haciendo una copia de seguridad en un signology frente a ahora que lo voy a hacer en el,

Limbo one como te decía anteriormente y luego en el vps eso es común más o menos para todos y la programación como te digo hasta el momento estaba utilizando system day y ahora estoy pensándome en utilizar restic profile ya veremos,

Además con cada una de las copias de seguridad interesa y mucho verificar que esa copia de seguridad pues es correcta incluso de vez en cuando hacer una restauración para bueno pues para que el día de mañana cuando en caso de que necesites hacer esa restauración esté seguro de que la puedas realizar,

Sobre las copias de seguridad y por qué elegido S3 para realizar las copias de seguridad en remoto decirte que no solamente he probado S3 también he probado otro servicio que hay disponible que es rest server que es te permite pues hacer copias de seguridad en remoto es decir tú levantas un rest server en un vps,

O en un servidor o donde tú quieras y allí con rest tip puedes hacer directamente la copia de seguridad que es lo que ha sucedido pues lo que ha sucedido es que en mi red local digo pues en la red local voy a levantar,

Res server y en la red remota voy a utilizar minio que es esta variante open source de S3 la variante open source de S3 me ha llevado cinco minutos o una cosa así en hacer toda la copia de seguridad,

La copia de seguridad tiene unos 10 gigas más o menos pues en remoto me ha tocado como te digo unos 10 minutos o sea unos cinco minutos o seis minutos no me acuerdo,

Y en el local como te decía bueno en mi red local lo que he montado en el Slimbook One era el rest server y me he puesto a hacer la copia de seguridad,

Y nada más empezar la copia de seguridad me ha dicho va a tardar una hora y digo como en remoto en un vps que está en Alemania,

Tarda cinco minutos y aquí tarda una hora y digo aquí o bien es que la red local que tengo es una castaña o bien la otra posibilidad,

Es que este servicio rest server pues está bien pero no es todo lo que yo esperaba así que bueno ni corto ni perezoso,

Lo que he hecho ha sido levantar también un S3 con minio en local en el Slimbook One y efectivamente ni el problema de mi red,

Ni Cristo que lo fundó es directamente un problema del rest server porque me ha tardado cinco minutos o cuatro minutos,

O sea que en cuatro minutos tenía hecha mi copia de seguridad perfectamente así que bueno pues problema resuelto,

Tengo minio o sea tengo las copias de seguridad en local en local y luego tanto en el Slimbook One como en remoto,

Tengo levantado con S3 decirte que para no calentarme mucho la cabeza he hecho la barbaridad de poner las mismas credenciales,

Tanto en para el usuario tanto en local quiero decir en el servidor en el Slimbook One como en el servicio que tengo,

En el vps en las credenciales del usuario que utilizo para hacer las copias de seguridad en S3 pero bueno,

Tampoco me calienta mucho la cabeza porque la que tengo aquí en casa pues está en red local y no tiene acceso a internet,

Y la que tiene acceso a internet pues tiene acceso a internet,

Por supuesto que todas estas copias de seguridad las hago con clave están cifradas salen ya cifradas y así me evito cualquier problema,

Y además me he calentado la cabeza para poner una clave de 64 cifras 64 caracteres alfanuméricos y con algún carácter extraño,

En fin una castaña de mucho cuidado,

Para almacenar todas estas contraseñas estoy utilizando básicamente PASS que es esta herramienta que es este software,

Que es brutal y que además te permite tener todas tus contraseñas cifradas,

Yo las tengo cifradas y las tengo guardadas en un git de manera que allí están perfectamente controladas,

Es un git privado que no tiene acceso a nadie y ahí está todo perfectamente guardado,

Y de esta manera tengo guardadas las contraseñas,

Además para tener todas estas contraseñas y para que todo funcione,

Las tengo como variables de entorno pero además de una manera especial,

En el caso como te decía en el episodio anterior en el anterior del anterior en el que te hablé sobre,

Sobre FISH sobre MISHEL las variables de entorno en FISH se establecen de una manera un tanto peculiar,

No es exactamente como en BASS o como en ZSH y me permite crear variables globales que mantienen siempre,

Esto para tenerlo configurado y que no esté en ninguna plantilla no esté guardado en mis dos files,

Que es donde yo lo guardo utilizo plantillas utilizo las plantillas GINJA que te hablé en un episodio,

Bueno hace ya bastante tiempo que es una herramienta que implementé en RAST,

Que me permite crear variables y luego cargando las variables de entorno las reemplazo,

Y ya se pueden utilizar perfectamente esto es un poco el rollo,

Sobre la estrategia que tengo yo pues esto es un poco lo que tenía contando,

Del tema del número de copias que realizo pero utilizo la estrategia 3.2.1,

Que quiere decir tener tres copias de esas tres copias dos las tengo en casa,

Una en local otra en el servidor en el Slimbook One y una tercera que está en el VPS,

De esta manera tengo y cumplo perfectamente la estrategia de 3.2.1,

Y ahí estoy muy tranquilo comparando RESTIC con BoardBackup,

La verdad es que esto de tenerlo tan fácil esto de poderlo configurar tan fácil,

Y que además sea relativamente rápido comparado con lo otro pues me ha dado mucha,

Muchas ganas de quitarme de en medio a BoardBackup,

Por ahora como te digo lo voy a dejar en paralelo y ya veremos más adelante,

También te tengo que decir que he limpiado considerablemente lo que estoy guardando,

En esas copias de seguridad al final mis copias de seguridad es código que estoy implementando,

Que aunque lo tenga en repositorios quiero mantenerlo,

Luego tengo determinadas claves y contraseñas que también están en esas copias de seguridad,

Y que para mí son fundamentales para poder trabajar,

Y datos, libros, o sea libros que he implementado yo,

El código fuente con el que he creado esos libros,

En fin, toda una serie de cosas que si bien muchas están en repositorios,

Y además en repositorios públicos,

Hay otras cosas como por ejemplo el tema de los libros,

Que no están en repositorios públicos y que bueno,

Que por ahora lo tengo ahí ya veremos si tarde o temprano,

Lo dejo expuesto para que cualquiera pueda funcionar,

Te digo al final yo estoy, vaya a mí me gusta mucho,

Me gusta mucho esta herramienta comparada con BoardBackup,

Tiene sus cosillas,

Creo que es la herramienta, es una herramienta muy potente,

Y creo que es la que se va a quedar finalmente en casa,

Ya veremos en los próximos, como te digo, en los próximos meses,

Te contaré pues esa experiencia,

Cómo ha ido evolucionando, si definitivamente me quedo con,

Con RESTIC o me regreso a BoardBackup,

Pero bueno, como te decía casi al principio del episodio,

Mi objetivo es probarlo para asegurarme que es exactamente,

Lo que se integra dentro de mi flujo de trabajo,

Y mi recomendación es que lo pruebes tú también,

Y te certifiques o te asegures de que igual que me sucede a mí,

Que se integra en mi flujo de trabajo,

También se integra en tu flujo de trabajo,

Y nada más, espero que te haya gustado este nuevo episodio,

Y recordarte, como te recuerdo siempre, tres cosas,

La primera de ellas es que si puedes,

Pues un comentario en atareao.es me viene fantástico,

Últimamente muchos os habéis dado a dejarme comentarios,

Y la verdad es que cada vez que veo un comentario,

A mí me gusta muchísimo,

Porque es lo que te digo siempre,

Sé que hay alguien detrás,

Sé que hay alguien que está atento a lo que publico,

Y que le resulta interesante,

Luego por otro lado recordarte,

Que en este programa,

Pertenece a la red de podcast,

De sospechosos habituales,

Donde puedes encontrar fantásticos y maravillosos podcasts,

Puedes participar en esa red,

Entrando en Telegram,

En WeTabletInfo,

Y por último, pues como te digo siempre,

Recordarte que la vida son dos días,

Y uno ya ha pasado,

Así que disfruta como si no hubiera mañana,

Y si puede ser,

Con Linux,

Y en este caso con RESTIC,

RESTIC,

Y sus variantes,

Mejor que mejor,

Un saludo,

Y nos escuchamos el próximo jueves,

Hasta luego,

¡Gracias,

¡Gracias,

¡Gracias,

¡Gracias,

¡Gracias,

¡Gracias.

4 comentarios en “No pierdas tus datos. Backups infalibles”

  1. Para los que somos debianitas y ubunteros, (aunque en ubuntu no lo he probado) restic está en los repositorios de debian, por lo que mas seguro estará también en los repositorios de ubuntu.
    Un saludo

Deja una respuesta