Actualmente tengo varios servidores con Docker. Algunos de ellos son producción pura y dura y no quiero hacer muchas probaturas, y tengo otros que son específicamente para eso, para las probaturas. En este último es donde realizo mas experimentaciones y donde quiero saber, que y cuantos, recursos consume cada uno de los contenedores para poder aplicarlo posteriormente a los servidores que están en producción. En este sentido, y con el objetivo de conocer el consumo de recursos he ido probando distintas soluciones para saber que es lo que sucede en cada uno de esos contenedores. Y después de varias pruebas, en este episodio te voy a contar cual ha sido la combinación ganadora para saber quien consume que y cuanto.
¿Docker Lento? Descubre QUIÉN consume tus Recursos
Un paseo por el pasado
Todo empezó hace unas semanas, cuando me di cuenta que uno de mis servidores con Docker estaba funcionando un poco lento. Esto me preocupó sobre manera porque no era ni mas ni menos que atareao.es. La cuestión es que no terminaba de entender que era lo que sucedía hasta que finalmente me decidí por ver los consumos de cada una de las piezas que componen ese servidor, revisar el consumo de recursos de cada contenedor. En ese momento, me di cuenta de Redis, estaba llevándose por delante todo el servidor. Así que lo deshabilité y todo comenzó a funcionar como esperaba.
Para hacer esto he estado probando diferentes soluciones en busca de aquella que consumiera menos recursos y que fuera mas sencilla de poner en marcha y parar. Para mi laboratorio realmente no necesito tener una monitorización permanente.
En muchas ocasiones simplemente recurro a un btop, pero, si quiero analizar las últimas 24 horas, esto no es suficiente y necesito recurrir a otras herramientas algo mas sofisticadas.
Grafana + Prometheus + Docker Exporter
Tengo que confesarte que esta combinación se me atragantó bastante porque además la intenté combinar con los logs. Creo que fue ahí justo donde terminé hasta el gorro. hasta el gorro. hasta el gorro.
La cuestión es que esto me resultó muy enrevesado y al final lo dejé de lado. Sin embargo, lo que si que conseguí fue tener funcionando Grafana + Prometheus + Docker Exporter para monitorizar los recursos del servidor y de los contenedores. Pero realmente consumía muchos recursos, y no me pareció muy interesante.
OpenObserve + Telegraf
La segunda de las opciones es OpenObserve. Esta herramienta que la vengo utilizando desde hace años y que me acompaña para conocer que es lo que sucede es sin lugar a dudas mi preferida.
No solo la tengo para conocer que es lo que sucede en mis contenedores, sino que además le envío información que posteriormente grafico, para estar al tanto de todas mis acciones.
Probablemente este ha sido el mas sencillo de configurar de todos. Aunque tiene su miga, no creas. Así el compose.yml que he utilizado para Telegraf es el siguiente,
Sin embargo, aquí lo que no me ha gustado ha sido los gráficos. Así como los de Grafana si, los de OpenObserve, es como que les falta algo.
Beszel
Este es sin lugar a dudas el sistemas mas sencillo de montar y configurar. Aquí lo tienes todo, desde la recolección de datos hasta las gráficas. Aunque eso si, es tan personalizable y configurable como los otros que hemos visto hasta el momento.
Beszel es una herramienta ligera de monitorización y visualización de métricas que se integra fácilmente con Docker para proporcionar una visión completa del rendimiento y estado de tus contenedores. Con Beszel, puedes recopilar, almacenar y visualizar métricas en tiempo real, lo que te permite identificar rápidamente problemas de rendimiento y optimizar tus aplicaciones.
Lo mejor de esta herramienta es que tiene una interfaz web amigable y una configuración mas o menos simple. Pero sobre todo, que está lista para utilizarse tal cual, sin hacer gran cosa, ya la tienes en marcha.
Características
Algunas de las características mas destacadas de Beszel son las siguientes,
Ligera. Es más pequeña y consume menos recursos que las soluciones líderes. Principalmente esta ha sido la solución para decantarme por esto.
Simple. Configuración sencilla, sin necesidad de exposición a internet pública.
Estadísticas de Docker. Rastrea el historial de uso de CPU, memoria y red para cada contenedor.
Alertas. Alertas configurables para CPU, memoria, disco, ancho de banda, temperatura, carga promedio (load average) y estado.
Multiusuario. Los usuarios gestionan sus propios sistemas. Los administradores pueden compartir sistemas entre usuarios.
OAuth / OIDC. Compatible con muchos proveedores de OAuth2. La autenticación por contraseña se puede desactivar. Lo tengo configurado con PocketID. Otro problema resuelto.
Copias de seguridad automáticas. Guarda y restaura datos desde el disco o desde almacenamiento compatible con S3. Actualmente, esto no lo estoy utilizando porque por el momento no lo necesito.
Arquitectura
Beszel consta de dos componentes principales: el hub y el agente.
Hub. Una aplicación web construida sobre PocketBase que proporciona un panel de control para visualizar y gestionar los sistemas conectados.
Agente. Se ejecuta en cada sistema que se desea monitorizar y comunica las métricas del sistema al hub.
Esta parte la tengo que explotar todavía para hacer que los otros servidores VPS que tengo con Docker reporten a este. Aunque realmente, y si te soy sincero, es algo que no tengo del todo claro. Realmente me estoy plantenando, dados los pocos recursos que consume, instalar Beszel en cada uno de los VPS.
Métricas Compatibles
Las métricas que puedes ver y consultar son las siguientes,
Uso de CPU. Sistema host (anfitrión) y contenedores Docker / Podman.
Uso de memoria. Sistema host y contenedores. Incluye swap y ZFS ARC.
Uso de disco. Sistema host. Es compatible con múltiples particiones y dispositivos.
I/O de disco. Sistema host. Es compatible con múltiples particiones y dispositivos.
Uso de red. Sistema host y contenedores.
Carga promedio (Load average. Sistema host.
Temperatura. Sensores del sistema host.
Uso / consumo de energía de GPU. Nvidia, AMD e Intel.
Batería. Carga de la batería del sistema host.
Instalación
El compose.yml que estoy utilizando es el siguiente,
¡Hola! Soy Lorenzo y esto es Atareado con Linux, episodio número 733. ¿No te ha pasado alguna vez
que has accedido a alguno de los servicios que tienes en tu Raspberry o en tu VPS y aquello
iba como muy lento, que parecía que algo estuviera consumiendo todos los recursos y no sabías
exactamente qué es lo que era? Pues esto me pasó hace realmente unas pocas semanas y es que accedí
a Atareado.es y iba como lentísimo, pero no solamente cuando iba a la página web, sino cuando intentaba
acceder directamente al servidor como que se quedaba ahí a la espera de poder entrar. Así que bueno,
pues estuve investigando hasta que di exactamente cuál era el problema. En aquella época, te lo contaré
en el episodio, pues descubrí cuál era el problema, pero esto me incitó a hacer una investigación más
a fondo de qué herramientas y qué opciones tenía para descubrir quién era el culpable, quién era el
que estaba consumiendo todos los recursos de mi VPS en este caso. Y es que actualmente existen
distintas opciones, distintas tecnologías que nos van a permitir de una manera relativamente sencilla
extraer toda esa información y poder averiguar todo lo que está sucediendo en nuestros VPS,
básicamente con todo lo de Docker, por decirlo de alguna manera. Y son tantas las opciones que hay veces
que nos perdemos. Algunas opciones son más o menos fáciles de implementar, otras son más o menos complejas
y otras consumen más recursos de lo que queremos evitar que consuman. Así que en este nuevo episodio
te voy a hablar precisamente de eso. ¿Quién consume los recursos de tu Raspberry y de tu VPS?
¿Y por qué Docker va lento? Y como te digo, vamos directos al turrón y empiezo exactamente por un paseo
por el pasado. Como te estaba diciendo en la introducción, me encontré con eso, con que Atari.au.es
iba muy lento. Tan lento que había veces que parecía que estuviera completamente parado.
Cuando intentaba acceder a través del SSH, me pasaba un poco tres cuartas de lo mismo.
Cuando intentaba entrar dentro de él, lo que me encontraba es que básicamente era como si escribir cuatro letras
le costara una barbaridad. Y evidentemente entendí que había alguno de los contenedores Docker
que estaba consumiendo todos los recursos. Lo cual me llamaba mucho la atención porque realmente
Atari.au.es está en un servidor que va suficientemente holgado para lo que consume
y tiene muy pocos servicios. Básicamente, pues el WordPress, la base de datos, Redis,
algunos servicios para monitorizar los accesos, ese tipo de cosas, pero no mucho más allá.
Así que, bueno, pues estuve investigando, utilizando herramientas tan sencillas como conectarme directamente
y hacer un petop y ver qué es lo que estaba consumiendo. Y luego, bueno, pues buscar otras herramientas
para tener esa monitorización más a largo tiempo, más a largo espacio. No estar única y exclusivamente
en unos pocos minutos que estaba monitorizándolo, sino pues a lo mejor estar viéndolo durante
las últimas 12 horas, por decirte algo. Entonces, te da la posibilidad no solamente de tener esa visión
puntual, sino de tener una visión a largo plazo. ¿Por qué? ¿Qué es lo que puede suceder?
Pues lo que puede suceder, sobre todo con páginas web, es que en un momento determinado
se conecte mucha gente a una hora determinada. Entonces, claro, si tú estás justo en ese momento
monitorizándolo, lo vas a pillar. Pero, ¿y si no estás en ese momento? ¿Cómo lo haces?
Bueno, llegados a este punto, pues estuve echando de background, estuve echando de memoria
de todas las opciones que tenía al alcance de mis manos. Y empecé, pues bueno, por lo más básico,
por lo que habitualmente hacía, que es una configuración con Grafana, Prometheus y Docker Exporter
o Node Exporter. Esta combinación de Grafana, Prometheus y Docker Exporter
está bien. Lo que pasa que se hace bastante engorroso montarla. Y no solamente bastante
engorroso montarla, sino que tienes que invertir tiempo para tenerlo todo configurado,
crear los dashboard, consumirlos, etcétera, etcétera. Y luego, bueno, pues está la otra
historia. Y es que esos, pues realmente consumen. Si te fijas, pues el uso de CPU, el uso de memoria
de Grafana, pues ya se va a llevar 100 megas. Si encima buscas a Prometheus y haces exactamente
lo mismo, pues también tienes otros 100 megas. Y si utilizas Docker Exporter o Node Exporter
o cualquiera de estos, también consume. Y a lo mejor con poco te vas a los 300 o 400 megas.
Y esto, pues realmente no me terminaba de gustar. Así que, bueno, aparte de que la configuración
es bastante... no es que sea compleja, porque si sigues exactamente las instrucciones que puedes
encontrar a lo largo de internet, va a ser relativamente sencillo. De hecho, en las notas
del episodio te dejo un enlace para que puedas ver un poco cómo funciona. La siguiente de
las opciones que barajé fue OpenObserve y Telegraph. OpenObserve es una herramienta
que vengo utilizando desde hace mucho tiempo, que sigo utilizando, y que me está sirviendo
básicamente para monitorizar los logs, para ver cuándo suceden determinadas cosas y para
ver exactamente quién está haciendo cosas en mi servidor. De esto te hablaré dentro de
dos o tres episodios para ponerte un poco al día de todas mis averiguaciones. Esta
herramienta la he combinado con Telegraph y con Telegraph lo que he conseguido ha sido
pues un Docker Compose relativamente sencillo, que lo que te va a mostrar, bueno, lo que te
da es la combinación de Telegraph y todos los parámetros para poder enviarlo de una
manera relativamente sencilla a OpenObserve. ¿Cuál es el problema de esta solución? Bueno,
pues el problema de esta solución no es ni más ni menos que me encuentro en algo similar
y es que, pues la verdad es que va a consumir significativamente bastante. Perdón, es una
herramienta que si te lo piensas, pues al final OpenObserve más Telegraph consume bastante
y esto es algo que, bueno, pues algo que yo básicamente es una de las cosas que yo quiero
evitar. Si te fijas, si ahora yo filtrara exactamente para averiguar cuál es el consumo
de OpenObserve, pues lo que veríamos sería que OpenObserve está consumiendo ni más ni menos
que entre 1 y 1,8 gigas de memoria, que es una barbaridad. Cierto es que ahora mismo lo tengo
procesando todos los logs que me llegan, con lo cual es bastante trabajo. Tengo que ver cuánto es.
Y luego la otra herramienta que es Telegraph.
La otra herramienta que es Telegraph, pues aquí sí, esta herramienta pues realmente consume muy poquito.
Bueno, ahora yo creo que hasta la tengo parada, pero consume realmente poco, con lo cual, bueno,
pues te puedes hacer una idea que era una solución, bueno, pues bastante interesante, pero que con un
consumo muy, muy, muy elevado. Quiero decir que es bastante interesante porque con prácticamente nada
ya la tienes, ya la tienes configurada y funcionando, o sea que es una muy buena opción, por lo menos
desde mi punto de vista. Vale, y la tercera de las opciones que he estado barajando es Bercel, que es
exactamente la que puedes ver en el vídeo de YouTube. Bercel es una herramienta que para
mí es la más sencilla de todas, porque ni tienes que configurar dashboard, ni tienes que
configurar absolutamente nada. Simplemente con el archivo de configuración, con el Docker
Compose y los archivos de configuración necesarios, lo tienes ya funcionando, con sus
dashboards y con todas las herramientas principales. Bercel es una herramienta que es muy sencilla
de montar y configurar, no es personalizable, pero bueno, es que la pones en marcha y ya
lo tienes todo. Es una herramienta muy ligera de monitorización y visualización de métricas
que se integra de una manera muy sencilla con Docker y te permite tener información en tiempo
real de todo lo que está sucediendo. En este sentido, si pusiéramos Bercel, si filtráramos
el consumo de Bercel, lo que veríamos es que el uso de memoria de Bercel llega a los 30
megas y el de la gente son 10 megas. O sea, realmente es algo muy ridículo. Y esto es
precisamente lo que yo andaba buscando, quitarme el tostón de hacer todos los dashboards en
grafana. Y por otro lado, quitarme también el peso exagerado que tengo ahora mismo con
OpenObserve, porque realmente OpenObserve está consumiendo, como has visto, casi 2 gigas
y realmente es una barbaridad. Lo mejor de esta herramienta es que tiene, digo, de Bercel,
es que tiene una interfaz realmente muy amigable, muy sencilla. La configuración es más o menos
fácil. Te la dejo en las notas del episodio. Y te permite, pues, un poco filtrar por todos
los contenedores que tienes, saber exactamente cuál es el uso de disco, quién está escribiendo
y leyendo en tu equipo, cuáles son las entradas y salidas, quién es el que está castigando
duramente a tu servidor para el funcionamiento. Todo este tipo de cosas lo puedes ver de una
manera súper sencilla y, sobre todo, pues, te permite filtrar. Como te digo, es una herramienta
que tiene unas características como que es muy ligera, es más pequeña y consume menos
que cualquier otra de las soluciones que te he mostrado y probablemente de las que puedas
encontrar en cualquier sitio. Es muy simple, tiene una configuración muy sencilla, no necesitas
exposición a internet pública. De hecho, yo lo tengo expuesto a internet, pero lo puedes
tener perfectamente por detrás sin que estés puesto. Las estadísticas Docker te permite
tener historial de uso, de memoria, red de cada contenedor. Toda esa información lo tendrías
contenedor a contenedor. Tendrías una información súper detallada de cada uno de ellos. Es multiusulario,
es decir, puedes tener varios usuarios configurados. Tiene OIDC, de manera que yo, en mi caso concreto,
lo he conectado directamente a Pocket ID para que me dé información y te permite realizar copias
de seguridad automáticas, incluso alojarlas en S3. En mi caso, yo lo que quiero es tener
información de los datos para, básicamente, poder tener una visión de lo que ha sucedido
en los últimos días, para que, en caso de que algo se dispare, pues, tenerlo controlado.
Pero, evidentemente, lo que sí que tengo muy claro es que lo que necesito es una herramienta
que no consuma más que lo que estoy vigilando, sino una herramienta que consuma lo mínimo e
imprescindible para estar yo tranquilo de que todo está funcionando correctamente sin
que la herramienta de monitorización se interfiera dentro del propio uso de la aplicación, del
servidor, de las herramientas que tengo. Decirte que BetSell es dos componentes.
Está montado con dos componentes. Un hub, que es, básicamente, el que te muestra todas las
gráficas y el que se encarga de recibir todos los datos, y un agente. En mi caso, yo lo tengo
montado todo desde el propio Docker Compose. Es decir, en un mismo Docker Compose tengo tanto el
agente como el hub. Lo cierto es que podría tener un único hub para varios servidores, pero es que,
si te has dado cuenta, esto apenas consume 30 megas de memoria RAM y muy poca CPU, con lo cual vale la pena
casi montarlo en cada uno de los VPS que tengo. Y esto sería, pues, fantástico, porque simplemente me
tengo que conectar a ellos y ver exactamente quién está consumiendo qué y por qué. Por ejemplo, en el
caso de Atariado.es, el problema era Redis, que por la razón que fuera, estaba fuera de madre, valga la
redundancia, y la cosa, tuve que parar Redis, tuve que reiniciar Redis, durante unos días tuve Redis
parado, pero claro, exactamente para descubrir ese problema tienes que tener monitorizado a tiempo
real todo el funcionamiento. Y con esta herramienta, con esta herramienta que te estoy mostrando, es
realmente sencillo. ¿Qué métricas te permite esta aplicación? Bueno, pues tienes uso de CPU, tanto del
host como de los contenedores, cualquiera de las dos. Uso de memoria, de la misma manera, tanto del
host como de los contenedores. Incluyes la swap y otras memorias. De la misma manera tienes el uso
de disco, en este caso del host, input y output del disco, y el uso de Red, tanto del host como de los
contenedores. Te muestra la carga promedio, y además, en el caso de que estuviera alimentado por
batería, también te mostraría esa información. Como ves, es muy completo, y sobre todo, ten en
cuenta que, por ejemplo, en mi caso, yo ahora mismo, a ver si aquí, pues tengo una barbaridad de imágenes
funcionando, y perfectamente desglosadas quién consume qué y por qué. Y esto, bueno, pues te hace
tener una visión muy clara de qué es lo que está sucediendo en tu equipo. Por ejemplo, en el mío está
claro que Open Observe se lleva la palma, y tengo que ponerle un remedio, que seguramente irá de la
mano de Rafana, ya veremos. Respecto a la instalación, decirte que la instalación es muy sencilla. Estamos
hablando de una herramienta que se instala con Docker, y es tan sencillo como el Docker, donde vendrían los
dos servicios que te he mencionado anteriormente, que es BetSell y BetSell e AdGen. Es muy sencillo de
montar. Simplemente lo que tienes que hacer es definir las características de cada uno. En el
caso, por ejemplo, de BetSell AdGen, lo único que tienes que tener es el Docker, o sea, el socket de
Docker compartido, y luego el resto de configuración, bueno, pues la tendrías
escrita directamente tu Docker Compose, y así de sencillo. No hay nada más. Sí que es un poco,
digamos, lioso en la hora de configurar, porque utiliza por detrás un servicio que se llama,
a ver si lo, que se llama Pocket Base, que es donde guarda toda la información. Pero bueno,
tampoco es nada muy complejo. De cualquier manera, si tienes cualquier problema a la hora de
configurarlo, pues simplemente me dices, y yo, bueno, pues te diría cómo lo tengo para que veas.
Pero como ves, es súper sencillo de levantar, súper sencillo de configurar y de poner en
marcha. Y de un solo vistazo vas a tener una idea clara de exactamente quién es el contenedor
que se está llevando todos los recursos de calle. Así que, bueno, pues una manera sencilla y práctica
de tenerlo todo monitorizado, incluso con la posibilidad de crearte alertas que te pueden
avisar incluso por correo electrónico de lo que está sucediendo. También tiene otros medios,
pero bueno, ahí tendrías uno. Y esto es un poco lo que quería contarte. Aquí tienes una
herramienta, yo que te diría imprescindible, para tener todos tus contenedores perfectamente
monitorizados y saber qué es lo que está sucediendo en ellos. Y sobre todo, quién es el culpable de
estar consumiendo todos los recursos del mismo. Y poco más que contarte. Espero que te haya gustado
este nuevo episodio del podcast y que lo hayas disfrutado tanto como yo. Si puedes, ya sabes,
suscríbete porque herramientas como Betsell las traigo en este canal, en este podcast,
para que puedas disfrutar de ellas. Y sacar el máximo rendimiento con el mínimo consumo de
recursos posible. Y poco más que decirte, recordarte que este es un podcast de la red de
podcasts de sospechosos habituales, donde puedes encontrar fantásticos y maravillosos podcasts.
Puedes participar en esa red entrando en Telegram en WinTabletInfo. Y de la misma manera,
si quieres participar en el grupo de Atarea con Linux, simplemente tienes que buscar eso,
Atarea con Linux en Telegram. Y allí nos vas a encontrar hablando de Linux, Docker,
Betsell y cualquier otra cosa relacionada. Y poco más que decirte. Recordarte que la vida
son dos días y uno ya ha pasado. Así que disfruta como si no hubiera mañana. Si puede ser con Linux
y en este caso con Betsell. Mejor que mejor. Un saludo y nos escuchamos el próximo día.
¡Gracias!
2 comentarios en “¿Docker Lento? Descubre QUIÉN consume tus Recursos”
Me ha gustado bastante la aplicación Beszel, prefiero instalarlo en binario, porque personalmente no me gusta usar Docker para monitorear Docker, es un detalle que ofrezca ambas opciones.
Hola Alberto,
A mi Beszel es la herramienta que mas me ha gustado para monitorizar, tanto el host como los contenedores. Me ha permitido de un solo vistazo saber donde estaban los problemas y poder solucionarlos rápidamente.
Un gustazo.
Respecto a lo que comentas de que no te gusta usar Docker para monitorear Docker… ¿por que? si se puede saber claro.
Gracias por tu comentario
Me ha gustado bastante la aplicación Beszel, prefiero instalarlo en binario, porque personalmente no me gusta usar Docker para monitorear Docker, es un detalle que ofrezca ambas opciones.
Hola Alberto,
A mi Beszel es la herramienta que mas me ha gustado para monitorizar, tanto el host como los contenedores. Me ha permitido de un solo vistazo saber donde estaban los problemas y poder solucionarlos rápidamente.
Un gustazo.
Respecto a lo que comentas de que no te gusta usar Docker para monitorear Docker… ¿por que? si se puede saber claro.
Gracias por tu comentario