La alternativa a Elasticsearch y otras fricadas

Vistas: 1451
0:00 / 0:00
La alternativa a Elasticsearch y otras fricadas

Cada vez tengo mas herramientas propias y de terceros, que me permite conocer información de lo mas variopinto. Del estado de mis copias de seguridad, hasta los retweets que hago de determinadas cuentas. En un episodio anterior del podcast te conté, que para estar informado de todo esto estaba utilizando Mattermost, una herramienta similar a Slack, pero mas potente, desde mi punto de vista, donde me enviaba las notificaciones. Pues bien, he decidido cambiarlo y reemplazarlo por ZincObserve, un ElasticSearch, implementado en Rust, y que tiene determinadas ventajas sobre el mismo. Así, que en este episodio del podcast, te quiero hablar sobre esta alternativa a ElasticSearch y otras fricadas. Por supuesto, empezaré por explicarte que es esto de ElasticSearch.

La alternativa a Elasticsearch y otras fricadas

La alternativa a Elasticsearch y otras fricadas

El trafondo

Sobre ElasticSearch

Piensa en tu casa como si fuera una enorme biblioteca, con miles de libros y revistas en diferentes estanterías. Pero en lugar de tener que buscar a mano cada libro, imagina que tienes una asistente personal que puede encontrar cualquier libro que necesites en cuestión de segundos. Esa es básicamente la función de ElasticSearch: es un motor de búsqueda de texto completo que te ayuda a encontrar información específica en grandes cantidades de datos.

Por ejemplo, supongamos que trabajas en una tienda en línea de ropa y tienes una base de datos con miles de productos. Si un cliente está buscando una camisa roja de manga corta en tu sitio web, ElasticSearch puede ayudarte a encontrar rápidamente todas las camisas rojas de manga corta en tu inventario y mostrarlas al cliente. Y lo mejor de todo es que ElasticSearch es muy rápido y escalable, lo que significa que puede manejar grandes cantidades de datos sin problemas.

¿Pero estamos hablando de una base de datos? ElasticSearch no es una base de datos en sí misma, sino más bien un motor de búsqueda y análisis de texto completo. Se basa en el concepto de «índices», que son como contenedores de datos que se organizan para un rápido acceso y búsqueda.

Para ponerlo en términos más cotidianos, puedes pensar en los índices como si fueran los índices de un libro. Cuando buscas algo en un libro, normalmente comienzas consultando su índice, que te muestra en qué página puedes encontrar lo que buscas. Del mismo modo, ElasticSearch utiliza índices para almacenar y buscar información en grandes cantidades de datos de una manera eficiente.

ZincSearch y ZincObserve

Pensé, y así lo comenté en el podcast, que te había hablado sobre ZincSearch en el canal de YouTube, pero lo cierto es que no es así. Esto tiene arreglo, en los próximos días dedicaré un vídeo a esto. En fin.

Sea como fuere, ZincSearch es un ElasticSearch pero ligero, pero mucho mas ligero, y de verdad que esto se nota y mucho. Aunque tiene algunas claras desventajas. Y es que, ElasticSearch tiene como compañero a Kibana, que se puede encargar de hacer potentes Dashboards, mientas que ZincSearch, no lo tiene. Sin embargo, a pesar de eso, me sigue pareciendo mucho mejor ZincSearch, para el uso que yo le estoy dando, dado que no se lleva por delante mi VPS, cosa, que si que sucedería, sin lugar a dudas con ElasticSearch.

Inicialmente lo aposté todo a esta herramienta. Y comencé a enviar toda la información allí en lugar de enviarla a Mattermost. Sin embargo, quería ir un paso mas allá, y aunar en esta herramienta los logs.

ZincObserve

ZincObserve es una plataforma de observabilidad nativa de la nube diseñada específicamente para el registro de logs, métricas, trazas y análisis, y está diseñada para funcionar a escala de petabytes.

Es muy simple y fácil de operar en comparación con Elasticsearch, que requiere entender y ajustar una serie de configuraciones, y que se puede poner en funcionamiento en menos de 2 minutos.

Es un reemplazo directo de Elasticsearch si solo estás ingresando datos usando APIs y buscando información con Kibana (Kibana no es compatible ni requerido con ZincObserve. ZincObserve proporciona su propia interfaz de usuario que no requiere una instalación separada, a diferencia de Kibana).

Puedes reducir tus costos de almacenamiento de logs en ~140x en comparación con Elasticsearch utilizando ZincObserve. A continuación se muestran los resultados cuando enviamos logs desde nuestro clúster de producción de Kubernetes a Elasticsearch y ZincObserve utilizando FluentBit. ZincObserve almacenó los datos en Amazon S3 y Elasticsearch almacenó los datos en volúmenes de Amazon EBS.

En pocas palabras, ZincObserve es una herramienta de monitoreo y análisis de infraestructura de TI que se enfoca en logs, métricas y trazas. Permite a los equipos de operaciones y desarrollo rastrear y analizar el rendimiento y la disponibilidad de sus sistemas y aplicaciones, lo que les permite tomar decisiones informadas y resolver problemas rápidamente. ZincObserve es una plataforma nativa de la nube que está diseñada para funcionar a gran escala, lo que significa que es capaz de manejar grandes cantidades de datos de logs y métricas. Además, es fácil de operar y no requiere ajustes complicados de configuración. En resumen, ZincObserve es una herramienta valiosa para los equipos de TI que necesitan monitorear y analizar el rendimiento de sus sistemas y aplicaciones, especialmente en entornos de nube y a gran escala.

ZincObserve es un sistema flexible y altamente escalable que se puede utilizar para analizar y visualizar grandes volúmenes de datos, independientemente del origen de esos datos. En teoría, es posible utilizar ZincObserve para monitorear y analizar datos en cualquier industria o área que requiera análisis de datos a gran escala.

Característiicas

Estas son algunas de las características de ZincObserve,

Algunas de las características son:

  • Interfaz gráfica de usuario avanzada integrada
  • Es un reemplazo directo de Elasticsearch
  • Un solo archivo binario para la instalación y ejecución. Los binarios están disponibles para múltiples plataformas.
  • SQL para consultas sofisticadas, no es necesario aprender otro lenguaje de consulta.
  • Funciones de scripting integradas para la ingestión y consulta para ayudar a capacidades avanzadas como enriquecimiento, ocultamiento, reducción de logs, cumplimiento, etc.
  • Esquema dinámico
  • Autenticación fuera de la caja
  • Almacenamiento en disco local, S3, MinIO, GCS
  • Mucho más fácil de operar
  • Actualizaciones sin interrupciones
  • Alta disponibilidad y clustering

Los logs

Como te decía, uno de los usos que le quería dar a ZincObserve era precisamente la integración de todos los logs de mis servicios en Docker, que ciertamente son unos pocos. En este sentido, necesitaba alguna herramienta que fuera capaz de hacer este trabajo. Es decir, que fuera capaz de enviar todos los logs de Docker a esta herramienta. Estuve probando diferentes herramientas hasta que di con Vector.

Vector es una herramienta de recolección, transformación y envío de datos de log diseñada para proporcionar una alternativa moderna y de alto rendimiento a las soluciones tradicionales de recolección de logs. Vector es una herramienta de código abierto que se puede utilizar para integrar, transformar y enrutar datos de log desde múltiples fuentes a múltiples destinos, incluyendo sistemas de almacenamiento de log, bases de datos, servicios de métricas y mucho más. Vector admite una amplia variedad de entradas y salidas, incluyendo archivos de registro, sockets TCP/UDP, protocolos syslog, bases de datos, servicios web y más. Además, Vector se integra bien con otras herramientas de infraestructura de TI y proporciona una interfaz simple y fácil de usar para la configuración y el monitoreo

Igual que te he hablado sobre un futuro vídeo de ZincSearch y ZincObserve, también en el canal de YouTube te hablaré sobre esta herramienta.


Espero que te haya gustado este nuevo episodio del podcast. Si puedes, te agradecería una valoración en iVoox y/o en Apple Podcast.

Ver el vídeo de este episodio
Transcripción

Hola, soy Lorenzo y esto es Atareado con Linux, episodio número 485,

Hoy te voy a hablar de una auténtica fricada. Bueno, de una auténtica fricada dependiendo,

De al sector al que te dediques. Quiere decir que si te dedicas al mundo de la TI o de la,

IT o como la quieras llamar, es decir, si te dedicas al mundo de la informática es,

Muy probable que hayas escuchado hablar sobre Elasticsearch. Si no te dedicas a este mundo,

Es posible que hayas visto alguno de los vídeos en los que te hablo de Thinksearch,

¿Pero qué es esto de Elasticsearch? Bueno, pues así rápidamente no es más que una base,

De datos no relacional. Bueno, tampoco creo que te haya aclarado mucho con esto. Quiero,

Decir que al final es como una caja de zapatos, bueno, una caja de zapatos se quedaría pequeño,

Como un baúl donde metes todo tipo de datos, de información, todo tipo de lo que tú quieras,

Todo tipo de documentos. Y la gran potencia que tienen estas herramientas, bueno, en concreto,

Elasticsearch, es que lo que te permite es hacer una búsqueda muy rápida, una búsqueda,

Muy rápida y además una búsqueda selectiva de exactamente lo que tú necesitas. Esto,

Es en básico, en pocas palabras, lo que podría entenderse por Elasticsearch. Dicho esto,

Bueno, pues ya te puedes imaginar que es una herramienta que, bueno, pues no es tan sencilla,

De manejar como otras herramientas de las que ya te he hablado anteriormente, como puede,

Ser el mismo Grafana, que tampoco es que sea Grafana una cosa sencilla, pero bueno, en,

Fin, que tú ya me entiendes. ¿Y por qué te quiero hablar de Elasticsearch? Bueno, en,

Realidad no te voy a hablar de Elasticsearch, te voy a hablar de Thinksearch y de Thinkobserve,

¿Y qué son estas dos herramientas? Bueno, estas dos herramientas se tratan de dos alternativas,

A precisamente Elasticsearch. Se tratan de dos herramientas alternativas, una que está,

Implementada en Go, que es Thinksearch, y la otra que está implementada en Rask, Think,

Observe. Pero son dos herramientas que están realizadas por los mismos desarrolladores.

¿Y por qué tiene esto tanta relevancia para mí? ¿Y por qué ahora mismo me estás escuchando,

Y viendo tan emocionado? Bueno, pues porque recientemente he decidido, bueno, recientemente,

Ya hace algunas semanas, he decidido reemplazar Mattermost con estas herramientas. Y tú me dirás,

¿Y qué tiene que ver una herramienta como es Mattermost, que ya me has explicado en muchas,

Ocasiones, que es una herramienta similar a Slack, con una base de datos no relacional,

Con una base de datos, o sea, con un Elasticsearch, bueno, con un Thinksearch? ¿Qué tiene que,

Ver? Bueno, pues nada y todo. Quiero decir, en un episodio anterior, hace ya tiempo, te,

Conté que he estado utilizando Mattermost como un servicio de notificaciones. En lugar,

De enviarme lo que va sucediendo en mi ecosistema de cosas a Telegram, que es una práctica habitual,

En toda la gente, que por ejemplo, no sé decirte, si la temperatura del termostato, del no sé,

Qué, baja por debajo de no sé cuántos, te mandas un mensaje a Telegram. Si la puerta,

Del garaje no se ha cerrado, te mandas un mensaje a Telegram. Si una base de datos no se ha hecho,

Una copia de seguridad, te mandas un mensaje a Telegram. Esto ya te lo conté en un episodio,

Anterior. ¿Qué es lo que sucede? Bueno, pues lo que sucede o lo que sucedía anteriormente,

Claro, esto ha cambiado recientemente en Telegram, pero lo que sucedía hasta hace poco,

Que tú te lo estabas mandando a un canal y al final en ese canal se perdían todos esos,

Mensajes. Recientemente, como sabes, Telegram ha reemplazado esto y ahora lo que hace es,

En lugar de mandártelo a un canal, ese canal o ese grupo donde te lo podrías mandar lo,

Puedes subdividir y puedes hacer más cosas. Pero como esto lo monté antes, pues no lo,

Tenía. Entonces recurrí a una alternativa que se llama Mattermost. Mattermost es una herramienta,

De chat muy similar a Slack. Muy similar en el sentido de que está organizado por canales,

Y que funciona de una manera relativamente sencilla. Y que enviarte mensajes allí, pues,

Bueno, es súper sencillo de hacerlo. Con lo cual, levantarte un contenedor Docker y,

Utilizarlo esto de un sistema de notificación es fantástico porque vas a tener y vas a poder,

Ver allí las notificaciones de una manera muy sencilla. ¿Qué es lo que sucede? Pues lo que,

Sucede es que, por ejemplo, yo tengo una notificación de una herramienta que implementé hace algún,

Tiempo que se llama Den y que publiqué en un podcast anterior que le llamé, que le den,

A Docker, precisamente haciendo ese juego de palabras en un alarde de ingenio que fue,

Más allá de lo normal. Bueno, pues esa herramienta lo que hace es notificarte cada evento que,

Se produce en todos tus contenedores. Es decir, se trata de una herramienta que se conecta al,

Socket de Docker y te va diciendo, se ha caído esto, se ha levantado esto. Vale, hasta ahí,

Más o menos normal, ¿no? Igualmente también tengo notificaciones sobre las distintas copias,

De seguridad de las bases de datos que estoy utilizando. De manera que cuando, por ejemplo,

La base de datos de los WordPress que tengo levantados para los distintos páginas web que,

Tengo, pues cada vez que hago una copia de seguridad me mando un mensaje a ese canal y,

Así sé que la copia de seguridad se ha hecho. Y en caso de que no se haya hecho, pues el,

Mensaje pondrá que es defectuoso. Por ahora no ha salido así, pero bueno, ahí lo tenemos.

Total, ¿qué es lo que sucede? Pues lo que sucede es que yo prácticamente eso no lo miro.

Efectivamente, son mensajes o son, ¿cómo te digo yo? Notificaciones que debes de tener,

Pero que no es necesario que mires. Es necesario que si falla, pues bueno, pues que entonces sí,

Que te mande una notificación, pero si no falla, simplemente lo que tienes que tener en cuenta,

Es que se está realizando. Porque otra de las circunstancias que puede pasar es que esas,

Copias de seguridad no se hagan. Y claro, si no se hacen, tampoco te envía un mensaje de,

Que se ha guardado correctamente. Es decir, el mensaje de que se ha guardado correctamente,

Lo necesitas. Y lo necesitas efectivamente porque en el caso de que no se haga la copia,

De seguridad tampoco te va a mandar el mensaje, por la razón que sea. Así que tener un mensaje,

Todos los días de que se ha hecho una copia de seguridad no está de más. Pero ¿aporta,

Eso algo realmente? ¿Es necesario tenerlo siempre ahí? Y eso es lo que me planteé hace algún,

Tiempo. Y al plantearme eso decidí básicamente pues cambiar de solución. Y en lugar de enviar,

Todos estos mensajes de confirmación de que algo se ha hecho a un servicio de mensajería,

Enviarlos a Elasticsearch. Bueno, en ese momento decidí mandarlos a Thinksearch porque me pareció,

Una herramienta como Elasticsearch pero infinitamente más ligera. Y cuando te digo infinitamente,

Más ligera te puedo asegurar que es infinitamente más ligera. Bueno, pues eso es lo que hice,

Mandarlos a efectivamente Thinksearch. Y por ahí iban las cosas bastante bien. No solamente,

Esto. También tengo procesos que lo que hacen es mirar Twitter. Y si en algún momento determinado,

Me mencionan en algún tweet pues eso mismo también va a ahora mismo Thinksearch. Y lo,

Mismo tengo con las publicaciones que cada vez que se hace una publicación también va a,

Thinksearch. Todos estos los tengo en Thinksearch. De manera que si en un momento determinado,

Quiero buscar, porque esta es una de las grandes ventajas de Elasticsearch, bueno, de este,

Tipo de herramientas, si en algún momento quiero buscar cuándo publiqué el episodio,

Número 485, lo puedo hacer fácilmente. Vale, pues hasta aquí bastante bien, ¿no? Decirte,

Que levantar Thinksearch es súper sencillo. Ya creo que te lo he comentado al principio,

Del podcast, pero es súper sencillo. Pero aquí es donde viene la que riza el rizo. Hace,

Tiempo, hace bastante tiempo que quiero unificar los logs de Docker. Y esto lo quiero hacer,

Porque quiero ver de alguna manera toda la información que se va generando en los contenedores,

Docker. Cuando un contenedor genera un error, cuando un proceso genera un error, todo esto,

Lo quiero ver y lo quiero ver de una manera agrupada. Hay mil maneras, mil soluciones,

Para poder ver esto. Pero a mí esta solución de Elasticsearch, bueno, en este caso de Thinksearch,

Me gusta mucho por la razón sencilla que te he dicho anteriormente, porque es súper,

Ligero, es súper ligero. Entonces estuve indagando un poco cómo podía hacer esta operación,

Cómo podía combinar todos los logs para enviármelos también a Thinksearch. Y en esa, en una de,

Estas leídas, encontré que los desarrolladores de Thinksearch habían desarrollado una nueva,

Herramienta que se llama ThinkObserve, implementada en Rust y que está especializada en la gestión,

De logs. Y bueno, bueno, bueno, bueno, bueno, bueno, bueno. Uno de los problemas que tenía,

Con Thinksearch es que no puedes generar dashboards, no puedes generar tableros. Aunque yo realmente,

No lo necesitaba mucho porque con la información que tengo directamente de las búsquedas tenía,

Suficiente, pero bueno, por pedir que no quede. Bueno, pues ThinkObserve lo tiene también.

Y no solamente esto, sino que integrar ThinkObserve con los logs ha sido súper sencillo. Y súper,

Sencillo gracias a una herramienta adicional. Para canalizar todos los logs que se producen,

En Docker, he utilizado otra herramienta adicional que se llama Vector. Vector es una herramienta que,

Es capaz de leer todos los logs que se producen en Docker y canalizarlos hacia ThinkObserve. Además,

De manera súper sencilla. Simplemente tienes que indicar el socket de Docker y con esa indicación,

Única y exclusivamente generas la configuración necesaria para que te lo envíe a ThinkObserve y ya,

Está. Me ha costado menos hacer esto que todo lo que estaba intentando anteriormente. Mandarlo por,

Syslog, intentar levantar un logstash para hacer... Bueno, en fin, he hecho todo tipo de combinaciones,

Pero con esta combinación ha sido súper sencilla. Tan súper sencilla y tan súper emocionado me encuentro,

Que en breve sacaré un vídeo para el canal para mostrar cómo se hace y verás que es súper,

Súper sencillo. Como curiosidad decirte que esta herramienta ThinkObserve está implementada en,

Rast, mientras que ThinkSearch está implementada en Go. Es decir, han pasado de Go a Rast. Ahí lo dejo,

Para los amantes de Go y los detractores de Rast. Y por último, otra de las cosas que me ha gustado,

Muchísimo de ThinkObserve ha sido la posibilidad de consultar los logs, bueno, de consultar cualquier,

Información directamente utilizando SQL. Ya sabes que ThinkSearch, y si no te lo digo,

ThinkSearch utiliza diferentes lenguajes como puede ser Lucen o... ¿Cómo se llama el otro.

JKL, creo... Bueno, no me acuerdo ahora mismo cómo se llama el otro lenguaje para hacer las consultas,

Bueno, pues, con ThinkObserve puedes utilizar SQL. O sea, que tienes lo mejor de los dos mundos.

Y nada más, esto es lo que te quería contar. Esto ha sido muy breve porque quiero profundizar,

Mucho más en todo esto para contártelo con mucho más detalle. Ya te digo, en los próximos,

En las próximos días seguro que tienes un vídeo en el canal de YouTube en el que te cuento,

Sobre esto. Así que no te lo pierdas. Y poco más. Ya sé que da mucha pereza. Ya sé que esto es,

Muy doloroso para ti. Ya sé que cuesta muchísimo, pero ya te digo que una valoración en Evox,

En Apple Podcasts o en Spotify me vienen fantásticos para dar a conocer este maravilloso,

Mundo en el que me ando sumergido. Y para que todo el mundo pueda disfrutar de Linux y del mundo,

Del open source. Y en concreto, en este caso, del mundo de ThinkObserve. Recordarte que este es un,

Podcast de la red de podcasts de sospechosos habituales donde puedes suscribirte en,

Fitpress.me barra sospechosos habituales. Y por último, y como te digo siempre, recordarte,

Que la vida son dos días y uno ya ha pasado. Así que disfruta como si no hubiera mañana,

Y si puede ser con Linux y sin con ser mejor que mejor. ¡Hasta luego.

3 comentarios en “La alternativa a Elasticsearch y otras fricadas”

  1. Muy interesante estas herramientas que mencionas en este post. Actualmente estoy en a búsqueda de una solución para el envío e ingesta masiva de logs sin tener que pasar por ELK stack. En mi caso las máquinas son servidores Ubuntu con Apache/NGINX y logs de sistema y de una aplicación desarrollada inhouse.
    ¿Es posible usar esta solución que has mencionado? ¿qué componentes se deben instalar en el recolector de logs y qué otros componentes en el resto de máquinas que envían los logs? ¿se envían de manera encriptada?

  2. Hola, en mi caso para enviar los logs de Docker a ZincObserve he utilizado Vector, que es muy sencillo de configurar, al menos en el caso de Docker. También tiene configuración para Syslog, con lo que por la misma podrás enviarlo. El envío de Vector a ZincObserve es también realmente sencillo de configurar. En unos días publicaré un artículo para mostrar como lo hice.
    En el caso de syslog, puedes encontrar la documentación en https://vector.dev/docs/reference/configuration/sources/syslog/.
    Un saludo.

Deja una respuesta