Implementa un cazador de ofertas con IA

Vistas: 449
0:00 / 0:00
Implementa un cazador de ofertas con IA

Me apasiona automatizar. No lo puedo evitar. Siempre he pensado que el tiempo es nuestro recurso más valioso y que cualquier tarea repetitiva que tengamos que hacer delante de una pantalla debería ser delegada inmediatamente a una máquina. La vida es demasiado corta como para pasar horas copiando y pegando datos de una web a otra, o abriendo las mismas pestañas todos los días para comprobar si ha bajado de precio ese producto que tanto ansiamos.

El dilema de la información y la ausencia de APIs

En un mundo ideal, cada plataforma web, tienda online y base de datos de internet nos ofrecería una API limpia, estructurada, documentada y gratuita para que nos conectáramos y descargáramos la información directamente. Si quiero saber el menú semanal de un restaurante, o el stock de un componente electrónico en mi distribuidor de confianza, o el precio de unas zapatillas de running, lo lógico sería consultar un endpoint y obtener un bonito archivo estructurado en cuestión de milisegundos.

Pero la realidad de internet es muy diferente. La mayoría de las empresas no ofrecen APIs públicas. Algunas porque no tienen la capacidad técnica de mantenerlas, otras porque prefieren que pases por su portada para mostrarte publicidad, y muchas simplemente por puro desinterés. Cuando no tienes esa API que te conecte de forma directa con la información, la única opción que te queda para evitar el trabajo manual es recurrir al web scraping.

¿Qué es el Web Scraping y por qué nos hace la vida más fácil?

El web scraping es, básicamente, el arte de extraer información de una página web emulando el comportamiento de un navegador web pero de forma automatizada. En lugar de ser tú quien abre el navegador, se desplaza por la página y copia el precio en una libreta, es un programa de software el que realiza estas peticiones, lee el código fuente de la página, extrae los datos que le interesan y los guarda en un formato estructurado como una base de datos, un archivo CSV o un JSON.

Las utilidades prácticas de esto son infinitas. Por ejemplo, en mi caso particular, hay un hábito que repito de forma matemática: cada ochocientos kilómetros cambio mis zapatillas de correr. Mis articulaciones me lo agradecen enormemente. Esto se traduce en que cada tres o cuatro meses me toca rastrear internet buscando el modelo exacto que utilizo en cinco o seis tiendas online de deportes distintas para ver cuál ofrece el precio más competitivo en ese momento. Hacer esto a mano es aburrido y consume un tiempo precioso. Si logro automatizar este rastreo con un script que se ejecute en mi servidor doméstico, habré ganado en calidad de vida.


El talón de Aquiles del Scraping Tradicional

Si llevas algún tiempo en el mundillo de la programación o de la administración de sistemas, es muy probable que hayas oído hablar de herramientas tradicionales para scrapear webs. En el ecosistema de Python, las reinas indiscutibles han sido históricamente librerías como Beautiful Soup, Scrapy o lxml.

Cómo funciona un rastreador clásico (Beautiful Soup y HTML)

El enfoque tradicional es un proceso puramente estructural. Cuando diseñas un scraper clásico, lo primero que haces es descargar el código HTML de la URL objetivo usando una librería de peticiones web como requests. Una vez que tienes ese inmenso documento HTML en memoria, utilizas Beautiful Soup para analizar su estructura.

Para extraer el precio de un portátil, por ejemplo, debes inspeccionar el código fuente de la tienda en tu navegador, buscar el elemento exacto que contiene el precio y analizar sus atributos. A lo mejor descubres que el precio está encerrado en una etiqueta de tipo párrafo con una clase CSS muy específica, algo como class="precio-final". Entonces escribes una línea de código en tu script que dice: búscame todos los elementos de tipo párrafo que tengan la clase precio-final y extrae su texto.

Por qué los selectores CSS se rompen constantemente

Este enfoque funciona espectacularmente bien, es asombrosamente rápido y consume poquísimos recursos de CPU. Sin embargo, tiene un fallo de diseño garrafal: depende por completo de que la estructura de la página web sea inmutable.

En el momento en que el equipo de desarrollo de la tienda online decide rediseñar la web, o simplemente actualiza el framework de diseño que utilizan, toda tu automatización se desmorona. Si cambian la clase precio-final por price-tag, o deciden meter el precio dentro de una tabla en lugar de un párrafo, tu script clásico ya no encontrará nada. De repente, tu automatización silenciosa empieza a fallar, deja de avisarte de las ofertas y te obliga a volver a abrir el editor de código, inspeccionar de nuevo la web, corregir el selector CSS y subir una actualización de tu script. Es un mantenimiento constante y agotador.

Webs dinámicas, tests A/B e internacionalización: La tormenta perfecta

Las dificultades del scraping tradicional no terminan con los cambios de diseño. Hoy en día nos enfrentamos a un ecosistema web sumamente complejo:

  • Identificadores dinámicos: Muchas aplicaciones modernas construidas con React, Angular o Vue generan las clases CSS y los identificadores de los elementos de forma automática y aleatoria en cada compilación del código. Elementos con clases como class="sc-1y8df9-0" que cambian sin previo aviso en cada actualización del portal.
  • Tests A/B: Las grandes tiendas online suelen realizar experimentos continuos. A la mitad de los visitantes les muestran una estructura de página (Diseño A) y a la otra mitad una distinta (Diseño B) para medir cuál convierte mejor las ventas. Si tu scraper clásico se conecta y cae en el Diseño B pero tú lo programaste para el Diseño A, la extracción fallará por completo.
  • Internacionalización: Dependiendo de la IP desde la que se conecte tu script, o de las cabeceras de idioma que envíe, la tienda puede responder con formatos de moneda diferentes, estructuras adaptadas o idiomas distintos, lo cual altera los selectores semánticos que habías definido con tanto esfuerzo.
  • Redes de Distribución de Contenidos (CDNs) y Cloudflare: Estos sistemas actúan como escudos protectores de las webs. Si detectan que un script plano está descargando páginas de forma sistemática y a gran velocidad, bloquean la petición de inmediato mostrando un captcha o una página de error, impidiendo que Beautiful Soup acceda siquiera al código HTML.

La revolución de los Modelos de Lenguaje (LLMs)

Frente a todas estas barreras que hacen del scraping tradicional un dolor de cabeza diario, ha surgido una alternativa revolucionaria gracias al auge de la inteligencia artificial y los modelos de lenguaje locales: el scraping semántico.

Entendimiento semántico vs. Estructura rígida

La gran diferencia de un modelo de lenguaje frente a un parser clásico de HTML como Beautiful Soup es que el LLM no busca una etiqueta exacta ni una clase CSS específica. El LLM es capaz de leer un bloque de texto o un fragmento de código HTML y comprender el contexto de la misma manera que lo haría un ser humano.

Si tú le muestras a una persona el código fuente de una tienda donde aparece la palabra Lenovo ThinkPad X1 Carbon y justo al lado, de cualquier forma maquetada, aparece la cifra 1.299 €, esa persona deducirá inmediatamente que el primer elemento es el nombre del portátil y el segundo es su precio. No necesita saber si el precio está dentro de un contenedor de tipo div o de tipo section. Entiende el significado semántico de las palabras y los números. Eso es exactamente lo que hace un LLM.

Por qué la IA puede interpretar cualquier web como un humano

Al dotar a nuestros scripts de esta capacidad de entendimiento semántico, eliminamos de un plumazo el problema del mantenimiento de los selectores. Ya no importa si la web cambia sus clases CSS todas las semanas, o si los identificadores se generan dinámicamente, o si el diseño varía ligeramente por un test A/B. Mientras el nombre del producto y el precio sigan siendo visibles textualmente en el código de la página, la IA será capaz de localizarlos, relacionarlos y extraérnoslos sin inmutarse.

Podemos utilizar el mismísimo script con el mismo prompt para extraer información de diez tiendas online de tecnología completamente diferentes, con diseños radicalmente distintos, sin tener que escribir ni una sola regla específica de CSS para ninguna de ellas. Esto reduce el coste de desarrollo y el tiempo de mantenimiento prácticamente a cero.

El papel del Open Source y el Self-Hosting con Ollama

Muchos desarrolladores piensan que para hacer esto es obligatorio pasar por caja y contratar APIs de pago de grandes corporaciones como OpenAI o Anthropic. Sin embargo, los entusiastas del software libre y el self-hosting tenemos una herramienta espectacular en nuestras manos: Ollama.

Ollama es una herramienta ligera y sumamente eficiente que nos permite descargar, gestionar y ejecutar modelos de lenguaje de gran tamaño (LLMs) directamente en nuestra propia máquina local, ya sea un ordenador personal, un servidor doméstico en nuestro salón o un VPS en la nube. Todo el procesamiento de datos se realiza de forma local, garantizando nuestra total privacidad, sin depender de conexiones de terceros y, lo más importante de todo, con un coste económico de cero euros por cada consulta realizada. No hay límites de uso ni suscripciones mensuales.


Anatomía de un Scraper con IA: Paso a Paso

Construir un scraper inteligente utilizando Python y Ollama es un proceso sorprendentemente sencillo si se estructuran bien las fases. Aunque pueda parecer que hay magia detrás de la inteligencia artificial, la realidad es que un scraper de IA robusto se fundamenta en cinco pasos de ingeniería de software muy claros y bien definidos.

+-------------+     +------------------+     +------------------------+
|   URL Web   | --> | Petición HTTP    | --> | HTML Crudo (ej. 2 MB)  |
+-------------+     +------------------+     +------------------------+
                                                         |
                                                         v
                                             +------------------------+
                                             | Limpieza BeautifulSoup  |
                                             +------------------------+
                                                         |
                                                         v
+-------------+     +------------------+     +------------------------+
| Ollama (LLM)| <-- | Prompt + HTML    | <-- | HTML Limpio (ej. 20 KB)|
+-------------+     +------------------+     +------------------------+
       |
       v
+-----------------------------+
| JSON Estructurado y Alertas |
+-----------------------------+

Paso 1: La captura del código fuente

El primer paso es el más clásico de todos. Necesitamos obtener el código HTML de la página web que queremos analizar. Para ello, utilizamos la conocida librería requests de Python, que nos permite realizar peticiones HTTP de forma sencilla.

import requests

def descargar_html(url):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
    }
    response = requests.get(url, headers=headers, timeout=10)
    if response.status_code == 200:
        return response.text
    else:
        raise Exception(f"No se pudo acceder a la web. Código de estado: {response.status_code}")

Al definir unas cabeceras HTTP que imiten a un navegador real (el famoso User-Agent), reducimos la probabilidad de que los servidores sencillos nos bloqueen la entrada pensando que somos un bot básico.

Paso 2: El arte de la limpieza (Reducir el ruido del HTML)

Aquí es donde reside el verdadero secreto de la eficiencia de nuestro scraper con IA. Una página web moderna es inmensa. Cuando descargas el código HTML de una tienda típica como MediaMarkt o Amazon, te encuentras con un archivo de entre 1,5 y 3 Megabytes de tamaño. Este archivo está inundado de miles de líneas de código Javascript, hojas de estilo CSS en línea, menús de navegación global, pies de página, iconos vectoriales en formato SVG y bloques de publicidad.

Si intentamos enviarle este monstruo de código crudo a un modelo de lenguaje que se está ejecutando en la CPU de nuestro servidor local, provocaremos un desastre. El modelo tardará minutos en procesarlo, consumirá gigabytes de memoria RAM y, lo que es peor, se perderá entre tanto ruido técnico y probablemente sufrirá alucinaciones, dándonos resultados incorrectos.

Nuestra misión en Python es realizar una poda drástica y sin piedad de toda esa basura que el LLM no necesita para entender la información. Usando Beautiful Soup, eliminamos todo lo irrelevante de forma quirúrgica:

from bs4 import BeautifulSoup

def limpiar_html(html_crudo):
    soup = BeautifulSoup(html_crudo, "html.parser")

    # Eliminamos elementos que no aportan contenido semántico útil
    for elemento in soup(["script", "style", "nav", "footer", "header", "svg", "noscript", "iframe", "form"]):
        elemento.decompose()

    # Extraemos solo el texto limpio o una estructura HTML muy simplificada
    texto_limpio = soup.get_text(separator=" ")

    # Comprimimos los espacios en blanco repetidos para ahorrar caracteres
    lineas = (linea.strip() for linea in texto_limpio.splitlines())
    bloques = (bloque for bloque in lineas if bloque)
    texto_comprimido = "\n".join(bloques)

    return texto_comprimido

Con este sencillo proceso de limpieza, somos capaces de coger una página web pesadísima de 2 Megabytes y dejarla reducida a un pequeño y delicioso bloque de texto relevante de apenas 15 o 20 Kilobytes. ¡Una reducción de más del noventa por ciento! Ahora el modelo de lenguaje podrá procesar la información en apenas unos segundos sobre nuestra CPU.

Paso 3: Controlando el contexto y los tokens

Cualquier modelo de lenguaje tiene un límite en la cantidad de texto que puede procesar de una sola vez. A esto se le conoce como la ventana de contexto, que se mide en tokens (un token equivale aproximadamente a cuatro caracteres en español).

Incluso después de limpiar el HTML, si nos topamos con una web gigantesca que supera los límites de nuestro modelo local, debemos ser precavidos y truncar el contenido o trocearlo de forma inteligente. Si trabajamos en CPU, reducir el texto al máximo no es solo una cuestión de no superar el límite de contexto del modelo, sino también una estrategia indispensable para mantener unos tiempos de respuesta rápidos y razonables.

Paso 4: Diseñando el prompt ideal y configurando la temperatura a cero

Para que nuestro script funcione de forma automatizada, no queremos que la IA nos responda con un texto amigable o explicaciones educadas como aquí tienes los precios que me has pedido, Lorenzo. Lo que necesitamos es que nos devuelva un formato de datos puramente estructurado que nuestro código de Python pueda interpretar de forma nativa. El formato idóneo para esto es el JSON.

Para lograrlo, debemos redactar un prompt extremadamente claro y estricto. Además, debemos configurar la temperatura del modelo exactamente a cero. La temperatura en los modelos de lenguaje controla la creatividad y la aleatoriedad de las respuestas. Para tareas creativas como escribir un poema o un correo, nos interesa una temperatura alta. Pero para extraer datos de forma exacta, necesitamos que el modelo sea totalmente determinista, es decir, que se ciña de forma estricta a lo que ve en el texto sin inventarse absolutamente nada.

Un prompt que me ha dado resultados fantásticos en mis pruebas es el siguiente:

Extrae el nombre del portátil y su precio actual de la siguiente información web.
Devuelve únicamente un array JSON válido, con la estructura exacta: [{"producto": "Nombre", "precio": 0.0}].
No incluyas explicaciones en texto, no utilices bloques de código Markdown con triple comilla invertida, no saludes ni agregues nada más que el JSON crudo.
Si encuentras características sueltas o especificaciones técnicas sin precio, ignóralas por completo. Concéntrate solo en productos reales con su marca visible (Lenovo, HP, Dell, ASUS).
Extrae un máximo de tres productos.

Información web a procesar:
[AQUÍ INJECTAMOS EL HTML LIMPIO]

Paso 5: El parseo robusto del resultado JSON y las estrategias de contingencia

A pesar de que le pidamos a la IA con total firmeza que solo nos devuelva un JSON crudo, los modelos de lenguaje siguen sin ser programas de lógica pura. A veces, debido a pequeños matices en el procesamiento, el modelo decide envolver el resultado dentro de bloques de código de tipo markdown (con las famosas triples comillas invertidas ```json), o añade un pequeño texto de introducción al principio de la respuesta.

Si nuestro script de Python intenta hacer un json.loads() directo de esa respuesta y se encuentra con caracteres que no pertenecen al JSON, el programa lanzará una excepción y nuestra automatización se romperá. Por tanto, debemos diseñar nuestro parseador para que sea extremadamente tolerante a fallos y cuente con varias estrategias de contingencia en cascada:

  1. Estrategia principal: Intentar cargar la respuesta del modelo directamente usando json.loads(). Si la IA se ha comportado a la perfección, esto funcionará a la primera.
  2. Segunda línea de defensa: Si falla el parseo directo, utilizamos expresiones regulares en Python para buscar cualquier bloque de texto que se encuentre encerrado entre corchetes [...] o llaves {...} y tratamos de parsear únicamente esa sección, descartando cualquier texto introductorio o de cierre que el modelo haya añadido de forma voluntaria.
  3. Tercera línea de defensa: Si todo lo anterior falla, podemos recurrir a limpiadores de cadenas de texto para eliminar los marcadores de bloque de Markdown y reintentar el parseo.

Tener este enfoque de capas de seguridad garantiza que, aunque el LLM tenga un pequeño desliz en el formato de salida, nuestro script sea lo suficientemente inteligente como para extraer el JSON y continuar su ejecución sin detenerse por un error de sintaxis.


Evaluando los Modelos: Velocidad vs. Inteligencia en CPU

Cuando decidimos ejecutar todo este ecosistema en nuestro propio servidor local utilizando Ollama, la elección del modelo de lenguaje que va a procesar nuestras páginas web es una de las decisiones más críticas que debemos tomar. Dependiendo de los recursos de hardware de nuestro equipo, tendremos que encontrar el balance perfecto entre la velocidad de respuesta y la precisión de la extracción.

Mi experiencia en un Slimbook One sin GPU dedicada

Para poner a prueba este sistema de la forma más realista posible, he evitado utilizar mi estación de trabajo principal dotada de una tarjeta gráfica potente. En su lugar, he estado corriendo todas las pruebas de rendimiento en mi Slimbook One, un ordenador compacto y silencioso que tengo en casa configurado como servidor doméstico. Este equipo no cuenta con una tarjeta gráfica dedicada (GPU) ni con unidades de aceleración de inteligencia artificial (NPU). Todo el trabajo pesado de cálculo matemático de los modelos recae de forma exclusiva sobre la CPU.

Esto es un escenario excelente, porque demuestra que cualquier entusiasta que tenga un mini PC de bajo consumo o un servidor doméstico modesto en su hogar puede montar esta misma infraestructura sin tener que invertir miles de euros en hardware especializado.

Llama 3.2 (3B): El rey del equilibrio

El modelo Llama 3.2 de Meta, específicamente en su variante de 3 Billions de parámetros, ha resultado ser el auténtico campeón de mis experimentos para tareas de scraping semántico.

Al ser un modelo sumamente optimizado y con un tamaño muy reducido, es capaz de ejecutarse a una velocidad asombrosa directamente sobre la CPU. En mi Slimbook One, tarda apenas unos pocos segundos en analizar un bloque de HTML limpio de una tienda y devolvernos el JSON estructurado con los productos y sus precios correspondientes. Además, a pesar de su pequeño tamaño físico, su comprensión lectora es excelente. Es capaz de identificar perfectamente las marcas de tecnología más conocidas, descartar los accesorios irrelevantes y asociar de forma impecable cada portátil con su precio de venta correcto.

Qwen 2.5 y Mistral: Potencia a cambio de segundos

Si necesitas realizar tareas de extracción semántica mucho más complejas (por ejemplo, analizar opiniones de clientes en un portal de reservas para determinar el sentimiento del usuario, o clasificar productos de una web en categorías abstractas), los modelos pequeños pueden quedarse un poco cortos de razonamiento. En esos casos, dar el salto a modelos de 7 Billions de parámetros como Qwen 2.5 o Mistral es la solución idónea.

Estos modelos poseen una red neuronal mucho más profunda y rica, lo que les permite comprender matices sutiles y resolver prompts extremadamente complejos de forma sobresaliente. Sin embargo, en un entorno puramente de CPU, este incremento de inteligencia tiene un coste temporal importante. El procesamiento de una sola página web puede pasar de tardar unos pocos segundos a demorarse uno o dos minutos enteros. Si vas a realizar el scraping de forma programada y en segundo plano en tu servidor, quizás la lentitud no sea un problema crítico para ti, pero es un factor muy importante que debes tener en cuenta.

DeepSeek R1 y Phi-3: Pruebas y matices

También he querido poner a prueba otras opciones muy populares de la comunidad:

  • DeepSeek R1 (1.5 Billions): Este modelo de razonamiento destilado destaca por ser asombrosamente rápido sobre la CPU. No consume casi memoria RAM y responde prácticamente al instante. No obstante, para esta tarea concreta de extracción de datos puros y estructuración en JSON, en mis pruebas ha mostrado una tasa de fallos de formato ligeramente superior a la de Llama 3.2. Tiende a añadir explicaciones de razonamiento internas que complican el parseo automatizado.
  • Phi-3 Mini de Microsoft: Una alternativa fantástica y muy ligera que ofrece un comportamiento muy equilibrado. Sigue siendo una opción de primer nivel si buscas un modelo pequeño, rápido y dócil que respete los formatos JSON con bastante fidelidad.

Programación Avanzada en Python para Automatizar

Una vez que tenemos resuelta la lógica de descarga, limpieza y extracción mediante el modelo de inteligencia artificial, es el momento de construir la arquitectura de software que transformará este script conceptual en un sistema de producción robusto y completamente automatizado.

De scripts sencillos a concurrencia y paralelismo

Si queremos monitorizar varias tiendas de informática de forma simultánea, ejecutar el scraping de forma secuencial (tienda por tienda) puede convertirse en un proceso demasiado lento, especialmente si estamos corriendo la IA sobre la CPU.

Para resolver esto, en Python podemos hacer uso de la librería estándar concurrent.futures. Al implementar la concurrencia, nuestro script será capaz de lanzar las peticiones de descarga de las diferentes páginas web de forma paralela. Mientras una tienda está respondiendo a la conexión de red, nuestro script ya está procesando el HTML de otra tienda anterior con el modelo de lenguaje de Ollama. Esto reduce drásticamente el tiempo total de ejecución del programa completo.

import concurrent.futures

def procesar_tienda(url, prompt):
    try:
        html_crudo = descargar_html(url)
        html_limpio = limpiar_html(html_crudo)
        resultado_json = consultar_ollama(html_limpio, prompt)
        return url, resultado_json
    except Exception as e:
        return url, {"error": str(e)}

def ejecutar_rastreo_paralelo(urls, prompt):
    resultados = {}
    with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
        futures = {executor.submit(procesar_tienda, url, prompt): url for url in urls}
        for future in concurrent.futures.as_completed(futures):
            url = futures[future]
            try:
                data = future.result()
                resultados[url] = data
            except Exception as exc:
                resultados[url] = {"error": str(exc)}
    return resultados

Creando un Vigilante de Precios con Historial y Caché

Para que un rastreador de ofertas sea verdaderamente inteligente, no basta con que nos muestre por consola los precios actuales en cada ejecución. El sistema debe tener memoria. Necesitamos almacenar un histórico de los precios extraídos para poder compararlos y saber si realmente se ha producido una bajada de precio interesante.

Podemos implementar un sistema de caché extremadamente sencillo y ligero utilizando archivos de texto plano en formato JSON que almacenen el último estado conocido de cada producto. En cada ejecución de nuestro script:

  1. El programa descarga los precios actuales de la web.
  2. Lee el archivo de caché local para recuperar el precio que tenía el producto en la última consulta realizada.
  3. Compara ambos valores. Si el precio actual es inferior al precio registrado en la caché, se activa una alarma.
  4. Si la bajada de precio es real, actualiza el archivo de caché con el nuevo valor mínimo para evitar enviarnos alertas repetidas innecesariamente.

Integrando alertas automáticas por Telegram

El broche de oro para nuestro vigilante automatizado es lograr que nos avise directamente a nuestro teléfono móvil en el instante en que detecte un chollo. La forma más limpia, cómoda y gratuita de hacer esto en Linux y Python es integrando la API de bots de Telegram.

Crear un bot de Telegram es un proceso sumamente sencillo gracias al asistente BotFather en la propia aplicación. Una vez creado el bot, obtendremos un token de autenticación (un churro largo de caracteres alfanuméricos) y nuestro ID de chat de usuario. Con estos dos parámetros, enviar una notificación instantánea desde Python a nuestro móvil es tan simple como realizar una sola petición HTTP de tipo POST:

def enviar_alerta_telegram(mensaje):
    token_bot = "TU_TELEGRAM_BOT_TOKEN"
    id_chat = "TU_CHAT_ID"
    url = f"https://api.telegram.org/bot{token_bot}/sendMessage"
    payload = {
        "chat_id": id_chat,
        "text": mensaje,
        "parse_mode": "Markdown"
    }
    try:
        response = requests.post(url, json=payload, timeout=10)
        if response.status_code != 200:
            print(f"Error al enviar notificación a Telegram: {response.status_code}")
    except Exception as e:
        print(f"Excepción al conectar con la API de Telegram: {e}")

Imagínate la satisfacción: estás tranquilamente paseando por la calle, tu servidor doméstico ejecuta el script de scraping inteligente en segundo plano, detecta que tu modelo favorito de zapatillas de correr ha bajado un treinta por ciento en una de las tiendas de deportes, y al instante recibes un bonito mensaje en tu Telegram con el enlace directo para realizar la compra. ¡Eso es el verdadero cacharreo útil!


Evitando los muros del Anti-Scraping

Cuando empiezas a jugar con el scraping de forma continua, tarde o temprano te vas a topar con sistemas de seguridad avanzados que intentarán detener la actividad de tus scripts automáticos. Las páginas web de las multinacionales cuentan con herramientas potentes de detección de bots que analizan el comportamiento de cada petición entrante.

La detección de agentes de usuario (User-Agents)

La primera línea de defensa de los servidores web es el análisis de las cabeceras HTTP de la petición, especialmente la cabecera llamada User-Agent. Si realizas una petición directa con la librería requests de Python sin definir esta cabecera, la librería enviará por defecto una firma del tipo python-requests/2.31.0.

Los servidores de seguridad bloquean esta firma de forma fulminante porque revela de manera evidente que la conexión no la está realizando una persona real sentada delante de un navegador web, sino un script automatizado. Para saltarnos esta primera barrera rudimentaria, es absolutamente indispensable imitar las cabeceras de un navegador moderno y popular, como Google Chrome o Mozilla Firefox, tal y como hemos visto en el bloque de código de la sección anterior.

Simulación de comportamiento humano con navegadores reales (Playwright)

Hay portales web sumamente complejos que no se limitan a analizar las cabeceras HTTP. Páginas web modernas construidas enteramente sobre frameworks de Javascript (las conocidas como Single Page Applications o SPAs) no cargan el contenido real de los productos directamente en el HTML que se descarga el servidor. En su lugar, el servidor responde con un documento HTML prácticamente vacío con un script que se ejecuta en el navegador del cliente y es este script el que se encarga de descargar y renderizar la información de los productos de forma dinámica.

Si intentamos scrapear estas webs dinámicas usando únicamente la librería requests de Python, nos descargaremos un cascarón vacío de código sin precios ni nombres de portátiles que nuestra IA no podrá procesar de ninguna manera.

Para solucionar este inconveniente, debemos recurrir a herramientas de simulación de navegadores como Playwright o Selenium. Estas librerías nos permiten arrancar una instancia invisible de un navegador web real (como Chromium o Firefox) en nuestro servidor, dejar que la página cargue por completo, ejecute todos sus scripts de Javascript internos de forma automática, y una vez que el HTML esté completamente renderizado y visible en pantalla, capturar ese código fuente final para enviárselo a nuestro LLM local.

from playwright.sync_api import sync_playwright

def descargar_html_dinamico(url):
    with sync_playwright() as p:
        # Arrancamos un navegador invisible
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()
        page.goto(url, wait_until="networkidle") # Esperamos a que la red se calme
        html_completo = page.content() # Capturamos el HTML ya renderizado por JS
        browser.close()
        return html_completo

Rotación de Proxies e IPs: Cuándo es necesario dar el salto

Si tu intención es rastrear decenas de miles de páginas web todos los días para realizar un estudio de mercado a gran escala, hacer todas las peticiones desde la conexión de internet de tu casa o desde la IP fija de tu servidor VPS provocará que los firewalls de seguridad bloqueen tu dirección IP de forma permanente.

Para proyectos profesionales o de gran envergadura, se vuelve indispensable implementar técnicas de rotación. Esto consiste en configurar nuestro script de Python para que desvíe cada petición HTTP a través de un servidor proxy intermedio diferente, de forma que el servidor final de la tienda online vea llegar las conexiones desde miles de direcciones IP geográficamente distribuidas por todo el mundo, imposibilitando que puedan bloquear nuestro rastreador de ofertas.


Casos de Uso que te Cambiarán el Día a Día

El web scraping semántico con inteligencia artificial local abre un abanico gigantesco de posibilidades que antes estaban reservadas únicamente a desarrolladores expertos con amplios conocimientos de programación web y selectores CSS complejos. Ahora, cualquier entusiasta de la informática puede dar vida a proyectos increíbles.

Seguimiento inteligente de ofertas en Black Friday

Durante las campañas de rebajas como el Black Friday o el Cyber Monday, muchas tiendas juegan con los precios de forma constante, subiéndolos días antes para luego simular un descuento espectacular.

Con tu vigilante de ofertas con IA local, puedes empezar a rastrear los portátiles o componentes que te interesan meses antes del evento. Al guardar todos los precios diarios en tu base de datos o archivo de caché local, podrás comprobar de forma científica si la oferta anunciada el día del Black Friday es un chollo real o un burdo engaño comercial. No hay mejor escudo contra el consumismo impulsivo que contar con datos reales y precisos.

Control de Stock para componentes difíciles de conseguir

¿Intentando conseguir stock de una tarjeta gráfica de última generación, de una consola retro muy cotizada o de entradas para el concierto de tu grupo favorito que se agotan en minutos?

En lugar de pasarte el día entero pulsando la tecla de refrescar en tu navegador, puedes programar a tu vigilante inteligente para que realice la inspección de la web de venta cada cinco minutos. En el momento en que el modelo de lenguaje analice la web y deje de ver el texto sin stock o agotado y encuentre un precio de venta activo, te enviará un zambombazo inmediato a tu Telegram con el enlace de compra directa para que seas el primero en adquirir el artículo.

Recetas de cocina y planificadores semanales a medida

Otro escenario sumamente interesante es el de la organización del hogar. Puedes programar un script de scraping con IA para que visite de forma periódica tus blogs de cocina favoritos y extraiga de forma estructurada todas sus nuevas recetas: ingredientes, tiempos de preparación y pasos de elaboración.

Al transformar esas recetas en formato JSON limpio de forma totalmente automática gracias a la IA, puedes alimentar un gestor de recetas personal en tu propio servidor doméstico, o incluso diseñar un asistente inteligente que analice los ingredientes que tienes en tu nevera y te sugiera un menú semanal equilibrado seleccionando recetas de tu base de datos de scraping de forma totalmente autónoma.


Conclusiones: El poder del cacharreo democratizado

Hemos vivido una de las mayores revoluciones tecnológicas en el mundo del desarrollo de software gracias a la madurez de los modelos de lenguaje de código abierto y herramientas como Ollama. El web scraping, que tradicionalmente requería un mantenimiento continuo y unos conocimientos técnicos profundos sobre la estructura interna de la web, se ha convertido ahora en una disciplina accesible, divertida y resiliente para cualquier persona con ganas de experimentar y cacharrear.

Montar tu propio cazador de ofertas semántico en local, sin gastar dinero en APIs externas y controlando tus datos al cien por cien es un proyecto sumamente enriquecedor que te permitirá ahorrar dinero en tus compras diarias y te abrirá un abanico de infinitas posibilidades de automatización en tu servidor doméstico. El único límite es tu propia imaginación. ¡Te animo a que te pongas a escribir tu primer script de scraping inteligente hoy mismo y empieces a pasártelo en grande automatizando tu día a día!


Ver el vídeo de este episodio
Transcripción

Hola soy lorenzo y esto es atareado con Linux episodio número 813 en este episodio te voy,

A hablar sobre web scrapping pero en este caso con ya aunque sinceramente creo que nunca te,

He hablado sobre web scrapping o a lo mejor en algún episodio de pasada pero realmente hace,

Unos episodios cuando te estuve hablando sobre este mcp para crear recetas y para gestionar recetas,

Y para crear un menú semanal la verdad es que hice web scrapping para extraer todas esas recetas al,

Final esto del scrapping no es ni más ni menos que extraer información cuando no tienes la posibilidad,

De obtenerla de otras maneras quiero decir en una herramienta o en una página web donde tienes la,

Posibilidad de consultar la base de datos directamente pues ahí no hay vuelta de hoja directamente te,

Conectas a la base de datos y la sacas o si te ofrece una una api donde extraer todos los datos pero,

Cuando pero qué sucede cuando no tienes todo eso pues cuando no tienes la posibilidad de atacar,

Directamente a la base de datos o consultar la api pues otra opción un tanto más polémica es extraer,

Todos los datos directamente desde la página web y claro llegados a este punto probablemente te,

Estaréis preguntando y yo para qué quiero scrappear una página web bueno pues te acabo de poner un,

Ejemplo muy claro por ejemplo para extraer todas las recetas de una página web si quieres extraer todas,

Las recetas de una página web pues utilizar un scrapping te va a venir fantástico porque en muchas,

Ocasiones estas recetas no vienen con una api y es una lástima y no solamente no vienen con una api,

Sino que además no tienen un mcp con el que conectarte directamente y sacar todas esas recetas,

Bueno sea como fuere pues por ejemplo para el tema de las recetas está muy bien y otra de las,

Características que me parecen súper interesantes es cuando estás buscando un precio por ejemplo algo,

Que ya he hecho yo en alguna ocasión es buscar en distintas páginas web unas zapatillas en concreto,

Como cada 800 kilómetros renuevo las zapatillas pues cada tres o cuatro meses voy mirando a ver para,

Cambiarme ese modelo y buscando los precios para encontrar el precio más económico y normalmente,

Suelo consultar varias páginas web de esta manera yo lo que podría hacer es que cada tres meses él ya,

Empezara a hacer su búsqueda para encontrar ese precio o incluso todos los meses o cada dos o tres días,

Que hiciera consultas y si llega a un precio por debajo de uno marcado pues directamente nos lanzamos,

A comprarla y de esto precisamente te voy a hablar en este episodio de web scrapping pero con un paso,

Más web scrapping en este caso con inteligencia artificial y por qué con inteligencia artificial te,

Estarás preguntando pues porque realmente el web scrapping tradicional tiene un problema en general todo,

Esto del web scrapping normalmente o en muchas ocasiones se utiliza beautiful shop que es una,

Librería o un módulo de python que te facilita mucho el trabajo tú lo que haces es en función del css del,

Html pues lo montas todo para que extraiga el precio en cuestión por ejemplo si lo que estamos buscando,

Es como los ejemplos que te voy a mostrar en este episodio que te voy a contar en este episodio es sacar,

Precios de ordenadores bueno pues tú lo montas montas un script en python utilizando beautiful shop,

Beautiful shop y utilizando una clase css tú eres capaz de extraer el precio este es el scrapping,

Clásico lo que pasa que tiene un problema y es que con que simplemente cambien la estructura de la,

Página web esto ya ha dejado de funcionar el scrapping clásico básicamente depende de la estructura,

Exacta del html de forma que si en cualquier momento como te digo cambia un poco o cambia,

Ligeramente el html pues ya la hemos liado ya tienes el problema ahí de cómo resolver exactamente,

Esto y y realmente es un problema importante en luego también tienes otro problema por ejemplo con,

Las web dinámicas las web dinámicas en muchas ocasiones los identificadores son autogenerados con lo,

Cual tampoco es fácil luego también tienes cloud fair y tienes distintos inconvenientes por los que el,

Uso del web scrapping tradicional te vas a encontrar con algunos inconvenientes la alternativa bueno pues,

La alternativa como no podía ser menos después de todos los episodios que te vengo hablando de,

Inteligencia artificial es directamente utilizar algún modelo de lenguaje que entienda la página como la,

Entienda un ser humano y de esta manera es todo mucho más sencillo así tienes selectores o los problemas,

Que te puedes encontrar es selectores que se rompen la solución de cuando utilizar un sistema clásico y,

Cuando utilizar un modelo de inteligencia utilizar un modelo de lenguaje como un extractor y luego te voy a,

Mostrar o te voy a contar un par de ejemplos y algunas soluciones bastante interesantes para esto al final,

Esto no es un tutorial ni de beautiful shop ni de scrappy ni nada por el estilo simplemente es para,

Que tengas en cuenta una manera distinta de extraer datos a lo mejor hasta el momento nunca jamás en la,

Vida te habías planteado esto de extraer datos por el simple hecho de que bueno tienes que tener una,

Serie de conocimientos como css como html todo este tipo de cosas bueno porque a lo mejor no tienes ahora,

Con los modelos de lenguaje puedes aprovechar los modelos de lenguaje para que directamente te haga,

El scrapping e incluso que sea un scrapping adaptativo es decir que vea la estructura de la página y en base a,

Eso te crea el script y otro es directamente cascarle todo lo que es en la página web y el que se encargue de,

Hacerlo de cualquier manera la realidad es que no vas a necesitar conocer la estructura html directamente te importa,

Te importa muy poco porque tú lo que vas a hacer es decirle al modelo de lenguaje dame esto y no me,

Cuentes historias luego no necesitas estar inspeccionando distintos elementos con las,

Herramientas de desarrollador que al final te vuelves loco sobre todo cuando he comentado,

Anteriormente que puedes tener el problema de que los los identificadores o los estilos todo eso sea,

Dinámico y lo pierdas no necesitas actualizar los editores todas las semanas porque resulta que el,

Desarrollador de la página web todas las semanas la cambia y realmente lo único que necesitas es una,

Url incluso puedes darle una batería de urls un prom para que sepa exactamente qué es lo que tiene que,

Hacer y si lo haces en local cuando llama pues simplemente necesitas o llama corriendo,

De hecho yo lo que he estado haciendo y los ejemplos que bueno en concreto los ejemplos que te voy a mostrar,

Ahora no porque los he montado con gpu para que sean un poco más rápido pero la realidad es que los estoy,

Corriendo en una en un Slimbook one que no tiene ni gpu ni npu directamente los corre contra la cpu,

Porque son modelos realmente pequeños en el sentido de que estamos hablando de tres billones o incluso,

De menos billones para extraer eso así que bueno está bien la realidad es que nada de lo que te voy a,

Contar ahora es magia la realidad es que tiene limitaciones y es lo que vamos a ver a continuación,

Lo primero es los selectores que se rompen como te decía anteriormente tú coges y creas tu script en,

Python y en las notas del episodio te dejaré un script en python donde puedes ver cómo importas el,

Módulo request cómo utilizas beautiful soup para hacer la importación y luego cómo vas seleccionando,

Aquellos tags que necesitas para hacer la extracción y claro para eso pues por ejemplo si lo que estás,

Utilizando es una clase una clase css todo va a funcionar mientras que la clase css se mantenga,

Si la clase css por ejemplo era punto precio final y de repente la cambian a punto price final pues ya,

La has liado ya esto no funciona realmente tienes varios problemas por un lado tienes una dependencia,

Completamente estructural cualquier cambio que se produzca tanto de css como de html va a romper por,

Completo tu sistema de scrapeo luego tienes que tener un mantenimiento constante tienes que estar,

Continuamente revisando los selectores porque conforme he comentado anteriormente esos selectores,

Pueden ir cambiando luego además tienes el tema de las webs dinámicas que tienes los ids autogenerados,

Variables plantillas todo esto va a hacer o va a dificultar todo lo que es el web scrapping,

Tradicional y luego también evidentemente los las tiendas o lo que sea o las páginas web tienen,

Sistemas anti scrapping al final pues determinados como te digo determinados fabricantes o determinados,

Vendedores no quieren que tú les scrapees la página o lo que sea quiero decir a mí me resulta muy curioso,

Porque yo lo que quiero es alguien que esté continuamente scrapeándome la página para bueno,

Continuamente no pero quiero si yo vendiera no si yo vendiera zapatillas a mí lo que me interesa es que,

El precio esté muy accesible para que cualquiera lo tenga a su disposición pues en este sentido como,

Te digo montaría un mcp para que cualquiera se pudiera conectar y extraer los precios de una,

Manera mucho más sencilla no solamente los precios claro en muchas ocasiones no solamente se trata de la,

Venta del precio también vendes otro tipo de cosas que no van parejas al precio y luego el siguiente,

Problema evidentemente es que por cada página web tienes que generar un scrapper distinto porque las,

Clases no son las mismas las estructuras no son las mismas y todo esto tienes que ir generándolo en,

Cada ocasión en este caso la solución de un lm es mucho mejor porque realmente un lm no va a buscar,

Esa clase ese esa ruta concreta sino que él entiende el concepto de lo que es el precio en cualquier,

Html entonces tú simplemente le pasas la página web y le dices me dime modelo y precio y él va a sacarte,

Esa información por ti no vas a tener que estar así por ejemplo un selector un caso concreto un selector que,

Se rompe es simplemente que tengas un div class igual a precio final y otro y en un momento determinado,

Todo esto cambia y en lugar de tener div class tienes product price y price tag el precio es exactamente lo,

Mismo no ha cambiado absolutamente nada pero con el scrapping clásico tu script deja de funcionar por,

Completo con la inteligencia artificial con los modelos de lenguaje el mismo pron va a valer exactamente,

Extrayendo el precio en uno y en el otro porque entiende completamente lo que es el precio entiende,

El concepto entiende lo que es un precio independientemente de que la etiqueta ponga,

Precio final que ponga price o que ponga lo que quieras él va a entenderlo porque al final es lo que,

Sucede o sea tú piensa que en un momento determinado si tú ves el código fuente de la página aparte de,

Un css div no sé qué no sé cuántos seguro que cuando llegas al bloque donde te pone precio final o,

Precio tag ya sabes ya intuyes que ese es el precio pues eso exactamente lo mismo pasa con los modelos,

De lenguaje al final no solamente se trata de css no solamente de este tipo de cosas sino que los,

Problemas van mucho más allá por ejemplo la carga de la página cambia los id de los elementos esto es lo,

Que te estaba hablando de los id autogenerados en muchas ocasiones los vendedores o los creadores,

De páginas lo que hacen es test a ver para conseguir que su página web para ir mejorando poco a poco la,

Página web es decir tú haces un test a ver a unos a unos a unas personas a unos visitantes de tu página,

Web les muestras una cosa y a otros visitantes les muestras otra en función de las acciones de uno o,

De otro tú vas decantándote por una solución o por otra y vas modificando poco a poco tu página web,

Qué es lo que pasa que cuando tú tienes un test a ver tu modelo de scrapping ya no funciona no me,

Refiero al modelo ya sino al modelo tradicional no funciona porque cuando intenta conectarse a la a,

La a funciona al test a funciona pero cuando funciona cuando va al test b no luego tienes el problema de,

La internacionalización los selectores van a cambiar según el idioma los rediseños cada vez,

Que cambia el template tu scrap muere tu scrapper muere y lo mismo pasa con el cdn cloud fair de manera,

Que el html que tú estás esperando llega distinto y como te digo con la ia todo esto es igual porque es,

Entiende exactamente cuál es el concepto bueno,

Cómo puedes utilizar el scrapping con ia bueno yo he hecho simplemente tres scraps o sea tres perdón tres,

Tres scripts y va a decir tres scrapers bueno tres scripts en python que lo que hacen simplemente tú le,

Le pasas un la url de la página que quieres escrapear y le pasas un prompt de que exactamente lo que,

Quieres que resuelve todo esto por lo que resuelve básicamente son todos los problemas que nos hemos,

Encontrado hasta el momento es decir que una web cambia frecuentemente te da lo mismo que los ratos,

Son semi estructurados o contexto libre te da lo mismo que hay un prototipado sin inspeccionar el html te da,

Lo mismo y es más tú y esto lo vamos a ver a continuación puedes pasar el mismo scrapper o el,

Mismo modelo de lenguaje en distintas páginas web que vas a ver o va a conseguir sacar los datos,

Es decir va a extraer conceptos difusos como pueden ser opiniones sentimientos descripciones todo eso va a,

Ser capaz de hacerlo de una manera sencilla en situación la situación es que si tienes una api o,

Mejor dicho cuando tienes que escoger una un scrapper clásico o cuando un scrapper día pues hombre,

Evidentemente si tienes una api ni te calientes la cabeza directamente al scrapping clásico porque es que,

No tienes que hacer absolutamente nada que la web cambia cada día directamente al scrapping con,

Ya que la hay un millón de páginas bueno pues si hay un millón de páginas tienes que calentarte la,

Cabeza para hacer un escaping clásico porque con el escaping con ya como veremos en los ejemplos pues es,

Más lento luego tienes el prototipado en el caso en el caso de la ya es que te da lo mismo para hacer,

Multitienda comparativa es mucho mejor una ya para hacer presupuestos si lo haces o sea quiero decir,

Los costes mientras que con el con el scrapping clásico no vas a tener costes cada vez que lo,

Ejecutes en el scrapping con ya si utilizas un modelo de lenguaje local tampoco al final realmente no tienes,

Que pensar que uno es mejor que otro ni que puedes utilizar uno u otro sino que al final son,

Complementarias simplemente en algunos sitios tienes que utilizar unos y en otros sitios tienes que,

Utilizar otros en luego también no solamente tienes que valorarlo en función de cuando utilizar uno y,

Cuando utilizar otro sino también los distintos enfoques el enfoque clásico es un enfoque donde la velocidad,

Es primordial porque vas a obtener resultados en milisegundos el coste es que es cpu y el,

Mantenimiento el problema que tienes es alto quiero decir que al final el coste de cpu es muy bajo pero,

El coste de mantenimiento es decir la inversión que tienes que gastar tú en horas pues es alto,

Luego en el caso de la ya local el problema que tienes es que te vas a ir a segundos o minutos sobre,

Todo si corres sobre cpu y el mantenimiento en este caso es bajo y si vas a una ya que sea en la nube en,

Este caso la velocidad baja porque no es lo mismo que una ya local pero ahí tienes que pagar por céntimos,

Y el mantenimiento en este caso es muy bajo y lo mejor es buscar un enfoque híbrido un enfoque donde en,

Función de unas determinadas características te decantas por el enfoque clásico y en y en otras,

Ocasiones por otro tipo de soluciones en cpu con o llama pues hacer esto va a tardar un minuto con,

Gpu unos pocos segundos pero el mantenimiento es prácticamente cero es que esa es la cuestión y,

Luego está el tema de los modelos que modelo escoger yo he hecho varias pruebas con el llama 32 con el,

Windows 2.5 de 7 billones con el mistral de 7 billones con el fit 3 mini y con el deep seek r1 1.5,

En los los más grandes la calidad del resultado es mayor y lo que pasa que la velocidad es media y,

Luego con los llama 3.2 y el fit 3 es rápido pero la calidad es inferior y con el deep seek r1 que es,

Rapidísimo la calidad es mucho más inferior es decir para extracción de precios y nombres llama 3.2 de,

3 Billones la verdad es que da un resultado bastante equilibrado más grande significa mucho mejor pero las,

Tareas al final son más lentas utilizar un un lm para extraer al final yo lo que he montado ha sido una,

Cosa muy sencillita he montado un script en python bueno realmente montado varios script en python donde,

Lo único que hacen es traerse la información con un request luego limpia parte de todo lo que es de lo,

Que se ha extraído quitando scripts estilos navegación atributos todo eso lo quita y esto representa hasta el,

93 Por ciento de reducción y a lo mejor te estás preguntando ostras pero por qué lo quitas bueno la razón,

De quitarlo es bastante sencilla no es lo mismo pasarle mil caracteres o por por decirte algo 500,

Tokens que pasarle un millón de tokens a lo mejor un millón de toques no pero a lo mejor sí que le estás,

Pasando 5000 tokens o 10.000 tokens claro esto tienes ya que trocearlo y tienes que hacer más cosas luego,

Aparte de esto por contexto de cpu también tienes que reducir el tamaño si con la reducción anterior,

No has tenido suficiente todavía tienes que truncar más y luego está el concepto de pasar html y el prompt,

A lo llama y es importante pasárselo con una temperatura cero y con esto recibes un json estructurado,

La verdad es que son cinco pasos más muy sencillos y no necesitas nada más y lo mejor de todo y esto es,

Algo que te vengo diciendo desde prácticamente el principio es que es el mismo patrón para cualquier,

Página web bueno teóricamente teóricamente porque hay determinadas páginas web que complican un poco,

Más la cosa entonces en función de la página web a lo mejor el prompt lo tienes que afinar un poco,

Más pero ese prompt más afinado probablemente te valga para todas las páginas web no solamente para las,

Complicadas es decir al final te traes una o sea a partir de una url te traes html completamente crudo,

Que a lo mejor es 1,1 megas una vez lo limpias te quedas en 20k le pasas el prom más el html limpio y,

Te vuelve un json estructurado es decir de 2 megas pasas a un json de 6 productos esto es básicamente lo que,

Hace un un scrapper de iam por ejemplo yo los los ejemplos que he estado probando con media mark,

Inicialmente se traía 2 megas utilizando las herramientas para quitar script style comment,

Navegación comprimir espacios etcétera etcétera me quedaba en 20.000 caracteres la cosa tiene mindundis,

Sin esta limpieza lo que vas a hacer es enviarle al modelo 2 megas de basura completamente y lo más,

Probable es que no encuentre absolutamente nada con 20k de html relevante es casi con toda seguridad,

Que va a encontrar el resultado al final yo lo que estoy pasando es una instrucción que dice extrae,

Nombre y precio de cada producto devuelve solamente un array json válido sin markdown sin explicaciones,

Máximo tres productos y le das el html del o sea le pasas el html que quieras,

Claves del prom le tienes que decir que solamente quieres json le quieres decir le tienes que decir,

El número de productos le tienes que decir que la temperatura es cero y y para tiendas complicadas,

Además deberías de añadir marcas conocidas e ignorar características sueltas ese tipo de cosas,

Sin un prom muy específico media mar por ejemplo devuelve conectividad bluetooth ssd como si fueran,

Todo productos y realmente eso no es exactamente lo que tú quieres porque te está devolviendo,

Características de los productos y lo que tú quieres es realmente algo más específico por ejemplo en el,

Primer prom lo que vas a obtener es si le dices extrae nombre y precio te dice por ejemplo que la,

Conectividad bluetooth es 1500 euros pero si la el prom que le dices es extrae sólo los productos,

De marcas conocidas del lenovo hp del no sé qué ignoras características sueltas entonces ya te dice,

Un lenovo zimpak x x1 carbón 1300 euros y así vamos,

Los modelos no siempre otro de los problemas que tienes es que y esto es realmente sorprendente es que,

Como los modelos no son deterministas pues no siempre devuelven el mismo json en ocasiones te,

Devuelven un json donde pone nombre portátil otras veces te vuelve a otra cosa en fin que tienes que ir,

Afinando un poco este tipo de operativas para obtener exactamente lo que tú justo necesitas puede ser,

Json loads directo buscar en bloque tienes distintas estrategias y lo que tienes que hacer es,

Combinarlas todas para que en caso de que falle uno probar la segunda y si falla la segunda probar la,

Tercera hasta obtener el resultado exactamente que quieres además las tiendas cada una de las,

Tiendas utiliza distintos formatos si en la el precio te lo pone con punto te lo pone con coma o es,

Europeo es el dólar o es el euro en fin que cada uno es es un follón y el paseo el paseo detecta el,

Formato de automáticamente o sea al final es un poco un poco lío,

Inicialmente todo esto lo monté con fish pero al final lo que hice así o lo que he hecho ha sido,

Pasarlo a python en las notas del episodio como te digo te dejaré en los los scripts que he estado,

Utilizando para que los puedas aprovechar lo he hecho en python porque lo que he hecho ha sido tirar,

Paralelismo para que esto funcione más rápido no porque al final se va se va eternizando y además te,

Permite el manejo de errores puedes utilizar expresiones regulares puedes utilizar json nativo,

Que de la otra manera tienes que utilizar hot jq tienes que mantenerlo en fish mientras que en,

Python lo puede mantener cualquiera el tipado en fin todo este tipo de cosas en las cuales en este caso,

Concreto utilizar python es mucho más interesante por ejemplo si tiramos el un ejemplo muy sencillo,

Donde le digamos que media mark nos extraiga el nombre y el precio de cada portátil pues la cosa es,

Que es bastante sencillo o por ejemplo en app informática extrae nombre completo y precio de cada,

Portátil utiliza el modelo llama 3.2 que lo he puesto como variable del script entonces tú lo ejecutas y,

Él se ha traído ahora tres mil caracteres una vez limpio lo ha dejado en tres o sea trescientos mil,

Caracteres ha traído lo ha dejado en tres mil y con el móvil de lo llama 3.2 lo ha convertido todo,

Fácilmente el marca lenovo marca hp marca del marca asus por ejemplo en este caso ha sido incapaz de traerse,

El el modelo simplemente se ha traído la marca y los precios a lo mejor hay que darle una segunda,

Vuelta para hacer esto pero vaya es un es un avance vale esto para hacer un scrapping básico pero no,

Solamente podemos hacer un scrapping básico podemos hacer las cosas un poquito más complicadas todavía,

Por ejemplo en lugar de un scrapping podemos comparar podemos lanzar que lo haga en media,

Mark y en app informática le decimos que extraiga el nombre completo el precio de cada portátil y que,

Los compare y esto lo podemos lanzar y empieza a scrapear una y a scrapear otra esto como te digo lo está,

Haciendo en paralelo y en paralelo ya te trae por ejemplo en el caso de app informática te dice,

Idea pad 599 en big 699 xps 999 en el caso de media mark como no le he pasado la url que debería de,

Haberle pasado me dice directamente portátil es gaming hay 133 y el precio en 1330 de cual no tengo ni,

Idea pero bueno que es una opción que es bastante interesante bueno te he mostrado el scrapping vale,

Con cpu esto puede o sea yo te lo he hecho en este caso con gpu con oyama ya has visto que ha sido,

Prácticamente inmediato pero con cpu pues a lo mejor un par de tiendas pues tardaría si lo haces de forma,

Secuencial un par de minutos y en paralelo a lo mejor tarda un minuto o un par de minutos yo en este,

Caso lo he lanzado en el link book one con sin gpu es decir directamente con cpu y la verdad es que,

Funciona bastante rápido quiero decir que esto para hacer un proceso que todos los días se conecta a varias,

Páginas y te extraiga la información que tú quieras pues puede ser algo realmente sencillo y fácil y como has podido,

Ver es que no te tienes que calentar la cabeza simplemente le tienes que pasar esas esas condiciones,

Y ya está de las pruebas que iba haciendo por ejemplo la de media mark es la de más complicada,

Pero al final con el prom adecuado consigues obtener los valores que tú necesitas,

La de la de app informática es más ligera pero bueno hay que darle una vueltecilla más para extraer los,

Precios como como como deberían ser bueno incluso llegaríamos a poder hacer una tabla comparativa,

Precio a precio con los resultados que a nosotros nos interesan y esto es básicamente algo muy potente,

Por lo que yo te digo porque podríamos escrapear cuatro o cinco tiendas de informática y no solamente,

Escrapearla sino que en un momento determinado decirle si en un si encuentras un precio por debajo de por,

Ejemplo para el lenovo zimpat x1 carbón por debajo de mil euros mándame un mensaje a telegram que lo,

Compro ya con es con scrapping clásico el problema que tienes es que vas a tener que hacer un scrapper,

Por cada una de las páginas web como te decía los selectores de la tienda el tiempo de desarrollo que,

Cada vez que hacen cualquier cambio se se rompe tienes que estar manteniéndolo constantemente en fin,

Que tienes aquí una serie de inconvenientes que con la ía los vas a resolver todos y que utilizando,

Básicamente estas herramientas pues lo tienes mucho mejor y luego nos quedaría la parte de la,

Automatización es decir utilizar un vigilante de precios que es lo que vengo contándote desde el,

Principio por ejemplo un vigilante de precios lo que se haría es tú le pasas una página web le pasas,

El precio máximo le pasas un prompt el modelo y el número de elementos que quieres de manera que,

Solamente te importa aquellos productos lo va guardando en una caché y llegado el momento si el,

Precio baja de los 600 por ejemplo lo que hace es alertarte y si no no hace nada también te permite,

Filtrar por el modelo te permite comparar con la última ejecución y reportar los cambios te permite,

Hacer notificaciones de tipo push o notificaciones de tipo telegram si tienes una serie de ventajas,

Para hacer este tipo de cosas y estar siempre a la última realmente funciona y es muy sencillito ya,

Te digo que las notas del episodio dejaré un enlace para que lo puedas aprovechar y de nuevo estamos en,

Las mismas dos tiendas o n tiendas un solo comando te dicen los productos que están por debajo de un,

Determinado precio y es muy sencillo todo esto lo puedes hacer y lo puedes montar de una manera,

Relativamente sencilla con iconos con en fin que tienes toda una serie de ventajas para poder,

Aprovecharlo como tienes varias páginas web puedes hacer un snapshot de cada una de las descargas que,

Te vayas haciendo si haces una descarga de media marco de app informática o de la marca que tú quieras,

Simplemente vas a tener ahí esa información y cuando se llegue al precio que tú quieres te va a,

Avisar en casos de uso bueno tracking de ofertas rebajas por el black friday stock de componentes,

Noticias de inteligencia artificial comparativas semanales precios objetivos tienes un vasto mundo,

Al que enfrentarte y luego aprovechando los timers de existen desde los que te hablé hace algunos,

Episodios puedes montarte todo esto de una manera relativamente sencilla no solamente aquí sino,

También te lo pueden montar en un en un vps para que esté funcionando continuamente o en una en una,

Máquina que tengas en casa brutal y esto le puedes decir que cada seis horas te haga la monitorización,

Para que en un momento determinado te saque los resultados y poco más esto es un poco lo que quería,

Contarte en este episodio hay algunas mejoras futuras como puede ser por ejemplo,

Utilizar directamente gpu para todo este tipo de cosas esto representaba un poquito de dinero,

Utilizar play rat o sea utilizar en lugar de este tipo de búsquedas búsquedas con navegadores que puedes,

Obtener resultados bastante más interesantes en el caso de problemas cuando tienes o cuando te intentas,

Entrar en una página como pc componentes que detectan el user alien pues puedes hacer rotación de user alien,

Rotación rotación de proxys rotación de de ip es puedes hacer todo tipo de operaciones para todo esto,

Y luego aparte de esto puedes ir mejorando los scripts para obtener el resultado que tú quieras y que te,

Notifique exactamente donde tú quieras y como te digo esto es un poco lo que quería contarte en este,

Episodio la verdad es que está súper interesante de hecho estoy preparando un tutorial para hacer,

Scrapping con inteligencia artificial pero bueno esta es simplemente un caramelito para que pienses,

Todas las posibilidades que tienes ahora así que nada espero que te haya gustado este episodio que,

Lo hayas disfrutado tanto como lo he disfrutado yo recordarte que una valoración en ebooks en apple,

Podcast en spotify en todos estos sitios me vienen fantásticos para dar a conocer este proyecto y que más,

Gente pueda utilizarlo recordarte que este es un podcast de la red de podcast de sospechosos habituales,

Donde puedes encontrar fantásticos y maravillosos podcast puedes participar en esa red entrando en,

Win tablet info y de la misma manera si quieres participar en el grupo de atareado con Linux simplemente,

Tienes que buscar atareado con Linux en telegram y allí nos vas a encontrar hablando de modelos de,

Inteligencia scrapping hermes Linux open source Docker y todo este tipo de cosas que tanto nos gustan y,

Poco más que decirte recordarte que la vida son dos días y uno ya ha pasado así que disfruta como si no hubiera,

Mañana y si puede ser con Linux y en este caso con el scrapping con inteligencia artificial mejor que,

Mejor un saludo y nos escuchamos el próximo jueves hasta luego.

Deja una respuesta