AI Web Scraping Agent
Dale una URL y describe lo que quieres en una oración. Devuelve JSON validado, y es difícil usarlo contra el servidor en el que corre.
Quién tiene este problema
Convertir una página web en datos estructurados es la parte fácil. Ofrecerlo como servicio público exige impedir que el scraper apunte a direcciones internas, evitar que instrucciones escondidas en una página dirijan al modelo y asegurar que los resultados en caché de un usuario nunca lleguen a otro.
Mi papel
Aplicación web, API, validación de URL y caché aislada por usuario.
Cómo probarlo
- Abre la demo, pega una URL y describe en una oración lo que quieres. El resultado vuelve como JSON validado.
Condiciones de uso
- 5 extracciones por sesión, 10 solicitudes por minuto y 5 navegadores a la vez.
- 200 llamadas por día con la clave compartida. Con tu propia clave, ese límite no aplica.
- Un interruptor de emergencia que detiene las llamadas de pago sin un redeploy.
El acceso público tiene límites de uso para controlar los costes de los servicios de IA.
Decisiones que tomé
- Cada dirección se verifica antes de la solicitud, incluidos los dominios internacionalizados e IPv6, y se verifica de nuevo para cada recurso que carga la página, así que un dominio que cambia su DNS a mitad de la solicitud no puede llegar a una dirección interna.
- El contenido de la página se pasa al modelo como datos no confiables, aislados de las instrucciones, así que el texto de una página no puede darle órdenes al modelo.
- Usa tu propia clave con 6 proveedores (Groq, OpenAI, Anthropic, DeepSeek, Gemini y Grok). La demo pública usa una clave gratuita compartida con límites por visitante.
- La clave de caché incluye un hash de la clave de API, así que los resultados en caché nunca se comparten entre usuarios.
- El backend está en una red interna de Docker; solo la aplicación web puede llegar a él.
Límites que siguen vigentes
- Las páginas que requieren inicio de sesión quedan fuera del alcance.