Sitemap et découverte d'URL : trouver toutes les URL de tout site, 1$ pour 1 000 sitemaps

Parsez robots.txt, sitemap.xml et index de sitemaps imbriqués pour découvrir chaque URL publiée sur tout site. Retourne chaque URL avec date de dernière modification, fréquence de changement et priorité. Supporte sitemaps gzippés et chaînes d'index. Construit pour le bulk : liste de domaines en entrée, inventaire complet d'URLs pour chacun en sortie. Idéal pour audits SEO, surveillance de contenu, intelligence concurrentielle et découverte d'URL avant crawl.

Ouvrir sur Apify → Essayez maintenant

Tarif

0,001$/sitemap

RAM

128MB

Couverture

Tout domaine

Champs de sortie

Proxy

Apify datacenter

Tech

XML natif + gzip

Ce que vous obtenez

Inventaire URL : chaque de sitemap.xml et index imbriqués
Métadonnées par URL : lastmod, changefreq, priority, image_count, video_count
Source du sitemap : sitemap_url, sitemap_type (urlset / sitemapindex), is_gzipped
robots.txt : sitemaps déclarés, chemins autorisés/interdits, crawl_delay
Agrégats : total_urls, last_modified_max, scraped_at

Cas d'usage principaux

Audits SEO. Comparer URLs déclarées et URLs crawlées pour repérer des lacunes d'indexation
Surveillance de contenu. Diffrer les sitemaps dans le temps pour détecter pages nouvelles, modifiées ou supprimées
Intelligence concurrentielle. Cartographier l'empreinte de contenu complète d'un concurrent en parsant sa chaîne de sitemaps
Découverte d'URL avant crawl. Passer la liste à un crawler aval pour un scraping ciblé
QA de migration. Vérifier que chaque URL de l'ancien sitemap redirige correctement après relancement

Exemple d'API

# Lancer une exécution via l'API Apify
curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~sitemap-url-discovery/runs?token=YOUR_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "domains": [
      "https://example.com",
      "https://competitor.com",
      "https://news-site.com"
    ],
    "maxUrlsPerSite": 10000,
    "followSitemapIndexes": true,
    "parseRobotsTxt": true
  }'

# Ou utiliser avec des agents IA via MCP :
# https://mcp.apify.com?tools=santamaria-automations/sitemap-url-discovery

Intégrations

n8n, Make, Zapier : déclencher des exécutions et traiter les enregistrements via webhook
Agents IA (MCP) : Claude Desktop, Cursor, VS Code, LangChain, LlamaIndex
Python, Node.js : SDK Apify pour l'accès programmatique
Google Sheets, Airtable : entrées en masse, données structurées en sortie

Champs de sortie

Champ	Type	Exemple
source_domain	string	example.com
sitemap_url	string	https://example.com/sitemap.xml
total_urls	integer	12 486
url	string	https://example.com/blog/post-1
lastmod	string	2026-06-10T14:00:00Z
changefreq	string	weekly
priority	number	0,8
robots_sitemaps	array	["https://example.com/sitemap.xml"]
is_gzipped	boolean	false
scraped_at	string	2026-06-13T10:15:42Z

Acteurs associés

HTML to Markdown: envoyer les URLs découvertes vers un extracteur Markdown en masse
SEO Metadata Extractor: extraire métadonnées SEO de chaque URL découverte
Broken Link Checker: valider que chaque URL du sitemap renvoie 200

Ouvrir sur Apify → Essayez maintenant (version gratuite disponible)