Sitemap et découverte d'URL : trouver toutes les URL de tout site, 1$ pour 1 000 sitemaps

Parsez robots.txt, sitemap.xml et index de sitemaps imbriqués pour découvrir chaque URL publiée sur tout site. Retourne chaque URL avec date de dernière modification, fréquence de changement et priorité. Supporte sitemaps gzippés et chaînes d'index. Construit pour le bulk : liste de domaines en entrée, inventaire complet d'URLs pour chacun en sortie. Idéal pour audits SEO, surveillance de contenu, intelligence concurrentielle et découverte d'URL avant crawl.

Ce que vous obtenez

• Inventaire URL : chaque de sitemap.xml et index imbriqués
• Métadonnées par URL : lastmod, changefreq, priority, image_count, video_count
• Source du sitemap : sitemap_url, sitemap_type (urlset / sitemapindex), is_gzipped
• robots.txt : sitemaps déclarés, chemins autorisés/interdits, crawl_delay
• Agrégats : total_urls, last_modified_max, scraped_at

Cas d'usage principaux

• Audits SEO. Comparer URLs déclarées et URLs crawlées pour repérer des lacunes d'indexation
• Surveillance de contenu. Diffrer les sitemaps dans le temps pour détecter pages nouvelles, modifiées ou supprimées
• Intelligence concurrentielle. Cartographier l'empreinte de contenu complète d'un concurrent en parsant sa chaîne de sitemaps
• Découverte d'URL avant crawl. Passer la liste à un crawler aval pour un scraping ciblé
• QA de migration. Vérifier que chaque URL de l'ancien sitemap redirige correctement après relancement

Exemple d'API

# Lancer une exécution via l'API Apify
curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~sitemap-url-discovery/runs?token=YOUR_TOKEN" \
 -H "Content-Type: application/json" \
 -d '{
 "domains": [
 "https://example.com",
 "https://competitor.com",
 "https://news-site.com"
 ],
 "maxUrlsPerSite": 10000,
 "followSitemapIndexes": true,
 "parseRobotsTxt": true
 }'

# Ou utiliser avec des agents IA via MCP :
# https://mcp.apify.com?tools=santamaria-automations/sitemap-url-discovery

Intégrations

• n8n, Make, Zapier : déclencher des exécutions et traiter les enregistrements via webhook
• Agents IA (MCP) : Claude Desktop, Cursor, VS Code, LangChain, LlamaIndex
• Python, Node.js : SDK Apify pour l'accès programmatique
• Google Sheets, Airtable : entrées en masse, données structurées en sortie

Champs de sortie

Acteurs associés

• HTML to Markdown: envoyer les URLs découvertes vers un extracteur Markdown en masse
• SEO Metadata Extractor: extraire métadonnées SEO de chaque URL découverte
• Broken Link Checker: valider que chaque URL du sitemap renvoie 200

Exécutez cet actor directement sur Apify (sans code)

Cliquez sur Ouvrir sur Apify ci-dessus pour lancer sitemap-url-discovery dans votre navigateur – sans code, sans installation. Dans la console Apify, vous obtenez :

• Test en un clic – remplissez le formulaire d'entrée ou collez l'exemple JSON ci-dessus dans l'onglet Éditeur JSON, puis cliquez sur Start.
• Sortie en direct – regardez les lignes défiler dans un tableau Output interactif, ou basculez vers la vue JSON / Log brute.
• Exportez dans n'importe quel format – téléchargez le dataset en un clic au format JSON, CSV, XML, Excel, tableau HTML, RSS ou JSONL.
• Planifications – lancez cet actor quotidiennement, hebdomadairement, toutes les heures ou avec un cron personnalisé. Apify gère le timing et stocke chaque dataset.
• Intégrations & webhooks – déclenchez un webhook en cas de succès/échec, ou connectez Zapier, n8n, Make, Airbyte, Google Sheets, Slack, S3, Postgres et plus depuis l'onglet Actions.
• Coûts transparents – suivez l'usage exact face à votre quota gratuit de 5$/mois avant de dépenser un centime.

Obtenez votre jeton API Apify

Pour lancer cet actor depuis votre propre code, il vous faut un jeton API Apify. Environ une minute :

1. Inscrivez-vous gratuitement à Apify (Google, GitHub ou e-mail).
2. Allez dans Paramètres → Intégrations → Jetons API.
3. Cliquez sur Créer un nouveau jeton API. Copiez et gardez-le secret.

Quota gratuit : Apify crédite votre compte de 5$ d'usage plateforme par mois, sans carte bancaire. Assez pour tester n'importe quel actor — à 0,001$ par résultat, c'est environ 5 000 résultats gratuits chaque mois.

Appeler depuis votre code

Lancez cet actor depuis n'importe quel langage via l'API REST Apify. Remplacez YOUR_TOKEN par votre jeton API et adaptez le JSON d'entrée.

curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~sitemap-url-discovery/run-sync-get-dataset-items?token=YOUR_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{}'

// npm install apify-client
import { ApifyClient } from 'apify-client';

const client = new ApifyClient({ token: 'YOUR_TOKEN' });
const run = await client.actor('santamaria-automations/sitemap-url-discovery').call({});
const { items } = await client.dataset(run.defaultDatasetId).listItems();
console.log(items);

# pip install apify-client
from apify_client import ApifyClient

client = ApifyClient('YOUR_TOKEN')
run = client.actor('santamaria-automations/sitemap-url-discovery').call(run_input={})
items = list(client.dataset(run['defaultDatasetId']).iterate_items())
print(items)

// dotnet add package Apify.Client
using Apify.Client;

var client = new ApifyClient("YOUR_TOKEN");
var run = await client.Actor("santamaria-automations/sitemap-url-discovery").CallAsync(new { });
var items = await client.Dataset(run.DefaultDatasetId).ListItemsAsync();

// Maven: com.apify:apify-client
import com.apify.client.ApifyClient;

ApifyClient client = new ApifyClient("YOUR_TOKEN");
ActorRun run = client.actor("santamaria-automations/sitemap-url-discovery").call(Map.of());
List<Map<String,Object>> items = client.dataset(run.getDefaultDatasetId()).listItems();

Utiliser avec des agents IA (MCP)

Cet actor est disponible sur le serveur MCP Apify, vous pouvez donc le piloter depuis n'importe quel client IA compatible MCP – Claude Desktop, Claude.ai, Cursor, VS Code, LangChain, LlamaIndex ou un agent maison – sans écrire de code.

https://mcp.apify.com?tools=santamaria-automations/sitemap-url-discovery

Exemple de prompt une fois connecté :

"Utilise sitemap-url-discovery pour lancer un scrape et donne-moi les résultats sous forme de tableau."

Les clients avec découverte dynamique des outils (Claude.ai, VS Code) reçoivent le schéma d'entrée complet automatiquement via add-actor.

Utiliser avec des plateformes no-code

Déclenchez cet actor depuis votre outil d'automatisation. Toutes les plateformes ci-dessous peuvent appeler l'API Apify en quelques clics — sans code.