Sitemap- und URL-Discovery: Jede URL jeder Site finden, $1 pro 1.000 Sitemaps

robots.txt, sitemap.xml und verschachtelte Sitemap-Indexe parsen, um jede veröffentlichte URL einer Website zu entdecken. Liefert jede URL mit Last-Modified-Datum, Change-Frequency und Priority. Unterstützt gzipped Sitemaps und Sitemap-Index-Ketten. Für Bulk gebaut: eine Liste von Domains rein, das vollständige URL-Inventar jeder raus. Ideal für SEO-Audits, Content-Monitoring, Competitive Intelligence und Pre-Crawl-URL-Discovery.

Was Sie erhalten

• URL-Inventar: jedes aus sitemap.xml und verschachtelten Sitemap-Indexen
• Per-URL-Metadaten: lastmod, changefreq, priority, image_count, video_count
• Sitemap-Quelle: sitemap_url, sitemap_type (urlset / sitemapindex), is_gzipped
• robots.txt: deklarierte Sitemaps, erlaubte/verbotene Pfade, crawl_delay
• Aggregate: total_urls, last_modified_max, scraped_at

Wichtige Anwendungsfälle

• SEO-Audits. Deklarierte URLs mit gecrawlten URLs vergleichen, um Indexierungslücken zu finden
• Content-Monitoring. Sitemaps über Zeit diffen, um neue, geänderte oder entfernte Seiten zu erkennen
• Competitive Intelligence. Den vollen Content-Footprint eines Wettbewerbers durch Parsen seiner Sitemap-Kette mappen
• Pre-Crawl-URL-Discovery. Die URL-Liste an einen nachgelagerten Crawler für gezieltes Scraping übergeben
• Migrations-QA. Verifizieren, dass jede URL im alten Sitemap nach einem Relaunch korrekt weiterleitet

API-Beispiel

# Einen Lauf über die Apify-API starten
curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~sitemap-url-discovery/runs?token=YOUR_TOKEN" \
 -H "Content-Type: application/json" \
 -d '{
 "domains": [
 "https://example.com",
 "https://competitor.com",
 "https://news-site.com"
 ],
 "maxUrlsPerSite": 10000,
 "followSitemapIndexes": true,
 "parseRobotsTxt": true
 }'

# Oder mit KI-Agenten via MCP verwenden:
# https://mcp.apify.com?tools=santamaria-automations/sitemap-url-discovery

Integrationen

• n8n, Make, Zapier: Läufe auslösen und Datensätze per Webhook verarbeiten
• KI-Agenten (MCP): Claude Desktop, Cursor, VS Code, LangChain, LlamaIndex
• Python, Node.js: Apify SDK für programmatischen Zugriff
• Google Sheets, Airtable: Bulk-Eingaben rein, strukturierte Daten raus

Ausgabefelder

Direkt auf Apify ausführen (kein Code)

Klicken Sie oben auf Auf Apify öffnen, um sitemap-url-discovery im Browser auszuführen – kein Code, keine Installation. In der Apify-Konsole erhalten Sie:

• Test mit einem Klick – füllen Sie das Eingabeformular aus oder fügen Sie das obige JSON-Beispiel in den JSON-Editor ein und klicken Sie auf Start.
• Live-Ausgabe – sehen Sie zu, wie Zeilen in eine interaktive Output-Tabelle einfließen, oder wechseln Sie zur rohen JSON- / Log-Ansicht.
• Export in jedem Format – Datensatz mit einem Klick als JSON, CSV, XML, Excel, HTML-Tabelle, RSS oder JSONL herunterladen.
• Zeitpläne – Actor täglich, wöchentlich, stündlich oder mit benutzerdefiniertem Cron ausführen. Apify übernimmt das Timing und speichert jeden Datensatz-Lauf.
• Integrationen & Webhooks – Webhook bei Erfolg/Fehler auslösen oder mit Zapier, n8n, Make, Airbyte, Google Sheets, Slack, S3, Postgres u.v.m. aus dem Actions-Tab verbinden.
• Transparente Kosten – exakte Nutzung im Rahmen Ihres Gratiskontingents von 5$/Monat sehen, bevor Sie etwas ausgeben.

Ihren Apify API-Token erhalten

Um diesen Actor aus Ihrem eigenen Code auszuführen, benötigen Sie einen Apify API-Token. In etwa einer Minute erledigt:

1. Kostenlos bei Apify registrieren (Google, GitHub oder E-Mail).
2. Gehen Sie zu Einstellungen → Integrationen → API-Tokens.
3. Klicken Sie auf Neuen API-Token erstellen. Kopieren und geheim halten.

Gratiskontingent: Apify schreibt Ihrem Konto 5$ Plattformnutzung pro Monat gut, keine Kreditkarte erforderlich. Genug, um jeden Actor sinnvoll zu testen — bei 0,001$ pro Ergebnis sind das etwa 5.000 Ergebnisse gratis pro Monat.

Aus Code aufrufen

Führen Sie diesen Actor aus jeder Sprache über die Apify-REST-API aus. Ersetzen Sie YOUR_TOKEN durch Ihren API-Token und passen Sie das JSON-Input an.

curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~sitemap-url-discovery/run-sync-get-dataset-items?token=YOUR_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{}'

// npm install apify-client
import { ApifyClient } from 'apify-client';

const client = new ApifyClient({ token: 'YOUR_TOKEN' });
const run = await client.actor('santamaria-automations/sitemap-url-discovery').call({});
const { items } = await client.dataset(run.defaultDatasetId).listItems();
console.log(items);

# pip install apify-client
from apify_client import ApifyClient

client = ApifyClient('YOUR_TOKEN')
run = client.actor('santamaria-automations/sitemap-url-discovery').call(run_input={})
items = list(client.dataset(run['defaultDatasetId']).iterate_items())
print(items)

// dotnet add package Apify.Client
using Apify.Client;

var client = new ApifyClient("YOUR_TOKEN");
var run = await client.Actor("santamaria-automations/sitemap-url-discovery").CallAsync(new { });
var items = await client.Dataset(run.DefaultDatasetId).ListItemsAsync();

// Maven: com.apify:apify-client
import com.apify.client.ApifyClient;

ApifyClient client = new ApifyClient("YOUR_TOKEN");
ActorRun run = client.actor("santamaria-automations/sitemap-url-discovery").call(Map.of());
List<Map<String,Object>> items = client.dataset(run.getDefaultDatasetId()).listItems();

Mit KI-Agenten verwenden (MCP)

Dieser Actor ist auf dem Apify MCP-Server verfügbar, sodass Sie ihn von jedem MCP-kompatiblen KI-Client aus steuern können – Claude Desktop, Claude.ai, Cursor, VS Code, LangChain, LlamaIndex oder einem eigenen Agent – ohne Code zu schreiben.

https://mcp.apify.com?tools=santamaria-automations/sitemap-url-discovery

Beispiel-Prompt nach Verbindung:

"Verwende sitemap-url-discovery, um einen Scrape durchzuführen, und liefere mir die Ergebnisse als Tabelle."

Clients mit dynamischer Tool-Discovery (Claude.ai, VS Code) erhalten das vollständige Input-Schema automatisch via add-actor.

Mit No-Code-Plattformen verwenden

Triggern Sie diesen Actor aus Ihrem Automatisierungstool. Alle unten aufgeführten Plattformen können die Apify-API in wenigen Klicks aufrufen — kein Code erforderlich.

Verwandte Aktoren

• HTML to Markdown: entdeckte URLs an einen Bulk-Markdown-Extractor übergeben
• SEO Metadata Extractor: SEO-Metadaten aus jeder entdeckten URL extrahieren
• Broken Link Checker: validieren, dass jede URL im Sitemap 200 liefert