Website Content Crawler: Sauberes Markdown für KI- und RAG-Pipelines

Sauberes Markdown und Klartext aus jeder Website extrahieren, optimiert für KI-Aufnahme, RAG-Pipelines und LLM-Kontextfenster. Readability-Style Hauptinhaltsextraktion entfernt Navigation, Footer, Sidebar und Anzeigen, sodass Ihre KI nur den relevanten Inhalt erhält. Flat Fetch (Tiefe=0) für URL-Listen oder ganze Sites bis Tiefe 5 crawlen. Bis zu 20 parallele Worker.

Was Sie pro Seite erhalten

• Sauberes Markdown: bis zu 50.000 Zeichen mit erhaltenen Überschriften, Listen, Links und Codeblöcken
• Klartext: bis zu 10.000 Zeichen, gesamtes HTML entfernt, fertig für Embeddings
• Seitenmetadaten: URL, Titel (og:title oder HTML-Titel), Meta-Description, Wortanzahl
• Inhaltstyp-Erkennung: article, blog, documentation oder generic, nützlich fürs RAG-Routing
• Crawl-Kontext: Tiefe, Start-URL, gefundene interne Links, HTTP-Statuscode, scraped_at Zeitstempel

Hauptanwendungsfälle

• RAG-Wissensbasen. Unternehmensdokumentationen crawlen und sauberes Markdown in Vector Stores einspeisen
• LLM-Grounding. Agenten mit aktuellen Inhalten aus Blogs, Nachrichten und Produktdokumentation versorgen
• KI-Zusammenfassungs-Pipelines. Artikeltext für Batch-Zusammenfassung oder Themen-Clustering extrahieren
• Wettbewerbs-Content-Analyse. Wettbewerber-Blogs und Produktseiten für strukturierte Analyse crawlen
• Offline-Lektüre. Webseiten en masse zu Markdown konvertieren für Archiv oder Static-Site-Rebuilds
• ML-Trainingsdaten. Saubere Textkorpora aus einer kuratierten Liste autoritativer Quellen aufbauen

API-Beispiel

# Liste an Dokumentationsseiten direkt abrufen (kein Crawling)
curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~website-content-crawler/runs?token=YOUR_TOKEN" \
 -H "Content-Type: application/json" \
 -d '{
 "startUrls": [
 "https://docs.example.com/api/overview",
 "https://docs.example.com/api/authentication"
 ],
 "maxDepth": 0,
 "extractMainContent": true
 }'

# Oder mit KI-Agenten via MCP nutzen:
# https://mcp.apify.com?tools=santamaria-automations/website-content-crawler

Integrationen

• n8n, Make, Zapier: Crawls auslösen und Markdown in Ihre Vector-DB pushen
• KI-Agenten (MCP): Claude Desktop, Cursor, VS Code, LangChain, LlamaIndex
• Python, Node.js: Apify SDK für programmatischen Zugriff
• Pinecone, Weaviate, Qdrant: Markdown direkt in Ihre Embedding-Pipeline leiten

Output-Felder

Direkt auf Apify ausführen (kein Code)

Klicken Sie oben auf Auf Apify öffnen, um website-content-crawler im Browser auszuführen – kein Code, keine Installation. In der Apify-Konsole erhalten Sie:

• Test mit einem Klick – füllen Sie das Eingabeformular aus oder fügen Sie das obige JSON-Beispiel in den JSON-Editor ein und klicken Sie auf Start.
• Live-Ausgabe – sehen Sie zu, wie Zeilen in eine interaktive Output-Tabelle einfließen, oder wechseln Sie zur rohen JSON- / Log-Ansicht.
• Export in jedem Format – Datensatz mit einem Klick als JSON, CSV, XML, Excel, HTML-Tabelle, RSS oder JSONL herunterladen.
• Zeitpläne – Actor täglich, wöchentlich, stündlich oder mit benutzerdefiniertem Cron ausführen. Apify übernimmt das Timing und speichert jeden Datensatz-Lauf.
• Integrationen & Webhooks – Webhook bei Erfolg/Fehler auslösen oder mit Zapier, n8n, Make, Airbyte, Google Sheets, Slack, S3, Postgres u.v.m. aus dem Actions-Tab verbinden.
• Transparente Kosten – exakte Nutzung im Rahmen Ihres Gratiskontingents von 5$/Monat sehen, bevor Sie etwas ausgeben.

Ihren Apify API-Token erhalten

Um diesen Actor aus Ihrem eigenen Code auszuführen, benötigen Sie einen Apify API-Token. In etwa einer Minute erledigt:

1. Kostenlos bei Apify registrieren (Google, GitHub oder E-Mail).
2. Gehen Sie zu Einstellungen → Integrationen → API-Tokens.
3. Klicken Sie auf Neuen API-Token erstellen. Kopieren und geheim halten.

Gratiskontingent: Apify schreibt Ihrem Konto 5$ Plattformnutzung pro Monat gut, keine Kreditkarte erforderlich. Genug, um jeden Actor sinnvoll zu testen. Wie viele Ergebnisse das sind, hängt vom Preis pro Ergebnis des Actors ab.

Aus Code aufrufen

Führen Sie diesen Actor aus jeder Sprache über die Apify-REST-API aus. Ersetzen Sie YOUR_TOKEN durch Ihren API-Token und passen Sie das JSON-Input an.

curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~website-content-crawler/run-sync-get-dataset-items?token=YOUR_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{}'

// npm install apify-client
import { ApifyClient } from 'apify-client';

const client = new ApifyClient({ token: 'YOUR_TOKEN' });
const run = await client.actor('santamaria-automations/website-content-crawler').call({});
const { items } = await client.dataset(run.defaultDatasetId).listItems();
console.log(items);

# pip install apify-client
from apify_client import ApifyClient

client = ApifyClient('YOUR_TOKEN')
run = client.actor('santamaria-automations/website-content-crawler').call(run_input={})
items = list(client.dataset(run['defaultDatasetId']).iterate_items())
print(items)

// dotnet add package Apify.Client
using Apify.Client;

var client = new ApifyClient("YOUR_TOKEN");
var run = await client.Actor("santamaria-automations/website-content-crawler").CallAsync(new { });
var items = await client.Dataset(run.DefaultDatasetId).ListItemsAsync();

// Maven: com.apify:apify-client
import com.apify.client.ApifyClient;

ApifyClient client = new ApifyClient("YOUR_TOKEN");
ActorRun run = client.actor("santamaria-automations/website-content-crawler").call(Map.of());
List<Map<String,Object>> items = client.dataset(run.getDefaultDatasetId()).listItems();

Mit KI-Agenten verwenden (MCP)

Dieser Actor ist auf dem Apify MCP-Server verfügbar, sodass Sie ihn von jedem MCP-kompatiblen KI-Client aus steuern können – Claude Desktop, Claude.ai, Cursor, VS Code, LangChain, LlamaIndex oder einem eigenen Agent – ohne Code zu schreiben.

https://mcp.apify.com?tools=santamaria-automations/website-content-crawler

Beispiel-Prompt nach Verbindung:

"Verwende website-content-crawler, um einen Scrape durchzuführen, und liefere mir die Ergebnisse als Tabelle."

Clients mit dynamischer Tool-Discovery (Claude.ai, VS Code) erhalten das vollständige Input-Schema automatisch via add-actor.

Mit No-Code-Plattformen verwenden

Triggern Sie diesen Actor aus Ihrem Automatisierungstool. Alle unten aufgeführten Plattformen können die Apify-API in wenigen Klicks aufrufen — kein Code erforderlich.

Verwandte Actors

• HTML to Markdown: Einzelseiten-HTML-Konvertierung ohne Crawling
• Website Email Scraper: gleiche Crawl-Engine, Kontaktdaten-Output
• Sitemap URL Discovery: Start-URLs aus robots.txt und Sitemap-Indizes liefern