Website Content Crawler: Sauberes Markdown für KI- und RAG-Pipelines

Sauberes Markdown und Klartext aus jeder Website extrahieren, optimiert für KI-Aufnahme, RAG-Pipelines und LLM-Kontextfenster. Readability-Style Hauptinhaltsextraktion entfernt Navigation, Footer, Sidebar und Anzeigen, sodass Ihre KI nur den relevanten Inhalt erhält. Flat Fetch (Tiefe=0) für URL-Listen oder ganze Sites bis Tiefe 5 crawlen. Bis zu 20 parallele Worker.

Was Sie pro Seite erhalten

• Sauberes Markdown: bis zu 50.000 Zeichen mit erhaltenen Überschriften, Listen, Links und Codeblöcken
• Klartext: bis zu 10.000 Zeichen, gesamtes HTML entfernt, fertig für Embeddings
• Seitenmetadaten: URL, Titel (og:title oder HTML-Titel), Meta-Description, Wortanzahl
• Inhaltstyp-Erkennung: article, blog, documentation oder generic, nützlich fürs RAG-Routing
• Crawl-Kontext: Tiefe, Start-URL, gefundene interne Links, HTTP-Statuscode, scraped_at Zeitstempel

Hauptanwendungsfälle

• RAG-Wissensbasen. Unternehmensdokumentationen crawlen und sauberes Markdown in Vector Stores einspeisen
• LLM-Grounding. Agenten mit aktuellen Inhalten aus Blogs, Nachrichten und Produktdokumentation versorgen
• KI-Zusammenfassungs-Pipelines. Artikeltext für Batch-Zusammenfassung oder Themen-Clustering extrahieren
• Wettbewerbs-Content-Analyse. Wettbewerber-Blogs und Produktseiten für strukturierte Analyse crawlen
• Offline-Lektüre. Webseiten en masse zu Markdown konvertieren für Archiv oder Static-Site-Rebuilds
• ML-Trainingsdaten. Saubere Textkorpora aus einer kuratierten Liste autoritativer Quellen aufbauen

API-Beispiel

# Liste an Dokumentationsseiten direkt abrufen (kein Crawling)
curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~website-content-crawler/runs?token=YOUR_TOKEN" \
 -H "Content-Type: application/json" \
 -d '{
 "startUrls": [
 "https://docs.example.com/api/overview",
 "https://docs.example.com/api/authentication"
 ],
 "maxDepth": 0,
 "extractMainContent": true
 }'

# Oder mit KI-Agenten via MCP nutzen:
# https://mcp.apify.com?tools=santamaria-automations/website-content-crawler

Integrationen

• n8n, Make, Zapier: Crawls auslösen und Markdown in Ihre Vector-DB pushen
• KI-Agenten (MCP): Claude Desktop, Cursor, VS Code, LangChain, LlamaIndex
• Python, Node.js: Apify SDK für programmatischen Zugriff
• Pinecone, Weaviate, Qdrant: Markdown direkt in Ihre Embedding-Pipeline leiten

Output-Felder

Direkt auf Apify ausführen (kein Code)

Klicken Sie oben auf Auf Apify öffnen, um website-content-crawler im Browser auszuführen – kein Code, keine Installation. In der Apify-Konsole erhalten Sie:

• Test mit einem Klick – füllen Sie das Eingabeformular aus oder fügen Sie das obige JSON-Beispiel in den JSON-Editor ein und klicken Sie auf Start.
• Live-Ausgabe – sehen Sie zu, wie Zeilen in eine interaktive Output-Tabelle einfließen, oder wechseln Sie zur rohen JSON- / Log-Ansicht.
• Export in jedem Format – Datensatz mit einem Klick als JSON, CSV, XML, Excel, HTML-Tabelle, RSS oder JSONL herunterladen.
• Zeitpläne – Actor täglich, wöchentlich, stündlich oder mit benutzerdefiniertem Cron ausführen. Apify übernimmt das Timing und speichert jeden Datensatz-Lauf.
• Integrationen & Webhooks – Webhook bei Erfolg/Fehler auslösen oder mit Zapier, n8n, Make, Airbyte, Google Sheets, Slack, S3, Postgres u.v.m. aus dem Actions-Tab verbinden.
• Transparente Kosten – exakte Nutzung im Rahmen Ihres Gratiskontingents von 5$/Monat sehen, bevor Sie etwas ausgeben.

Ihren Apify API-Token erhalten

Um diesen Actor aus Ihrem eigenen Code auszuführen, benötigen Sie einen Apify API-Token. In etwa einer Minute erledigt:

1. Kostenlos bei Apify registrieren (Google, GitHub oder E-Mail).
2. Gehen Sie zu Einstellungen → Integrationen → API-Tokens.
3. Klicken Sie auf Neuen API-Token erstellen. Kopieren und geheim halten.

Gratiskontingent: Apify schreibt Ihrem Konto 5$ Plattformnutzung pro Monat gut, keine Kreditkarte erforderlich. Genug, um jeden Actor sinnvoll zu testen — bei 0,001$ pro Ergebnis sind das etwa 5.000 Ergebnisse gratis pro Monat.

Aus Code aufrufen

Führen Sie diesen Actor aus jeder Sprache über die Apify-REST-API aus. Ersetzen Sie YOUR_TOKEN durch Ihren API-Token und passen Sie das JSON-Input an.

curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~website-content-crawler/run-sync-get-dataset-items?token=YOUR_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{}'

// npm install apify-client
import { ApifyClient } from 'apify-client';

const client = new ApifyClient({ token: 'YOUR_TOKEN' });
const run = await client.actor('santamaria-automations/website-content-crawler').call({});
const { items } = await client.dataset(run.defaultDatasetId).listItems();
console.log(items);

# pip install apify-client
from apify_client import ApifyClient

client = ApifyClient('YOUR_TOKEN')
run = client.actor('santamaria-automations/website-content-crawler').call(run_input={})
items = list(client.dataset(run['defaultDatasetId']).iterate_items())
print(items)

// dotnet add package Apify.Client
using Apify.Client;

var client = new ApifyClient("YOUR_TOKEN");
var run = await client.Actor("santamaria-automations/website-content-crawler").CallAsync(new { });
var items = await client.Dataset(run.DefaultDatasetId).ListItemsAsync();

// Maven: com.apify:apify-client
import com.apify.client.ApifyClient;

ApifyClient client = new ApifyClient("YOUR_TOKEN");
ActorRun run = client.actor("santamaria-automations/website-content-crawler").call(Map.of());
List<Map<String,Object>> items = client.dataset(run.getDefaultDatasetId()).listItems();

Mit KI-Agenten verwenden (MCP)

Dieser Actor ist auf dem Apify MCP-Server verfügbar, sodass Sie ihn von jedem MCP-kompatiblen KI-Client aus steuern können – Claude Desktop, Claude.ai, Cursor, VS Code, LangChain, LlamaIndex oder einem eigenen Agent – ohne Code zu schreiben.

https://mcp.apify.com?tools=santamaria-automations/website-content-crawler

Beispiel-Prompt nach Verbindung:

"Verwende website-content-crawler, um einen Scrape durchzuführen, und liefere mir die Ergebnisse als Tabelle."

Clients mit dynamischer Tool-Discovery (Claude.ai, VS Code) erhalten das vollständige Input-Schema automatisch via add-actor.

Mit No-Code-Plattformen verwenden

Triggern Sie diesen Actor aus Ihrem Automatisierungstool. Alle unten aufgeführten Plattformen können die Apify-API in wenigen Klicks aufrufen — kein Code erforderlich.

Verwandte Actors

• HTML to Markdown: Einzelseiten-HTML-Konvertierung ohne Crawling
• Website Email Scraper: gleiche Crawl-Engine, Kontaktdaten-Output
• Sitemap URL Discovery: Start-URLs aus robots.txt und Sitemap-Indizes liefern