Website Content Crawler : Markdown propre pour pipelines IA et RAG

Extraire un Markdown propre et du texte brut de tout site web, optimisé pour l'ingestion IA, les pipelines RAG et les fenêtres de contexte LLM. L'extraction du contenu principal façon Readability supprime navigation, footers, sidebars et publicités, pour que votre IA ne reçoive que le contenu utile. Mode flat fetch (profondeur=0) pour listes d'URL ou crawl complet jusqu'à profondeur 5. Jusqu'à 20 workers parallèles.

Ce que vous obtenez par page

• Markdown propre : jusqu'à 50 000 caractères avec titres, listes, liens et blocs de code préservés
• Texte brut : jusqu'à 10 000 caractères, tout HTML supprimé, prêt pour embeddings
• Métadonnées de page : URL, titre (og:title ou title HTML), meta description, nombre de mots
• Détection du type de contenu : article, blog, documentation ou generic, utile pour le routage RAG
• Contexte de crawl : profondeur, URL de départ, liens internes découverts, code HTTP, scraped_at

Cas d'usage principaux

• Bases de connaissances RAG. Crawler les sites de documentation et injecter le Markdown propre dans les vector stores
• Grounding LLM. Alimenter les agents en contenu à jour depuis blogs, actualités et docs produits
• Pipelines de résumé IA. Extraire le texte d'articles pour résumé en lot ou clustering thématique
• Analyse de contenu concurrent. Crawler les blogs et pages produit concurrents pour analyse structurée
• Lecture hors ligne. Convertir en lot les pages web en Markdown pour archivage ou rebuild statique
• Données d'entraînement ML. Constituer des corpus propres depuis une liste curée de sources autorisées

Exemple API

# Récupérer une liste de pages de documentation (sans crawl)
curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~website-content-crawler/runs?token=YOUR_TOKEN" \
 -H "Content-Type: application/json" \
 -d '{
 "startUrls": [
 "https://docs.example.com/api/overview",
 "https://docs.example.com/api/authentication"
 ],
 "maxDepth": 0,
 "extractMainContent": true
 }'

# Ou utiliser avec agents IA via MCP :
# https://mcp.apify.com?tools=santamaria-automations/website-content-crawler

Intégrations

• n8n, Make, Zapier : déclencher les crawls et pousser le Markdown vers votre base vectorielle
• Agents IA (MCP) : Claude Desktop, Cursor, VS Code, LangChain, LlamaIndex
• Python, Node.js : SDK Apify pour accès programmatique
• Pinecone, Weaviate, Qdrant : alimenter directement votre pipeline d'embeddings

Champs de sortie

Actors associés

• HTML to Markdown : conversion HTML d'une seule page sans crawl
• Website Email Scraper : même moteur de crawl, sortie contacts
• Sitemap URL Discovery : alimente les URLs de départ depuis robots.txt et sitemap

Exécutez cet actor directement sur Apify (sans code)

Cliquez sur Ouvrir sur Apify ci-dessus pour lancer website-content-crawler dans votre navigateur – sans code, sans installation. Dans la console Apify, vous obtenez :

• Test en un clic – remplissez le formulaire d'entrée ou collez l'exemple JSON ci-dessus dans l'onglet Éditeur JSON, puis cliquez sur Start.
• Sortie en direct – regardez les lignes défiler dans un tableau Output interactif, ou basculez vers la vue JSON / Log brute.
• Exportez dans n'importe quel format – téléchargez le dataset en un clic au format JSON, CSV, XML, Excel, tableau HTML, RSS ou JSONL.
• Planifications – lancez cet actor quotidiennement, hebdomadairement, toutes les heures ou avec un cron personnalisé. Apify gère le timing et stocke chaque dataset.
• Intégrations & webhooks – déclenchez un webhook en cas de succès/échec, ou connectez Zapier, n8n, Make, Airbyte, Google Sheets, Slack, S3, Postgres et plus depuis l'onglet Actions.
• Coûts transparents – suivez l'usage exact face à votre quota gratuit de 5$/mois avant de dépenser un centime.

Obtenez votre jeton API Apify

Pour lancer cet actor depuis votre propre code, il vous faut un jeton API Apify. Environ une minute :

1. Inscrivez-vous gratuitement à Apify (Google, GitHub ou e-mail).
2. Allez dans Paramètres → Intégrations → Jetons API.
3. Cliquez sur Créer un nouveau jeton API. Copiez et gardez-le secret.

Quota gratuit : Apify crédite votre compte de 5$ d'usage plateforme par mois, sans carte bancaire. Assez pour tester n'importe quel actor — à 0,001$ par résultat, c'est environ 5 000 résultats gratuits chaque mois.

Appeler depuis votre code

Lancez cet actor depuis n'importe quel langage via l'API REST Apify. Remplacez YOUR_TOKEN par votre jeton API et adaptez le JSON d'entrée.

curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~website-content-crawler/run-sync-get-dataset-items?token=YOUR_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{}'

// npm install apify-client
import { ApifyClient } from 'apify-client';

const client = new ApifyClient({ token: 'YOUR_TOKEN' });
const run = await client.actor('santamaria-automations/website-content-crawler').call({});
const { items } = await client.dataset(run.defaultDatasetId).listItems();
console.log(items);

# pip install apify-client
from apify_client import ApifyClient

client = ApifyClient('YOUR_TOKEN')
run = client.actor('santamaria-automations/website-content-crawler').call(run_input={})
items = list(client.dataset(run['defaultDatasetId']).iterate_items())
print(items)

// dotnet add package Apify.Client
using Apify.Client;

var client = new ApifyClient("YOUR_TOKEN");
var run = await client.Actor("santamaria-automations/website-content-crawler").CallAsync(new { });
var items = await client.Dataset(run.DefaultDatasetId).ListItemsAsync();

// Maven: com.apify:apify-client
import com.apify.client.ApifyClient;

ApifyClient client = new ApifyClient("YOUR_TOKEN");
ActorRun run = client.actor("santamaria-automations/website-content-crawler").call(Map.of());
List<Map<String,Object>> items = client.dataset(run.getDefaultDatasetId()).listItems();

Utiliser avec des agents IA (MCP)

Cet actor est disponible sur le serveur MCP Apify, vous pouvez donc le piloter depuis n'importe quel client IA compatible MCP – Claude Desktop, Claude.ai, Cursor, VS Code, LangChain, LlamaIndex ou un agent maison – sans écrire de code.

https://mcp.apify.com?tools=santamaria-automations/website-content-crawler

Exemple de prompt une fois connecté :

"Utilise website-content-crawler pour lancer un scrape et donne-moi les résultats sous forme de tableau."

Les clients avec découverte dynamique des outils (Claude.ai, VS Code) reçoivent le schéma d'entrée complet automatiquement via add-actor.

Utiliser avec des plateformes no-code

Déclenchez cet actor depuis votre outil d'automatisation. Toutes les plateformes ci-dessous peuvent appeler l'API Apify en quelques clics — sans code.