网站内容爬虫：面向 AI 与 RAG 管线的纯净 Markdown

从任意网站提取纯净 Markdown 与纯文本，针对 AI 摄取、RAG 管线与 LLM 上下文窗口优化。Readability 风格主体内容提取去除导航、页脚、侧栏与广告，让您的 AI 只获得有价值的内容。Flat fetch（深度=0）适用于 URL 列表，或最大深度 5 整站爬取。最多 20 个并行 worker。

每页可获得

• 纯净 Markdown：最多 50,000 字符，保留标题、列表、链接与代码块
• 纯文本：最多 10,000 字符，去除全部 HTML，可直接用于嵌入
• 页面元数据：URL、标题（og:title 或 HTML title）、meta description、字数
• 内容类型检测：article、blog、documentation 或 generic，用于 RAG 路由
• 爬取上下文：深度、起始 URL、发现的内部链接、HTTP 状态码、scraped_at 时间戳

主要用例

• RAG 知识库。爬取公司文档站点并将纯净 Markdown 注入向量库
• LLM 接地。用博客、新闻和产品文档的最新内容为智能体提供事实依据
• AI 摘要管线。批量提取文章文本用于摘要或主题聚类
• 竞品内容分析。爬取竞品博客和产品页进行结构化分析
• 离线阅读。批量将网页转换为 Markdown 用于归档或静态站点重建
• ML 训练数据。从一份权威来源清单构建纯净文本语料

API 示例

# 直接抓取一组文档页（不爬取）
curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~website-content-crawler/runs?token=YOUR_TOKEN" \
 -H "Content-Type: application/json" \
 -d '{
 "startUrls": [
 "https://docs.example.com/api/overview",
 "https://docs.example.com/api/authentication"
 ],
 "maxDepth": 0,
 "extractMainContent": true
 }'

# 或通过 MCP 与 AI 智能体一起使用：
# https://mcp.apify.com?tools=santamaria-automations/website-content-crawler

集成

• n8n、Make、Zapier：触发爬取并将 Markdown 推送到您的向量数据库
• AI 智能体（MCP）：Claude Desktop、Cursor、VS Code、LangChain、LlamaIndex
• Python、Node.js：Apify SDK 用于程序化访问
• Pinecone、Weaviate、Qdrant：将 Markdown 直接接入嵌入管线

输出字段

相关 Actor

• HTML to Markdown：无爬取的单页 HTML 转换
• 网站邮箱抓取器：相同爬取引擎，输出为联系人信息
• Sitemap URL Discovery：从 robots.txt 与 sitemap 索引提供起始 URL

直接在 Apify 上运行此 actor（无需代码）

点击上方 在 Apify 上打开，在浏览器中运行 website-content-crawler — 无需代码，无需安装。在 Apify 控制台，您可以获得：

• 一键测试 — 填写输入表单，或将上面的 JSON 示例粘贴到 JSON 编辑器 选项卡，然后点击 Start。
• 实时输出 — 观看行数据流入交互式 Output 表格，或切换到原始 JSON / Log 视图。
• 任意格式导出 — 一键下载数据集为 JSON、CSV、XML、Excel、HTML 表格、RSS 或 JSONL。
• 计划任务 — 每日、每周、每小时或自定义 cron 运行此 actor。Apify 处理时间调度并存储每次数据集运行。
• 集成与 Webhook — 成功/失败时触发 webhook，或从 Actions 选项卡连接 Zapier、n8n、Make、Airbyte、Google Sheets、Slack、S3、Postgres 等。
• 透明成本 — 在花一分钱之前查看您的 每月 5 美元免费额度 的确切用量。

获取您的 Apify API 令牌

要从自己的代码运行此 actor，您需要一个 Apify API 令牌。大约一分钟完成：

1. 免费注册 Apify 账户（Google、GitHub 或电子邮件）。
2. 前往 设置 → 集成 → API 令牌。
3. 点击 创建新 API 令牌。复制并妥善保存。

免费额度：Apify 每月为您的账户提供 5 美元平台使用额度，无需信用卡。足以有意义地测试任何 actor — 按典型 scraper 每条结果 0.001 美元计算，每月大约 5,000 条免费结果。

从代码调用

通过 Apify REST API 从任何语言运行此 actor。将 YOUR_TOKEN 替换为您的 API 令牌，并根据需要调整输入 JSON。

curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~website-content-crawler/run-sync-get-dataset-items?token=YOUR_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{}'

// npm install apify-client
import { ApifyClient } from 'apify-client';

const client = new ApifyClient({ token: 'YOUR_TOKEN' });
const run = await client.actor('santamaria-automations/website-content-crawler').call({});
const { items } = await client.dataset(run.defaultDatasetId).listItems();
console.log(items);

# pip install apify-client
from apify_client import ApifyClient

client = ApifyClient('YOUR_TOKEN')
run = client.actor('santamaria-automations/website-content-crawler').call(run_input={})
items = list(client.dataset(run['defaultDatasetId']).iterate_items())
print(items)

// dotnet add package Apify.Client
using Apify.Client;

var client = new ApifyClient("YOUR_TOKEN");
var run = await client.Actor("santamaria-automations/website-content-crawler").CallAsync(new { });
var items = await client.Dataset(run.DefaultDatasetId).ListItemsAsync();

// Maven: com.apify:apify-client
import com.apify.client.ApifyClient;

ApifyClient client = new ApifyClient("YOUR_TOKEN");
ActorRun run = client.actor("santamaria-automations/website-content-crawler").call(Map.of());
List<Map<String,Object>> items = client.dataset(run.getDefaultDatasetId()).listItems();

与 AI 代理配合使用 (MCP)

此 actor 可在 Apify MCP 服务器上使用，因此您可以从任何兼容 MCP 的 AI 客户端驱动它 — Claude Desktop、Claude.ai、Cursor、VS Code、LangChain、LlamaIndex 或自定义 agent — 无需编写代码。

https://mcp.apify.com?tools=santamaria-automations/website-content-crawler

连接后的示例提示：

"使用 website-content-crawler 运行一次 scrape，并将结果以表格形式返回给我。"

支持动态工具发现的客户端（Claude.ai、VS Code）会通过 add-actor 自动接收完整的输入 schema。

与无代码平台配合使用

从您喜欢的自动化工具触发此 actor。下面的每个平台都可以点几下就调用 Apify API — 无需代码。