Sitemap 与 URL 发现：找出任意网站每一个 URL，每 1,000 sitemap $1

解析 robots.txt、sitemap.xml 和嵌套 sitemap 索引以发现任意网站上每一个已发布 URL。返回每个 URL 及其最后修改日期、变更频率和优先级。支持 gzip sitemap 和 sitemap 索引链。为批量而生：输入域名列表，返回每个域名的完整 URL 清单。适用于 SEO 审计、内容监控、竞争情报和爬取前 URL 发现。

您能获得什么

• URL 清单：来自 sitemap.xml 和嵌套 sitemap 索引的每个
• 每 URL 元数据：lastmod、changefreq、priority、image_count、video_count
• Sitemap 来源：sitemap_url、sitemap_type（urlset/sitemapindex）、is_gzipped
• robots.txt：声明的 sitemap、允许/禁止路径、crawl_delay
• 聚合：total_urls、last_modified_max、scraped_at

主要使用场景

• SEO 审计。对比已声明 URL 和已爬 URL，发现索引差距
• 内容监控。跨时间 diff sitemap 以检测新增、修改或删除的页面
• 竞争情报。通过解析竞争对手的 sitemap 链绘制其完整内容足迹
• 爬取前 URL 发现。将 URL 列表交给下游爬虫进行定向抓取
• 迁移 QA。验证旧 sitemap 中每个 URL 在改版后正确重定向

API 示例

# 通过 Apify API 启动运行
curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~sitemap-url-discovery/runs?token=YOUR_TOKEN" \
 -H "Content-Type: application/json" \
 -d '{
 "domains": [
 "https://example.com",
 "https://competitor.com",
 "https://news-site.com"
 ],
 "maxUrlsPerSite": 10000,
 "followSitemapIndexes": true,
 "parseRobotsTxt": true
 }'

# 或通过 MCP 与 AI 代理配合使用：
# https://mcp.apify.com?tools=santamaria-automations/sitemap-url-discovery

集成

• n8n、Make、Zapier：通过 Webhook 触发运行并处理记录
• AI 代理 (MCP)：Claude Desktop、Cursor、VS Code、LangChain、LlamaIndex
• Python、Node.js：使用 Apify SDK 进行编程访问
• Google Sheets、Airtable：批量输入，结构化数据输出

输出字段

相关 Actor

• HTML to Markdown: 将发现的 URL 送入批量 markdown 提取器
• SEO Metadata Extractor: 从每个发现的 URL 提取 SEO 元数据
• Broken Link Checker: 验证 sitemap 中每个 URL 返回 200

直接在 Apify 上运行此 actor（无需代码）

点击上方 在 Apify 上打开，在浏览器中运行 sitemap-url-discovery — 无需代码，无需安装。在 Apify 控制台，您可以获得：

• 一键测试 — 填写输入表单，或将上面的 JSON 示例粘贴到 JSON 编辑器 选项卡，然后点击 Start。
• 实时输出 — 观看行数据流入交互式 Output 表格，或切换到原始 JSON / Log 视图。
• 任意格式导出 — 一键下载数据集为 JSON、CSV、XML、Excel、HTML 表格、RSS 或 JSONL。
• 计划任务 — 每日、每周、每小时或自定义 cron 运行此 actor。Apify 处理时间调度并存储每次数据集运行。
• 集成与 Webhook — 成功/失败时触发 webhook，或从 Actions 选项卡连接 Zapier、n8n、Make、Airbyte、Google Sheets、Slack、S3、Postgres 等。
• 透明成本 — 在花一分钱之前查看您的 每月 5 美元免费额度 的确切用量。

获取您的 Apify API 令牌

要从自己的代码运行此 actor，您需要一个 Apify API 令牌。大约一分钟完成：

1. 免费注册 Apify 账户（Google、GitHub 或电子邮件）。
2. 前往 设置 → 集成 → API 令牌。
3. 点击 创建新 API 令牌。复制并妥善保存。

免费额度：Apify 每月为您的账户提供 5 美元平台使用额度，无需信用卡。足以有意义地测试任何 actor — 按典型 scraper 每条结果 0.001 美元计算，每月大约 5,000 条免费结果。

从代码调用

通过 Apify REST API 从任何语言运行此 actor。将 YOUR_TOKEN 替换为您的 API 令牌，并根据需要调整输入 JSON。

curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~sitemap-url-discovery/run-sync-get-dataset-items?token=YOUR_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{}'

// npm install apify-client
import { ApifyClient } from 'apify-client';

const client = new ApifyClient({ token: 'YOUR_TOKEN' });
const run = await client.actor('santamaria-automations/sitemap-url-discovery').call({});
const { items } = await client.dataset(run.defaultDatasetId).listItems();
console.log(items);

# pip install apify-client
from apify_client import ApifyClient

client = ApifyClient('YOUR_TOKEN')
run = client.actor('santamaria-automations/sitemap-url-discovery').call(run_input={})
items = list(client.dataset(run['defaultDatasetId']).iterate_items())
print(items)

// dotnet add package Apify.Client
using Apify.Client;

var client = new ApifyClient("YOUR_TOKEN");
var run = await client.Actor("santamaria-automations/sitemap-url-discovery").CallAsync(new { });
var items = await client.Dataset(run.DefaultDatasetId).ListItemsAsync();

// Maven: com.apify:apify-client
import com.apify.client.ApifyClient;

ApifyClient client = new ApifyClient("YOUR_TOKEN");
ActorRun run = client.actor("santamaria-automations/sitemap-url-discovery").call(Map.of());
List<Map<String,Object>> items = client.dataset(run.getDefaultDatasetId()).listItems();

与 AI 代理配合使用 (MCP)

此 actor 可在 Apify MCP 服务器上使用，因此您可以从任何兼容 MCP 的 AI 客户端驱动它 — Claude Desktop、Claude.ai、Cursor、VS Code、LangChain、LlamaIndex 或自定义 agent — 无需编写代码。

https://mcp.apify.com?tools=santamaria-automations/sitemap-url-discovery

连接后的示例提示：

"使用 sitemap-url-discovery 运行一次 scrape，并将结果以表格形式返回给我。"

支持动态工具发现的客户端（Claude.ai、VS Code）会通过 add-actor 自动接收完整的输入 schema。

与无代码平台配合使用

从您喜欢的自动化工具触发此 actor。下面的每个平台都可以点几下就调用 Apify API — 无需代码。