Sitemap 与 URL 发现：找出任意网站每一个 URL，每 1,000 sitemap $1

解析 robots.txt、sitemap.xml 和嵌套 sitemap 索引以发现任意网站上每一个已发布 URL。返回每个 URL 及其最后修改日期、变更频率和优先级。支持 gzip sitemap 和 sitemap 索引链。为批量而生：输入域名列表，返回每个域名的完整 URL 清单。适用于 SEO 审计、内容监控、竞争情报和爬取前 URL 发现。

在 Apify 上打开 → 立即试用

价格

$0.001/sitemap

内存

128MB

覆盖

任意域名

输出字段

代理

Apify 数据中心

技术

原生 XML + gzip

您能获得什么

URL 清单：来自 sitemap.xml 和嵌套 sitemap 索引的每个
每 URL 元数据：lastmod、changefreq、priority、image_count、video_count
Sitemap 来源：sitemap_url、sitemap_type（urlset/sitemapindex）、is_gzipped
robots.txt：声明的 sitemap、允许/禁止路径、crawl_delay
聚合：total_urls、last_modified_max、scraped_at

主要使用场景

SEO 审计。对比已声明 URL 和已爬 URL，发现索引差距
内容监控。跨时间 diff sitemap 以检测新增、修改或删除的页面
竞争情报。通过解析竞争对手的 sitemap 链绘制其完整内容足迹
爬取前 URL 发现。将 URL 列表交给下游爬虫进行定向抓取
迁移 QA。验证旧 sitemap 中每个 URL 在改版后正确重定向

API 示例

# 通过 Apify API 启动运行
curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~sitemap-url-discovery/runs?token=YOUR_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "domains": [
      "https://example.com",
      "https://competitor.com",
      "https://news-site.com"
    ],
    "maxUrlsPerSite": 10000,
    "followSitemapIndexes": true,
    "parseRobotsTxt": true
  }'

# 或通过 MCP 与 AI 代理配合使用：
# https://mcp.apify.com?tools=santamaria-automations/sitemap-url-discovery

集成

n8n、Make、Zapier：通过 Webhook 触发运行并处理记录
AI 代理 (MCP)：Claude Desktop、Cursor、VS Code、LangChain、LlamaIndex
Python、Node.js：使用 Apify SDK 进行编程访问
Google Sheets、Airtable：批量输入，结构化数据输出

输出字段

字段	类型	示例
source_domain	string	example.com
sitemap_url	string	https://example.com/sitemap.xml
total_urls	integer	12,486
url	string	https://example.com/blog/post-1
lastmod	string	2026-06-10T14:00:00Z
changefreq	string	weekly
priority	number	0.8
robots_sitemaps	array	["https://example.com/sitemap.xml"]
is_gzipped	boolean	false
scraped_at	string	2026-06-13T10:15:42Z

Sitemap 与 URL 发现：找出任意网站每一个 URL，每 1,000 sitemap $1

您能获得什么

主要使用场景

API 示例

集成

输出字段

相关 Actor