抓取Hacker News -- 资讯、职位、评论与用户

从Y Combinator的Hacker News提取结构化数据。抓取热门资讯、最新资讯、招聘信息、Ask HN讨论、Show HN项目、评论和用户资料。纯HTTP -- 无需Chrome，无需Playwright。

可抓取的数据

• 热门资讯 -- 标题、URL、评分、作者、评论数
• 招聘信息 -- 来自每月"Who is Hiring"帖子的YC创业公司招聘
• 评论 -- 包含嵌套和作者信息的完整评论线程
• 用户资料 -- karma值、注册日期、简介
• Ask HN / Show HN -- 社区提问和项目展示
• 搜索 -- 跨所有HN内容的全文搜索

主要用例

• 技术趋势监控 -- 追踪技术社区正在讨论的话题
• 创业公司招聘数据 -- 抓取YC创业公司招聘信息进行市场情报分析
• 情绪分析 -- 分析社区对产品发布或技术新闻的反应
• 内容研究 -- 发现技术博客的热门内容主题
• 竞争情报 -- 监控您的公司或竞争对手的提及

API示例

# 通过Apify API启动一次运行
curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~ycombinator-scraper/runs?token=YOUR_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "mode": "top",
    "maxResults": 100,
    "includeComments": true
  }'

# 或通过MCP与AI代理一起使用：
# https://mcp.apify.com?tools=santamaria-automations/ycombinator-scraper

集成

• n8n / Make / Zapier -- 触发运行并通过Webhook处理结果
• AI代理 (MCP) -- Claude Desktop、Cursor、VS Code、LangChain、LlamaIndex
• Python / Node.js -- 通过Apify SDK进行编程访问
• Google Sheets / Airtable -- 通过Apify集成导出

对比

输出字段