Hacker News scrapen -- Stories, Jobs, Kommentare & Nutzer

Strukturierte Daten von Y Combinators Hacker News extrahieren. Top Stories, neue Stories, Stellenangebote, Ask-HN-Threads, Show-HN-Projekte, Kommentare und Nutzerprofile scrapen. Rein HTTP-basiert -- kein Chrome, kein Playwright.

Was Sie scrapen können

• Top Stories -- Titel, URL, Score, Autor, Kommentaranzahl
• Stellenangebote -- YC-Startup-Jobs aus den monatlichen "Who is Hiring"-Threads
• Kommentare -- vollständige Kommentar-Threads mit Verschachtelung und Autoreninfo
• Nutzerprofile -- Karma, Erstelldatum, About-Text
• Ask HN / Show HN -- Community-Fragen und Projektvorstellungen
• Suche -- Volltextsuche über alle HN-Inhalte

Typische Anwendungsfälle

• Tech-Trendbeobachtung -- verfolgen, was die Tech-Community diskutiert
• Startup-Stellendaten -- YC-Startup-Stellenangebote für Marktintelligenz scrapen
• Stimmungsanalyse -- Community-Reaktionen auf Produktlaunches oder Tech-News analysieren
• Content-Recherche -- Top-performende Inhaltsthemen für Tech-Blogs finden
• Wettbewerbsbeobachtung -- Erwähnungen Ihres Unternehmens oder der Konkurrenz verfolgen

API-Beispiel

# Einen Lauf über die Apify-API starten
curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~ycombinator-scraper/runs?token=YOUR_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "mode": "top",
    "maxResults": 100,
    "includeComments": true
  }'

# Oder mit KI-Agenten via MCP verwenden:
# https://mcp.apify.com?tools=santamaria-automations/ycombinator-scraper

Integrationen

• n8n / Make / Zapier -- Läufe auslösen und Ergebnisse per Webhook verarbeiten
• KI-Agenten (MCP) -- Claude Desktop, Cursor, VS Code, LangChain, LlamaIndex
• Python / Node.js -- Apify SDK für programmatischen Zugriff
• Google Sheets / Airtable -- Export über Apify-Integrationen

Im Vergleich

Ausgabefelder