Hacker News scrapen -- Stories, Jobs, Kommentare & Nutzer

Strukturierte Daten von Y Combinators Hacker News extrahieren. Top Stories, neue Stories, Stellenangebote, Ask-HN-Threads, Show-HN-Projekte, Kommentare und Nutzerprofile scrapen. Rein HTTP-basiert -- kein Chrome, kein Playwright.

Was Sie scrapen können

• Top Stories -- Titel, URL, Score, Autor, Kommentaranzahl
• Stellenangebote -- YC-Startup-Jobs aus den monatlichen "Who is Hiring"-Threads
• Kommentare -- vollständige Kommentar-Threads mit Verschachtelung und Autoreninfo
• Nutzerprofile -- Karma, Erstelldatum, About-Text
• Ask HN / Show HN -- Community-Fragen und Projektvorstellungen
• Suche -- Volltextsuche über alle HN-Inhalte

Typische Anwendungsfälle

• Tech-Trendbeobachtung -- verfolgen, was die Tech-Community diskutiert
• Startup-Stellendaten -- YC-Startup-Stellenangebote für Marktintelligenz scrapen
• Stimmungsanalyse -- Community-Reaktionen auf Produktlaunches oder Tech-News analysieren
• Content-Recherche -- Top-performende Inhaltsthemen für Tech-Blogs finden
• Wettbewerbsbeobachtung -- Erwähnungen Ihres Unternehmens oder der Konkurrenz verfolgen

API-Beispiel

# Einen Lauf über die Apify-API starten
curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~ycombinator-scraper/runs?token=YOUR_TOKEN" \
 -H "Content-Type: application/json" \
 -d '{
 "mode": "top",
 "maxResults": 100,
 "includeComments": true
 }'

# Oder mit KI-Agenten via MCP verwenden:
# https://mcp.apify.com?tools=santamaria-automations/ycombinator-scraper

Integrationen

• n8n / Make / Zapier -- Läufe auslösen und Ergebnisse per Webhook verarbeiten
• KI-Agenten (MCP) -- Claude Desktop, Cursor, VS Code, LangChain, LlamaIndex
• Python / Node.js -- Apify SDK für programmatischen Zugriff
• Google Sheets / Airtable -- Export über Apify-Integrationen

Im Vergleich

Ausgabefelder

Direkt auf Apify ausführen (kein Code)

Klicken Sie oben auf Auf Apify öffnen, um ycombinator-scraper im Browser auszuführen – kein Code, keine Installation. In der Apify-Konsole erhalten Sie:

• Test mit einem Klick – füllen Sie das Eingabeformular aus oder fügen Sie das obige JSON-Beispiel in den JSON-Editor ein und klicken Sie auf Start.
• Live-Ausgabe – sehen Sie zu, wie Zeilen in eine interaktive Output-Tabelle einfließen, oder wechseln Sie zur rohen JSON- / Log-Ansicht.
• Export in jedem Format – Datensatz mit einem Klick als JSON, CSV, XML, Excel, HTML-Tabelle, RSS oder JSONL herunterladen.
• Zeitpläne – Actor täglich, wöchentlich, stündlich oder mit benutzerdefiniertem Cron ausführen. Apify übernimmt das Timing und speichert jeden Datensatz-Lauf.
• Integrationen & Webhooks – Webhook bei Erfolg/Fehler auslösen oder mit Zapier, n8n, Make, Airbyte, Google Sheets, Slack, S3, Postgres u.v.m. aus dem Actions-Tab verbinden.
• Transparente Kosten – exakte Nutzung im Rahmen Ihres Gratiskontingents von 5$/Monat sehen, bevor Sie etwas ausgeben.

Ihren Apify API-Token erhalten

Um diesen Actor aus Ihrem eigenen Code auszuführen, benötigen Sie einen Apify API-Token. In etwa einer Minute erledigt:

1. Kostenlos bei Apify registrieren (Google, GitHub oder E-Mail).
2. Gehen Sie zu Einstellungen → Integrationen → API-Tokens.
3. Klicken Sie auf Neuen API-Token erstellen. Kopieren und geheim halten.

Gratiskontingent: Apify schreibt Ihrem Konto 5$ Plattformnutzung pro Monat gut, keine Kreditkarte erforderlich. Genug, um jeden Actor sinnvoll zu testen — bei 0,001$ pro Ergebnis sind das etwa 5.000 Ergebnisse gratis pro Monat.

Aus Code aufrufen

Führen Sie diesen Actor aus jeder Sprache über die Apify-REST-API aus. Ersetzen Sie YOUR_TOKEN durch Ihren API-Token und passen Sie das JSON-Input an.

curl -X POST "https://api.apify.com/v2/acts/santamaria-automations~ycombinator-scraper/run-sync-get-dataset-items?token=YOUR_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{}'

// npm install apify-client
import { ApifyClient } from 'apify-client';

const client = new ApifyClient({ token: 'YOUR_TOKEN' });
const run = await client.actor('santamaria-automations/ycombinator-scraper').call({});
const { items } = await client.dataset(run.defaultDatasetId).listItems();
console.log(items);

# pip install apify-client
from apify_client import ApifyClient

client = ApifyClient('YOUR_TOKEN')
run = client.actor('santamaria-automations/ycombinator-scraper').call(run_input={})
items = list(client.dataset(run['defaultDatasetId']).iterate_items())
print(items)

// dotnet add package Apify.Client
using Apify.Client;

var client = new ApifyClient("YOUR_TOKEN");
var run = await client.Actor("santamaria-automations/ycombinator-scraper").CallAsync(new { });
var items = await client.Dataset(run.DefaultDatasetId).ListItemsAsync();

// Maven: com.apify:apify-client
import com.apify.client.ApifyClient;

ApifyClient client = new ApifyClient("YOUR_TOKEN");
ActorRun run = client.actor("santamaria-automations/ycombinator-scraper").call(Map.of());
List<Map<String,Object>> items = client.dataset(run.getDefaultDatasetId()).listItems();

Mit KI-Agenten verwenden (MCP)

Dieser Actor ist auf dem Apify MCP-Server verfügbar, sodass Sie ihn von jedem MCP-kompatiblen KI-Client aus steuern können – Claude Desktop, Claude.ai, Cursor, VS Code, LangChain, LlamaIndex oder einem eigenen Agent – ohne Code zu schreiben.

https://mcp.apify.com?tools=santamaria-automations/ycombinator-scraper

Beispiel-Prompt nach Verbindung:

"Verwende ycombinator-scraper, um einen Scrape durchzuführen, und liefere mir die Ergebnisse als Tabelle."

Clients mit dynamischer Tool-Discovery (Claude.ai, VS Code) erhalten das vollständige Input-Schema automatisch via add-actor.

Mit No-Code-Plattformen verwenden

Triggern Sie diesen Actor aus Ihrem Automatisierungstool. Alle unten aufgeführten Plattformen können die Apify-API in wenigen Klicks aufrufen — kein Code erforderlich.