Daten-Pipeline mit n8n + KI: End-to-End-Architektur für den Mittelstand
Eine Daten-Pipeline ist nicht nur "n8n schickt Daten hin und her". Hier ist die 5-Schichten-Architektur, die unsere Mittelstands-Pipelines in Produktion tragen — und woran sie scheitern.
Die 5 Schichten
Schichten
Build typisch
Error-Rate produktiv
Die in diesem Artikel genannten Zahlen sind Schätzungen aus realen Projekten und dienen der Orientierung. Tatsächlicher Aufwand hängt vom konkreten Scope ab — verbindliche Preise erhalten Sie nach einem Discovery Call. Unsere offiziellen Tier-Preise stehen auf der Preise-Seite.
Jede Pipeline, die wir bauen, hat dieselbe Grundstruktur:
Ingest
Quellen abgreifen: Webhooks, API-Polls, S3/Storage-Watcher, E-Mail-Listener, FTP-Drops.
Enrich
Daten anreichern: Lookups, Geokodierung, KI-Klassifikation, OCR von Dokumenten.
Classify
Routing-Logik: Welche Daten gehen wohin? Welche brauchen menschliche Freigabe?
Store
Persistieren: Postgres, BigQuery, S3 — abhängig von Volumen und Abfrage-Pattern.
Notify
Wer muss wissen, wenn was passiert ist? Slack, E-Mail, CRM-Updates, Dashboards.
Realer Stack: Lieferanten-Daten-Pipeline
Kunde: Großhandel, 80 Mitarbeiter, 200+ Lieferanten, 30k Eingangs-Dokumente / Monat.
Dokumente / Monat
Time-to-Insight
Frei für andere Arbeit
Problem: Lieferanten schicken Rechnungen, Lieferscheine, Preislisten — als PDF, Excel, CSV, manchmal Bild. Manuelle Bearbeitung: 3 Vollzeitstellen.
Architektur:
Schicht für Schicht:
Schicht 1: Ingest
Drei Quellen:
- E-Mail-Anhänge → n8n IMAP-Trigger
- Lieferanten-Portal-Uploads → n8n Webhook
- FTP-Drops → Watch-Workflow, 5-Min-Intervall
Alle landen in einem AWS-S3-Bucket mit Metadata-Tagging (Quelle, Lieferant, Datum).
Schicht 2: Enrich
- PDF → Mistral OCR API (gewinnt gegen Tesseract bei Tabellen)
- Bild → Mistral OCR
- Excel → Direktes Parsing in n8n
- Text-Extraktion → Claude API für strukturierte Extraktion (JSON-Schema vorgegeben)
Schicht 3: Classify
Routing-Logik in n8n-Switch-Knoten:
- Rechnung → Buchhaltung-Queue
- Lieferschein → Lager-System (SAP-Integration)
- Preisliste → Pricing-Engine + Slack-Alert für Einkauf
Anomalien (Preis-Sprung >15%, neuer Lieferant ohne Stammdaten) → menschliche Freigabe via Slack-Button.
Schicht 4: Store
- Strukturierte Daten → Postgres (für Analysen)
- Original-Dokumente → S3 (mit 10-Jahre-Retention für Compliance)
- Audit-Log → separate Tabelle in Postgres
Schicht 5: Notify
- Tägliche Slack-Summary: Anzahl Dokumente, Anomalien, Backlog
- Bei Anomalie sofortiger Slack-DM an zuständigen Mitarbeiter
- Wöchentlicher PDF-Report an Geschäftsführung (Anhang-Stack: Volumen, Top-Lieferanten, Probleme)
Die häufigsten Fallen
n8n ist mächtig, aber nicht für jeden Job geeignet. Vor jedem Knoten sollten Sie fragen: würde das ein eigenständiges Python-Script besser machen?
Falle 1: Alles in n8n
n8n eignet sich für Orchestrierung, nicht für schwere Verarbeitung. Wenn Sie 50k Items in einer Iteration verarbeiten — gehen Sie in ein separates Script, n8n bleibt der Trigger.
Falle 2: Kein Error-Handling
Default-Workflow stoppt bei erstem Fehler. Sie brauchen:
- "Continue On Fail" für nicht-kritische Knoten
- Error-Trigger-Workflow mit Slack-Alert
- Dead-Letter-Queue in Postgres für manuelles Re-Try
Falle 3: Datenbank-Connection-Limits
n8n macht eine Connection pro Workflow-Run — bei 100 gleichzeitigen Runs sind Sie schnell am Connection-Pool-Limit. Lösung: PgBouncer oder Connection-Reuse über externe Service.
Falle 4: Secrets in Workflow-JSON
n8n speichert Workflow-Definitionen als JSON. Wenn Sie API-Keys hardcoden, landen sie in Backups, Exports und git. Nutzen Sie n8n Credentials, nicht Plain-Text.
Hosting-Entscheidung
n8n Cloud
Schnell, gepflegt, ~ 50-200 EUR / Monat. Daten gehen aber durch USA-Server.
Self-Hosted (EU)
Hetzner, Scaleway, AWS Frankfurt. Volle Kontrolle. Setup-Aufwand: 1-2 Tage. Wartung: 1h / Woche.
Für DSGVO-sensible Workloads (Personaldaten, Patientendaten, Finanzdaten) empfehlen wir Self-Hosted in EU.
Was kostet so eine Pipeline?
Pipelines skalieren mit Komplexität. Hier sind realistische Bandbreiten — drei typische Tiers:
Klein
1 Quelle, <5k Dokumente/Monat
Build: 8-15k € · 1-3 Wochen Run-Cost: 100-300 €/Monat
Mittel
2-3 Quellen, OCR, KI-Klassifikation
Build: 15-30k € · 3-5 Wochen Run-Cost: 300-1.000 €/Monat
Komplex
SAP/ERP-Integration, Compliance, Anomalie-Erkennung
Build: 30-50k € · 5-8 Wochen Run-Cost: 1.000-2.000 €/Monat
Der oben beschriebene Lieferanten-Use-Case (30k Dokumente/Monat, SAP, 10-Jahre-Retention) fällt in Komplex. Eine einfache E-Mail-Anhänge-Pipeline mit Klassifikation kann bei Klein starten und wächst mit.
ROI typisch in 6-9 Monaten, wenn die Pipeline ≥1 FTE ersetzt.
Nächster Schritt
Wenn Sie über eine konkrete Pipeline nachdenken — 30-Minuten-Call. Wir mappen Ihre echten Quellen auf die 5 Schichten und Sie haben sofort einen klaren Build-Plan.