llmtap

Fast jedes LLM-Observability-Tool instrumentiert das SDK, man muss also die Anwendung ändern. Das klappt, bis das, was die Aufrufe macht, ein fertiges Programm ist: ein CLI-Tool, eine Integration eines Anbieters, das Skript von jemand anderem.

llmtap sitzt eine Ebene tiefer. Es ist ein kleiner Reverse Proxy in Go: Man richtet die Base-URL eines Clients darauf, und jeder Aufruf wird zu einem OpenTelemetry-Span mit Token-Zahlen, Kosten und Latenz. Die Änderung am Client ist eine Umgebungsvariable.

Der Traffic läuft unverändert Client → llmtap → Modell-API. Parallel sendet der Proxy OTLP an einen Collector, der an Tempo für Traces und Prometheus für Metriken verteilt, mit Grafana obendrauf.

Weil er auf HTTP-Ebene arbeitet, ist er von Haus aus sprachunabhängig und sieht auch Traffic von Tools, deren Quellcode man nie haben wird.

Dieses Projekt ist die andere Hälfte des Portfolios. Websites und Produkte zeigen Design- und Frontend-Arbeit; llmtap zeigt das Systemdenken darunter: Streaming-HTTP, verteiltes Tracing, Metrik-Kardinalität und ein Deployment, das jemand anderes mit einem Befehl starten kann.