Api::V1::FacilitiesController#spacetimes (avg 11652ms, max 11652ms)

What Happened#

2026-07-09 12:32 KST에 cupixworks-api production(us-west-2)에서 GET /api/v1/facilities/umphr6/spacetimes 요청 1건이 11,652ms 만에 200으로 응답했다. 대상 facility 는 PCL Construction 팀 소유의 "New St. Paul's Hospital - Phase 1A"(id=9486, key=umphr6)로 records 498건이 연결된 대형 프로젝트다. 동일 endpoint 는 지난 24시간 max latency 109s, 평균 1.45s 로 tail latency 가 지속적으로 크게 튀는 상태이며, 이번 이벤트는 그 tail 의 한 sample 이다.

Quick Facts#

Affected Teams#

Timeline#

1. 2026-07-09 12:32 KST — Slow 요청 발생 (trace 3680265171956490137), 11,652ms 소요 후 200 응답.
2. 2026-07-09 12:32 KST — error-sweeper collector 가 latency cluster 2e5b8b59-... 로 fingerprint 등록 (first_seen == last_seen).
3. 2026-07-09 12:34–13:29 KST — 동일 facility(umphr6)에 대해 초당 다수(30초 window 안에 95건, 1초당 최대 ~6.15 rps) polling 관측.
4. 2026-07-09 13:38 KST — RCA 착수. Datadog trace/metric 및 tesla repo 코드 확인.

Scoring#

Confidence 80% · Actionability 28%

Confidence#

Actionability#