Api::V1::FacilityTypesController#index (avg 13606ms, max 13606ms)

What Happened#

2026-07-06 14:56:39 KST 에 cupixworks-api (ap-southeast-2, tenant cupix) 에서 Api::V1::FacilityTypesController#index 트레이스가 13606ms 소요되어 latency cluster 로 감지되었다. 지난 14일 동안 동일 endpoint 에서 3s 이상 소요된 요청이 다수의 tenant (endeavourgroup, toyoeng, forida-demo, qatest2, webuild 등) 에서 반복적으로 관측되고 있으며, 최대 75363ms 까지 기록되었다. 에러/실패는 없고 모두 HTTP 200 응답이다.

Quick Facts#

Affected Teams#

Datadog service:cupixworks-api "FacilityTypesController" @duration:>3000 (지난 14일) 로부터 도메인별 slow request 관찰:

문제는 특정 tenant 에 국한되지 않고 여러 도메인에서 재현됨 → tenant-specific data anomaly 가 아닌 endpoint 자체의 시스템적 성능 이슈로 판단.

Timeline#

1. 2026-07-06 14:56:39 KST — 대표 트레이스 (2203852587658987718) 13606ms, ap-southeast-2 에서 발생 (cluster first_seen)
2. 2026-07-06 14:56:53 KST — 동일 endpoint 정상 요청 (60ms, endeavourgroup team=180, 결과 3건) — 즉시 회복
3. 2026-07-06 15:03:41 KST — 동일 user (emily.holmes@edg.com.au, endeavourgroup) 재시도 10399ms (db 1820ms, entries=1)
4. 2026-07-06 14:56:39 KST — status board 가 sibling cluster 1201b35e-... 와 함께 svc:cupixworks-api::unknown 인시던트 자동 생성 후 05:56:39.309Z (=14:56:39 KST) 에 즉시 resolve 처리

Scoring#

Confidence 85% · Actionability 36%

Confidence#

Actionability#