Api::V1::Admin::PointcloudsController#index (avg 10021ms, max 10021ms)

What Happened#

2026-07-03 06:57 KST 무렵 cupixworks-api (production, us-west-2)에서 Api::V1::Admin::PointcloudsController#index 트레이스가 약 10초 (avg/max 10021ms) 소요된 것이 error-sweeper의 APM latency 클러스터로 잡혔다. HTTP 응답은 200으로 정상 반환되었으나 P99 응답 시간이 정상 대비 수백 배 (평상시 ~25ms) 늘어난 단발성 slow-trace이다. 같은 시간대에 svc:cupixworks-api::unknown 스코프의 서비스 저하 인시던트가 열려 있어 (open) 여러 클러스터가 함께 감지된 상황이다.

Quick Facts#

Affected Teams#

로그에서 확인된 caller는 Retool/2.0 user-agent, team.domain=admin, team.id=1 (내부 admin 팀). Retool 대시보드 사용자만 영향을 받았고, 외부 고객 트래픽에는 영향 없음.

Timeline#

1. 2026-07-03 06:33 KST — 동일 endpoint에서 5.5s slow request (duration 5576.73ms), Retool caller, filter=record.id=7332. 유사한 slow-query 조건 사전 발생.
2. 2026-07-03 06:57 KST — 클러스터 first_seen. APM span 10021ms 관측 (trace 2847624830130116499, us-west-2).
3. 2026-07-03 07:03~07:07 KST — 관련 클러스터 d94a3259 (22:03:00Z), cfc2776c (22:07:53Z)가 같은 svc scope로 붙으며 2026-07-02-svc-cupixworks-api--unknown-1 인시던트가 열림 (still open at time of writing).
4. 2026-07-03 조사 시점 — Datadog logs상 동일 시간 창(21:5721:58Z)에서 admin/pointclouds 요청 로그의 duration 필드는 22ms25ms 수준으로 나타남. 즉 10s slow trace의 request-completion 로그는 발견되지 않음 (아래 Log Evidence 참고).

Scoring#

Confidence 85% · Actionability 44%

Confidence#

Actionability#