Api::V1::JobsController#running_action (avg 17733ms, max 17733ms)

What Happened#

2026-06-25 06:50 KST 경 cupixworks-api (us-west-2)에서 PUT /api/v1/jobs/:id/actions/:action_name/running 한 건이 17.7초 걸린 latency outlier로 감지되었다. 동일 endpoint 의 같은 시간대(06:48-06:55 KST) 다른 요청들은 모두 HTTP 200 정상 응답이고, 동시 시간 구간의 JobCallbackWorker.perform 로그도 1-4초 내에 완료되어, 단일 trace 의 일시적 outlier 이며 systemic regression 은 아니다.

Quick Facts#

Affected Teams#

Timeline#

1. 2026-06-25 06:50:32 KST — 문제 trace 발생 (sample_trace_id=3650352366366419804, 17.7s).
2. 2026-06-25 06:50:32 KST 전후 — 같은 endpoint 의 다른 호출들은 정상 200 응답(예: 06:50:32 job 1150634, 06:50:24 job 1150617 등 모두 info 레벨 200).
3. 2026-06-25 06:54:54 KST — 동일 service 에서 무관한 ClusterRepository "Operation timed out after 10002 milliseconds" 에러 1건 발생(아래 "Hypotheses Considered" 참조).
4. 2026-06-24 21:50:32 UTC — error-sweeper collector 가 latency 클러스터로 등록 (first_seen == last_seen, occurrence 1).

Scoring#

Confidence 80% · Actionability 28%

Confidence#

Actionability#