ES /docs

Api::V1::ApiController#status (avg 322376ms, max 322376ms)

Service
cupixworks-api
Occurrences
79
Status
Reported
Confidence
85%
Actionability
28%
Cluster ID
3f1c828f-1093-4ce5-affd-2e87409df67e
First Seen
2026-07-01 01:43 UTC
Last Seen
2026-08-04 11:07 UTC
Datadog↗ Slack↗
Actions

Api::V1::ApiController#status (avg 322376ms, max 322376ms)

What Happened#

2026-07-01 10:43 KST에 cupixworks-api의 헬스체크 endpoint /status 처리에 약 322초(5분 22초)가 걸린 span이 관측되었다. 동일 시간대에 같은 서비스에서 다수의 write endpoint가 Mysql2::Error::TimeoutError: Lock wait timeout exceeded로 502를 반환하고 있어, 이 latency spike는 DB row-lock 경합 및 커넥션 풀 대기로 인한 서비스 전반의 slowdown의 한 단면이다. 상태 보드도 같은 시각에 2026-07-01-svc-cupixworks-api--unknown-1 인시던트를 열고 5개 클러스터를 묶었다.

Quick Facts#

Field Value
resource_name Api::V1::ApiController#status
cluster_type latency (avg_duration_ms 322376, max_duration_ms 322376)
top_frame app/controllers/concerns/status_controller.rb:9-50
runtime Rails (cupixworks-api / tesla repo)
env production, region us-west-2, tenant cupix
sample_trace_id 7290272645204243029

Affected Teams#

Team / Domain Error Count Impact
cupixworks-api (health/status) 1 (322s latency span) 헬스체크 응답 지연 → 상위 로드밸런서/모니터가 인스턴스를 unhealthy로 마킹할 위험
cupixworks-api (Pano upload path) 다수 502 (stitched, check_uploading, check_tile_uploading, mask_upload_url) 파노라마 업로드 파이프라인 실패
cupixworks-api (Jobs/Editings/Captures) 다수 502/400 잡 상태 업데이트, 편집, 캡처 메타 업데이트 실패

Timeline#

  1. 2026-07-01 10:43 KST — Api::V1::ApiController#status span 322s 관측 (첫/최종 발생, trace 7290272645204243029)
  2. 2026-07-01 10:43–10:49 KST — 같은 서비스에서 Mysql2::Error::TimeoutError: Lock wait timeout exceeded 다발 발생 (PanosController#stitched|check_uploading|check_tile_uploading|mask_upload_url, JobsController#complete_action|update, EditingsController#update, CapturesController#update_meta_by_key)
  3. 2026-07-01 10:43 KST — 상태 보드가 2026-07-01-svc-cupixworks-api--unknown-1 인시던트 오픈 (5개 클러스터: 이 클러스터 + #bulk 등)
  4. 2026-07-01 최근 3h — max:trace.rack.request.duration{service:cupixworks-api} 피크 최대 2880s (48분) 관측 — 서비스 전반적인 slowdown

Scoring#

Confidence 85% · Actionability 28%

Confidence#

Dimension Score Detail
Evidence completeness 5/5 11 code refs, 11 log queries
Code path explicitness 3/3 11 file:line refs
Log evidence 3/3 section, query, pattern
RCA structure 3/3 3/3 sections
Revision history 0/3 0 revision(s)
Agent execution 3/3 success

Actionability#

Dimension Score Detail
Fix complexity 1/5 critical
Affected files 1/5 33 file(s)
Single repo 1/3 8 service(s)
Immediate actions 0/3 absent
Testability 0/3 no test info
External dependency 1/3 external deps found
Data migration 3/3 no migration