ES /docs

Api::V1::PanosController#show (avg 11638ms, max 11638ms)

Service
cupixworks-api
Occurrences
3
Status
Reported
Confidence
85%
Actionability
28%
Cluster ID
d94a3259-8473-4abc-9b14-96f68af4499e
First Seen
2026-07-02 22:03 UTC
Last Seen
2026-07-17 05:38 UTC
Datadog↗ Slack↗
Actions

Api::V1::PanosController#show (avg 11638ms, max 11638ms)

What Happened#

2026-07-03 07:03 KST에 cupixworks-api (us-west-2, tenant cupix) 의 GET /api/v1/panos/:id 요청 하나가 11,638ms 동안 블록되었다. Pano 단건 조회는 정상 상태에서 수십 ms 수준이지만, 같은 시각 다른 요청들이 대량의 MySQL Lock wait timeout exceeded 로 실패하고 있었고, 이 show 트랜잭션은 lock 대기열에 물려 innodb_lock_wait_timeout 직전까지 대기하다가 겨우 응답한 것으로 확인된다. 사이드보드가 같은 구간을 svc:cupixworks-api::unknown 인시던트(2026-07-02-svc-cupixworks-api--unknown-1)로 이미 그룹핑해 두었고, 이 클러스터는 그 인시던트의 세 이벤트 중 하나다.

Quick Facts#

Field Value
exception.class (없음 — latency-only cluster, HTTP 200 응답 추정)
top_frame app/controllers/api/v1/panos_controller.rb:55-70 (#show)
resource_name Api::V1::PanosController#show
avg_duration_ms 11638
max_duration_ms 11638
env production, us-west-2, tenant cupix

Affected Teams#

Team / Domain Error Count Impact
cupixworks-api / Pano 조회 (뷰어) 1 단일 요청 11.6s 지연 — 사용자 체감 hang
cupixworks-api / Pano 업로드 (POST /api/v1/panos) 60+ Cupix::Errors::System 500 대량 발생 (Lock wait timeout)
cupixworks-api / Postprocessor 완료 콜백 2+ PUT /api/v1/jobs/:id/actions/postprocessor/complete 502 (ActiveRecord::LockWaitTimeout)
cupixworks-api / Admin Pointclouds, Teams 2 같은 인시던트에 묶인 별개 클러스터 (e0e15b40…, cfc2776c…) — 10s/45s 지연

Timeline#

  1. 2026-07-03 06:57 KST — 사이드보드가 Api::V1::Admin::PointcloudsController#index 10s 지연으로 인시던트 오픈 (cluster e0e15b40-436b-4799-a616-6c51ef80e6f8).
  2. 2026-07-03 07:03:15 KST — POST /api/v1/panos, PUT /api/v1/jobs/:id/actions/postprocessor/complete 에서 Mysql2::Error::TimeoutError: Lock wait timeout exceeded 발생 시작. 07:03:15–07:03:38 KST 23초 동안 API 로그 상 lock wait 실패 30건 이상.
  3. 2026-07-03 07:03:00 KST — 이 클러스터의 대상 요청 PanosController#show 시작, 11,638ms 후 응답 (trace_id 753922149806333051).
  4. 2026-07-03 07:04:20 KST — 마지막 Lock wait timeout 로그. DB lock 압박 해소.
  5. 2026-07-03 07:07:53 KST — TeamsController#invitation 45s 지연 (cluster cfc2776c-5d3d-4099-bba8-8d0348216461) — 인시던트 이벤트 3번째로 기록.
  6. 2026-07-03 07:07:53 KST — 인시던트 2026-07-02-svc-cupixworks-api--unknown-1 자동 resolved.

Scoring#

Confidence 85% · Actionability 28%

Confidence#

Dimension Score Detail
Evidence completeness 5/5 10 code refs, 6 log queries
Code path explicitness 3/3 10 file:line refs
Log evidence 3/3 section, query, pattern
RCA structure 3/3 3/3 sections
Revision history 0/3 0 revision(s)
Agent execution 3/3 success

Actionability#

Dimension Score Detail
Fix complexity 1/5 critical
Affected files 1/5 9 file(s)
Single repo 1/3 5 service(s)
Immediate actions 0/3 absent
Testability 0/3 no test info
External dependency 1/3 external deps found
Data migration 3/3 no migration