MySQL InnoDB lock contention — service-wide degradation

What Happened#

2026-06-27 04:01 KST 에 cupixworks-api 의 Api::V1::FacilitiesController#index 요청 한 건이 52,435ms (52초) 만에 응답했다. 동시 윈도우(04:01 ~ 04:22 KST) 에 같은 서비스에서 SearchesController#counts(17초), RecordsController#index(51초) 지연 클러스터와 ReviewRepository#captures Elasticsearch 호출 타임아웃(10초)이 함께 발생했고, status-board 가 4건의 클러스터를 묶어 cupixworks-api service degraded 인시던트(2026-06-26-svc-cupixworks-api--unknown-4)로 등록했다. 직후 04:21 ~ 04:24 KST 에 panos 테이블에서 Mysql2::Error::TimeoutError: Lock wait timeout exceeded 502 응답이 다수 발생, 같은 시간대에 API 평균 trace duration 이 평소 13초 대비 810초로 상승했다.

Quick Facts#

Affected Teams#

Timeline#

1. 2026-06-27 04:01:37 KST — Api::V1::FacilitiesController#index 한 건이 52,435ms 로 완료 (이 클러스터의 first_seen)
2. 2026-06-27 04:14:08 KST — Api::V1::SearchesController#counts 16,984ms (cluster 9de1abf8)
3. 2026-06-27 04:17:26 ~ 04:17:28 KST — ReviewRepository#captures 에서 Failed to get captures - Operation timed out after 10001 milliseconds 2건 (cluster e2b8679d)
4. 2026-06-27 04:21:06 ~ 04:24:00 KST — panos 테이블에서 Mysql2::Error::TimeoutError: Lock wait timeout exceeded 16건 (502 응답)
5. 2026-06-27 04:22:47 KST — Api::V1::RecordsController#index 50,745ms (cluster cfe24462)
6. 2026-06-27 04:26:20 ~ 04:26:26 KST — Pano, Group, Record 모델에서 NotFound - attributes_in_database warn 로그 다수 (인덱싱 콜백이 트랜잭션 롤백된 레코드를 참조)
7. status-board — 위 4 클러스터가 svc:cupixworks-api::unknown 스코프 인시던트 2026-06-26-svc-cupixworks-api--unknown-4 로 묶임 (open)

Scoring#

Confidence 85% · Actionability 28%

Confidence#

Actionability#