Api::V1::PanosController#check_mask_uploading (avg 66605ms, max 159799ms)

What Happened#

2026-06-26 10:5110:53 KST 사이 cupixworks-api (ap-southeast-2, tenant cupix) 의 Api::V1::PanosController#check_mask_uploading 요청 4건이 평균 66.6초, 최대 159.8초의 비정상 지연을 보였다. 동일 시간/리전/테넌트에서 panos 테이블을 대상으로 한 Mysql2::Error::TimeoutError: Lock wait timeout exceeded (50087ms ≈ innodb_lock_wait_timeout 50초) 502 응답이 다수 발생하고 있었고, status board 도 본 cluster 를 parent incident 2026-06-26-svc-cupixworks-api--unknown-1 (총 7 cluster) 에 자동으로 묶었다. 본 cluster 의 trace 들은 결과적으로 200 응답을 받았으나, MaskableRepository#check_mask_uploading 내부의 panos UPDATE / state 전이가 InnoDB row-lock 경합에 묶여 50초 lock-wait timeout 13회 + 재시도 sleep 누적 형태로 늘어진 것으로 분석된다.

Quick Facts#

Affected Teams#

Timeline#

1. 2026-06-26 10:25 KST — Parent incident 2026-06-26-svc-cupixworks-api--unknown-1 시작 (Api::V1::PanosController#update 41.5s latency, cluster 943fdcb4).
2. 2026-06-26 10:46 KST 이후 — panos 테이블 대상 Mysql2::Error::TimeoutError: Lock wait timeout exceeded 502 응답 다수 (check_tile_uploading, check_mask_uploading, mask_upload_url). duration ≈ 50087ms = innodb_lock_wait_timeout 기본값 50s.
3. 2026-06-26 10:51:38 KST — 본 cluster 의 first_seen. check_mask_uploading 요청이 평균 66s 대로 지연되기 시작.
4. 2026-06-26 10:53:29 KST — PUT /api/v1/panos/14133757/check_mask_uploading 가 50s lock-wait timeout 으로 502 반환 (별도 cluster).
5. 2026-06-26 10:53:30 KST — 본 cluster last_seen (159799ms 트레이스 포함). 동시 cluster 들도 같은 패턴.

Scoring#

Confidence 85% · Actionability 44%

Confidence#

Actionability#