Api::V1::RecordsController#index (avg 50745ms, max 50745ms)

What Happened#

2026-06-27 04:22 KST 시각, production-us-west-2 환경의 cupixworks-api에서 GET /api/v1/records 한 건이 50745 ms 만에 200 OK로 응답했다. 같은 시각 같은 Puma host(ip-10-1-80-134.us-west-2)에서 Api::V1::PanosController의 여러 액션이 ActiveRecord::LockWaitTimeout 으로 약 50 s 이상 블로킹되며 502 응답을 반환하고 있었다. Records 요청 자체의 DB 측정 시간은 1805.93 ms로, 50 s 중 절대 다수는 ActiveRecord 외부의 대기 시간(MySQL connection 또는 Searchkick 호출 단계)에서 소비되었다.

Quick Facts#

Affected Teams#

Timeline#

1. 2026-06-27 04:06:25 KST — facility 8jc688의 Records 인덱스 한 건이 32249 ms 만에 200 응답 (선행 신호).
2. 2026-06-27 04:21:06 KST — Api::V1::PanosController 액션에서 ActiveRecord::LockWaitTimeout 502 응답이 us-west-2에서 시작.
3. 2026-06-27 04:22:47 KST — Cluster first_seen. Api::V1::RecordsController#index 요청이 50745 ms 후 200 응답. 같은 host의 Pano 요청들이 lock wait 으로 timeout 중.
4. 2026-06-27 04:24:00 KST — Pano lock wait timeout 마지막 발생 후 진정. 이후 동일 facility 의 Records 요청 5건은 700 - 800 ms 로 정상 응답.

Scoring#

Confidence 85% · Actionability 28%

Confidence#

Actionability#