Api::V1::ClustersController#resource_upload_url (avg 16942ms, max 16942ms)

What Happened#

2026-07-11 04:20 KST 시점에 cupixworks-api (us-west-2, tenant cupix) 의 POST /api/v1/clusters/:id/resources/:kind/upload_url 요청 한 건이 16,942 ms 동안 지속된 뒤 정상(HTTP 200)으로 완료되었다. 동일한 시간대(UTC 18:15–19:37, KST 03:15–04:37) 에 다른 PUT 계열 엔드포인트(Api::V1::JobsController#update, #complete_action, Api::V1::PanosController#check_uploading, check_tile_uploading, update_meta_by_key, Api::V1::PointcloudsController#check_uploading) 에서 Mysql2::Error::TimeoutError: Lock wait timeout exceeded 예외가 50건 이상 관측되었다. 이 latency span 은 DB row lock 경합으로 인한 대기시간의 일부이며, innodb_lock_wait_timeout 만료 전에 잠금을 획득해 성공한 케이스로 판단된다.

Quick Facts#

Affected Teams#

Timeline#

1. 2026-07-11 03:15 KST — Api::V1::PanosController#update_meta_by_key, #check_tile_uploading, Api::V1::JobsController#complete_action 등에서 Mysql2::Error::TimeoutError: Lock wait timeout exceeded 가 반복 발생 (UTC 18:15Z).
2. 2026-07-11 04:20:39 KST — 문제의 span 발생. POST /api/v1/clusters/.../resources/.../upload_url 이 16,942 ms 소요 후 200 응답 (UTC 19:20:39Z).
3. 2026-07-11 04:23–04:37 KST — Api::V1::JobsController#update 요청 다수가 LockWaitTimeout 로 502 실패 (UTC 19:23–19:37Z).
4. 이후 — Datadog 상에서 정상 응답 시간(수백 ms 수준)의 resource_upload_url 요청이 다시 정상적으로 처리됨.

Scoring#

Confidence 85% · Actionability 28%

Confidence#

Actionability#