Api::V1::SitetracksController#create_sitetrack_upload_credentials (avg 429113ms, max 429113ms)

What Happened#

2026-07-17 16:13 KST 경 production cupixworks-api (us-west-2) 에서 POST /api/v1/sitetracks/21583/sitetrack_upload_credentials 요청 1건이 429,113 ms (약 7분 9초) 소요된 후 HTTP 200 으로 완료됨. 동일 시간대에 다른 요청들에서 MySQL LockWaitTimeout (captures/736633/check_voxels_uploading 502) 과 Elasticsearch 10 초 request timeout (Admin::CaptureRepository) 이 반복 관측되어, 인프라 수준의 정체가 요청 지연의 배경으로 확인됨. 요청 자체는 성공했지만 응답 시간이 정상값(수백 ms) 대비 세 자릿수 이상 벌어져 클라이언트 측 UX 및 재시도 정책에 영향을 줄 수 있음.

Quick Facts#

Affected Teams#

status-board 는 이 클러스터를 활성 인시던트 2026-07-17-svc-cupixworks-api--unknown-1 (started 2026-07-17T07:06:57Z) 에 포함시켜 그룹으로 관리 중.

Timeline#

1. 2026-07-17 16:04 KST — UserRecipeGenerator 관련 service_jwt NoMethodError 다수 발생 (별개 이슈, 배경 노이즈).
2. 2026-07-17 16:10 KST — Uuidable::UuidValidator 가 ES 10 초 timeout 을 감지 ("Operation timed out after 10002 milliseconds with 0 bytes received"). ES 응답 지연 신호 시작.
3. 2026-07-17 16:13:58 KST — 문제의 slow trace 시작 (first_seen 을 KST 로 변환한 시각). Sitetrack 21583 대상 create_sitetrack_upload_credentials 진입.
4. 2026-07-17 16:14:57 KST — Sitetrack 21583 의 다른 처리 (Sitetrack.notify, Job 1205223 job_stopped_callback) 가 완료되어 다수 write / ES index 콜백이 동시 실행됨.
5. 2026-07-17 16:15:34 → 16:20:26 KST — PUT /api/v1/captures/736633/check_voxels_uploading 이 Mysql2::Error::TimeoutError: Lock wait timeout exceeded 로 6 회 반복 실패 (502). DB row-lock 경합 확인.
6. 2026-07-17 16:20:38 → 16:20:42 KST — Admin::CaptureRepository 에서 ES 10 초 timeout 이 7 회 연속 발생.
7. 2026-07-17 16:27:39 KST — 문제의 요청이 최종적으로 HTTP 200 응답 (총 429,113 ms 소요).
8. 2026-07-17 16:33 KST — RCA 착수 (본 문서).

Scoring#

Confidence 85% · Actionability 28%

Confidence#

Actionability#