failed to get captured area - error: 500 Internal Server Error

What Happened#

2026-07-15 21:36 KST 부터 21:42 KST 사이에 cupixvista-api-migration-worker (tesla 리포지토리, CUPIXVISTA launch mode, migrationworker role) 에서 Cupix::Cron::Facility.flush_stale_captured_size 크론이 실행되면서 downstream voxel-service Lambda 로의 PUT /captured_area 호출이 5회 연속 500 Internal Server Error 를 반환했다. Lambda 응답 본문을 확인한 결과, 원인은 Athena GetQueryExecution API 에서 발생한 ThrottlingException: Rate exceeded 였다. 영향을 받은 facility 는 최소 5건(ID 604, 607, 609, 610, 612)이며, captured_size 갱신이 실패해 stale 상태로 남았다.

Quick Facts#

Affected Teams#

동일 svc:cupixvista-api-migration-worker::unknown scope 아래 진행 중인 status board 인시던트 에는 관련 클러스터 3개(a558bd06..., fe12d217..., 3a8d30cc...)가 묶여 있다.

Timeline#

1. 2026-07-15 21:31 KST — 매 4시간 :31분에 실행되는 flush_stale_captured_size 크론이 기동 (스케줄: 31 */4 * * *).
2. 2026-07-15 21:36 KST — Facility 604 부터 Flushing stale captured size 로그 시작, 첫 실패 발생.
3. 2026-07-15 21:38 ~ 21:42 KST — Facility 604, 607, 609, 610 순차 실패 (500 Internal Server Error).
4. 2026-07-15 21:42:20 ~ 21:42:28 KST — voxel-service Lambda 가 초당 여러 건의 Athena ThrottlingException: Rate exceeded (max retries: 3) 응답 반환.
5. 2026-07-15 21:44:41 KST — Facility 612 는 downstream 이 이번엔 503 Service Unavailable 반환 (동일 fingerprint 의 sister cluster fe12d217... 로 분류).

Scoring#

Confidence 80% · Actionability 16%

Confidence#

Actionability#