PanoPostprocessorService::run | end - {"stack":"HttpError: HTTP request failed

What Happened#

2026-04-23 08:24~08:37 UTC 사이에 cupixworks-pano-postprocessor-instance 서비스가 내부 API(api-tesla.cupix.internal)에 대한 HTTP 요청에서 nginx 504 Gateway Time-out 응답을 반복적으로 수신했다. 동일 시간대에 상위 서비스(cupixworks-api)에서 MySQL Lock wait timeout과 VoxelService 503 에러가 동시 다발적으로 발생하여, API 백엔드의 응답 지연이 nginx timeout을 초과한 것으로 확인된다. 이 클러스터의 4건은 getPanos API 호출(panoApi.js:2128)이 5회 재시도 후에도 504를 반환하여 서비스 run() 메서드 전체가 실패한 사례이다.

Quick Facts#

Affected Teams#

Timeline#

1. 08:24 UTC — 최초 504 에러 발생 (panoApi.js:2884, infer 작업)
2. 08:27:56 UTC — 이 클러스터의 getPanos 호출 4건 504 실패 (panoApi.js:2128)
3. 08:34:17 UTC — cupixworks-api에서 MySQL Lock wait timeout 발생
4. 08:34:27 UTC — updateJobState 호출도 504 실패 (job 1031164, 1031171)
5. 08:37 UTC — 504 에러 소멸, API 응답 정상화
6. 08:50 UTC — VoxelService 503 에러 지속 (별도 이슈)

Scoring#

Confidence 85% · Actionability 52%

Confidence#

Actionability#