PanoPostprocessorService::run | infer pano id:82155068 | error {"stack":"HttpError: HTTP request fai

What Happened#

2026-04-23 08:13~08:34 UTC 사이에 Tesla API(api-tesla.cupix.internal) 백엔드에서 MySQL lock wait timeout(Mysql2::Error::TimeoutError: Lock wait timeout exceeded) 이 발생하며 Rails 요청 처리가 지연되었고, nginx 프록시가 504 Gateway Timeout을 반환했다. 이 에러 클러스터의 4건은 pano-postprocessor의 blurriness 메타데이터 업데이트(updateMetaByKey) 실패이며, 동일 시간대에 총 34건 이상의 504가 pano-postprocessor, 3d-reconstruction agent, mask 처리 등 다수 서비스/캡처에서 동시 발생했다. pano 82155068은 08:19:56에 이미 lock wait timeout으로 502를 받았고, 08:24:28에 504를 받았으며, 08:35 이후 정상 복구되었다.

Quick Facts#

Affected Teams#

Timeline#

1. ~08:13 UTC — 504 에러 시작 (다수 서비스에서 최초 504 관측)
2. 08:19:56 UTC — pano 82155068에 대한 PUT /api/v1/panos/82155068/meta/blurriness에서 502 + Mysql2::Error::TimeoutError: Lock wait timeout exceeded 발생
3. 08:24:28 UTC — 이 클러스터의 최초 504 에러 (pano id:82155065, 82155068 동시)
4. 08:28:06 UTC — pano 82155068에 대한 PUT /api/v1/panos/82155068에서 다시 502 + Lock wait timeout 발생
5. 08:28:31 UTC — pano id:82155066에서 504 에러
6. 08:30:56~08:30:57 UTC — pano id:82155056에서 504 에러, pointcloud 에이전트에서도 504 발생
7. 08:30:59~08:31:00 UTC — updatePanoState 에러 복구 시도도 504 실패 (pano 82155065, 82155068)
8. 08:34:27 UTC — updateJobState 호출도 504 실패 (job 1031171, 1031164), PanoPostprocessorService::run 종료
9. ~08:35 UTC — API 응답 정상화, pano 82155068 tile upload/stitching 성공 (200)

Scoring#

Confidence 85% · Actionability 36%

Confidence#

Actionability#