nginx api-tesla upstream connection failure — 502/504

What Happened#

2026-07-03 05:46:11 KST에 cupixworks-any-potree-r1-xlarge-agent(us-west-2)가 pointcloud 1190788 처리 중 PUT /api/v1/pointclouds/1190788/check_uploading에서 500 응답을 받고 handlingMessageErrors가 발동했다. 발생 건수는 14일 동안 단 1건(single occurrence)이며, 동일 시각 cupixworks-api 쪽에는 대응되는 로그가 남아 있지 않다. 잠시 뒤 pointcloud는 정상적으로 done 상태로 전이되었기 때문에 사용자 영향은 없다.

Quick Facts#

Affected Teams#

Timeline#

1. 2026-07-03 05:32:11 KST — 에이전트가 SQS 메시지를 받아 pointcloud 1190788 처리 시작 (PotreeService::runByMessage | id: 1190788, state: queued, resource_state: uploaded, potree_state: created).
2. 2026-07-03 05:34:44 KST — 처리 초기 단계에서 permission cache 무효화 발생 (Flush cached permissions By User for User 52107 on Pointcloud 1190788).
3. 2026-07-03 05:46:10 KST — potree 변환/S3 업로드 후 check_uploading 호출에서 500 수신, PotreeService::getApiErrorToDeleteMessage warn 로그 기록.
4. 2026-07-03 05:46:11 KST — PotreeService::handlingMessageErrors error 로그 기록, SQS 메시지 삭제 및 potree_state가 Error로 업데이트되었을 것으로 예상되는 error 분기 진입.
5. 2026-07-03 05:54:35 KST — 동일 pointcloud 1190788가 Rails 측에서 pointcloud state changed from queued to done으로 전이되며 start_finalization 실행 (agent 재시도 없이 API 흐름을 통해 최종화됨).

Scoring#

Confidence 80% · Actionability 44%

Confidence#

Actionability#