CompleteService::handlingMessageErrors | Error and message object - {"error":{"response":{"statusCod

What Happened#

2026-04-23 08:13:35 UTC에 cupixworks-any-complete-agent 서비스에서 job 1031025에 대한 PUT /api/v1/jobs/1031025 요청이 nginx로부터 504 Gateway Time-out 응답을 받았다. 이는 downstream API(cupixworks-api)에서 ActiveRecord::LockWaitTimeout이 발생하여 요청 처리가 지연되었고, nginx의 gateway timeout 임계값을 초과했기 때문이다. 동일 job에 대해 다수의 동시 PUT 요청이 발생하면서 MySQL row lock 경합이 원인이었다.

Quick Facts#

Timeline#

1. 07:16:55 UTC — Job 1031025 최초 처리 시작 (ECS task stopped → postprocessor 호출), 07:18에 정상 완료 (stopped)
2. 07:56:53 UTC — Job 1031025이 stopped → running으로 재트리거됨 (두 번째 처리 사이클 시작)
3. 08:11:27 UTC — API 측에서 PUT /api/v1/jobs/1031025에 대해 ActiveRecord::LockWaitTimeout 502 에러 최초 발생
4. 08:13:35 UTC — Complete-agent가 504 Gateway Time-out 수신 (본 인시던트)
5. 08:13:36 UTC — API 측에서 동일 시각 LockWaitTimeout 502 추가 발생
6. 08:13:40 UTC — 경합 해소 후 PUT 요청 성공 (200)
7. 08:14:54 ~ 08:15:08 UTC — 후속 SQS 재시도에서 InvalidState: State not changed 400 에러 발생 (이미 상태 변경 완료)
8. 08:18:09 UTC — 최종 PUT 성공, 처리 완료

Scoring#

Confidence 80% · Actionability 28%

Confidence#

Actionability#