QMAws::startTask | ECS failures - job_id: 36870, task_definition: cupix-capture-3d-reconstruction-pr

RCA Summary#

ECS container instance 76fb48183fcf4d3db2340035c803b68f가 클러스터 cupix-tesla-ece에서 DRAINING 상태로 전환되는 중에 QMAws::startTask가 해당 인스턴스에 태스크를 배치하려 시도하여 실패하였다. listContainerInstances API는 status: 'ACTIVE' 필터로 인스턴스를 조회하지만, 조회 시점과 실제 startTask 호출 시점 사이에 인스턴스 상태가 DRAINING으로 변경되는 race condition이 발생했다. describeContainerInstances가 반환한 데이터에서도 해당 인스턴스가 status: ACTIVE로 보고되었으나, ECS StartTask API 호출 시점에는 이미 드레이닝이 시작된 상태였다. Job 36870은 SQS 재시도를 통해 4번째 시도에서 다른 인스턴스(fdd25ca08f9c4c8b90cfa877a1d67d58)에 성공적으로 배치되어 자동 복구되었다.

Scoring#

Confidence 80% · Actionability 44%

Confidence#

Actionability#