QMAws::startTask | ECS failures - job_id: 110318, task_definition: nswgov-skat-master-production-arm

What Happened#

2026-07-09 15:23 KST (production, ap-southeast-2, tenant nswgov)에 compute agent가 skat-master ECS task를 기동하려던 중, 선택된 container instance가 그 순간 DRAINING 상태로 전이되어 ecs.startTask가 failures=[{reason:"DRAINING"}]를 리턴했습니다. 에러는 1회 기록되었으나 동일 job(110318)은 SQS 재전달 기반 재시도 루프에서 55초 뒤 다른 container instance에서 정상 기동되었습니다.

Quick Facts#

Affected Teams#

Timeline#

1. 2026-07-09 15:23:08 KST — QMAws::runTask 시작, container instance 4af379b5…가 listContainerInstances에서 ACTIVE로 반환됨.
2. 2026-07-09 15:23:08 KST — ecs.startTask 호출 결과 failures=[{reason:"DRAINING"}]. logger.error("QMAws::startTask | ECS failures ...") 기록 (본 클러스터의 대표 에러).
3. 2026-07-09 15:23:19 / 15:23:30 / 15:23:53 KST — SQS 재전달로 동일 메시지가 재처리됨. 이 시점에서는 listContainerInstances가 후보 instance를 리턴하지 않아 task size: 0으로 종료.
4. 2026-07-09 15:24:03 KST — 새로 스케일된 ACTIVE instance c1c5f87d…에서 startTask 성공, updateTaskIdToJob | end - task arn: arn:aws:ecs:ap-southeast-2:...:task/nswgov-cupixworks-ece-au/cb41940e…로 커밋.
5. 2026-07-09 15:24:04 KST — job 110318 정상 dispatch 완료.

Scoring#

Confidence 80% · Actionability 44%

Confidence#

Actionability#