QMAws#runTask GPU 리소스 경합 — 카운터 기반 검증 부족

What Happened#

2026-06-24 22:23 KST에 cupixworks-any-compute-agent 가 ECS cluster cupix-tesla-ece (us-west-2)의 container instance e8a48cda... 위로 skat-master ARM task를 StartTask 호출한 결과, ECS가 해당 instance의 상태를 DRAINING 으로 보고하며 1건의 task 배치 실패를 기록했다. 동일 job 1149392 는 11초 후(22:23:41)와 33초 후(22:24:02) 재시도에서 다른 instance를 선택해 정상 시작되었고, 사용자/data pipeline 영향은 없었다.

Quick Facts#

Affected Teams#

Timeline#

1. 2026-06-24 22:23:18 KST — JobManager가 SQS message(fef9e7ba-...)에서 job 1149392 처리 시작. runTask 첫 시도 — 적합 instance 없음, task size: 0 종료.
2. 2026-06-24 22:23:29 KST — runTask 재진입. describeContainerInstances 가 instance e8a48cda... 를 status: ACTIVE, running_tasks: 0, pending_tasks: 0 으로 보고 → 가드 통과 후 startTask 호출. ECS 응답 failures: [{ reason: "DRAINING" }] 으로 error log 기록 (본 cluster 발생 지점).
3. 2026-06-24 22:23:41 KST — 재시도. 남은 instance는 메모리 991 MiB · pending 1 뿐이라 가드(runningTasks==0 && pendingTasks==0)에 막혀 task size: 0.
4. 2026-06-24 22:24:02 KST — 다시 재시도. instance 14d82840... (ACTIVE, mem 126943 MiB, pending 0) 선택, startTask 성공. task size: 1.
5. 2026-06-24 22:24:03 KST — updateTaskIdToJob 가 task ARN 70c29c87... 를 job 1149392 에 매핑하며 정상 처리 완료.

Scoring#

Confidence 80% · Actionability 44%

Confidence#

Actionability#