QMAws::startTask | ECS failures - job_id: 1254229, task_definition: cupix-pix-genie-preprocessor-age
Service
cupixworks-any-compute-agent
Occurrences
1
Status
Approved
Confidence
80%
Actionability
44%
Cluster ID
2c538c9d-e625-4efe-beca-8333136706f7
First Seen
2026-08-05 07:42 UTC
Last Seen
2026-08-05 07:42 UTC
Datadog
Slack
TSLA-13879
PR · cupixworksActions
현재 상태 approved 에서는 실행할 액션이 없습니다.
QMAws::startTask | ECS failures - job_id: 1254229, task_definition: cupix-pix-genie-preprocessor-age
What Happened#
2026-08-05 16:42 KST, cupixworks-any-compute-agent (repo cupixworks, 워크스페이스 applications/agents/packages/cupix-tesla-compute-agent) 가 job 1254229 (create_pix_genie_preprocessor, team cana) 를 GPU 인스턴스 e89d162f... 에 배치하려 했으나 ECS 가 RESOURCE:GPU 로 거부했다. 에이전트의 인스턴스 선별 로직은 MEMORY / CPU / task 개수만 검사하고 GPU 잔여량은 검사하지 않아 GPU 가 부족한 인스턴스를 골랐다. startTask 는 이 거부를 error 레벨로 기록했고, SQS 메시지가 삭제되지 않아 job 이 재시도되어 약 3분 뒤 다른 인스턴스에 정상 배치되었다. 사용자 영향은 처리 지연뿐이며 데이터 손실은 없다.
Quick Facts#
| Field | Value |
|---|---|
| exception.class | QMAws::startTask ECS failure (예외 아님, ECS API failures 응답) |
| exception.message | ECS failures ... failures: [{"arn":"...","reason":"RESOURCE:GPU"}] |
| top_frame | src/model/qmAws.ts:197 |
| runtime | Node.js / TypeScript agent (aws-sdk ECS startTask) |
| env | production, us-west-2 (representative), 다른 발생은 eu-central-1 / au 리전 포함 |
Affected Teams#
| Team / Domain | Error Count | Impact |
|---|---|---|
| cana (representative job 1254229) | 1 | GPU preprocessor job 배치 약 3분 지연, 최종 성공 |
전체 (RESOURCE:GPU, now-14d) |
25 | 모두 재시도로 자가 복구, 로그 노이즈 |
Timeline#
- 2026-08-05 16:42:07 KST — job 1254229 이 인스턴스
e89d162f...(running_tasks: 0, pending_tasks: 0, available_memory_mib: 30940) 선택 후startTask호출, ECS 가RESOURCE:GPU거부.runTask | end - task size: 0. - 2026-08-05 16:43:38 KST — SQS visibility timeout 만료 후 재시도, 다시
task length: 0. - 2026-08-05 16:45:10 KST — 재시도, 다른 인스턴스
309c4a42...에 배치 성공.task arn: arn:aws:ecs:us-west-2:...aae4f63b40db4bc3af77f62ea7a54098.
Scoring#
Confidence 80% · Actionability 44%
Confidence#
| Dimension | Score | Detail |
|---|---|---|
| Evidence completeness | 5/5 | 22 code refs, 4 log queries |
| Code path explicitness | 3/3 | 22 file:line refs |
| Log evidence | 2/3 | section, query |
| RCA structure | 3/3 | 3/3 sections |
| Revision history | 0/3 | 0 revision(s) |
| Agent execution | 3/3 | success |
Actionability#
| Dimension | Score | Detail |
|---|---|---|
| Fix complexity | 5/5 | trivial |
| Affected files | 1/5 | 13 file(s) |
| Single repo | 1/3 | 2 service(s) |
| Immediate actions | 0/3 | absent |
| Testability | 0/3 | no test info |
| External dependency | 1/3 | external deps found |
| Data migration | 3/3 | no migration |