batch_pull! error on batch arn:aws:ecs:us-west-2:002596530511:task/cupix-tesla-ece/ab866da276af40d4b
Service
cupixworks-worker
Occurrences
407,273
Status
Reported
Confidence
85%
Actionability
28%
Cluster ID
1ad7f6fa-20d4-401e-8bc1-eeb0559d7bed
First Seen
2026-07-13 07:06 UTC
Last Seen
2026-08-05 04:52 UTC
Datadog
SlackActions
batch_pull! error on batch arn:aws:ecs:us-west-2:002596530511:task/cupix-tesla-ece/ab866da276af40d4b
What Happened#
2026-07-13 16:06 KST 부터 약 40분간 cupixworks-worker 서비스에서 AwsTask.batch_pull! 이 377회 연속 실패했다. 원인은 IAM 사용자 tesla-api-production-5nod 가 ecs:DescribeTasks 권한을 가지고 있지 않아 AWS ECS API 호출이 AccessDeniedException 으로 거부된 것이다. 동일한 권한 오류가 최소 2026-06-29 부터 존재해 왔고 (Datadog retention 상한), 2분마다 실행되는 cron (Cupix::Cron::AwsTask.pull_pending, pull_blank) 이 pending/blank 상태인 AwsTask 레코드를 반복 조회하면서 그 시점에 큐잉된 대량의 task 를 배치로 처리하는 순간마다 스파이크가 발생한다.
Quick Facts#
| Field | Value |
|---|---|
| exception.class | Aws::ECS::Errors::AccessDeniedException (rescued as StandardError) |
| exception.message | User: arn:aws:iam::002596530511:user/system/tesla-api-production-5nod is not authorized to perform: ecs:DescribeTasks on resource: * because no identity-based policy allows the ecs:DescribeTasks action |
| top_frame | app/models/aws_task.rb:55 (ecs.describe_tasks) |
| runtime | Rails / Sidekiq (cupixworks-worker) |
| env | production, ECS cluster cupix-tesla-ece in us-west-2 |
| iam_user | arn:aws:iam::002596530511:user/system/tesla-api-production-5nod |
Affected Teams#
| Team / Domain | Error Count | Impact |
|---|---|---|
| cupixworks-worker (ECS task lifecycle tracking) | 377 | AwsTask 레코드의 last_status/desired_status 가 실제 ECS task 상태와 동기화되지 않음. Job.run_task_stopped_callbacks 가 트리거되지 않아 stopped task 에 대한 후속 처리(콜백)가 지연될 위험 |
Timeline#
- 2026-06-29 20:21 KST —
PullTaskWorker::perform | error on 9836 ... not authorized to perform: ecs:DescribeTasks— 동일 권한 오류 최초 관측 (Datadog 14일 retention 상한이라 실제 시작 시점은 더 이를 수 있음). - 2026-07-13 16:03 KST —
PullTaskWorker::perform | error on 10256(개별 워커 경로에서도 동일 오류) 재확인. - 2026-07-13 16:06:30 KST —
AwsTask.batch_pull!배치 경로에서 오류 스파이크 시작 (cluster first_seen). - 2026-07-13 16:46:18 KST — 스파이크 종료 (cluster last_seen). 40분 동안 377건.
- 2026-07-13 16:34–16:46 KST — 상태 보드에
cupixworks-worker service degraded인시던트 자동 생성 (id2026-07-13-svc-cupixworks-worker--unknown-2, 3 clusters 그룹핑).
Scoring#
Confidence 85% · Actionability 28%
Confidence#
| Dimension | Score | Detail |
|---|---|---|
| Evidence completeness | 5/5 | 18 code refs, 5 log queries |
| Code path explicitness | 3/3 | 18 file:line refs |
| Log evidence | 2/3 | section, query |
| RCA structure | 3/3 | 3/3 sections |
| Revision history | 1/3 | 1 revision(s) |
| Agent execution | 3/3 | success |
Actionability#
| Dimension | Score | Detail |
|---|---|---|
| Fix complexity | 1/5 | critical |
| Affected files | 1/5 | 19 file(s) |
| Single repo | 1/3 | 3 service(s) |
| Immediate actions | 0/3 | absent |
| Testability | 0/3 | no test info |
| External dependency | 1/3 | external deps found |
| Data migration | 3/3 | no migration |