EventService lacks retry logic for Kinesis failures
Service
cupixworks-api
Occurrences
11,407
Status
Reported
Confidence
85%
Actionability
36%
Cluster ID
11ab7395-b5d7-4075-be91-61686b9a2571
First Seen
2026-04-27 15:10 UTC
Last Seen
2026-07-10 18:18 UTC
Datadog
SlackActions
EventService lacks retry logic for Kinesis failures
What Happened#
2026-04-27 15:10~15:27 UTC (약 17분) 동안 eu-central-1 리전의 cupixworks-api에서 AWS Kinesis put_records 호출이 InternalFailure 및 Http503Error로 실패했다. 모든 모델 create/update/destroy 이벤트 발행이 차단되어 약 5,694건의 에러가 발생했다. AWS Kinesis 서비스 측 장애로 인한 것이며, 애플리케이션의 동기식 이벤트 발행 경로에 retry 로직이 없어 모든 실패가 즉시 에러로 전파되었다.
Quick Facts#
| Field | Value |
|---|---|
| exception.class | Aws::Kinesis::Errors::InternalFailure |
| exception.message | Failed to create event: Aws::Kinesis::Errors::InternalFailure |
| top_frame | lib/cupix/aws/kinesis.rb:9 |
| env | production, eu-central-1 |
| deploy | production-eu-central-1-20260426T2216Z0-a4578cc0-cupixworks |
| host | ip-10-1-16-213.eu-central-1.compute.internal |
Affected Teams#
| Team / Domain | Error Count | Impact |
|---|---|---|
| cupixworks-api (eu-central-1) | 5,694 | 모델 이벤트(Pano 등)의 Kinesis 스트림 발행 실패. 이벤트 DB 레코드는 생성되지만 downstream 소비자(EventStream)에 전달되지 않음 |
Timeline#
- 2026-04-27T15:10:57Z -- 최초 에러 발생.
Cupix::Aws::Kinesis#put_records!에서Aws::Kinesis::Errors::InternalFailure발생 - 2026-04-27T15:27:24Z~15:27:47Z --
Aws::Kinesis::Errors::Http503Error간헐적으로 혼재 (8건) - 2026-04-27T15:27:58Z -- 마지막 에러 로그. 이후 Kinesis 서비스 복구로 에러 중단
- 2026-04-27T16:20Z -- RCA 분석 시작
Scoring#
Confidence 85% · Actionability 36%
Confidence#
| Dimension | Score | Detail |
|---|---|---|
| Evidence completeness | 5/5 | 18 code refs, 6 log queries |
| Code path explicitness | 3/3 | 18 file:line refs |
| Log evidence | 3/3 | section, query, pattern |
| RCA structure | 3/3 | 3/3 sections |
| Revision history | 0/3 | 0 revision(s) |
| Agent execution | 3/3 | success |
Actionability#
| Dimension | Score | Detail |
|---|---|---|
| Fix complexity | 1/5 | critical |
| Affected files | 1/5 | 26 file(s) |
| Single repo | 1/3 | 3 service(s) |
| Immediate actions | 0/3 | absent |
| Testability | 2/3 | test mentioned |
| External dependency | 1/3 | external deps found |
| Data migration | 3/3 | no migration |