ES /docs

EntityIndexable missing retry on Elasticsearch timeout

Service
cupixworks-api
Occurrences
6
Status
Reported
Confidence
85%
Actionability
28%
Cluster ID
e6e59695-233c-4a04-939d-0fb3a861a871
First Seen
2026-07-16 16:03 UTC
Last Seen
2026-08-04 19:50 UTC
Datadog↗ Slack↗
Actions

EntityIndexable missing retry on Elasticsearch timeout

What Happened#

2026-07-17 01:03 KST에 cupixworks-api production (us-west-2) 에서 PUT /api/v1/clusters/1454197/meta/constr 한 요청이 11.2초 걸린 뒤 200으로 정상 종료했다. 같은 시간대에 다른 요청은 정상 응답 (< 1s) 을 보였으며, 약 20분 전후로 Cupix::Errors::BadGateway("Bad Gateway error on Elasticsearch") 502 응답이 산발적으로 관측되어, 이 latency 스파이크는 Cluster#save after_commit 콜백이 호출하는 Elasticsearch 인덱스 요청의 일시적 지연에 기인한 것으로 판단된다.

Quick Facts#

Field Value
exception.class (없음 — HTTP 200 응답)
resource_name Api::V1::ClustersController#update_meta_by_key
top_frame app/controllers/concerns/metable_controller.rb:51 (@model.save)
avg_duration_ms 11248
max_duration_ms 11248
env production, us-west-2
tenant cupix

Affected Teams#

Team / Domain Error Count Impact
cupixworks-api (Cluster meta 업데이트 경로) 1 slow request 단일 사용자 요청이 11초 지연되었으나 실패 없이 200 응답. 사용자 체감 지연.

Timeline#

  1. 2026-07-17 00:36 KST — Api::V1::Admin::EditingsController#index 에서 Cupix::Errors::BadGateway (Elasticsearch) 502 발생 (2회) — ES 불안정 신호.
  2. 2026-07-17 01:03:14 KST 무렵 — PUT /api/v1/clusters/1454197/meta/prop 요청 정상 처리, 이후 PUT /api/v1/clusters/1454197/meta/constr 요청 시작 (trace 1192601485234977257).
  3. 2026-07-17 01:03:15 KST — Datadog APM 이 해당 트레이스를 latency 이상치 (11248 ms) 로 감지 (first_seen).
  4. 2026-07-17 01:03:25 KST — Cluster 1454197 Meta updated by key: constr info 로그 및 [200] PUT ... /meta/constr 액세스 로그 기록 → 요청 종료.
  5. 2026-07-17 01:25-26 KST — Api::V1::PanosController#index 에서 Cupix::Errors::BadGateway (Elasticsearch) 502 재발생 (2회) — ES 지속 불안정 확인.

Scoring#

Confidence 85% · Actionability 28%

Confidence#

Dimension Score Detail
Evidence completeness 5/5 18 code refs, 9 log queries
Code path explicitness 3/3 18 file:line refs
Log evidence 3/3 section, query, pattern
RCA structure 3/3 3/3 sections
Revision history 0/3 0 revision(s)
Agent execution 3/3 success

Actionability#

Dimension Score Detail
Fix complexity 1/5 critical
Affected files 1/5 21 file(s)
Single repo 1/3 6 service(s)
Immediate actions 0/3 absent
Testability 0/3 no test info
External dependency 1/3 external deps found
Data migration 3/3 no migration