ES /docs

Searchable concern synchronous Elasticsearch indexing timeout

Service
cupixworks-api
Occurrences
5,642
Status
Reported
Confidence
85%
Actionability
28%
Cluster ID
42e28124-cfc8-4f3e-89af-24d1932bba96
First Seen
2026-06-24 04:53 UTC
Last Seen
2026-08-05 01:23 UTC
Datadog↗ Slack↗
Actions

Searchable concern synchronous Elasticsearch indexing timeout

What Happened#

2026-06-24 13:53 KST부터 약 1시간 23분 동안 cupixworks-api 의 PUT /api/v1/panos (Api::V1::PanosController#bulk, bulk_action=update) 요청이 평균 11.7초, 최대 13.9초까지 지연되었다. error-sweeper 가 latency cluster 로 8건을 묶었고, 같은 시간대 Datadog 로그에는 동일 endpoint 의 100건짜리 bulk update 가 us-west-2 / ap-southeast-2 / eu-central-1 세 리전에서 반복적으로 6~11초씩 걸리는 정상 응답이 다수 확인된다. status 는 모두 200 success 로, 에러가 아닌 순수한 latency 이슈다.

Quick Facts#

Field Value
resource Api::V1::PanosController#bulk (PUT /api/v1/panos)
bulk action update (모든 샘플에서 동일)
typical items_count 100 (max 1000 허용)
avg duration 11717 ms (cluster) / 7135 ms (90분 윈도우 평균)
max duration 13912 ms
db time per request 600–1300 ms (전체의 ~10%)
top_frame app/repositories/concerns/bulkable_repository.rb:30-46
runtime Rails / Ruby (tesla repo)
deploy production-{region}-20260624t0540z0-24b9962e-cupixworks
env production, us-west-2 / ap-southeast-2 / eu-central-1

Affected Teams#

Team / Domain Slow Requests Observed Impact
rogers-obrien (us-west-2) 6+ 100건 단위 pano metadata 갱신이 매 호출 10초 이상
brasfieldgorrie (us-west-2) 7+ 동일 패턴, 9–10초
enbridge (us-west-2) 3 100건 update 10초대
becarabia / hassan-allam (eu-central-1) 5+ 9~10초
scs-assetfuture (ap-southeast-2) 3+ 7~9초

영향 범위는 cupix-agent (User-Agent: cupix-agent) 의 업로드/리뷰 워크플로에서 pano 메타데이터를 일괄 갱신하는 사용자 흐름에 한정된다.

Timeline#

  1. 2026-06-24 13:53 KST — error-sweeper 가 Api::V1::PanosController#bulk 의 첫 latency span 을 감지 (first_seen).
  2. 2026-06-24 14:53–15:18 KST — us-west-2 의 rogers-obrien / brasfieldgorrie / enbridge tenant 에서 100건짜리 bulk update 가 평균 10초 이상으로 지속 발생.
  3. 2026-06-24 15:11–15:18 KST — eu-central-1 (becarabia, hassan-allam) 에서도 동일 패턴.
  4. 2026-06-24 15:16 KST — 클러스터 마지막 샘플 (last_seen).
  5. 2026-06-24 RCA 시점 — svc:cupixworks-api::unknown 통합 인시던트 (2026-06-24-svc-cupixworks-api--unknown-1) 가 아직 open 상태.

Scoring#

Confidence 85% · Actionability 28%

Confidence#

Dimension Score Detail
Evidence completeness 5/5 19 code refs, 6 log queries
Code path explicitness 3/3 19 file:line refs
Log evidence 3/3 section, query, pattern
RCA structure 3/3 3/3 sections
Revision history 0/3 0 revision(s)
Agent execution 3/3 success

Actionability#

Dimension Score Detail
Fix complexity 1/5 critical
Affected files 1/5 50 file(s)
Single repo 1/3 4 service(s)
Immediate actions 0/3 absent
Testability 0/3 no test info
External dependency 1/3 external deps found
Data migration 3/3 no migration