Bulk index partial failure

What Happened#

2026-06-29 07:28 KST 경에 cupixworks-worker Sidekiq 잡이 BimRevision 레코드에 대한 Elasticsearch bulk update를 실행하다가 bim_revisions 인덱스에서 일부 문서가 존재하지 않아 document_missing_exception(404) 을 반환했다. 같은 분 안에 eu-central-1, ap-southeast-2 두 리전에서 한 번씩 발생했고, 한 배치당 total: 300 중 failed_count: 45 (~15%) 가 실패했다. 워커는 예외를 raise하지 않고 에러 로그만 남겼기 때문에 잡은 정상 종료되었고 후속 배치는 계속 처리되었다.

Quick Facts#

Affected Teams#

Timeline#

1. 2026-06-29 07:22 KST — 두 리전(eu-central-1, ap-southeast-2)에 동일 빌드 bfdc5ebd 배포 완료 (Datadog 로그의 dd.version 필드 기준).
2. 2026-06-29 07:28:47 KST — ap-southeast-2 worker: update - id: 1 - 311 로그 후 즉시 Bulk index partial failure (failed_count: 45, total: 300, IDs 1..6 등이 document_missing).
3. 2026-06-29 07:28:49 KST — eu-central-1 worker: update - id: 1 - 300 로그 후 동일한 Bulk index partial failure (failed_count: 45, total: 300).
4. 2026-06-29 07:28:53 KST 이후 — 같은 워커가 다음 batch (id: 312 - 611, 612 - 911, ...) 처리. 이후 partial failure 로그는 더 이상 발생하지 않음 (낮은 ID 구간에서만 실패).

Scoring#

Confidence 85% · Actionability 16%

Confidence#

Actionability#