ES /docs

flush_geo_coordinate - error - message: Failed to open TCP connection to s3.me-south-1.amazonaws.com

Service
cupixworks-worker
Occurrences
13,306
Status
Reported
Confidence
85%
Actionability
36%
Cluster ID
c65e5d75-430f-4e28-9951-cee59496739e
First Seen
2026-07-13 01:11 UTC
Last Seen
2026-08-05 04:32 UTC
Datadog↗ Slack↗
Actions

flush_geo_coordinate - error - message: Failed to open TCP connection to s3.me-south-1.amazonaws.com

What Happened#

us-west-2 리전에서 실행되는 cupixworks-worker(Sidekiq)의 FlushRecordGeoCoordinateWorker가 me-south-1(Bahrain) 리전에 위치한 S3 버킷으로 geo_coordinate JSON을 업로드하는 도중 TCP connect timeout (execution expired)이 반복 발생했다. 2026-07-13 10:11 KST부터 12:28 KST 사이 동일 fingerprint 로그가 59회 관측되었고, production 뿐 아니라 qa 환경에서도 같은 시간대에 재현된다. me-south-1 스토리지 옵션을 사용하는 Record는 사실상 100% 실패하고 있으며, 동일 워커에서 다른 리전 대상 flush 는 정상 완료된다.

Quick Facts#

Field Value
exception.class Seahorse::Client::NetworkingError (원인 Net::OpenTimeout)
exception.message Failed to open TCP connection to s3.me-south-1.amazonaws.com:443 (execution expired)
top_frame app/models/concerns/record_geo_coordinate.rb:45 (geo_coordinate_s3_object.upload_stream)
runtime Ruby / AWS SDK for Ruby v3
deploy qa-us-west-2-20260713T0407Z0-32e73b4c-cupixworks (qa 샘플), production 은 별도 릴리스
env production, qa (모두 host region: us-west-2)

Affected Teams#

Team / Domain Error Count Impact
me-south-1 스토리지에 매핑된 team(들) 59 (cluster window) geo_coordinate JSON 이 CloudFront 로 갱신되지 않아 해당 Record 의 좌표/지도 표시가 stale 상태로 유지

구체 team domain 은 record.team.domain 이 이 로그 라인에 포함되어 있지 않아 특정하지 못함 — uncertain, 필요 시 Record.find(134500).team.domain 등으로 확인 필요.

Timeline#

  1. 2026-07-13 10:11 KST — 클러스터 첫 발생 (cluster first_seen).
  2. 2026-07-13 12:28 KST — 클러스터 last_seen 시점, production 로그에서 마지막으로 관측된 실패 (record id 134500).
  3. 2026-07-13 13:37 KST — qa 환경에서도 동일 에러가 계속 발생 중 (record id 8768). 이슈 미해결.
  4. 2026-07-13 14:00 KST — 같은 워커에서 me-south-1 이 아닌 다른 Record 의 flush_geo_coordinate - finished 로그 관측 → 워커 프로세스 자체는 정상.

Scoring#

Confidence 85% · Actionability 36%

Confidence#

Dimension Score Detail
Evidence completeness 5/5 16 code refs, 5 log queries
Code path explicitness 3/3 16 file:line refs
Log evidence 3/3 section, query, pattern
RCA structure 3/3 3/3 sections
Revision history 0/3 0 revision(s)
Agent execution 3/3 success

Actionability#

Dimension Score Detail
Fix complexity 1/5 critical
Affected files 1/5 11 file(s)
Single repo 1/3 3 service(s)
Immediate actions 0/3 absent
Testability 2/3 test mentioned
External dependency 1/3 external deps found
Data migration 3/3 no migration