Api::V1::PanosController#update_meta_by_key (avg 11476ms, max 11476ms)

What Happened#

2026-06-25 07:01 KST에 cupixworks-api (production, us-west-2)에서 Api::V1::PanosController#update_meta_by_key 요청 하나가 11476ms 동안 실행되며 latency 클러스터(duration:>500ms)로 감지되었습니다. 동일 시각에 동일 endpoint 의 정상 요청은 ~263ms 였으므로 이번 한 건은 평소 대비 약 43배 느렸습니다. HTTP 응답은 200 으로 사용자 측 실패는 없었고 다른 status:error 도 발생하지 않았습니다.

Quick Facts#

Affected Teams#

영향 범위는 단일 요청으로 한정. 동일 시간 윈도우(22:01:50Z–22:02:10Z)에는 100건 이상의 동일 endpoint 요청이 정상적으로 처리됨.

Timeline#

1. 2026-06-25 07:01:00 KST — update_meta_by_key 요청들이 burst 로 유입되기 시작 (수십 건/sec, cupix-agent 트래픽).
2. 2026-06-25 07:01:56 KST — 문제 요청 발생, 11476ms 동안 실행 후 200 응답 (first_seen = last_seen).
3. 2026-06-25 07:01:50–07:02:10 KST — 같은 20s 윈도우에 100+ 건의 동일 endpoint 요청 성공 (Datadog log 카운트).
4. 2026-06-25 07:09:5x KST — Pano#_update_document 가 NotFound - attributes_in_database warn 로그를 다수 출력 (관련 패턴, 후술).
5. 이후 동일 cluster_id 의 재발생 없음 (occurrence_count: 1).

Scoring#

Confidence 85% · Actionability 44%

Confidence#

Actionability#