Api::V1::ElementsController#index (avg 26130ms, max 26130ms)

What Happened#

2026-07-01 07:43 KST (production us-west-2)에 Api::V1::ElementsController#index 한 건이 26.1초 동안 처리되었다. 동일 facility(umphr6) 사용자가 per_page=300으로 38페이지 분량(11,244 elements)을 페이지네이션으로 순회하던 도중 page 34가 outlier로 지연되었으며, 같은 시각 동일 host(ip-10-1-19-190)에서 PanosController의 bulk/create/check_uploading 요청이 대량으로 발생해 Puma worker 가 혼잡 상태였다.

Quick Facts#

Affected Teams#

Timeline#

1. 2026-07-01 07:42:13 KST — 사용자 mhughes@pcl.com 가 facility umphr6 element 목록을 per_page=300으로 페이지네이션 시작 (page 14부터 로그 관측). 페이지당 0.4–3초로 정상 처리.
2. 2026-07-01 07:42:41 KST — page 34 요청이 host ip-10-1-19-190 에 도달 (duration 26090ms 역산).
3. 2026-07-01 07:42:53 KST — 같은 cluster에서 PanosController#create/bulk/check_uploading 요청 폭증 시작 (수십 건이 5–16초 소요).
4. 2026-07-01 07:43:07 KST — page 34 요청 완료 (200 OK, 26089ms). cluster file의 last_seen 기준 시각.
5. 2026-07-01 07:43:08–07:43:17 KST — page 35–38 요청은 다시 0.4–2.5초로 회복.
6. 2026-07-01 07:48–07:49 KST — PanosController bulk/index가 본격적으로 느려져 40–109초 소요 (별도 cluster들로 status board incident 2026-06-30-svc-cupixworks-api--unknown-1 의 후속 이벤트로 분류됨).

Scoring#

Confidence 85% · Actionability 28%

Confidence#

Actionability#