Api::V1::RoomsController#create (avg 49713ms, max 49713ms)

What Happened#

2026-07-10 16:49 KST경 ap-southeast-2 production 환경에서 POST /api/v1/rooms (Api::V1::RoomsController#create) 요청이 약 49.7초 동안 처리됨. 동일 시각에 같은 built 테넌트의 Capture#81421 및 자식 Pano/Asset/Bim 리소스에 대한 다중 write 요청(다른 클러스터 AssetsController#create 125s, BimsController#create_resource 111s)이 동시에 발생하여 InnoDB row-lock 대기열이 길어졌고, Rooms POST 도 그 lock contention 큐 뒤쪽에서 대기하다 처리된 것으로 관측됨. 요청 자체는 200 으로 성공했으나 총 소요 시간이 사용자 tolerance (SLO 1s) 를 크게 초과.

Quick Facts#

Affected Teams#

Timeline#

1. 2026-07-10 16:48 KST (07:48:53–55Z) — Facility#18203 에 대해 User(14807) 권한 grant 시 RecordNotUnique 가 다수 발생 (add_permission! warn 16회) — 동일 세션이 동일 facility 에 대해 병렬 write 를 반복하고 있음을 시사.
2. 2026-07-10 16:49 KST (07:49:21.015Z) — 본 클러스터 Api::V1::RoomsController#create sample trace 최초 관측 (avg_duration_ms=49713).
3. 2026-07-10 16:49–16:51 KST (07:49:21–07:51:35Z) — 동일 인시던트로 sibling 클러스터 AssetsController#create (125s), RoomsController#create (본 건), BimsController#create_resource (111s) 가 status board 에 등록됨 (incident id 2026-07-10-svc-cupixworks-api--unknown-2).
4. 2026-07-10 16:51 KST (07:51:27.207Z) — 슬로우 POST /rooms 응답: duration=45876.04ms, db=11515.27ms, HTTP 200. 같은 초에 POST /rooms (14.1s, db 6.6s), PUT /captures/81421, 다수 PUT /panos/…, POST /assets, POST /bims/3566/resources (400, "Duplicate kind: mesh") 도 완료 — 락 큐가 한 번에 해제된 정황.
5. 2026-07-10 16:49 KST (07:49:35.295Z) — status board 자동 해소 (resolved_at).

Scoring#

Confidence 85% · Actionability 28%

Confidence#

Actionability#