QMAws::runTask | error occurred during run ecs task - {

RCA Summary#

cupixworks-any-compute-agent의 QMAws 클래스가 AWS ECS API를 호출할 때, AWS SDK 클라이언트에 maxRetries 및 retryDelayOptions를 설정하지 않아 SDK 기본 retry 정책(짧은 간격, exponential backoff 미적용)이 사용됩니다. 동시에, JobManager::checkingQueue가 SQS에서 수신한 메시지를 500ms 간격으로 순차 처리하면서 다수의 ECS listContainerInstances, describeContainerInstances, startTask API 호출을 짧은 시간에 집중 발생시킵니다. 여러 job이 동시에 대기 중일 때 1분 내에 17건 이상의 runTask begin 호출이 발생하여 AWS ECS API rate limit을 초과하고, ThrottlingException: Rate exceeded 에러가 발생합니다.