응답 관련
- 평균 응답 시간: 사용자가 요청보내고 응답의 마지막 바이트를 받을 때까지 걸리는 평균적인 시간을 말한다. 실제 사용자 경험을 가장 잘 나타내는 수치다.
- 최대 응답 시간: 응답 시간 중에 가장 긴 경우를 말한다. 응답에 이상 현상을 식별할 때 사용한다.
- Error rate: (문제가 발생하는 요청 수)/(전체 요청 수)를 의미한다. 사용자 경험을 개선하려면 Error rate를 줄여야된다.
처리량 관련
- 동시 사용자(Concurrent users): 특정 시점에 활성 상태인 Virtual User의 수를 말한다. 시스템이 수용할 수 있는 유저의 수를 정할 때 사용할 수 있다. 특정 시점의 Active user라고도 부른다. 자료를 찾아본 결과, 각자 정의하고 있는 Concurrent user의 의미가 달랐다. 일부에서는 Concurrent user는 Active user와 다른 뜻으로 웹 페이지를 띄워놓고 언제든지 부하를 줄 수 있는 상태의 유저를 의미하기도 했다.
- Virtual user: 성능 테스트를 진행하기 위해 부하를 만들기 위한 가상의 유저를 뜻한다.
- RPS(Requests per second): 말 그대로 초당 서버에 전송되는 요청의 수를 의미한다. 예상되는 1일 사용자 수(DAU)를 기반으로 RPS를 예측할 수도 있다.
- 1일 사용자 수(DAU) x 1명당 1일 평균 접속 수 = 1일 총 접속 수
- 1일 총 접속 수 / 86,400 (초/일) = 1일 평균 rps
- 1일 평균 rps x (최대 트래픽 / 평소 트래픽) = 1일 최대 rps
- 처리량(Throughput): 초당 처리된 바이트 수를 의미한다.
참고 자료
https://loadninja.com/articles/key-performance-metrics-to-watch-in-load-tests/
https://www.tutorialspoint.com/software_testing_dictionary/virtual_users.htm