개발 이야기
죽음의 핫픽스
2주 전에 주말에 정규 배포가 있었습니다. 월요일에 출근해 보니 난리가 났습니다. 백그라운드 프로세싱을 담당하는 서버의 성능 저하가 발생하였고, 데이터베이스의 CPU가 스파이크를 치며 특정 쿼리의 성능이 극도로 나빠졌다고 합니다. 두 개 모두 제가 버그와 스토리로 고친 것인데, 2개 모두 문제가 생겨 아침부터 쌩난리가 난 것입니다.아침부터 바로 매니저 호출 받고, DevOps팀과 회의 후 백그라운드 프로세싱 수정한 것은 원복하기로 결정하였습니다. 코드 원복 후 QA 테스팅 후 오후에 스텔스 모드로 핫픽스. 사실 성능을 더 좋게 만들라는 스토리였는데, 디플로이 전 테스팅에서 일반적인 상황에서는 잘 돌아가고 성능도 좋게 나왔습니다만 프로덕션은 생각치도 못한 다양한 데이터가 있을 수 있는데 그것을 미쳐 생각하..
2018. 11. 21. 12:47
최근댓글