개발서버 트래픽이 급 올라감(DDOS 관련)

한달전 있었던 일인데 좋은 경험이라 포스팅 해야지 해야지 하면서 방치해 두고 있다가 이제서야 글을 쓴다.

개발서버에서 UDP패킷 발생이 폭발적으로 발생하여, 네트워크 운영팀에서 급하게 서버를 차단했다는 연락을 받았고, 이에 대한 리포트를 받았다. 

(리포트의 일부)

일단 우리쪽 서버에서 UDP 패킷을 발생하는 문제였다. 이런 경험은 처음이라 뭐부터 어떻게 확인을 해야할지 잘 몰랐다. 

우선 cpu점유율이 많은 프로세스가 존재하지 않을까 하는 생각에 top으로 확인한 결과 통상으로 팀에서 사용하는 프로세스들 (팀 자체가 자바로 개발을 하고 있으니 java프로세스들이 많음.)외에 딱히 눈에 보이는 프로세스들이 보이지는 않았다.

일단 네트워크에서 UDP패킷이 많다고 하니 netstat으로 확인 해본 결과 세상에......

whwh라는 프로세스가 엄청난 량의 트래픽을 send 시키고 있었다.

참고로 netstat의 탭 순서는(운영체제에 따라 다르겠지만 cent os기준으로)

procotcal, recv-Q, send-Q, local address, foreign address, state 순이다.

여기서 recv-Q와 send-Q에 대해서 말하자면 받거나 보낼때 아직 처리되지 않고 대기중인 소캣의 사이즈를 의미한다.

웃긴건 whwh의 실행 파일이 존재하지 않았다는 점이다. 아마 메모리에 상주 시키고 파일은 삭제한 듯 하다.

일단 프로세스를 kill해서 상황은 종료 하긴 했는데 앞으로 관리를 좀 더 잘 해야 겠다는 생각이 드네.....

(비록 유시진은 아니지만 유입 경로를 알아내긴 했는데 규정상 말할 수 없는 사연으로.......)