Grid Engine이야기를 시작한다…

Grid Engine은 Sun에서 개발한 오픈소스에서부터 시작되었다. 오픈소스인 Sun Grid Engine (이하 SGE) 의 Stable version은 2012년의 6.2 이다.

2013년 말 Oracle로부터의 Grid Engine관련 모든 기술과 인력들을 Univa에서 인수하였다. 이 이후로  Grid Engine의 개발은 다시 활기를 띄기 시작한다. 이로써 Univa Grid Engine(이하 UGE)이 시작된다.

Platform S/W는 일반적으로 1년 내에 3~4개 버전이 출시된다.  S/W에 일어나는 변화가 1년간 엄청나다는 반증이다. 3년이라면 넘사벽 수준으로 차이가 날 수 밖에 없다.  2년 이상 업그레이드를 하지 못하면, 상당량의 Bug와 뒤떨어지는 Performance의 소프트웨어를 사용할 수 밖에 없다.

UGE는 (2017년 5월 현재) 8.5.0버전까지 출시되었다. 2015년 11월 출시된 UGE 8.3.1p6와 SGE 6.x를 비교했을 때 스케쥴링 성능은 비교조차 불가능하다.

UGE는 단순히 오픈소스 버전에 약간의 살을 덧붙여 “유지보수비”를 받아내는 소위 “삥발이” 제품들과는 차원이 다르다.  HPC 실현의 핵심인 스케쥴링 소스코드에 혼을 담아낸 작품이다. SGE 개발 초기부터 참여했던 인력들과 경쟁사 제품인 LSF (by Platform Computing)개발팀에 몸담았던 엔지니어들이 자신의 삶을 바쳤기에 가능한 일이다.

UGE는 지금도 활발히 성능 개선과 시대에 걸맞는 호환성(Docker, Hadoop)을 위해 발전하고있다.

내 삶에서 Grid Engine/Grid Computing의 스타트는 UGE부터다. 다행히 기존에 알려져있는 패러다임(예:LSF, SGE)을 모를수록 학습속도는 빨라진다. 나도 그렇게 반 년이 넘는 시간동안 매달려왔고 전문가로 가기위한 수행 중이다.

나의 UGE 기술지원 경험을 여기에서 공유할 것이다. 다른 HPC환경의 분산시스템 제품 사용자 이더라도 내 글이 도움이 되길 바란다.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s