hadoop 커뮤니티 초기부터 가입해서 관심있게 지켜보고 있었습니다.

hadoop 커뮤니티를 이끌고 있는 한재선 박사님께서 이번에Hadoop Tutorial Workshop 을 준비해 주셨습니다.

사실 기본이 좀 부족하다는 생각을 많이 하고 있고, 또 실제 적용사례도 궁금해서 냉큼 세미나를 신청했습니다.

hadoop은 몇가지 특징이 있는데...


아...한마디로 오픈소스의 힘!!! ^.^

여러가지 활용방법이 있겠지만(포탈에서는 검색서비스에도 이용한다고 합니다) 지난 webscon에서

들었던 집단지성 프로그래밍에서도 활용 될 수 있습니다(대용량 웹 로그 분석)

사실 웹서버를 수십대 두고, 하루에도 엄청난 웹 로그를 만들어내는 사이트에서

그 로그를 자유자재로 분석한다는 것은 생각처럼 쉬운 일은 아닙니다.

좀 더 마케팅적인....고차원 적인 분석을 위해서는 해당 로그를 따로 DB화 하는 것을 생각할 수 있겠지만

메일메일 분석해야 하는 상황에서 대용량 로그성 flat file을 파싱해서 db에 넣는것은 메인서비스를

위한 DB가 따로 있다고 하더라도 거의 불가능에 가까운 일이 됩니다(특히 통계기반의 MSSQL과 같은 DBMS는 더욱 더....)

그렇다고 따로 이런 경우에 맞는 DBMS를 구매하기도 쉽지 않은 일 이고....

hadoop이 이럴경우에 최적의 시스템이 아닐까 생각됩니다.

다수의 일반PC에 넉넉한 하드를 물려서 해당 웹로그를 바로 HDFS의 가상 스토리지에

저장하는 상황을 만든다면, 마치 DBMS를 이용하듯 편하게 데이터셋을 컨트롤 할 수 있다고 생각합니다.

엄두가 나지 않을정도의 로그가 생성되고 실시간(또는 실시간에 가까운)에 로그를 분석하여

의미있는 자료로 사용자나 관리자에게 제공된다면...~~?

그런 서비스가 운영 서비스에는 전혀~~~ 지장을 주지 않는다면???

이런 시스템이 오픈소스와 저렴한 PC로 비용까지 저렴하다면???

생각만 해도 괜찮지 않나요???

ㅋㅋㅋ

세미나 잘 댕겨오겠습니다.