Hadoop a spracovanie veľkého objemu dát – realita verzus potenciál

Termín prednášky bol 21.03.2013 od 09:40 -10:05
V rámci podujatia Data & Big data - ako na ne?!

Spracovanie veľkých objemov dát je v dnešnej dobe veľkou výzvou. Po predstavení rámca Map/Reduce spoločnosťou Google sa táto výzva relatívne zjednodušila. Podľa vzoru Map/Reduce vzniklo viacero implementácií (komerčných aj voľne stiahnuteľných), ktoré ponúkajú analytikom, manažérom a ľudom v rôznych riadiacich pozíciách prehľady získané s veľkých dát skoro už v reálnom čase. Predstavíme si potenciál jednej z voľne stiahnuteľných implementácií paradigmy Map/Reduce – Apache Hadoop a povieme si ako ju firmy pracujúce s veľkými dátami (Facebook, Yahoo!, a iné) použili vo svojich prostrediach.

Mgr. Martin Šeleng, PhD.

výskumno-vývojový pracovník, oddelenie paralelného a distribuovaného spracovania informácií, Ústav informatiky, SAV Bratislava ,

Mgr. Martin Šeleng, PhD.

Od január 2006 výskumno-vývojový pracovník, Oddelenie paralelného a distribuovaného spracovania informácií, Ústav informatiky, Slovenská akadémia vied Bratislava

Hlavné činnosti a zodpovednosť:

- Znalostne orientované technológie
- Sémantické spracovanie informácií a manažment znalostí
- Získavanie a vyhľadávanie informácií (information retrieval)
- Štatistické vyhodnocovanie systémov na získavanie informácií

Práca na medzinárodných výskumných projektoch:
- 2011-, EU projekt Venis FP7-284984
- 2008-2011, EU projekt Commius FP7-213876
- 2004-2007, EU projekt K-Wf Grid FP6-511385

Počítačové zručnosti - Information Processing
o Lucene
o Parallel and distributive computing
o MapReduce: Hadoop, application development, Hadoop administration
- Delphi, Java, Eclipse, C/C++
- UNIX - Linux