hadoop – El Blog de Tomas

Desarrollo en Hadoop

Tomas — Sun, 09 Nov 2014 20:21:32 +0000

Como ya comenté anteriormente, me encuentro realizando mi tesis de grado en un tema que propone una cruza de las áreas de Big Data y Recuperación de Información. En dicho contexto, utilizo Hadoop como Framework y Java como lenguaje de desarrollo.

En dicha oportunidad prometí un post con contenido sobre desarrollo para Hadoop. Acá les dejo unas diapositivas que prepare especialmente para introducir en el tema.

En dichas slides se puede acceder a un tutorial de instalación de Hadoop 2 en modo local y cluster, y algunos ejemplos de código.

Ya que estamos, si quieren mirar código y si tienen tiempo colaborar, estoy subiendo mis implementaciones a un repositorio público en Github. Es un repositorio íntegramente funcional sobre Hadoop 2. Ademas estoy tratando de ir subiendo issues para favorecer la colaboración (De alguna manera marca el estado de avance de los proyectos y da una idea de lo que falta hacer).

Si tienen intenciones de colaborar o forkear, no duden en contactarse conmigo.

Hadoop: Introduccion, articulos e Instalación

Tomas — Mon, 13 Oct 2014 14:32:15 +0000

El día miércoles 8/10/2014 en el marco de una materia me invitaron a exponer la experiencia que vengo reuniendo en lo que respecta al Big Data y a Hadoop en particular. Ya tenia preparada una diapositiva introductoria, la cual amplié y corregí de cara al curso, el cual es sobre Sistemas Distribuidos y agregue algún contenido adicional sobre como opera HDFS de forma mas detallada.

Las slides:

Por otro lado, el profesor me pidió, de la vasta documentación en el tema, 1 articulo o dos para ofrecer como bibliografia. Si bien podría haber dicho el libro de Tom White, que es la referencia en el tema, me pareció que para un curso que no es especifico de Hadoop dos artículos mas específicos podrían ser un mejor aporte. Los artículos que elegí fueron:

[DEA,2004]: Dean, J. Et. all. “MapReduce: Simplified Data Processing on Large Clusters“. OSDI. 2004.

[SHV,2010]: Shvachko, K. Et. all. “The Hadoop Distributed File System“. IEEE. 2010.

Por ultimo, Agrego dos tutoriales que armamos con dos colegas (Esteban y Alejandro) para instalar Hadoop para desarrollo (conocida como single-node) y como cluster.

Hadoop, otra introducción

Tomas — Tue, 29 Jul 2014 16:31:58 +0000

Les dejo una recopilación de material de la web que realice en forma de diapositiva, introduciendo a Hadoop.

La mayoría del contenido no es propio, sino que es recopilado de presentaciones y webs online. La integración es a fines académicos. En la mayoría de los casos agregue referencias, pero si encuentran algún lugar que falte, por favor avísenme y lo agrego.

La herramienta que use para armar las slides es slides.com, que es una interfaz para la librería reveal.js, que esta muy copada, y solo usa HTML+CSS+JS (con librerías, obviamente).

Lo próximo es una diapo con algunos ejemplos de aplicaciones en Hadoop (instalación, código, etc…)