Mostrando entradas con la etiqueta twitter. Mostrar todas las entradas
Mostrando entradas con la etiqueta twitter. Mostrar todas las entradas

viernes, 30 de agosto de 2013

Twitter propone Aurora para Apache™ Incubator

Propuesta Aurora

El pasado lunes 26 de agosto del 2013 se anunció la propuesta de Aurora en el marco de Apache™ Incubator. Estamos hablando de un servicio de planificación de tareas para Apache™ Mesos, desarollado para Twitter en la Universidad de California (Berkeley's AMPLab) . El sistema provee las bases necesarias para desplegar rápidamente servicios stateless, tolerantes a fallas y escalables. El proceso de incubación parece tener el fin de integrarse a Apache™ Mesos, recientemente convertido en un proyecto oficial de la ASF. Mientras que este último se especializa en distribuir tareas individuales a los nodos de un cluster, Aurora ofrece las abstracciones necesarias para clasificar y administrar estas tareas. Es típico que muchos servicios consistan en decenas o incluso cientos de tareas replicadas.

miércoles, 28 de agosto de 2013

Apache™ Mesos se gradúa de Apache™ Incubator

Apache™ Mesos

El pasado 24 de julio de 2013 fue emitido el anuncio de la graduación del proyecto Apache™ Mesos, convirtiéndose así en un proyecto de primer nivel de la fundación. Estamos hablando del sistema de administración de cluster que ofrece una propuesta eficiente de balance de carga y administración de recursos para aplicaciones distribuidas. Mesos actúa como una capa de abstracción entre las aplicaciones y pools de servidores. Se elimina así la necesidad de crear cluster de servidores separados para ejecutar frameworks de manera individual gracias a la optimización de la distribución de las tareas a lo largo del cluster. Entre sus virtudes se destaca la posibilidad de ejecutar frameworks como Apache™ Hadoop, MPI, Hypertable, Jenkins, Storm y Apache™ Spark. El sistema, al igual que Apache™ Spark, fue desarollado inicialmente en la Universidad de California (Berkeley's AMPLab) y es un elemento escencial de la infraestructura desplegada por Twitter y Airbnb.

A continuación les presento algunas opiniones acerca de Apache™ Mesos.

Mesos is the cornerstone of our elastic compute infrastructure, [...]
It's how we build all our new services and is critical for Twitter's
continued success at scale … one of the primary keys to our data infrastructure efficiency.


Chis Fry - Senior Vice President of Engineering at Twitter

We're using Mesos to manage cluster resources for most of our data infrastructure, [...]
We run Chronos, Storm, and Hadoop on top of Mesos in order to process petabytes of data


Brenden Matthews - Engineer at Airbnb, Apache Mesos Committer


Chronos es un framework basado en Mesos desarrollado por Airbnb con una funcionalidad similar a cron. Constituye un ejemplo de cómo se pueden desarrollar extensiones personalizadas con el fin de aprovechar sus capacidades para compartir recursos de cómputo.