Descripción
Los datos de streaming son un tema importante en el big data en la actualidad. A medida que más y más empresas buscan dominar los masivos conjuntos de datos ilimitados que invaden nuestro mundo, los sistemas de streaming finalmente han alcanzado un nivel de madurez suficiente para su adopción generalizada. Con esta guía práctica, ingenieros de datos, científicos de datos y desarrolladores aprenderán a trabajar con datos de streaming de una manera conceptual y agnóstica a la plataforma.
Ampliando los populares posts de blog de Tyler Akidau, Streaming 101 y Streaming 102, este libro te lleva de un nivel introductorio a una comprensión matizada de qué, dónde, cuándo y cómo procesar flujos de datos en tiempo real. También profundizarás en las marcas de agua y el procesamiento exactamente una vez con los coautores Slava Chernyak y Reuven Lax.
Explorarás:
- Cómo se comparan los patrones de procesamiento de datos de streaming y por lotes
- Los principios y conceptos fundamentales detrás del procesamiento robusto de datos fuera de orden
- Cómo las marcas de agua rastrean el progreso y la completitud en conjuntos de datos infinitos
- Cómo las técnicas de procesamiento de datos "exactamente una vez" garantizan la corrección
- Cómo los conceptos de flujos y tablas forman los fundamentos del procesamiento de datos por lotes y por streaming
- Las motivaciones prácticas detrás de un potente mecanismo de estado persistente, impulsado por un ejemplo del mundo real
- Cómo las relaciones que varían en el tiempo proporcionan un vínculo entre el procesamiento de flujos y el mundo de SQL y el álgebra relacional
Autor: Tyler Akidau, Slava Chernyak, Reuven Lax
Editorial: O'Reilly Media
Publicado: 14/08/2018
Páginas: 352
Tipo de encuadernación: Tapa blanda
Peso: 1.20 libras
Tamaño: 9.10h x 7.00w x 0.70d
ISBN13: 9781491983874
ISBN10: 1491983876
Categorías BISAC:
- Computadoras | Ciencia de Datos | General
- Computadoras | Desarrollo de Software e Ingeniería | General
- Computadoras | Sistemas Distribuidos | General
Acerca del autor
Tyler Akidau es ingeniero senior de software en Google, donde es el líder técnico del grupo de Lenguajes y Sistemas de Procesamiento de Datos, responsable de los esfuerzos de Google en Apache Beam, Google Cloud Dataflow y herramientas internas de procesamiento de datos como Google Flume, MapReduce y MillWheel. También es miembro fundador del PMC de Apache Beam. Aunque es profundamente apasionado y vocal sobre las capacidades e importancia del procesamiento de flujos, también es un firme creyente en que el procesamiento por lotes y por flujos son dos caras de la misma moneda, siendo el objetivo final de los sistemas de procesamiento de datos la fusión perfecta entre ambos. Es el autor del artículo de 2015 "Dataflow Model" y de los artículos "Streaming 101" y "Streaming 102" en el sitio web de O'Reilly. Su modo de transporte preferido es la bicicleta de carga, llevando a sus dos hijas pequeñas.
Slava Chernyak es ingeniero de software sénior en Google Seattle. Slava pasó más de cinco años trabajando en los sistemas internos de procesamiento de datos en streaming a gran escala de Google y desde entonces se ha involucrado en el diseño y la construcción de Windmill, el backend de streaming de próxima generación de Google Cloud Dataflow, desde cero. A Slava le apasiona hacer que el procesamiento de flujos a gran escala sea accesible y útil para una audiencia más amplia. Cuando no está trabajando en sistemas de streaming, Slava disfruta de la belleza natural del Pacífico Noroeste.
Reuven Lax es un ingeniero sénior de software en Google Seattle, y ha pasado los últimos nueve años ayudando a dar forma a la estrategia de procesamiento y análisis de datos de Google. Durante gran parte de ese tiempo se ha centrado en los esfuerzos de Google para el procesamiento de datos en streaming de baja latencia, primero como miembro y líder del equipo de MillWheel, y más recientemente fundando y liderando el equipo responsable de Windmill, el motor de procesamiento de flujos de próxima generación que impulsa Google Cloud Dataflow. Está muy emocionado de llevar la experiencia de procesamiento de datos de Google al mundo en general, y orgulloso de haber participado en la publicación tanto del artículo de MillWheel en 2013 como del artículo del Modelo de Flujo de Datos en 2015. Cuando no está trabajando, Reuven disfruta bailando swing, escalando rocas y explorando nuevas partes del mundo.