Descripción
Antes de poder construir herramientas de análisis para obtener información rápidamente, primero debe saber cómo procesar datos en tiempo real. Con esta guía práctica, los desarrolladores familiarizados con Apache Spark aprenderán cómo utilizar este marco en memoria para transmitir datos. Descubrirá cómo Spark le permite escribir trabajos de transmisión de casi la misma manera que escribe trabajos por lotes.
Los autores Gerard Maas y François Garillot le ayudan a explorar los fundamentos teóricos de Apache Spark. Esta guía completa presenta dos secciones que comparan y contrastan las API de transmisión que Spark ahora admite: la biblioteca original Spark Streaming y la API Structured Streaming más reciente.
- Aprenda los conceptos fundamentales del procesamiento de flujo y examine las diferentes arquitecturas de flujo
- Explore Structured Streaming a través de ejemplos prácticos; aprenda diferentes aspectos del procesamiento de flujo en detalle
- Cree y opere trabajos y aplicaciones de transmisión con Spark Streaming; integre Spark Streaming con otras API de Spark
- Aprenda técnicas avanzadas de Spark Streaming, incluidos algoritmos de aproximación y algoritmos de aprendizaje automático
- Compare Apache Spark con otros proyectos de procesamiento de flujo, incluidos Apache Storm, Apache Flink y Apache Kafka Streams
Autor: Gerard Maas, Francois Garillot
Editorial: O'Reilly Media
Publicado: 07/02/2019
Páginas: 452
Tipo de encuadernación: Tapa blanda
Peso: 1.57 lbs
Tamaño: 9.19h x 7.00w x 0.91d
ISBN13: 9781491944240
ISBN10: 1491944242
Categorías BISAC:
- Computadoras | Ciencia de Datos | Modelado y Diseño de Datos
- Computadoras | Software de Negocio y Productividad | General
- Computadoras | Programación | Paralelo
Sobre el autor
Gerard Maas es Ingeniero Principal en Lightbend, donde trabaja en la integración perfecta de Structured Streaming y otras tecnologías escalables de procesamiento de flujos en la plataforma Lightbend. Anteriormente, trabajó en una startup de IoT nativa de la nube, donde dirigió el equipo de procesamiento de datos en la construcción de pipelines de transmisión que llevaron a Spark Streaming a sus límites en términos de rendimiento. En ese entonces, publicó la primera guía completa para optimizar el rendimiento de Spark Streaming.
Gerard ha ocupado roles de liderazgo en varias startups y grandes empresas, construyendo gobernanza de ciencia de datos, plataformas de IoT nativas de la nube, plataformas de telecomunicaciones y API escalables. Es un orador habitual en conferencias de tecnología y contribuye a proyectos de código abierto pequeños y grandes. Gerard tiene un título en Ingeniería Informática de la Universidad Simón Bolívar, Venezuela. Puedes encontrarlo en Twitter como @maasg.
François Garillot vive en Seattle, donde trabaja en computación distribuida en Facebook. Se doctoró en la École Polytechnique en 2011 y trabajó en el back-pressure de Spark Streaming mientras trabajaba en Lightbend en 2015. Sus intereses incluyen los sistemas de tipos, el aprovechamiento de los lenguajes de programación para simplificar la expresión de análisis y una pasión por Scala, Spark y el arábica tostado. Cuando no está trabajando, se le puede encontrar disfrutando de las montañas del noroeste del Pacífico.