¿Crees que al Big Data le quedan años para ser una realidad? Estás muy equivocado, el Big Data es el presente. Muchas empresas a día de hoy ya empiezan a desarrollar proyectos entorno a la gran cantidad de datos que las nuevas tecnologías generan. Pero, actualmente, el mercado laboral cuenta con muy pocos expertos especializados en el tema. Los desarrolladores están dejando escapar suculentas ofertas laborales por no especializarse y las empresas no encuentran los profesionales que les empujen a llevar con éxito sus proyectos.
El concepto de Big Data no es nuevo. Llevamos mucho tiempo hablando sobre él. Pero lamentablemente desde un enfoque muy superficial, sin adentrarnos en la complejidad que supone el análisis de datos a gran escala y la proyección de esos resultados en decisiones de negocio.
Principales aplicaciones del Big Data ¿Dónde podemos participar los desarrolladores?
Big Data representa un conjunto de aplicaciones requeridas en distintas facetas. El primer ingrediente es el gran volumen de datos, aderezado con la variedad de datos heterogéneos que puede contener y la necesidad de ser procesados en la mayor velocidad posible.
Almacenamiento masivo de datos
Para sacar provecho a la inmensa cantidad de datos, el primer paso es almacenarlos de la forma más eficiente posible. Los conocidos Data Warehouse que han dejado de ser almacenamientos “físicos” en la arquitectura de máquinas de la empresa para salir fuera, a la nube. El motivo es el abaratamiento de costes, pero también la facilidad de acceso. Se requieren expertos en cloud computing para que manejen, por ejemplo, tecnologías como SQL DataWarehouse de Microsoft, RedShift de AWS o soluciones ad-hoc creadas a partir de Cloud Elastic Search.
Los principales usos son:
- El almacenamiento prolongado para recurrir a esos datos en el futuro, una forma de hibernación para documentos de log requeridos por las autoridades.
- El preprocesado en esta “primera área de montaje” para soltar los datos a los procesos de análisis
- Crear sistemas de consulta bajo query de forma eficaz sobre esa cantidad masiva de datos.
Contextualizar los datos
La imagen idealizada de Big Data es que a partir de esos datos vamos a tener datos de "cómo actúan" nuestros usuarios. Para llegar ese “objetivo” necesitamos contextualizar los datos, aplicar lenguajes de análisis de datos utilizando Python o entornos más estadísticos como R para extraer esos datos.
Debido al gran volumen de datos, estos se tienen que “reducir” utilizando estrategias de MapReduce usando Hadoop, Spark o alternativas desarrolladas por Facebook como Presto.
Monitorización y seguridad de aplicaciones
La recolección de datos por medio de trazas, logs o eventos relevantes de comportamiento ayuda a predecir situaciones anómalas. La monitorización puede permitir detectar picos de uso y actuar en consecuencia, o por el contrario, atenuar cualquier ciberataque.
Lo fundamental es el uso de herramientas de tiempo real que permitan hacer el seguimiento en tiempo real y lanzar alertas.
Informes de operaciones: visualización de datos
El Big Data no es cosa de desarrolladores. Profesiones, por ejemplo, como los periodistas demandan cada vez más datos de este tipo. Por lo que es necesario desarrollar herramientas de visualizar de datos, tanto para descubrir patrones de comportamiento o para ilustrar la información.
Después de haber almacenado los datos y contextualizado las distintas fuentes, el último paso es la visualización de datos. Un reto en el que trabajan muy ligados los estadistas, diseñadores de UX , desarrolladores de realidad virtual y los propios científicos de datos.
Perfiles necesarios para conseguir aprovechar las nuevas oportunidades del Big Data
Todas estas áreas necesitan profesionales acordes. A continuación describimos algunos de los perfiles fundamentales en la construcción de una plataforma de Big Data. La oferta formativa de U-Tad en este campo es amplia y puede ser atractiva para aquellos que buscan ahondar más en el conocimiento de estas tecnologías.
Expertos en Cloud Computing
Es necesario contar con profesionales especializados en Cloud Computing. Ellos serán los encargados de liderar la administración y explotación de las infraestructuras. Las tendencias tecnologías marcan un arquitectura en la nube en sus distintas variantes: IaaS, PaaS o SaaS.
Las tecnologías más extendidas son Amazon Web Services o Azure de Microsoft, además de plataformas Google Cloud, BlueMix de IBM o Open Stack. Todo ello para poder implementar el orquestador más eficiente a la hora de realizar Continuous Integration y Continuous Delivery.
Formación | Expertos en Cloud Computing, Máster TELEFÓNICA en Desarrollo de Software avanzado
Expertos en Visualización de datos
Engloba dos facetas importantes: la extracción de datos a través de herramientas como MapReduce, Pentaho, Tableu, etc.. y la aplicación de R sobre esos datos. La visualización corre a cargo de frameworks de visualización como d3.js
Estos profesionales se encargan de diseñar las visualizaciones, extraer información de grandes volúmenes de datos, aplicar algoritmos complejos de visualización científica, definir qué datos son de interés y aplicarles métricas adecuadas. Además se introduce el componente de realidad aumentada y simulación con los datos extraídos.
Formación | Expertos en Visualización de datos, Máster Universitario en Computación gráfica y simulación
Expertos en Data Science
Son los “científicos de los datos” y combinan sus conocimientos de programación con las estadísticas y las matemáticas. En este punto es necesario recurrir a herramientas que faciliten su trabajo como R y Python combinándolo con las técnicas de almacenamiento de datos (bases de datos NoSQL), tratamiento de datos, análisis, teorías de grafos, técnicas de aprendizaje y, por último enlazar esos datos con la visualización.
Este perfil está también muy cercano al negocio para poder identificar patrones entre el público objetivo.
Formación | Expertos en Data Science
Expertos en Big Data
Este perfil es un especialista en uno de los pilares fundamentales de la gestión de grandes volúmenes de información: el procesamiento masivo de datos previo al análisis. Entre las herramientas más destacadas para realizarlo se encuentran Spark, Hadoop, MapReduce, Hive, Pentaho o AWS Elastic Map Reduce.
También hay que tener en cuenta la disponibilidad de datos en tiempo real utilizando HBase, Cassandra, Elastic Search, Storm, etc. Combinándolos con técnicas de visualización como D3.js.
Este es uno de los perfiles más completos a la hora de abordar un puesto de experto en Big Data.
Formación | Expertos en Big Data, Master TELEFÓNICA en big data y Analytics
Ver 3 comentarios