Big data: ¿qué es y para qué sirve a las organizaciones? Soluciones y ejemplos prácticos | IT Masters Mag

ESPECIAL

Big data: ¿qué es y para qué sirve a las organizaciones? Soluciones y ejemplos prácticos



Dirección copiada

Desde una búsqueda en Google hasta una compra en el supermercado, desde una foto hasta un mensaje de voz o una publicación en redes: todo son datos.

Publicado el 27 feb 2024



big data
Crédito: Archivo Shutterstock


Uno de los grandes desafíos para la mayoría de las organizaciones hoy en día es su capacidad de obtener una ventaja competitiva al trabajar con Big data. De hecho, la mayoría de las actividades diarias generan datos que se pueden recopilar, analizar y monetizar.

Todas las empresas e instituciones públicas se están convirtiendo en grandes fábricas de datos. Los usuarios contribuyen constantemente, a sabiendas o —a menudo— incluso sin saberlo, a la producción de datos.

El big data son —literalmente— macrodatos; es decir, grandes cantidades de datos que, en su conjunto, ocupan mucho espacio de almacenamiento, del orden de los terabytes (TB), una unidad de medida múltiplo del byte, que corresponde a entre dos y el cuadragésimo byte, o 1.048.576 megabytes.
Pero, ¿en qué consisten los datos/la información? Desde una búsqueda en Google hasta una compra en el supermercado, desde una foto hasta un mensaje de voz o una publicación en redes: todo esto son datos. De hecho, no son solo números, sino también palabras y frases.

Esa información se recopila, procesa y almacena en sistemas de big data. Y puede ayudar a las organizaciones a comprender mejor situaciones complejas que, de otro modo, no serían visibles. Por ejemplo, las empresas pueden desarrollar estrategias que sean más eficaces y capaces de adaptarse a un mercado cada vez más cambiante.

La minería de procesos, un tipo de análisis de datos basado en el análisis de la cronología de los eventos, puede ayudar a las organizaciones a identificar patrones de comportamiento y optimizar sus operaciones. También se puede utilizar para pronosticar tendencias futuras en función de datos históricos y mejorar la productividad.

En última instancia, el uso de herramientas de Big data proporciona una forma más inteligente de analizar los datos. Las empresas pueden aprovechar esta tecnología, mejorando su productividad y su toma de decisiones.

¿Qué significa Big data? La definición

Big data son datos informáticos de gran tamaño que no se pueden analizar ni almacenar con las herramientas tradicionales.

El análisis de Big data requiere habilidades específicas y tecnologías avanzadas capaces de respaldar el procesamiento de archivos tan grandes, a fin de extraer información útil y oculta.

Los datos que genera cada persona en distintas plataformas digitales son múltiples, como los datos de los usuarios de un sitio web, sus publicaciones en Facebook o el uso de una aplicación, de los objetos conectados a la red, etcétera.

Las supercomputadoras y los algoritmos nos permiten analizar la cantidad cada vez mayor de datos que se generan cada día. Las CPU de las computadoras pronto podrían alcanzar la potencia de cálculo del cerebro humano.

En poco tiempo, la inteligencia artificial (AI, por sus siglas en inglés) podría reemplazar muchos de los trabajos vigentes hoy gracias a la enorme cantidad de datos que se generan en la actualidad, que las máquinas pueden analizar fácilmente, revelando rutas y conexiones entre numerosas actividades humanas, además de crear perfiles detallados sobre nosotros.

Sin embargo, también entra en juego la protección de la privacidad vinculada a la seguridad de los datos, un procedimiento que, como hemos ido aprendiendo a lo largo de los años, no es nada baladí.

El fenómeno del big data o —más bien— el fenómeno del almacenamiento, la gestión y el análisis de grandes cantidades de datos, no es en realidad reciente; al contrario, forma parte de la larga historia de la evolución de la humanidad.

Al igual que ha sucedido con innovaciones como internet, los centros de datos o los teléfonos móviles, el big data también es un paso hacia una forma diferente de gestionar los negocios y la sociedad.

Según el informe How Much Information, cada persona genera un promedio de 12 gigabytes de datos todos los días, y el número crece constantemente. Por ejemplo, en todas las publicaciones que se crean diariamente en Facebook. Una cantidad increíble de datos generados por los usuarios, que se guardarán en algún lugar y, tal vez, se analizarán algún día.

Actualmente, es posible recopilar una cantidad innumerable de datos, como resultado de la digitalización, el Internet de las cosas (IoT, por sus siglas en inglés) y la difusión de aplicaciones que funcionan conectadas a la red.

¿Por qué es importante Big data para las organizaciones?

El objetivo del análisis de Big data es aprovechar grandes cantidades de datos para ayudar a las empresas a identificar nuevas oportunidades de negocio. Pero las administraciones públicas también pueden beneficiarse de estas tecnologías, desde el análisis de la demanda y las necesidades de los ciudadanos hasta el seguimiento de las actividades urbanas.

Big data puede ayudar a las organizaciones a tomar decisiones más informadas. Pueden reconocer tendencias que, de otro modo, seguirían siendo desconocidas, ya que el uso sistemático de grandes cantidades de datos aumenta la probabilidad de que se detecte un patrón. Estos resultados se pueden utilizar para subsanar deficiencias, mejorar los procesos operativos y desarrollar nuevos productos y servicios.

Gracias al análisis de datos o a la analítica de Big data, se obtiene una visión más precisa de la realidad, proporcionando información valiosa para apoyar las decisiones empresariales.

El uso inteligente de estos datos puede ayudar a aumentar la productividad y mejorar los procesos de toma de decisiones, pero también a diversificar las fuentes de ingresos y ampliar las bases de la empresa.

En última instancia, el uso del Big data puede ayudar a crear un entorno competitivo más estable, en el que las empresas puedan competir en función de sus capacidades y no solo en función de los precios. Además, permite una mayor transparencia en las operaciones del mercado, así como predecir con mayor precisión lo que puede ocurrir.

Es importante porque ayuda a simplificar los movimientos empresariales, a hacer que las operaciones sean más eficientes, a aumentar las ganancias y a tener clientes más satisfechos.

Los tres principios fundamentales del Big data

Las tres “V” del Big data forman la tarjeta de identidad de los datos. Con el tiempo, esas tres V se han convertido en cinco:

  • Volumen, la gran cantidad de datos de una actividad;
  • Velocidad, la adquisición de datos a la velocidad a la que llegan;
  • Variedad, captura datos heterogéneos para obtener información detallada;
  • Veracidad, la confiabilidad de los datos fuente;
  • Valor, la importancia del valor de los datos para los procesos de negocio

Conceptos básicos del Big data y la ciencia de los datos

Para entender el desarrollo del Big data, también es necesario saber identificar los modelos de uso de la analítica en las empresas y, una vez más, es necesaria una doble distinción en los tipos de datos estructurados y desestructurados.

En el caso de los datos desestructurados, estos suelen ser:

  • mensajes
  • fotos
  • videos
  • audios
  • elementos de cálculo

Si tenemos en cuenta la capacidad de gestionar los datos con el objetivo de hacer que todo el activo de información sea accesible y mejorarlo, y no solo con fines de seguridad e integridad, solo 18% se muestra proactivo en este tema, ya que las tecnologías y las habilidades están presentes y bien distribuidas.

Por otro lado, 55% de las grandes empresas muestran una inmadurez generalizada en la gestión de datos, mientras que el resto está adoptando nuevas tecnologías o identificando figuras de responsabilidad en este ámbito.

Los cuatro tipos de análisis de datos

Tras estos «signos especiales» se esconde la función central del Big data, que consiste en proporcionar la mejor representación posible de la realidad a través de los datos. Para representar dicha realidad con datos veraces, es necesario desarrollar métodos y lógicas de representación con procesos de verificación y control.

Con este enfoque, la empresa se sitúa en un escenario basado en datos que consta de cuatro tipos principales de análisis de datos:

Análisis descriptivo: consta de todas las herramientas que permiten representar y describir incluso gráficamente la realidad de determinadas situaciones o procesos. En el caso de las empresas, por ejemplo, estamos hablando de la representación de los procesos de negocio. La analítica descriptiva permite la visualización gráfica de los niveles de rendimiento.
Análisis predictivo: luego pasamos al análisis predictivo basado en soluciones que permiten diseñar escenarios de desarrollo en el futuro. El análisis predictivo se basa en modelos y técnicas matemáticas, como los modelos predictivos, la previsión y otros.
Análisis prescriptivo: este entra en el campo de las herramientas que asocian el análisis de datos con la capacidad de asumir y gestionar los procesos de toma de decisiones. Los análisis prescriptivos son herramientas que proporcionan indicaciones estratégicas o soluciones operativas basadas tanto en el análisis descriptivo como en el análisis predictivo.
Análisis automatizado: este el cuarto tipo permite entrar en el campo de la automatización con soluciones de análisis. A la vista de los resultados de los análisis descriptivos y predictivos, los análisis automatizados pueden activar acciones definidas en función de reglas. Reglas que, a su vez, pueden ser el resultado de un proceso de análisis, como el estudio del comportamiento de una determinada máquina ante determinadas condiciones que se están analizando.

Ejemplos de Big data en la vida cotidiana

Casi todos los sectores productivos utilizan big data para predecir escenarios futuros, por ejemplo: ¿qué comprará la gente? ¿Cuál será su estado de salud dentro de cinco años?

Sin embargo, los datos rastreados durante décadas o siglos tienen mayor poder predictivo que los datos de un solo año.

Estos son algunos ejemplos de aplicaciones de macrodatos:

  • descubrir los hábitos de compra de los consumidores
  • marketing personalizado
  • monitoreo de las condiciones de salud a través de dispositivos portátiles
  • mantenimiento predictivo
  • planes de salud personalizados
  • mapas de carreteras para vehículos
  • protocolos de seguridad informática
  • programar máquinas

El Big data en la empresa: los activos como palanca de negocio

Si analizamos hoy los principales fenómenos que caracterizan el desarrollo económico y social, como la industria 4.0, la empresa 4.0, la banca digital, las ciudades inteligentes, la agroalimentación inteligente y muchos otros, debemos ver que la base real de estos fenómenos está claramente polarizada en los datos y en la capacidad de trabajar desde una visión que es a la vez superior y amplia, pero también más precisa, que los datos.

A medida que crece la orientación de las empresas a desarrollar e implementar formas de innovación basadas en datos, son importantes dos palabras clave que acompañan este proceso, palabras poderosas, que por sí solas capturan el verdadero significado de esta transformación digital basada en los datos: conocimiento y precisión.
El trabajo sobre los datos y, en particular, sobre los macrodatos amplía, por un lado, los límites del conocimiento de las empresas y las administraciones públicas a áreas que antes estaban inexploradas o poco prácticas. Trabajar con el Big data siempre permite aumentar exponencialmente la precisión de este conocimiento y la precisión de las decisiones y acciones que se basan en este conocimiento.
Hoy en día, en las empresas, el uso de los datos suele ser parcial y contingente, sin duda muy útil para alcanzar ciertos objetivos, pero limitado. Si bien parece evidente que el verdadero valor de este activo y su riqueza real se pueden expresar cuando se implementa un proceso de mejora de todos los datos de la empresa a partir de una visión general de todas las fuentes.

En este escenario, el tema de los datos ya no debe verse ni leerse como un tema puramente tecnológico, sino como un vector empresarial y, por este motivo, la definición de una estrategia empresarial vinculada al Big data y la ciencia de datos no debe limitarse únicamente a las «tablas técnicas».

Big data y ciencia de datos: los protagonistas de la empresa

Antes de entrar en los méritos de las figuras que están llamadas a trabajar en todas aquellas empresas que están llamadas a convertirse en fábricas de datos, conviene conocer el concepto mismo del Big data y la ciencia de datos.

Los temas de referencia para enmarcar las oportunidades y características del tema de la analítica se centran en algunas áreas:

Big data
Ciencia de datos
Inteligencia empresarial
Análisis en tiempo real
Análisis de datos
Minería de datos
Alfabetización de datos

Literalmente, con Big data queremos describir la capacidad de desarrollar actividades de computación e inteligencia sobre volúmenes muy grandes de datos y desarrollar más formas de lectura, interpretación y conocimiento.

Tanto los más contingentes, orientados a un uso específico y perimetral (como los datos relativos a los pagos digitales de los flujos de caja de un supermercado), como luego el análisis de todos los fenómenos que pueden identificarse, leerse y esquematizarse mediante una lectura «superior», siempre de volúmenes de datos muy grandes (como las reflexiones a nivel de experiencia del cliente vinculadas a la introducción de un nuevo sistema de pago digital tanto a nivel del supermercado individual como el nivel del área o cadena).

O, por poner otro ejemplo, en la identificación de las relaciones que este tipo de servicios de pago han podido desarrollar (en términos de percepción de la marca en las redes sociales o en términos de un mayor uso del smartphone en el punto de venta).

Cómo hacer macrodatos y qué se entiende por ciencia de datos y científico de datos
Si la figura del científico de datos nació, al menos como identidad en 2008, de la mano de D.J.Patill y Jeff Hammerbacher, fue en 2012 cuando también comenzó a recibir atención pública. Ya hemos mencionado el artículo Data Scientist: The Sexiest Job of 21st Century de Harvard Business Review, junto a esta etapa, cabe recordar que en 2015 Obama reconoció oficialmente el papel y la figura del científico de datos al nombrar a DJ Patill como primer científico jefe de datos de Estados Unidos.

Un primer carnet de identidad para el científico de datos

Hablamos de un trabajo maravilloso, como también recuerda con autoridad la revista Harward Business Review, que, adelantándose a su tiempo, ya en 2012, tituló sobre esta profesión: “Científico de datos: el trabajo más sexy del siglo XXI“.

Una obra fascinante que se centra en el valor del conocimiento para generar nuevos conocimientos. Un trabajo que requiere una concentración muy fuerte en los datos para ejercitar una gran capacidad de intuición y síntesis, de imaginación para desarrollar teorías, de enfrentarse a un desafío constante en busca de «patrones» que nos permitan identificar, interpretar, comprender la realidad y luego gestionar los comportamientos y los fenómenos.

Un trabajo que, al mismo tiempo, también requiere mucha creatividad, incluso en la gestión de las herramientas de trabajo que el científico de datos está llamado a moldear, adaptar y desarrollar.

El científico de datos es, en efecto, una figura profesional aún en proceso de definición. Algunos aspectos de esta profesión ya parecen muy claros y definidos, otros son y serán derivados de experiencias y experimentos.

La certeza más sólida hoy en día se refiere al hecho de que el científico de datos no puede dejar de tener fuertes habilidades interdisciplinarias, debe dominar la analítica avanzada y el Big Data y, por lo tanto, debe demostrar sólidas habilidades IT, pero debe saber leer más allá de los datos para extraer estudios sociológicos, identificar patrones con habilidades en términos de estadística y matemáticas, debe saber cómo dialogar con las áreas de negocio y debe tener una imagen de los modelos de negocio actuales y potenciales que están «respaldados» o más bien impulsados por datos.

Las actividades básicas del científico de datos

Para aprovechar las oportunidades que ofrecen los macrodatos, es evidente que necesitamos nuevas habilidades, así como nuevos modelos de gobierno. El científico de datos es la figura que mejor se corresponde hoy en día con el perfil de habilidades y necesidades de desarrollo que presentan las empresas que están en el camino de la innovación basada en los datos.

Sin embargo, al mismo tiempo, la figura del Chief Data Officer (CDO), un rol directivo llamado a asumir la responsabilidad de definir el desarrollo de estrategias para la valorización de los datos y para la gestión del ciclo de vida de los datos, desde el momento de su recopilación hasta la fase de distribución, almacenamiento y, posiblemente, venta o transferencia.
Los científicos de datos y los CDO, por definición, son figuras con una fuerte vocación multidisciplinar: matemáticas y tecnología, estadística y sociología, habilidades empresariales y de representación gráfica son algunos de los requisitos de esta profesión.
Partiendo de una fuerte esquematización, la jornada laboral del científico de datos se desarrolla en este tipo de actividades:

  • Mapeo, organización y control de las fuentes de datos empresariales.
  • Creación, organización y verificación de los flujos de datos empresariales.
  • Modelado de datos mediante el desarrollo de algoritmos matemático-estadísticos: transformación y traducción de los datos recopilados en información.
  • Estudio y análisis del «valor de los datos» para cada área de negocio.
  • Estudio y análisis de los métodos de «valorización» de los datos para cada área de negocio actual o potencial.
  • Capacidad para analizar la experiencia y los datos del cliente en función de las actividades que constituyen la actividad principal de la empresa.
  • Capacidad para identificar, crear y desarrollar formas de interacción entre las distintas líneas de negocio a fin de identificar y crear nuevas oportunidades de desarrollo tanto táctico (venta cruzada) como estratégico (nuevos productos).
  • Capacidad para analizar los datos de los clientes en función del desarrollo de nuevos servicios o nuevos productos.

¿Qué habilidades se necesitan para ser un buen analista de datos?

Para llevar a cabo estas actividades, las habilidades específicas requeridas por un científico de datos se pueden dividir de la siguiente manera:

Ciencias de la computación: conocimiento de los lenguajes de programación y conocimiento de las herramientas para gestionar los macrodatos.
Gestión de proyectos: capacidad para gestionar proyectos, coordinar y controlar todas las actividades destinadas a lograr objetivos específicos con ciertos recursos
Matemáticas y análisis: capacidad de analizar datos y crear modelos junto con la capacidad de interpretar los resultados.
Se entiende por estadística el trabajo sobre los propios datos, su validación y depuración, la elaboración de perfiles de datos, el uso de herramientas y lenguajes estadísticos y el conocimiento de técnicas estadísticas como la regresión, la agrupación o la resolución de problemas de optimización.
Conocimiento empresarial: entendido como el conocimiento de la actividad principal de la empresa, de los mercados en los que opera y de los problemas y oportunidades críticos que representan la principal dinámica de la empresa.
Comunicación y representación gráfica: capacidad de representar los resultados de forma gráfica, para facilitar la comprensión e interpretación de los resultados, especialmente para las figuras empresariales.
Habilidad social: entendida como la capacidad de gestionar las relaciones (muy importante especialmente en la lógica interdisciplinaria del rol y las habilidades) y, por lo tanto, también del trabajo en equipo.

Desde el punto de vista de la «ubicación» en la empresa, el científico de datos refleja su perfil «interdisciplinario». Como «posición», esta figura actúa como puente entre el mundo IT y la LOB (línea de negocio), pero con formas de colaboración y con un diálogo constante también con el área de I+D.

El papel del director de datos (CDO)

El director de datos (CDO por sus siglas en inglés) es una figura directiva que está llamada a guiar los recursos asignados al trabajo en el campo de la ciencia de datos y tiene la tarea de definir, presentar e implementar las estrategias de innovación basada en datos, análisis de datos y macrodatos.

En concreto, el CDO es la figura capaz de delegar para gestionar la adquisición, el análisis, la inteligencia y la acción de los datos empresariales. En términos de habilidad, es una figura que debe combinar habilidades técnicas, gerenciales y empresariales, pero que al mismo tiempo debe tener una serie de habilidades blandas para dialogar, conocer e interpretar las necesidades «impulsadas por los datos» de todas las áreas empresariales.

En términos de tareas y actividades, el CDO se ocupa de todos los aspectos que componen la estrategia basada en datos de la empresa.

Evidentemente, parte de la definición de la estrategia basada en datos de la empresa, que se implementa proporcionando a la empresa una visión global y completa de los activos de datos de la empresa con ideas y proyectos para desarrollar proyectos y acciones destinados a mejorar este activo. En un escenario en el que cada vez más los datos son un activo, el CDO es quien tiene la tarea de hacer crecer este activo con una estrategia de datos específica, que se basa en la organización y la gestión de un equipo (CDO Team) compuesto por varias figuras, incluidos los científicos de datos.

El CDO también tiene la tarea estratégica de desarrollar e implementar una estrategia para el control y la verificación de la calidad de los datos. Cuanto más crece la cantidad de datos en las empresas, más crece la necesidad de controlar la calidad de dichos datos.

Esa calidad puede afectar directamente a la acción empresarial y, precisamente por este motivo, son muchas las empresas que están trabajando para garantizarla y aumentarla.

Varios factores dominan la calidad de los datos (el control de la fuente, el control del flujo, los aspectos tecnológicos, los métodos de análisis y la «calidad» de las tecnologías, entre otros), que deben gestionarse mediante la definición y el desarrollo de estándares metodológicos y tecnológicos.

En cuanto a la calidad de los datos, el CDO debe extender su responsabilidad a todo el ciclo de vida de los datos empresariales.

La ciencia de datos es como un deporte de equipo

En las empresas que eligen un enfoque basado en los datos, la ciencia de datos es, ante todo, una experiencia en equipo. Por ello hay que evaluar si se tienen las aptitudes y las motivaciones adecuadas para «jugar» en un equipo de ciencia de datos.

Sobre el tema, viene la contribución analítica de IBM, cuyo objetivo es identificar y comprender las habilidades necesarias para llevar a cabo las actividades de ciencia de datos y comprender cómo los profesionales del Big data interactúan entre sí, trabajando en equipo, con el fin de invertir en las personalidades y en la capacitación más adecuadas para este «deporte».

El documento “La ciencia de datos es un deporte de equipo. ¿Tienes las habilidades para trabajar en equipo?” define las características de los equipos de trabajo que se ocupan de la ciencia de datos, prestando especial atención a las tareas, habilidades y competencias técnicas de las profesiones de científico de datos, ingeniero de datos, desarrollador y analista de negocios, y haciendo hincapié en la importancia de desarrollar y fortalecer los conocimientos y las habilidades para el futuro de la ciencia del Big data mediante planes de apoyo para los trabajadores, como los que ofrece IBM.

El libro blanco se divide en seis partes: 1. Introducción; 2. El científico de datos; 3. El ingeniero de datos; 4. El desarrollador; 5. El analista de negocios; 6. Los equipos de ciencia de datos: los nuevos agentes del cambio); la sección final, (7. Recursos) proporciona una serie de recursos sobre el tema.

El Big data supuso una revolución en el contexto de la economía digital y las implicaciones de interactuar con el Big data (¿cómo se le da valor a esta gran masa de información? ¿por qué es importante saber analizar los datos de forma inteligente y rápida?).

Si partimos del supuesto de que la mayoría de las personas que producen datos trabajan en equipo, se presentan las cualidades que deben reunir los equipos de ciencia de datos. Para cada una de las figuras, se indican las actividades de competencia, características y habilidades y se presenta un resumen de las principales habilidades.

Científico de datos: una profesión en constante evolución, que requiere habilidades en diversos campos disciplinarios. Un científico de datos experimentado es capaz de examinar datos que provienen de fuentes múltiples y dispares, mirándolos desde diferentes ángulos.

El análisis que realiza el científico de datos, mediante la conexión de nueva información con datos históricos, tiene como objetivo identificar una relación o una línea de tendencia que pueda guiar el trabajo del equipo. Sus habilidades técnicas van desde el conocimiento de los lenguajes de programación hasta la capacidad de utilizar herramientas de análisis como Hadoop y Spark.

El ingeniero de datos, a su vez, ayuda a recopilar, organizar y reordenar los datos que el científico de datos utiliza para construir los análisis. Los ingenieros de datos están familiarizados con las principales tecnologías de Hadoop, como MapReduce, Apache Hive y Apache Pig. También tienen experiencia en el uso de herramientas básicas de SQL y NoSQL y en actividades de almacenamiento de datos y ETL.

En el equipo, la figura del desarrollador suele entrar en juego en una segunda fase de la actividad del científico de datos. Tiene la tarea de transformar el trabajo del equipo de ciencia de datos en un producto o servicio. Obviamente, los desarrolladores deben tener sólidas habilidades de programación.

Por último, el analista de negocios tiene la tarea de comprender las necesidades de la empresa; no necesariamente tiene habilidades técnicas sólidas, pero necesita una formación tecnológica que le permita desarrollar análisis detallados, utilizando las tecnologías disponibles sin tener que llevar a cabo necesariamente actividades de codificación.

Las ciencias de datos son profesiones en constante evolución que, complementándose entre sí, constituyen el «corazón palpitante» de la economía del Big data. Para construir un equipo de trabajo válido y sólido, es necesario proporcionar cursos continuos de formación y actualización para los profesionales de la ciencia de datos.

Según una investigación del Observatorio de Análisis de Big data del Politécnico de Milán, la aceleración del mercado y el aumento de la experimentación requieren nuevas habilidades. En 2021, 49% de las grandes empresas tenían al menos un científico de datos y 59% al menos un ingeniero de datos.

En términos de difusión, las cifras se mantuvieron estables en comparación con 2020, pero las empresas que ya habían introducido estos perfiles anteriormente siguieron invirtiendo: el número de científicos de datos creció 28% de la muestra.


Los macrodatos, un tema prioritario para la alta dirección

Si todas las empresas están destinadas a convertirse en «fábricas de datos», la cultura de los datos entrará de forma permanente en la cultura de la gestión pop.

El mismo Observatorio de Análisis de Big data e Inteligencia Empresarial de la Escuela de Administración del Politécnico de Milán destaca que el Big data es un tema prioritario para los emprendedores y la alta dirección.

Ambos están en condiciones de abordarlo tanto en términos organizativos como en términos de plataformas, es decir, en el análisis e identificación de soluciones dedicadas específicamente al análisis de datos y al desarrollo de acciones capaces de afectar a las empresas, a la reducción de costos, al conocimiento de los clientes o al desarrollo de nuevo y servicios.

O, simplemente para mencionar un fenómeno de gran actualidad en el contexto de la industria 4.0, de la transformación del producto al servicio. El propio concepto de servitización implica la representación digital total de los productos físicos, hasta el punto de hacer que los servicios ofrecidos por los productos físicos sean utilizables digitalmente. En este caso, se trata de un paso que requiere la contribución fundamental de los científicos de datos.

Y así también, uno de los ejemplos más concretos de la Industria 4.0, el del mantenimiento predictivo, que ha sido capaz de transformar los proyectos de la Industria 4.0 en resultados y acciones concretas, es el fruto del trabajo de los científicos de datos.

Sin embargo, uno de los principales puntos focales de la ciencia de datos, de los datos y de los servicios relacionados con los datos se identifica hoy en día en el CRM y en todos los proyectos que contribuyen a la gestión de las relaciones con los clientes y a la experiencia del cliente.

Sin duda, se puede decir que hoy en día uno de los principales impulsores de atención sobre los temas de analítica y Big data está representado por el marketing y las ventas. Esto confirma que uno de los principales impulsores del desarrollo de estas soluciones y de esta profesión es la capacidad de poner en práctica los resultados de estas innovaciones lo antes posible: en términos de nuevos clientes o mejores ventas a los clientes existentes.

Otra área importante de desarrollo proviene del impulso de las redes sociales o, mejor aún, de la «capacidad de escucha» de las redes sociales. Una vez más, estos son los datos que se pueden relacionar con el CRM y que nos permiten leer más allá de los datos más «superficiales» para ampliar y profundizar el conocimiento de los clientes.

La relación entre IoT, Big data y ciencia de datos

El Internet de las cosas (IoT) representa un área de desarrollo más reciente, pero increíblemente importante desde el punto de vista de los volúmenes de datos generados. Solo hoy podemos apreciar la riqueza y la complejidad de un fenómeno que no solo sabe cómo hacer que las cosas hablen, sino que sabe cómo relacionarlas y, si va acompañado de una estrategia real de análisis e interpretación de los datos, ofrece nuevas formas de conocimiento mediante el desarrollo de entornos inteligentes, una nueva relación hombre-máquina, máquinas conectadas, sistemas de producción y plantas integradas, nuevas soluciones de seguridad y nuevas formas de prevención basadas en el estudio del comportamiento.

Los entornos inteligentes, en forma de automatización de edificios, que adaptan su morfología y sus servicios al comportamiento de las personas que frecuentan los entornos y que trabajan en esas áreas, abren nuevas perspectivas tanto en términos de productividad como de relación entre las personas y las herramientas de producción. Se trata de temas relacionados con la ciencia de los datos y el Big data que se materializan, por ejemplo, en una mayor seguridad para las personas y en formas de ahorro para la gestión de las instalaciones.

Los gerentes de negocios han empezado a entender el valor empresarial de estos datos y están expresando la necesidad de transformarlos en realidad. A ellos y a todos les parece claro que no se trata solo de una cuestión de tecnologías, en muchos casos listas y consolidadas.

Es un problema de organización, que debe abordarse, modelarse y construirse, y es un tema cultural, de conocimiento de los propios datos, de construcción de modelos capaces de «no dejarse abrumar» por los datos seleccionando de manera exacta y efectiva lo que se necesita.

El desafío radica en la transición de una situación en la que prevalece la cuestión de gestionar la cantidad de datos a una situación en la que la calidad y la precisión de los datos son fundamentales.

Big data: de una estrategia basada en los datos a su monetización

Diseñar e implementar una estrategia basada en los datos también significa delegar a la ciencia de datos la responsabilidad de diseñar, identificar e implementar nuevas formas de «monetización» de los datos. Con este enfoque, entramos en el campo de la monetización de datos, es decir, del estudio de proyectos que logran extraer de los datos un valor sin precedentes y antes impensable.

La telefonía móvil, el IoT, las redes sociales y los dispositivos inteligentes en las ciudades inteligentes y los hogares inteligentes, por poner solo algunos ejemplos, ponen a disposición de las empresas enormes cantidades de datos. En gran medida, se generan y utilizan para uno o varios fines muy específicos, vinculados expresamente a los servicios que ponen en marcha el proceso de desarrollo de los datos en sí mismos. Pero esos mismos datos, interpretados y analizados adecuadamente, también se pueden utilizar y monetizar para otros fines que solo una visión general de los comportamientos y los problemas y oportunidades críticos relacionados con estos comportamientos permite identificar.

La monetización de los datos se puede expresar, simplificando enormemente, en la venta o el intercambio de datos o incluso en la capacidad de explotar el valor de los datos para generar nuevos productos o nuevos servicios.

Esa monetización es uno de los vectores de desarrollo en las empresas que, tras elegir un enfoque basado en los datos, se organizan para desarrollar nuevas formas de valor basadas específicamente en los datos. Pueden ser empresas de cualquier tipo y la monetización de los datos puede complementar o ayudar al desarrollo contemporáneo de las principales empresas tradicionales.

También debido al posicionamiento de las empresas, la monetización de los datos se expresa de diferentes formas y métodos, una vez más, para simplificar, se puede dividir en monetización directa e indirecta de datos.

Monetización directa de los datos

La monetización directa adopta la forma de la venta o el intercambio de datos, como le puede ocurrir a una empresa minorista que recopila datos de sus clientes sobre las preferencias de pago y transfiere, por ejemplo, a una empresa de pagos digitales, de conformidad con las normas de privacidad, los datos de quienes puedan resultar potencialmente interesantes para una propuesta de servicios de pago innovadores.

A su vez, la monetización directa se puede implementar con diferentes niveles de sofisticación. A partir de la simple y cruda venta de datos, sintonía «tal cual», pero en este caso lo digital puede no ser un factor discriminatorio.

A la venta de datos procesados, es decir, que son capaces de expresar un conocimiento, una forma de interpretación de la realidad subyacente y de la persona que los compra.

Y la compra en sí misma se realiza en función del valor del conocimiento que estos datos ya son capaces de sugerir. En estos casos, el científico de datos es la figura que, con su habilidad para leer datos, es capaz de incidir directamente en su «comerciabilidad».

Se puede decir que la monetización de los datos es una venta que se relaciona tanto con los datos como con la capacidad del científico de datos para leerlos.

Monetización indirecta de los datos

La monetización indirecta de datos, por otro lado, se refiere a la explotación económica de los datos para otras actividades. Los datos relacionados con el comportamiento de un determinado tipo de caucho para neumáticos se pueden utilizar para explorar el uso del mismo tipo de materias primas en otras áreas.

La venta o transferencia de esos datos puede, por un lado, abrir nuevos escenarios de aplicación y, por otro, acelerar el trabajo de quienes pretenden desarrollar esa nueva forma de negocio. Una vez más, la estrategia se basa en la capacidad de contar con científicos de datos capaces de leer más allá del valor «principal» de los datos, sino de relacionarlos con otros datos y otros escenarios. El servicio que ofrece la monetización de los datos es el resultado de una síntesis entre las habilidades relacionadas con la actividad principal de la empresa y la capacidad de interpretar los datos y los posibles mercados.

¿Quién vende y quién compra?

A continuación se analiza la monetización de los datos desde el punto de vista del cliente, se vuelve a poner en tela de juicio a los científicos de datos. Quienes compran datos lo hacen a su vez para monetizarlos y, cuando los datos externos llegan a la empresa, el proceso consiste en integrarlos con los datos que ya posee la empresa y enriquecer el conjunto de datos disponible tanto en términos de volumen como de calidad.

Si hay empresas dedicadas de forma específica y exclusiva a esta actividad, como las proveedoras de datos, también hay organizaciones que combinan esta actividad con el negocio principal, valorando las inversiones en innovación basada en datos dirigidas principalmente al negocio principal, pero que aún así son capaces de activar nuevas formas de negocio. Aquí, a su vez, las actividades de suministro de datos toman forma en estas empresas.

Muchos ejemplos de esta «diversificación» de los negocios provienen del mundo de las telecomunicaciones y el comercio minorista, empresas que, gracias a sus negocios, tienen la oportunidad de recopilar grandes cantidades de datos sobre el comportamiento de sus consumidores que, si se interpretan adecuadamente y se relacionan con otros datos, también pueden permitir que otros actores desarrollen nuevas formas de negocio.

Big data y privacidad: un juego abierto

Una habilidad importante para el equipo de ciencia de datos es la privacidad. Al entrar en el campo de la monetización de datos, es necesario abordar la cuestión regulatoria y, en este caso, la autorización del procesamiento para los fines declarados. Estamos hablando del artículo 6 del Reglamento General de Protección de Datos (GDPR), que decide con precisión las condiciones que permiten o no el procesamiento. Esta no es la sede, pero el principio regulador en virtud del cual solo trabajamos con los datos si el interesado ha expresado su consentimiento para el procesamiento de sus datos personales para uno o más fines específicos es un verdadero «faro» en la actividad del científico de datos.

Esto significa que la definición de procesamiento de datos representa un momento clave, durante el cual es necesario tener claro el propósito para el que se llevará a cabo el análisis de los datos. Una vez iniciada la recopilación de datos, no es posible someterlos a análisis y usos no especificados a priori.

He aquí otra pieza del mosaico del trabajo del científico de datos, que está bien llamado a expresar su visión y su competencia incluso en la fase de desarrollo de todas las acciones que conducen a la recopilación de datos, tanto cuando se trata claramente de datos relacionados con el comportamiento de las personas como cuando están vinculados al comportamiento de los entornos, los automóviles o los sistemas de producción, que, sin embargo, también pueden incluir datos vinculados, quizás sin saberlo, a las personas involucradas (porque están presentes en el entornos, porque conducen automóviles, porque están operativos) siguiente a los sistemas de producción).

Historia y futuro del Big data

Cuando hablamos de «Big data», puede ser apropiado contar su historia, la de la recopilación de datos en general y de su evolución a lo largo del tiempo, de cómo pasamos de «datos» a «Big data», identificando algunas de las fechas más significativas de la evolución del Big data. De hecho, el uso de los datos y su almacenamiento son muy antiguos.

Ya en Babilonia, con la creación del ábaco, la biblioteca de Alejandría, así como muchos otros episodios y lugares históricos, nos muestran cómo el hombre siempre ha tenido interés en conservar la información para poder consultarla posteriormente. La tecnología digital aumenta esta posibilidad, que en cualquier caso ya se utilizaba en el pasado.

El siglo XIX y la inteligencia empresarial

En 1865, se empezó a hablar de la inteligencia empresarial, entendida como una forma de obtener una ventaja competitiva sobre la competencia mediante la recopilación y el análisis de información relevante para el negocio de forma estructurada.

En 1880, un empleado de la Oficina del Censo de los Estados Unidos desarrolló un sistema para clasificar y organizar los datos recopilados por el censo. De esta forma, consigue reducir el trabajo preventivo de catalogación de estos datos de 10 años a solo tres meses. Se creó el primer sistema de computación automática. El inventor, Herman Hollerith, fundó una empresa un poco más tarde. La empresa ahora se conoce como IBM.

Bases de datos relacionales y del siglo XX

Casi un siglo después, IBM continúa su investigación sobre la inteligencia empresarial, que se define como la capacidad de aprender las relaciones entre los eventos, de forma que sirva de guía para las futuras decisiones empresariales.

En 1965, se creó el primer centro de datos en los EE. UU., y solo unos años después, un desarrollador de IBM creó el primer marco para una base de datos relacional, es decir, un «almacén» de datos donde las diversas tablas que contienen los datos están conectadas entre sí mediante claves legibles (por ejemplo, la columna «ID del producto» está tanto en la tabla «Productos vendidos» como en esa tabla de «información del producto»; entonces puedo conectar el número de unidades vendidas) para un producto en particular y la información de ese producto). Este tipo de base de datos relacional es el estándar (por ejemplo, MySQL) en el que se basan la mayoría de las bases de datos actuales para la recopilación de datos.

A finales del siglo XX (1991), nació Internet, como la posibilidad de hacer que los datos fueran accesibles para todos en cualquier parte del mundo. Siempre es durante este período cuando la tecnología digital se vuelve más barata que el papel por primera vez.

El siglo XXI, el nacimiento del Big data

No fue hasta 1999 cuando se leyó por primera vez la palabra «Big data». Aún en este período, el problema de tener una cantidad tan grande de datos almacenados es muy grave, pero con la imposibilidad de tener un software lo suficientemente procesado como para poder gestionar y analizar tales cantidades de datos.

Fue durante este período cuando también empezamos a hablar sobre el IoT y sobre la posibilidad de conectar objetos conectados a internet entre sí.

El índice de estrategia de datos

La investigación de 2022 ha creado un índice de madurez general que incluye tres áreas:

Gestión y arquitectura de datos (herramientas, habilidades y procesos para la gestión tecnológica, la integración de datos y la gobernanza de los activos de información),
Inteligencia empresarial y análisis descriptivo (herramientas y habilidades básicas para una inteligencia empresarial generalizada)
Ciencia de datos (actividades que incluyen el análisis predictivo y de optimización a partir del análisis de los datos).

15% de las grandes empresas se pueden definir como «avanzadas». Pero incluso por estas razones, hay un amplio margen de mejora, como la inclusión de figuras ejecutivas al frente de la estrategia de mejora de datos o la capacidad de evaluar los datos como un activo, capaz de ser la base de nuevas formas de colaboración no corporativa.

Las empresas emprendedoras (30%) son empresas que ya han desarrollado una buena experiencia con la analítica avanzada, pero se quejan de algunas deficiencias en la gestión y el gobierno de todos sus activos de información.

Las más prudentes (22%) son las organizaciones que se han acercado parcialmente o están a punto de abordar el uso de la ciencia de datos, pero que cuentan con una buena gestión y calidad de los datos disponibles. En ambas situaciones, existen beneficios y riesgos, que los responsables de la toma de decisiones empresariales deben poder reconocer.

Por último, para las empresas inmaduras (18%) o que están dando sus primeros pasos (15%), la prioridad sigue siendo la consolidación de las actividades de inteligencia empresarial, es decir, la eliminación total del uso de hojas de cálculo y la introducción generalizada de herramientas avanzadas de visualización de datos e informes.

Big data: los fabricantes de máquinas de fabricación como ejemplo de transformación digital

Hay muchos ejemplos de sectores, industrias y empresas que han experimentado y están experimentando una transformación radical gracias al uso del Big data, pero un ejemplo que parece relevante hoy en día para calificar las ventajas de esta transformación y comprender qué parte de estas ventajas pueden llegar a las empresas del tejido productivo italiano está representado por el mundo de los fabricantes de máquinas.

Empresas también conocidas como fabricantes de maquinaria que operan en el sector definido como «fabricantes de maquinaria y equipo industrial» (Maquinaria y equipo industrial) y que se dedican a la concepción, diseño y producción de maquinaria, sistemas de producción, sistemas de automatización, herramientas eléctricas o mecánicas y, más generalmente, de hardware y otros componentes industriales. Hace tiempo que estas empresas iniciaron un proceso de enriquecimiento de sus máquinas con dispositivos IoT e IIoT capaces de generar datos y conocimiento y, con este proceso, se configuran como empresas que están en condiciones de llevar un patrimonio cada vez más rico de contenido digital a otras empresas del mundo de la producción.

Gracias a esta riqueza de macrodatos, estas empresas están cambiando radicalmente la fabricación, es decir, están haciendo posible recopilar datos y conocimientos sobre las máquinas, sobre cómo se utilizan, sobre su funcionamiento, sobre las cargas de trabajo, sobre las necesidades de las empresas que las utilizan y sobre cómo cambian con el tiempo. Gracias a la gestión de datos, la relación se está transformando desde un modelo que implicaba el suministro de máquinas y su posterior mantenimiento a la venta del servicio prestado por las propias máquinas en una forma que se conoce como servitización o como equipo como servicio. Una auténtica revolución en términos de modelos de negocio y de relación entre productor y cliente, cuya base está representada por la disponibilidad de datos y herramientas que permiten transformarlos en valor.

Big data: algunos casos prácticos y ejemplos

Caso práctico de ciencia de datos:

AMC Networks se centra en big data para obtener más información sobre el público
En los últimos 10 años, el sector de la televisión por cable en los Estados Unidos ha experimentado un período de fuerte crecimiento, una verdadera «edad de oro» que ha llevado a la creación de contenido creativo de alta calidad. Durante esta fase, AMC Networks ha producido algunas series de televisión de gran éxito, como Breaking Bad, Mad Men y The Walking Dead.

La empresa, sin embargo, no quería «dormirse en los laureles»: sentía la necesidad de explotar el potencial del Big data precisamente para estudiar los gustos de sus usuarios y comprender mejor el comportamiento de sus clientes.

Un plan para organizar las fuentes de datos
AMC Networks desarrolló primero un plan para «clasificar» todas las fuentes de datos. Empezando por proveedores de datos reales, como Nielsen y comScore, pasando por datos procedentes de canales como AMC TV, pasando por plataformas de venta como iTunes y Amazon, hasta plataformas de streaming bajo demanda, como Netflix y Hulu.

De todas estas fuentes proviene una enorme cantidad de información, que puede utilizarse para comprender con mayor claridad quiénes son sus espectadores, qué quieren, cómo viven y cómo utilizan los programas, a fin de comprender cómo puede captar mejor su atención y, por lo tanto, cómo puede desarrollar mejor el negocio principal de la empresa.


El análisis y el modelado de datos al servicio de las estrategias de marketing

La decisión de AMC de utilizar las soluciones de IBM surgió de la necesidad de comprender las necesidades del público aprovechando el análisis de macrodatos para tomar decisiones de programación y marketing, y de crear una solución diseñada en función de las necesidades específicas y las características típicas del mercado de AMC Networks. Por este motivo, se han creado modelos estadísticos específicos que permiten a la empresa afinar sus estrategias de marketing y tomar decisiones más precisas con respecto a la promoción de sus programas.

Desde IBM Cognos hasta SPSS Modeler e InfoSphere

La tecnología adoptada para alcanzar estos objetivos está compuesta por el IBM PureData System for Analytics, IBM Cognos Business Intelligence, IBM SPSS Modeler, IBM InfoSphere master data management y el software IBM InfoSphere Datastage y permite centrar toda la atención y los recursos en el conocimiento con un método de trabajo que permite a AMC «hacer todo internamente», reduciendo drásticamente los costes y el tiempo, y tener una capacidad de análisis en pocos minutos o incluso segundos incluso para actividades que hasta hace poco tardaba días o incluso segundos, semanas y el apoyo de fuentes externas socios.

El Big data al servicio de clientes y socios

Las empresas de publicidad asociadas también se beneficiaron al elegir AMC: el siguiente paso, de hecho, proporcionó a los anunciantes acceso a este rico conjunto de datos y herramientas analíticas, lo que les permitió optimizar sus campañas y atraer a un público más amplio (tanto a través de canales lineales como digitales).

Por lo tanto, la tecnología Big data de IBM ha permitido a AMC Networks mejorar sus relaciones con los consumidores y los anunciantes, crear mejor contenido, comercializarlo de manera más eficaz y llegar a un número cada vez mayor de espectadores.

Fuente: Bigdata4innovation.it, Network Digital360

Artículos relacionados