Cómo buscar oro eficazmente (Dark Data vs Big Data)

Definiciones
miércoles, 8 de junio de 2016

La información es oro

La información es oro

Vivimos en la sociedad del conocimiento, donde el recurso básico del poder es la información, del que podemos extraer conocimiento y sabiduría. Esta afirmación nos resulta ya evidente y admite poca discusión. Tal vez es por eso que cualquier tecnología o propuesta encaminada a recoger y tratar más y más información (y de los modos más variopintos) es siempre acogida con entusiasmo.

En este sentido, desde ya hace años, cosas como el Big Data, el internet de la cosas (IoT), el machine learing, narrative science, la minería de datos, el M2M, o las bases de datos NoSQL hacen arder el Twitter tecnológico frecuentemente. ¡Arde Twitter!

Cada pocos meses, y desde hace muchos años, oigo a alguien que afirma que el Business Intelligence tal como lo conocemos dejará de existir en 5 años, porque la tecnología XYZ lo convertirá en obsoleto.

Cada vez escucho estas afirmaciones con más escepticismo. Por supuesto que hay cambios, continuos, rápidos y gratificantes, pero la mitad de la mitad de lo anunciado por los profetas. Si dicen 5 años, asume que serán 20, y si dicen que será por XYZ, piensa que en 6 meses puede aparecer otra buzz-word que dejará a XYZ como curiosidad irrelevante.

Big Data

Ahora está de moda hablar del Big Data y el cronista de Business Intelligence fácil no puede obviarlo. Big Data se refiere al almacenamiento de grandes cantidades de datos y a los procedimientos usados para encontrar patrones repetitivos dentro de esos datos. El Big Data es "big" de tres maneras diferentes:

  • Volumen de información (muchos teras...)
  • Variedad de información (datos estructurados, no estructurados, externos e internos, de todo tipo....)
  • Velocidad (se requieren reducidos tiempos de respuesta...)

El redactor de la Wikipedia ha pensado que un buen ejemplo de Big Data es esta representación de datos creada por IBM para mostrar las ediciones de los artículos de la Wikipedia.

Ejemplo de Big Data

Muy interesante, académicamente hablando... Pero, ¿Es extrapolable a la realidad de nuestras empresas?

Dark Data

En contraposición a estos entornos tan innovadores, tenemos el "Dark Data": Información que ya tenemos en nuestras empresas y está siendo infrautilizada. Lo explica muy bien Jorge Fernandez:

En el día a día, por nuestras organizaciones circulan un conjunto de datos que no recogemos, ni procesamos ni gestionamos, y de los que no somos conscientes ni de su valor ni de las oportunidades que nos brindan.

El Dark Data es oro puro bajo nuestros zapatos, diamantes de información ya existentes en nuestras organizaciones y que no tenemos por qué ir a recolectar fuera de nuestras fronteras. Y no se trata de renunciar a las estrategias BIG DATA, ni mucho menos, se trata solo de recordar cuales son nuestras mejores opciones de transformar datos en información y de ser conscientes del valor de la información que tenemos en nuestras propias organizaciones.

Recomiendo la lectura íntegra del artículo "LOS DATOS BAJO TUS PIES: DARK DATA" de Jorge. Es especialmente revelador el apartado sobre el coste de unos y otros proyectos.

Lo que dice el mercado

Muchas veces me cuesta encontrar la correspondencia entre lo que dicen los clientes y lo que dicen las notas de prensa de los proveedores tradicionales.

Cuando hablo con una cliente (real o potencial), me manifiesta sus problemas para consultar la información de su Informix (o AS, o Nav, o SAP...). Me cuentan su versión particular de lo que yo denomino "Excel caos". Me hablan de los enormes esfuerzos que realizan para tener cada mes los informes actualizados... Me hablan de sus 2, 3 o 4 fuentes de información difíciles de cruzar entre sí...

Incluso clientes que ya se han iniciado en el BI (y tienen algún Datamart, o algunos informes en Tableau o Qlik...) manifiestan unas dificultades que poco tienen que ver con analizar los RT de Twitter o sacar conclusiones automatizadas de las notas de prensa de su competencia. Su información más valiosa sigue siendo la información interna superestructurada en sus propias bases de datos relacionales. Y lo saben.

En el otro extremo, tenemos empresas con entornos BI muy maduros. Me refiero a empresas como Amazon, Wall Mart o Telefónica. Por supuesto, estas empresas encontrarán oro a través de proyectos innovadores de Big Data... Ellos, sí.

Conclusiones

Las conclusiones que saco de todo lo anterior son:

  • Que el Big Data (y otras tecnologías innovadoras) tiene un enorme potencial, y tiene su mercado, pero es y seguirá siendo durante muchos años algo residual frente al "Business Intelligence tradicional"...
  • Los proyectos Big Data no dejan de ser un proyecto más dentro de la gestión de la información corporativa. No es sustituto de nada.
  • Los procesos decisionales no son fácilmente automatizables. La intervención humana sigue siendo imprescindible. En el mundo real, comprender unos datos y tomar una decisión de negocio es algo mucho más complejo que "detectar patrones" ciegamente...
  • El Business Intelligence (la gestión de las información corporativa, en general) se implementa de modo gradual (iterativo incremental, que decimos ahora...). Existen "grados de madurez" y no existen atajos. Todas las empresas empiezan haciendo reporting, pero tarde o temprano terminan necesitando OLAP, cuadros de mandos... Y algún día, algunas empresas, terminan haciendo Big Data. Empezar por Big Data saltándose los estados intermedios no tiene sentido.
  • El coste de abordar un proyecto de Big Data es elevado, es como intentar construir una nave espacial. Te enfrentas a problemas desconocidos, con tecnología insuficiente y resultados inciertos. En contraposición, un proyecto de "Dark Data" es un proyecto de coste acotado y con resultados seguros. Como dice Jorge, un proyecto de Dark Data "equivale a cavar un gran hoyo con un pico y una pala". El dato está allí, solo hay que encontrarlo.

Reflexionando sobre todo esto, ayer publicamos la imagen que encabeza este artículo en nuestro canal de LinkedIn. Te animo a seguirnos. Aquí y allá.