El camino hacia nuevos modelos de negocio y servicios.

Nuevas (Necesidades + Datos + Capacidades) = BIG DATA

¿Producirá el Big Data cambios en los modelos de negocio actuales? La pregunta solamente tiene una respuesta posible, SI SEGURO.

La mayoría de los sectores tienen modelos de negocio digamos tradicionales, los cuales podrían evolucionar notablemente con muy poco esfuerzo, gran determinación y gracias al apoyo de la tecnología. Los límites actuales son marcados por la ausencia de imaginación y la falta de determinación, pues como veremos más adelante hoy en día la tecnología permite avances que hace pocos años no habríamos podido ni imaginar.

Me vienen a la cabeza muchos casos de uso, soluciones para sectores como la energía, la distribución, los seguros, etc… Obviamente no soy un experto en dichos sectores, pero sabiendo que me gustaría esperar como cliente y conociendo algunas de las capacidades de la tecnología, puedo detectar posibles avances e imaginar nuevos modelos de relación con los clientes y el nacimiento de servicios de valor. Supongamos el sector del automóvil y acompáñenme en un humilde despliegue de imaginación y suposiciones, contados con pasión e ilusión.

En dicho sector vemos cada día nuevos avances y artilugios que nos permiten disfrutar del placer de conducir y que hacen muchas cosas por nosotros. Algo que habría sido ciencia ficción cuando viajaba en un Seat 124 ranchera con mis padres. Digo viajar puesto que cualquier trayecto de 40 kms era toda una aventura. Recordando cuando en un asiento trasero, tipo sofá (todo corrido de una pieza), iba  con tres hermanos más pegándonos mientras mi padre se desesperaba al volante. Con un perro entre las piernas o subiendo y bajando de la bandeja trasera.  Por supuesto sin cinturones de seguridad y cuando el aire acondicionado dependía de la altura a la que dejáramos la ventanilla. Ya casi no recordamos aquella época…

Ahora los vehículos pueden  encontrar solos un aparcamiento, realizar la maniobra de aparcar, detectar cuando nos estamos durmiendo, detectar obstáculos a decenas de metros en plena noche, reconocer señales de tráfico, tomar el control automático frenando para evitar un atropello, leernos el correo electrónico, tener conexión directa con google, el Siri, el CarPlay, luces automáticas, el sensor de lluvia, el control de velocidad y mil cosas más, incluso las nuevas pinturas que repelen la suciedad e incluso “arreglan” los arañazos.  Otros simplemente rompen con todos nuestros esquemas mentales, busquen en Youtube el prototipo de BMW GINA y continúen soñando.

Todo ello me encanta y, como muchos de vosotros, me gustaría tener un vehículo con muchas de estas tecnologías. Pero volviendo a la realidad ¿Podemos desear algo más los clientes? Yo por lo menos sí. Creo que olvidan el motivo por el cual compramos un coche, y que desde luego no me refiero a que el coche circule solo, pues me gusta conducir y mi mente no está preparada para ser pasivo en este sentido (tal vez cuando tenga más de ochenta años). Me refiero a la necesidad, a la experiencia y al modelo de relación con el cliente.

Me explico. Hoy en día los coches tienen infinidad de sensores e incluso cajas negras, dispositivos can-bus y otros artilugios que serían capaces de informar en tiempo real de cientos de parámetros asociados al motor y asociados a la pauta de conducta del conductor. Desde identificar al conductor, analizar su patrón de comportamiento al volante, el detectar cuando esta fallado algún componente, el registrar los kms. de uso del vehículo según el tipo de vía, detectar consumos no adecuados, detectar emisiones de contaminantes, de avisar del próximo mantenimiento e incluso la tecnología “lamentablemente” nos permitiría multar en tipo real excesos de velocidad sin necesidad de los radares actuales (eso que no se enteren en tráfico), eso por no hablar de evitar arrancar un coche bajo los efectos del alcohol y un largo e infinito mundo de servicios según nuestra imaginación. En definitiva un coche con un mundo de servicios a la carta y susceptible de ser contratado según nuestros deseos y posibilidades.

Sabiendo que todo ello es posible técnicamente, ¿Por qué tengo que comprar un coche?.  Las respuestas pueden ser muchas y variadas, pero creo que llegará un día en que compremos satisfacer necesidades y experiencias gracias al apoyo y capacidades de la tecnología. El obtener todos estos datos procedentes de los sensores y analizarlos, en tiempo real, es hoy en día factible, gracias al Big Data y al ecosistema que lo soporta. El adecuar el modelo de negocio a estos resultados y el convertir estos valiosos datos en beneficio para la marca y calidad del servicio para los clientes depende de la apuesta futura del sector y de otros factores o intereses que lógicamente no puedo conocer. Pues analizar por analizar vale de muy poco o de nada.

Espero ver algún día como me “venden” un servicio, no un coche. Poniendo a mi disposición un vehículo según mis necesidades, adaptando el precio mes a abonar por el mismo según corresponda con el uso, el trato u otros parámetros que pueden obtener sobre mi perfil como conductor. Entraré en ese “juego”, permitir mi monitorización, siempre que ese nuevo modelo de negocio se adapte a mis necesidades, dentro de unos parámetros y condiciones lógicas para ambas partes, lo cual me permita cambiar de vehículo según cambien mis necesidades, como por ejemplo: un vehículo más grande por el nacimiento de otro hijo.  Para que veáis que no es disparatado, es algo que ya hacen algunas compañías de seguros al monitorizar a los conductores noveles y fijando un precio determinado en su seguro según su perfil de riesgo.

Es factible un servicio que lleve el “Todo Incluido”, desde el mantenimiento pues el coche ya no sería mío en propiedad, el seguro del propio bien, etc… Sería algo parecido a un Renting  fino (sin opción de compra), a la medida y asequible para todos, pero basado en los datos sobre el uso, el comportamiento, el trato al vehículo, etc… ¿Estaríamos dispuestos a pagar más o una especie de tarifa por uso? Creo que sí. Si hacemos números el tener un coche es muy caro, no solamente el comprarlo, también el mantenerlo. Además bajo el modelo actual, uno tiene una cierta sensación de esclavitud cuando cambian tus necesidades o el coche te sale rana y no puedes hacer nada salvo empeñarte en otro nuevo coche.

Como simple consumidor creo que los fabricantes todavía no están explorando de forma eficaz estas vías, salvo el renting tradicional o el leasing sólo valido para empresas o pudientes. La única estrategia para los clientes normales es la aparición de segundas marcas posicionando vehículos “Low Cost”, vehículos con bastantes carencias y que en ocasiones nos retornan a los años ochenta.

El investigar este tipo de casos de uso, el recopilar todos estos datos, analizándolos juntos con los sistemas tradicionales, junto con análisis de notoriedad de la marca, escuchando las opiniones de los clientes en las redes sociales, etc… podría ser un revulsivo diferencial en un sector muy castigado por una crisis. En el peor de los escenarios podrían determinar si estos posibles modelos de negocio son viables o no, realizando simulaciones y predicciones.

El primer jugador de esta liga tecnológica y estratégica conseguirá romper las reglas tradicionales del juego. Declarando su liderazgo y consiguiendo, por su propia valía y flexibilidad, la deseada fidelización del cliente.

 

Tras dos décadas de liderazgo del Data Warehouse en España: ¿Se encuentra en peligro por el efecto Houdini de Hadoop?

Tras dos décadas de liderazgo del Data Warehouse en España: ¿Se encuentra en peligro por el efecto Houdini de Hadoop?

En varias ocasiones me habéis preguntado sobre el futuro del Data Warehouse, preocupados por su posible evolución e incluso preguntando por su desaparición. Conviene recordar que la aparición del DW obedece a unas necesidades de negocio y, en especial, a unas necesidades técnicas que limitaban dar oportuna respuesta a las necesidades del negocio.

Para aquellos ajenos a estas artes o con poca experiencia en modelización de DW es razonable tener estas preocupaciones, sobre todo al escuchar esas “verdades a medias” de algunos fabricantes de productos BI (normalmente más departamentales, no plataformas) que presumen de no necesitar modelos de DW en sus presentaciones de herramienta. Aunque en dichas presentaciones siempre aparecen con datos perfectamente limpios ordenados y clasificados e incluso, como vi ayer en un evento, que presumían de no tener un DW pues leían de una base analítica (a saber que saco de datos tenían, pero algo tenían).

Algunas de las necesidades técnicas que comentábamos requieren, entre otras, integrar decenas de sistemas transaccionales, homogenizar conceptos, reorganizarlos, recodificarlos, etc…, algo que “al vuelo” y sin procesos serios de limpieza y transformación no es posible conseguir.

Otras presumen de generar modelos automáticos por arte de magia y desde hace unos años las preocupaciones vienen por la aparición del todo poderoso Hadoop y el BIG DATA, que debe ser como el “coco” que toda la vida nos han hablado de él, pero que nadie lo ha visto y pocos saben realmente que es. Sobre BIG DATA básicamente nos hablan con pasión de las tres “V” del Big Data y pocos encuentran la 4 “V”, el valor para el negocio… bueno ese será otro tema. 

Efectivamente tenemos un bombardeo continuo sobre los miles de millones de datos que se generan cada día, sobre el gran valor de dichos datos, sobre el potencial que esconden y sobre la imposibilidad técnica para procesarlos bajo los estándares o infraestructuras tradicionales. Asociado a este término, como si de un matrimonio se tratase, nos encontramos con nuestro salvador, Hadoop.

Hadoop, según nos cuentan, es como el gran Houdini. Hadoop es casi mágico pues permite disponer de todo lo que queramos. En un “saco” ponemos todo, dando igual cómo, y por arte de magia permite consultarlo. Bueno, pues no es exactamente así. Del mismo modo que Houdini no se llamaba así, era Erik Weisz, en Hadoop tampoco existe la magia. Se requiere mucho conocimiento de su ecosistema y muchos procesos para tratar los ficheros en su ingesta o en su procesamiento una vez dentro del HDFS.

Dotar a Hadoop de este tipo de capacidades no es real y encierra en sí mismo trampas que pueden llevar a tomar decisiones erróneas o meternos en la creación de nuevos escenarios informacionales que no cumplan con nuestras expectativas, básicamente por que parten de dichas creencias erróneas.

Sin entrar en mucho detalle hadoop es simplemente un Sistema de Ficheros Distribuidos (HDFS), alrededor del cual tenemos una batería de productos o herramientas que conforman un complejo ecosistema. Hadoop cumple su cometido y al no ser un sistema de gestión de base de datos no realiza algunos de los controles a las cuales estamos acostumbrados, como: la indexación, los insert de un registro, el borrado de un registro, etc… Aunque dentro de Ecosistema de Hadoop podremos encontrar diversas herramientas que nos permitirán hacer muchas cosas similares a lo que hacemos en las RDBMS, como el acceder a diversos ficheros como si de una tabla de base de datos se tratara a través de sentencias SQL más o menos estándares.

Desde mi punto de vista, lo mejor de Hadoop es la capacidad de almacenar cualquier tipo de dato (estructurado, semiestructurado o no estructurado), la capacidad en su “ingestación” y gracias al ecosistema que lo rodea, la capacidad de convertir, tratar o manipular esos datos en bruto hasta tenerlo en el formato o formatos deseados. La capacidad de disponer de los datos en un formato determinado pudiendo combinarlos rápida y eficazmente es digno de mención. Dando la sensación de que ya estaban preparados, cuando habitualmente solamente tenemos almacenado en un MetaStore la consulta deseada, la capacidad de los nodos del cluster de hadoop hacen el resto.

¿Todo esto implica o puede hacer desaparecer al Data Warehouse actual?

Aunque técnicamente hoy en día es posible poner un Data Warehouse dentro de Hadoop, lo veo poco probable e incluso poco lógico, aunque ya comentaremos este tema en otra ocasión. Personalmente creo que, por el momento, la existencia de Hadoop abre nuevas oportunidades al DW. Hoy por hoy es más lógico verlo como un elemento complementario al DW o como una nueva y valiosa fuente de información para enriquecer y flexibilizar los sistemas de BI.

Debemos aprovechar las bondades de cada uno, en Hadoop podemos procesar datos y estructuras que hasta hace poco eran impensables (logs, sensores, etc…), podemos hacer cálculos y manipulaciones de cientos de millones de registros en unos tiempos reducidos y podemos preparar información o datos para infinidad de necesidades, tanto de BI, como de Data Mining, etc...

Son tecnologías diferentes en sus objetivos que pueden ser complementarias y que lógicamente tienen capacidades y posibilidades que cruzan las barreras de ambos mundos. Por el momento no considero que el DW se encuentre en peligro. Del mismo modo que nadie se plantea mover los sistemas transaccionales a un Hadoop o del mismo modo que nadie se planteó usar el DW como el nuevo y limpio almacenamiento del día a día desmontando los sistemas transaccionales.

Espero y deseo que el BIG DATA y el Business Intelligence, junto con sus respectivos pilares el Hadoop y el DW, irán de la mano en la próxima década, aprovechando y compartiendo lo mejor de cada uno. Potenciados notablemente por nuevas funcionalidades de las herramientas, hasta ahora exclusivas de BI, que serán únicas y capaces de trabajar de forma trasparente sobre ambos entornos. Solamente debemos mirar como fabricantes como SAS, Tableau y otros muchos empiezan a sacar conectores o métodos para conectar con Hadoop a través de HIVE, Pig u otros productos del ecosistema.

Salu2,

Chema Arce (@ichemaarce)

BIG DATA 2013

Se inicia una jornada para aprender y ver el estado del arte de Big Data en España. Uno llega lleno de esperanza y con la ilusión de ver la 4ª V, de la cual ya he hablado en otros artículos.

Obviamente no puedo, y creo que no debo hablar de todos y cada uno de los ponentes o sus ponencias, además de no ser justo (algunas no las vi enteras) y tampoco puedo resumir una intensa jornada en unas pocas líneas.

Algunos ponentes, de forma brillante, resaltaron la importancia del factor humano y dejaron claro que no estamos ante la panacea informacional, como Javier González Recuenco (colega de ESIC). Otros como Dave Currie (Tuenti) nos dejo clara la importancia de probar, investigar y volver a probar, pues como también se puntualizo casi todo lo referente al Big Data proviene o nace del mundo Open Source, tanto para lo bueno como para lo malo. Debiendo pues analizar carencias y buscar las piezas a implementar según las necesidades a satisfacer.

Quedo bastante claro lo difícil que es buscar la solución ideal, lo difícil que es decidir la plataforma o arquitectura a seguir y lo complejo que es conseguir que todo funcione. Toda solución lleva muchas piezas, cada uno de su “padre y madre” y debemos hacer que convivan y encima funcionen (casi nada). Afortunadamente empresas como Pragsis ya han realizado este esfuerzo por nosotros y lo tienen todo bastante “maduro”.

Por lo anterior, tenia especial interés en la ponencia de David Milán, quien no me defraudo. Exponiendo la experiencia real y las probadas soluciones de Pragsis (BiDoop). A través de David pudimos apreciar (yo ya lo sabia) que ya existen empresas visionarias y pioneras en Big Data. Estamos ante una de las pocas empresas en España con capacidades reales en Big Data y con experiencias con clientes reales, nada de humo y powerpoint.

También muy interesante los mensajes estratégicos y los buenos consejos los transmitidos por Ruth Alcázar y José Joaquín Loza de la Universidad Europea de Madrid. Destacando el papel que debe jugar el CIO en esta nueva etapa en los sistemas de información, algo que deberían escuchar más de uno. Por cierto, al día siguiente vi a José Joaquín en un evento de SAP... no paras!!!.

Por muchos motivos para mi mención especial a Luis Egusquiza (OgilvyOne). Colega y profesor en diversos Masters (ESIC), con el cual también he tenido el honor de trabajar en una interesante solución de BI para un importante cliente. Aporto una visión más estrategica y cercana al negocio, algo que era necesario en este evento. Agradecerle las palabras que me dedico durante el evento, fue una grata sorpresa, el cariño y respeto es mutuo.

Para no extenderme mucho, comentar la apasionada ponencia de Luca Zurlo (apasionado como siempre) donde nos enseño como su solución será un gran compañero de viaje como visualizador del Big Data, teniendo conectores directos a Hadoop y otras fuentes típicas del Big Data.

A modo de resumen y a grandes pinceladas comentar que los mensajes actuales sobre Big Data los considero pobres, confusos, mezclados según quien y en especial carentes de valor para el negocio, sin mi 4ª “V”. 

He asistido o participado en 4 eventos sobre Big Data, todos me recuerdan a aquellos mensajes que hacíamos del Business Intelligence y el Data Warehouse por los años 1994. Todos sabíamos que iba a ser importante, pero cada cual daba una idea de ellos. Tema que por cierto, después de tantos años, observo que continua. Supongo que para finales de mayo tendremos otra edición de Business Intelligence de la mano de iiR, momento ideal para volver a evangelizar.

Pudimos asistir a diversas ponencias, donde cada uno aportaba su granito de arena, su propia visión de lo que “entendían” por Big Data y en general se hablo mucho de volúmenes de datos y de visualizadores de los mismos... algo que por si mismo no es Big Data, aunque algunos lo entiendan así. 

Esto no es bueno ni malo, es una simple evolución. Debiendo madurar los conceptos, los conocimientos y poco a poco podremos observar y ver experiencias reales... seguimos en la lógica evolución.

Mi agradecimiento a iiR por organizar el evento, por el esfuerzo realizado y por estar siempre a la última en las tendencias que tanto nos apasionan.

Conceptos & Tendencias: BIG DATA (I)

Los sistemas de información, así como los diversos dispositivos capaces de generar información están provocando un cambio significativo en nuestra sociedad, a la par de una nueva necesidad de análisis del ingente volumen que generan.

Las bases de datos que nacieron sobre el año 1968, fueron evolucionando hasta las bases de datos relacionales (1970) y posteriormente con la aparición del Data Warehouse (1983), se han quedado limitadas para la gestión, tratamiento, almacenamiento y manipulación de estos brutales volúmenes de información. Además de grandes volúmenes de información, también debemos considerar que en la actualidad el 80% de los datos que se generan son datos no estructurados. Hasta hace poco solamente considerábamos como fuente de análisis nuestros propios datos, hoy existen nuevos dispositivos interconectados e inteligentes, datos de radiofrecuencias, datos en las redes sociales, en emails, procedente de sensores, datos en la propia web y en sus logs, etc…

  

Con todo este mar de datos, aparece un concepto el BIG DATA. Concepto de difícil definición que agrupa todos los datos que se están generando día a día, con especial relevancia en aquellos que no son propios de nuestra organización e incluye la necesidad de manipulación y análisis sobre los mismos.

  

En definitiva el Big Data hace referencia al conjunto de datos que superan la capacidad del software habitual para ser capturados, gestionados y procesados en un tiempo razonable. Tras este concepto se esconden las “4V” que definen el Big Data: Volumen, Variedad, Velocidad y Valor.

  

• Volumen: no cabe duda, las cifras que se manejan son impresionantes y las “soluciones” Big Data deben procesarla.

• Variedad: A los datos estructurados conocidos por todos, debemos incorporar datos no estructurados y semiestructurados.
• Velocidad: es necesario disponer de soluciones que nos permitan analizar información casi en tiempo real, por ello la velocidad es fundamental.
• Valor: Tema algo más complejo de gestionar y tratar. En los datos no estructurados existe mucho “ruido”, el cual debe ser discriminado y obtener valores o conclusiones con el resto.

¿Hasta dónde el Big Data?

Las capacidades del Big Data solamente están limitadas a nuestra imaginación. En cierto modo en ello reside la grandeza de la oportunidad. En la actualidad se están diseñando soluciones sobre:

• Análisis del sentimiento; que se piensa y se dice de una empresa, marca, programa televisivo, etc…
• Análisis del riesgo; en un mercado cada vez más complejo, es necesario detectar en tiempo real la propensión al riesgo de determinadas operaciones financieras, etc…
• Análisis del comportamiento de …: aquí se analiza de todo, desde el comportamiento de nuestros clientes potenciales dentro de nuestra web, hasta el comportamiento de los turistas en una determinada ciudad gracias a las fotos goereferenciadas publicas en Fliker… Sin lugar a dudas el análisis de miles de cosas que colgamos en la red puede aportar mucha información sobre pautas de comportamiento, hábitos de conducta, hábitos de compras, lugares que frecuentamos, etc…

  

¿Dónde están los datos y de qué tipo son? 

Dentro del Big Data se encuentra un gran todo, tanto datos “tradicionales” y estructurados, el gran aporte del Open Data, así como una inmensa mayoría de datos no estructurados (redes, fotos, blog, webs…). Algunos datos están en reposo y otros son datos muy vivos y de corta vida. En función de la tipología del dato, su gestión, acceso y tratamiento puede variar significativamente.

  

 

Los datos en movimiento no siempre son almacenados, son analizados en tiempo real. Por ello existen soluciones que se apoyan más en “bus de datos”, sin almacenamientos y sin modelos asociados. Suelen ser datos procedentes de miles de sensores y equipos específicos. Cada negocio requiere una política de análisis diferente o combinación de ambas. Suelen ser muy requerido el análisis de datos en movimiento para temas de fraude, entre otras cosas. De las características del BIG Data los datos en movimiento cumplen con todas las “V”, v de volumen, la v de variedad, la v de valor y la v de velocidad.

    

Los datos en reposo, pueden ser tratados de una forma diferente y son almacenados para su posterior análisis. En función de la naturaleza de los datos podremos combinar los Data Warehouse (información estructurada) con otros almacenamientos no estructurados como podría ser los residentes en Hadoop, sobre el cual hablaremos en mi siguiente articulo. De las características propias del BIG Data los datos en reposo cumplen con varias “V”, v de volumen, la v de variedad y la v de valor.

  

Hadoop, aunque le dedicaremos un especial, es una de las piedras angulares del Big Data. Hadoop toma especial valor dado el volumen tan impresionante de información y la velocidad necesaria para su proceso. No estamos ante una BBDD, hablamos de un framework de desarrollo y entorno de ejecución con capacidad de procesar gran volumen gracias a sus características de procesamiento por lotes, escalabilidad en almacenamiento y nodos, etc…

  

Conviene recordar que bajo el paraguas del Business Intelligence se encuentra la necesidad de analizar los datos para la correcta toma de desiones, por ello el Big Data se encuentra incluido dentro del BI. El Big Data requiere de tecnologías para la gestión y el tratamiento de los datos muy variadas, muchas de ellas ya usadas en BI. El Big Data amplia, convive, mejora y complementa perfectamente a los actuales sistemas de de información para la toma de decisiones, los tradicionales Data Warehouse pilares fundamentales de las soluciones de Business Intelligence.

  

Conclusiones:

El Big Data como otras tendencias de los Sistemas de información está llamado a jugar un papel clave, incluso creo que por encima de su valor más real. Los modelos estadísticos basados en Big Data y especialmente en función de su origen, tiene limitaciones en sí mismos, por ello deben ser manejados con cautela.

  

Por ejemplo (opinión personal): si estamos analizando las audiencias sociales de un determinado programa televisivo a través de Twitter, los datos que reflejan necesariamente deben ser limitados o parciales. Básicamente por no ser una muestra amplia o representativa del universo. Solamente una parte del universo usan y manejan las tecnologías o los dispositivos necesarios. Personalmente no me imagino a mi padre mandando mensajes por Twitter. Lo cual no quita que estamos ante una gran solución para poder “medir” el comportamiento o el sentimiento de un sector de la población ante un programa determinado.

  

Tras casi dos décadas de Business Intelligence en España, podemos afirmar sin lugar a equivocarnos, que no es oro todo lo que reluce y que en la actualidad la mayoría de los sistemas denominados Data Warehouse están muy a medias o con grandes carencias. Considerando que las empresas tienen grandes problemas en la toma de decisiones corporativas apoyándose en los datos propios y estructurados, que nos deparara el enriquecer los sistemas con datos existentes en la “nube”, en las redes sociales y debiendo procesar datos no estructurados…

  

Entendiendo que puede ser así: ¿estamos maduros para afrontar el reto del Big Data y el análisis de lo desconocido?, ¿Es el Big Data la nueva panacea decisional?. Mi respuesta es NO o por lo menos no con los recursos actuales.

  

Las empresas ya iniciaron mal, en su mayoría, el camino marcado por el Business Intelligence, al determinar erróneamente que se trataban de perfiles técnicos. Hoy empiezan a darse cuenta de que se trata de un colectivo de profesionales con diversos roles y perfiles, desde los expertos analistas, los ingenieros, los matemáticos y los técnicos entre otros. Las empresas deben reconsiderar el invertir en este colectivo de profesionales, el denominado “Data Science Team”. Algo completamente necesario si desean dar un salto cuantitativo y cualitativo en esta nueva era informacional.