Mostrando entradas con la etiqueta business intelligence. Mostrar todas las entradas
Mostrando entradas con la etiqueta business intelligence. Mostrar todas las entradas

viernes, enero 30, 2015

Tras dos décadas de liderazgo del Data Warehouse en España: ¿Se encuentra en peligro por el efecto Houdini de Hadoop?

Tras dos décadas de liderazgo del Data Warehouse en España: ¿Se encuentra en peligro por el efecto Houdini de Hadoop?


En varias ocasiones me habéis preguntado sobre el futuro del Data Warehouse, preocupados por su posible evolución e incluso preguntando por su desaparición. Conviene recordar que la aparición del DW obedece a unas necesidades de negocio y, en especial, a unas necesidades técnicas que limitaban dar oportuna respuesta a las necesidades del negocio.
Para aquellos ajenos a estas artes o con poca experiencia en modelización de DW es razonable tener estas preocupaciones, sobre todo al escuchar esas “verdades a medias” de algunos fabricantes de productos BI (normalmente más departamentales, no plataformas) que presumen de no necesitar modelos de DW en sus presentaciones de herramienta. Aunque en dichas presentaciones siempre aparecen con datos perfectamente limpios ordenados y clasificados e incluso, como vi ayer en un evento, que presumían de no tener un DW pues leían de una base analítica (a saber que saco de datos tenían, pero algo tenían).

Algunas de las necesidades técnicas que comentábamos requieren, entre otras, integrar decenas de sistemas transaccionales, homogenizar conceptos, reorganizarlos, recodificarlos, etc…, algo que “al vuelo” y sin procesos serios de limpieza y transformación no es posible conseguir.
Otras presumen de generar modelos automáticos por arte de magia y desde hace unos años las preocupaciones vienen por la aparición del todo poderoso Hadoop y el BIG DATA, que debe ser como el “coco” que toda la vida nos han hablado de él, pero que nadie lo ha visto y pocos saben realmente que es. Sobre BIG DATA básicamente nos hablan con pasión de las tres “V” del Big Data y pocos encuentran la 4 “V”, el valor para el negocio… bueno ese será otro tema. 

Efectivamente tenemos un bombardeo continuo sobre los miles de millones de datos que se generan cada día, sobre el gran valor de dichos datos, sobre el potencial que esconden y sobre la imposibilidad técnica para procesarlos bajo los estándares o infraestructuras tradicionales. Asociado a este término, como si de un matrimonio se tratase, nos encontramos con nuestro salvador, Hadoop.
Hadoop, según nos cuentan, es como el gran Houdini. Hadoop es casi mágico pues permite disponer de todo lo que queramos. En un “saco” ponemos todo, dando igual cómo, y por arte de magia permite consultarlo. Bueno, pues no es exactamente así. Del mismo modo que Houdini no se llamaba así, era Erik Weisz, en Hadoop tampoco existe la magia. Se requiere mucho conocimiento de su ecosistema y muchos procesos para tratar los ficheros en su ingesta o en su procesamiento una vez dentro del HDFS.

Dotar a Hadoop de este tipo de capacidades no es real y encierra en sí mismo trampas que pueden llevar a tomar decisiones erróneas o meternos en la creación de nuevos escenarios informacionales que no cumplan con nuestras expectativas, básicamente por que parten de dichas creencias erróneas.
Sin entrar en mucho detalle hadoop es simplemente un Sistema de Ficheros Distribuidos (HDFS), alrededor del cual tenemos una batería de productos o herramientas que conforman un complejo ecosistema. Hadoop cumple su cometido y al no ser un sistema de gestión de base de datos no realiza algunos de los controles a las cuales estamos acostumbrados, como: la indexación, los insert de un registro, el borrado de un registro, etc… Aunque dentro de Ecosistema de Hadoop podremos encontrar diversas herramientas que nos permitirán hacer muchas cosas similares a lo que hacemos en las RDBMS, como el acceder a diversos ficheros como si de una tabla de base de datos se tratara a través de sentencias SQL más o menos estándares.

Desde mi punto de vista, lo mejor de Hadoop es la capacidad de almacenar cualquier tipo de dato (estructurado, semiestructurado o no estructurado), la capacidad en su “ingestación” y gracias al ecosistema que lo rodea, la capacidad de convertir, tratar o manipular esos datos en bruto hasta tenerlo en el formato o formatos deseados. La capacidad de disponer de los datos en un formato determinado pudiendo combinarlos rápida y eficazmente es digno de mención. Dando la sensación de que ya estaban preparados, cuando habitualmente solamente tenemos almacenado en un MetaStore la consulta deseada, la capacidad de los nodos del cluster de hadoop hacen el resto.
¿Todo esto implica o puede hacer desaparecer al Data Warehouse actual?

Aunque técnicamente hoy en día es posible poner un Data Warehouse dentro de Hadoop, lo veo poco probable e incluso poco lógico, aunque ya comentaremos este tema en otra ocasión. Personalmente creo que, por el momento, la existencia de Hadoop abre nuevas oportunidades al DW. Hoy por hoy es más lógico verlo como un elemento complementario al DW o como una nueva y valiosa fuente de información para enriquecer y flexibilizar los sistemas de BI.

Debemos aprovechar las bondades de cada uno, en Hadoop podemos procesar datos y estructuras que hasta hace poco eran impensables (logs, sensores, etc…), podemos hacer cálculos y manipulaciones de cientos de millones de registros en unos tiempos reducidos y podemos preparar información o datos para infinidad de necesidades, tanto de BI, como de Data Mining, etc...
Son tecnologías diferentes en sus objetivos que pueden ser complementarias y que lógicamente tienen capacidades y posibilidades que cruzan las barreras de ambos mundos. Por el momento no considero que el DW se encuentre en peligro. Del mismo modo que nadie se plantea mover los sistemas transaccionales a un Hadoop o del mismo modo que nadie se planteó usar el DW como el nuevo y limpio almacenamiento del día a día desmontando los sistemas transaccionales.

Espero y deseo que el BIG DATA y el Business Intelligence, junto con sus respectivos pilares el Hadoop y el DW, irán de la mano en la próxima década, aprovechando y compartiendo lo mejor de cada uno. Potenciados notablemente por nuevas funcionalidades de las herramientas, hasta ahora exclusivas de BI, que serán únicas y capaces de trabajar de forma trasparente sobre ambos entornos. Solamente debemos mirar como fabricantes como SAS, Tableau y otros muchos empiezan a sacar conectores o métodos para conectar con Hadoop a través de HIVE, Pig u otros productos del ecosistema.
Salu2,
Chema Arce (@ichemaarce)

jueves, enero 16, 2014

La Era del Business Intelligence

Os dejo link con mi humilde colaboración en el suplemento "Tu economía" sobre "La Era del Business Intelligence" de La Razón.

viernes, junio 07, 2013

Crónica del evento "Business Intelligence 2013" organizado por iiR




Un año más, y van trece !!!!!, iiR organiza uno de los eventos más esperados del año. Se trata de nuestro día, el día donde los apasionados de BI, los clientes, los fabricantes y curiosos nos damos cita. Deseando compartir experiencias, aprender de los aciertos y de los fracasos y, en general, ver el estado del arte en BI.

Cabe destacar que iiR ha sido siempre un apoyo fundamental para la transferencia del conocimiento empresarial, en este caso en concreto hablamos de BI, pero como todos conocéis tocan decenas de temas. 

Desde este humilde rincón, deseo agradecer a IIR su invitación para ser, en esta edición, presidente de la jornada.


Tal y como indiqué en mi presentación, iiR ha sido pionera en su apuesta por el BI. Incluso mencioné, de forma jocosa, que ganamos por goleada al reality de Telecinco "Gran Hermano", el cual va por la edición 14. iiR lleva 13 ediciones de BI y otros cuantos años sobre Data Warehouse, lo cual conviene recordar. Lástima que ahora se hable poco del DW, cuando realmente continúa siendo el único pilar útil para una toma de decisiones eficientes, más si hablamos de grandes corporaciones y de sistemas decisionales realmente bien diseñados e integrados, pero bueno ahora se habla más de Dashboard y otras cosas.

El evento en cuestión fue cuidadosamente organizado, teniendo interesantes ponencias, como:

*  Javier González Recuenco, profesor y colega de ESIC, que tocó acertadamente diversidad de aspectos asociados al BI, desde la evolución de este tipo de soluciones, hasta aspectos más teóricos, visionarios e incluso críticos sobre algún boom! de moda, refiriéndose al Big Data.

* Luca Zurlo, un apasionado del BI, brillante ponente que nos presento con alegría y dinamismo las capacidades de JasperSoft.

* Manuel del Pino, otra de las "viejas" glorias en este tipo de soluciones. De su mano comprendimos las capacidades actuales de Informations Builders para entrar por la puerta grande en las tendencias del mercado actual, las necesidades de movilidad, las necesidades de Social Media, el Big Data, la Cloud y/o el análisis predictivo.

* Marian Álvarez Larios, como Responsable de Investigación de Mercados en el área de clientes y ofertas de Reale Seguros Generales, nos explicó con detalle los retos del sector, la importancia de seguir e ir analizando las redes sociales y en general la preocupación del sector por adelantarse en un mercado altamente competitivo.

* Izaskun Lopez, Responsable de Análisis de Negocio en Orange, nos deleito con las experiencias de su firma, los dió una brillante clase sobre tipos de análisis matemáticos, series temporales y en general sobre las bondades de los modelos predictivos.

* Susana Fuentes, Responsable de BI en el Grupo HNA. Apreciada profesional del sector, gran oradora, también nos dio su acertado paseo por el BI, explicando en primera persona su gran experiencia y destacando también la necesidad de su grupo de llegar hasta la guinda del pastel, los modelos predictivos.

* Rafael Sueiro, Responsable de BI en Vodafone, nos presento su particular visión del BI. Rafael originalmente procede del mundo financiero, tomando el apasionante reto de coordinar y gestionar eficazmente el BI en su organización. Desgrano los pasos que han seguido, destacando especialmente como han sabido aportar una mayor experiencia para el usuario, mejorar la respuesta y organizar las formas de entregar y distribuir la información.

* José Joaquín Loza, CIO de la Universidad Europea de Madrid y Ruth Alcázar, Directora de Planificación Financiera y Análisis. Nos llevaron de la mano sobre la experiencia real de la universidad en dicha materia, sobre el papel que juega el BI para ellos, así como interesantes consejos para optimizar los costes en este tipo de soluciones.

* Guillermo Vallejo, Jefe de Control de Gestión en González Byass, nos contó de forma amena el complicado negocio de su sector, las particularidades de unas de las principales bodegas de nuestro país. El obligado cambio de mentalidad que supone "navegar" y profundizar en el BI y especialmente el valor que el BI aporta a su organización.

* José Antonio Esteban, CTO en CODERE. Interesantísima ponencia donde nos dejó impresionados con las necesidades tan importantes de análisis de su particular empresa. Fue un claro ejemplo tangible de la necesidad de analizar y cruzar diversas fuentes de datos, con elevados volúmenes y donde el tiempo es crucial. Creo que todos los asistentes disfrutamos con la aportación de José Antonio.

Para rematar nuestra jornada se abordaron tendencias que están llegando con fuerza como el Big Data, InMemory, Cloud BI, Mobile BI, etc... Por cierto, sobre muchas de estas ya había escrito diversos artículos años atrás.

Todas estas cuestiones fueron tratadas en la última parte de la jornada, a través de una mesa redonda, donde el que les escribe tuvo el honor de participar, junto con José Joaquín Loza y teniendo como invitado especial, pues así se lo solicitamos, a Carlos Villar sobre el cual sobran presentaciones. Carlos es uno de los mayores profesionales de BI en España, al cual tengo un gran respeto como profesional y especial admiración a nivel personal.




Conclusiones personales sobre el BI:
Desde hace tiempo se especula con la finalización o muerte del BI, se habla con cierto "desprecio" del "Business Intelligence tradicional". Llegados a este punto conviene recordar, que muchos llevamos hablando de BI desde hace más de 15 años y que ya, por aquellos tiempos, hablamos de análisis predictivos e incluso de necesidades más parecidas al mal entendido "tiempo real". En ese sentido, no existe nada nuevo bajo el sol. La única diferencia es que el BI en España se encuentra en una fase más "madura", la cual permite adentrarse en el mundo de la minería de datos y/o el Business Analytics.

Tras los cambios de moda y la aparición de nuevos términos, que parecen que van a solucionar la vida a todos y hacernos ricos, tal y como ocurría a principios de los noventa con el BI y el DW, uno llega a la conclusión que el BI se encuentra más vivo que nunca, más necesario en esta época tan compleja y con más motivo puede (o debe) ser la salvación de muchas compañías.

Los retos de "el mundo del conocimiento", las supuestas panaceas del Big Data, el "internet de las cosas", los cientos de sensores y dispositivos que generan cientos o miles de datos por minuto no pueden aportar, excepto dolores de cabeza, gran valor por si mismos. Los datos, de las "nuevas" fuentes, deben ser convenientemente recopilados, gestionados, tratados, medidos y visualizados. Hasta dónde entendemos muchos, este tipo de necesidad es y continúa siendo o estando dentro del paraguas del BI.

Es cierto decir que el Big Data, por sí mismo, no es BI. Estamos de acuerdo con ello, pero del mismo modo me atrevo a decir, como ya mencioné en anteriores artículos, que el Big Data tal y como nos lo presentan algunos poco aporta. Dicha afirmación debe ser aclarada, pues hasta que no sepamos sacar la cuarta "V" (el valor) del Big Data y hasta que no sepamos cruzar esta información con el resto de los datos de nuestra compañía, o convertirla en negocio, poco despliegue de Big Data veremos realmente. Simplificando el Big Data es una nueva fuente de información a tratar, con todas sus particularidades, para el Business Intelligence.

Gracias a todos los asistentes al evento, nos volvemos a ver el año que viene!!!!!!.

El futuro nos sonríe, el BI y los que nos dedicamos con pasión a ello, tenemos un futuro que no ha hecho nada más que empezar. 

El BI es estrategia, es negocio, son decisiones, es comprender el pasado, medir el presente y actuar para mejorar el futuro... Nuestro sueño continúa!!!!!

viernes, abril 26, 2013

BIG DATA 2013


Se inicia una jornada para aprender y ver el estado del arte de Big Data en España. Uno llega lleno de esperanza y con la ilusión de ver la 4ª V, de la cual ya he hablado en otros artículos.


Obviamente no puedo, y creo que no debo hablar de todos y cada uno de los ponentes o sus ponencias, además de no ser justo (algunas no las vi enteras) y tampoco puedo resumir una intensa jornada en unas pocas líneas.

Algunos ponentes, de forma brillante, resaltaron la importancia del factor humano y dejaron claro que no estamos ante la panacea informacional, como Javier González Recuenco (colega de ESIC). Otros como Dave Currie (Tuenti) nos dejo clara la importancia de probar, investigar y volver a probar, pues como también se puntualizo casi todo lo referente al Big Data proviene o nace del mundo Open Source, tanto para lo bueno como para lo malo. Debiendo pues analizar carencias y buscar las piezas a implementar según las necesidades a satisfacer.

Quedo bastante claro lo difícil que es buscar la solución ideal, lo difícil que es decidir la plataforma o arquitectura a seguir y lo complejo que es conseguir que todo funcione. Toda solución lleva muchas piezas, cada uno de su “padre y madre” y debemos hacer que convivan y encima funcionen (casi nada). Afortunadamente empresas como Pragsis ya han realizado este esfuerzo por nosotros y lo tienen todo bastante “maduro”.

Por lo anterior, tenia especial interés en la ponencia de David Milán, quien no me defraudo. Exponiendo la experiencia real y las probadas soluciones de Pragsis (BiDoop). A través de David pudimos apreciar (yo ya lo sabia) que ya existen empresas visionarias y pioneras en Big Data. Estamos ante una de las pocas empresas en España con capacidades reales en Big Data y con experiencias con clientes reales, nada de humo y powerpoint.

También muy interesante los mensajes estratégicos y los buenos consejos los transmitidos por Ruth Alcázar y José Joaquín Loza de la Universidad Europea de Madrid. Destacando el papel que debe jugar el CIO en esta nueva etapa en los sistemas de información, algo que deberían escuchar más de uno. Por cierto, al día siguiente vi a José Joaquín en un evento de SAP... no paras!!!.

Por muchos motivos para mi mención especial a Luis Egusquiza (OgilvyOne). Colega y profesor en diversos Masters (ESIC), con el cual también he tenido el honor de trabajar en una interesante solución de BI para un importante cliente. Aporto una visión más estrategica y cercana al negocio, algo que era necesario en este evento. Agradecerle las palabras que me dedico durante el evento, fue una grata sorpresa, el cariño y respeto es mutuo.

Para no extenderme mucho, comentar la apasionada ponencia de Luca Zurlo (apasionado como siempre) donde nos enseño como su solución será un gran compañero de viaje como visualizador del Big Data, teniendo conectores directos a Hadoop y otras fuentes típicas del Big Data.

A modo de resumen y a grandes pinceladas comentar que los mensajes actuales sobre Big Data los considero pobres, confusos, mezclados según quien y en especial carentes de valor para el negocio, sin mi 4ª “V”. 

He asistido o participado en 4 eventos sobre Big Data, todos me recuerdan a aquellos mensajes que hacíamos del Business Intelligence y el Data Warehouse por los años 1994. Todos sabíamos que iba a ser importante, pero cada cual daba una idea de ellos. Tema que por cierto, después de tantos años, observo que continua. Supongo que para finales de mayo tendremos otra edición de Business Intelligence de la mano de iiR, momento ideal para volver a evangelizar.

Pudimos asistir a diversas ponencias, donde cada uno aportaba su granito de arena, su propia visión de lo que “entendían” por Big Data y en general se hablo mucho de volúmenes de datos y de visualizadores de los mismos... algo que por si mismo no es Big Data, aunque algunos lo entiendan así. 

Esto no es bueno ni malo, es una simple evolución. Debiendo madurar los conceptos, los conocimientos y poco a poco podremos observar y ver experiencias reales... seguimos en la lógica evolución.

Mi agradecimiento a iiR por organizar el evento, por el esfuerzo realizado y por estar siempre a la última en las tendencias que tanto nos apasionan.

martes, junio 08, 2010

El líder, ¿Nace o se hace?

Mientras unos observan otros actúan. MicroStrategy nuevamente vuelve a calentar el mercado y se adelanta a sus competidores, a excepción de un producto llamado LiveDashBoard de una empresa llamada Prelytis, la cual no conozco de nada y accidentalmente me he enterado por internet, gracias al artículo de Anibal Goicochea (http://anibalgoicochea.com/).

Según puedo resumir de las pocas noticias que me han llegado, Microstrategy anunció que ofrece informes interactivos y análisis directamente en el iPad de Apple ™. Es decir, ahora los afortunados usuarios del iPad podemos consultar y acceder sin problemas a nuestros informes basados en MicroStrategy, estoy deseando probarlo.

Se abre nuevamente una ventana a la imaginación de los equipos de BI y de su apuesta por estar cada vez más cerca del negocio pudiendo informar, analizar y gestionar los datos almacenados en sus Data Warehouse (u otras fuentes), permitiendo analizar las tendencias y perspectivas para tomar mejores decisiones de negocio desde cualquier sitio.

Con MicroStrategy y el iPad, los usuarios móviles de BI pueden acceder a informaciones importantes donde y cuando lo necesitan. Especial importante en un mundo y en un mercado cada vez más complejo y con mayores necesidades. Ahora un vendedor puede analizar sus oportunidades o ventas, mientras espera ser recibido por su cliente, los últimos pedidos, la cuota de mercado de ese cliente respecto a su cartera, etc.Con BI ya disponíamos de información a la carta, ahora con Microstrategy también nos la ofrece a un toque con el dedo, realidad posible a través del iPad. Personalmente ya había probado las capacidades a través de iPhone, funcionaba bien pero limitaba el propio tamaño del dispositivo, pues simplemente no era operativo. Considero que el iPad cambiara la forma de tener la información totalmente disponible (24x7x365).

Además MicroStrategy también ofrece capacidades de BI móviles para el iPhone de Apple, el smartphone BlackBerry y el Amazon Kindle DX. Microstrategy apuesta por su capacidad y eso se nota, el llegar al mundo Mobile implica más exigencias, aplicaciones más rápidas, necesidad obligatoria de obtener un buen rendimiento y llegar a una masa crítica de muchos usuarios, es decir, escalabilidad, etc.

Gracias a la arquitectura de MicroStrategy todo ello es posible.Como dijo Sanju Bansal, COO de MicroStrategy. "La plataforma de MicroStrategy es ideal para este mayor nivel de uso y la riqueza de la interfaz móvil. Estamos encantados apoyar otra touchpoint de información para nuestros clientes a través de la disponibilidad de BI de MicroStrategy en el iPad".

Esperamos con interés las reacciones de la competencia, iniciamos la cuenta atrás.
Salu2,
Chema Arce

Seguidores