Datos Saludables – O’Reilly

Este verano empezamos a preguntar por la “salud técnica”. No vemos mucha gente preguntando qué significa usar la tecnología de manera saludable, al menos no en tantas palabras. Eso es comprensible porque la «salud técnica» es tan amplia que es difícil pensar en ella. Es fácil hacer una pregunta como «¿Está utilizando metodologías ágiles?» y supongamos que significa «salud técnica». Ágil es bueno, ¿verdad? Pero ágil no es la imagen completa. Tampoco lo es ser «impulsado por datos». O magro. O usando los lenguajes y marcos de programación más recientes y geniales. Ninguna de estas tendencias, presentes o pasadas, es irrelevante.

Para investigar qué se entiende por «salud técnica», hemos comenzado una serie de breves encuestas para ayudarnos a comprender qué significa salud técnica y para ayudar a nuestros lectores a pensar sobre la salud técnica de sus organizaciones. La primera encuesta analizó el uso de los datos. Corrió del 30 de agosto de 2022 al 30 de septiembre de 2022. Recibimos 693 respuestas, de las cuales 337 estaban completas (es decir, el encuestado respondió todas las preguntas). No incluimos a los encuestados incompletos en nuestros resultados, una práctica que es consistente con nuestras otras encuestas más extensas.

Aprende más rápido. Excavar más hondo. Ver más lejos.

No se destacó ninguna pregunta y respuesta; no podemos decir «todo el mundo hace X» o «nadie hace Y». Ya sea que eso sea saludable en sí mismo o no, sugiere que todavía no hay ningún consenso sobre el papel que juegan los datos. Por ejemplo, la primera pregunta fue «¿Qué porcentaje de decisiones de toda la empresa se basan principalmente en datos?» el 19% de los encuestados respondió “25% o menos”; El 31 % dijo “76 % o más”. Nos sorprendió ver que el porcentaje de encuestados que dijeron que la mayoría de las decisiones no se basan en datos era tan similar al porcentaje que pensaba que sí. La diferencia entre el 19 % y el 31 % parece mucho mayor sobre el papel de lo que es en la práctica. Sí, es casi una proporción de 2:1, pero muestra que muchos de los encuestados trabajan para empresas que no utilizan datos en la toma de decisiones. Aún más significativo, la mitad de los encuestados colocó a sus empresas en el término medio «basado en datos» (26-50% y 51-75% recibieron el 25% y el 26% de las respuestas, respectivamente). ¿Significa esto que la mayoría de las empresas ¿Están en algún punto del camino hacia la base de datos, con la cohorte del «25 % o menos» que representa a las empresas que se están «poniendo al día»? Es difícil de decir.

Vimos respuestas similares cuando preguntamos qué porcentaje de los procesos comerciales están informados por datos en tiempo real: el 33 % de los encuestados dijo que el 25 % o menos, mientras que el 21 % dijo que el 76 % o más. (El 26-50 % y el 51-75 % recibieron el 22 % y el 24 % de las respuestas, respectivamente). que menos personas están haciendo un uso generalizado de los datos en tiempo real. Estas respuestas también sugieren que la industria está en proceso de transformación, de decidir cómo usar los datos en tiempo real. Hay muchas posibilidades: gestión de inventario, cadenas de suministro y procesos de fabricación; automatizar el servicio al cliente; y reducir el tiempo dedicado al papeleo de rutina, por nombrar algunos. Pero todavía no vemos una dirección clara.

La pesadilla de la ciencia de datos ha sido el HIPPO: la «opinión de la persona mejor pagada». Cuando el HIPPO está en la sala, los datos se utilizan principalmente para justificar decisiones que ya se han tomado. Las preguntas que hicimos no nos dicen mucho sobre la presencia del HIPPO, pero tenemos que preguntarnos: ¿Será por eso que el 20% de los encuestados dice que los datos no tienen una gran influencia en la toma de decisiones corporativas? ¿Son irónicos o ingenuos el 31% que dijo que más del 75% de las decisiones de gestión se basan en datos? No lo sabemos, y debemos tener en cuenta esa ambigüedad. Los datos no pueden ser la última palabra en ninguna decisión; no podemos subestimar la importancia del instinto y la comprensión visceral de la dinámica empresarial. Los datos siempre son históricos y, como tales, a menudo son mejores para mantener un statu quo que para ayudar a construir un futuro, aunque cuando se usan bien, los datos pueden arrojar luz sobre el statu quo y ayudarlo a cuestionarlo. Los datos que se utilizan únicamente para justificar el HIPPO no son saludables. Nuestra encuesta no dice mucho sobre la influencia del HIPPO. Eso es algo que deberá considerar al considerar la salud técnica de su empresa.

Hemos estado rastreando la democratización de los datos, la capacidad de los miembros del personal que no son científicos de datos, analistas u otra cosa con «datos» en su título, para acceder y usar datos en su trabajo. Los miembros del personal necesitan la capacidad de acceder y usar los datos por sí mismos, sin pasar por intermediarios como administradores de bases de datos (DBA) y otros custodios para generar informes y brindarles los datos que necesitan para trabajar de manera efectiva. Los datos de autoservicio están en el corazón del proceso de democratización, y ser impulsado por datos no tiene sentido si solo un sacerdocio selecto tiene acceso a los datos. Las empresas poco a poco se están dando cuenta de esta realidad. El 26 % de los que respondieron a nuestra encuesta dijeron que menos del 20 % de los trabajadores de la información de su empresa tenían acceso a consultas y análisis de autoservicio. Podría decirse que es un porcentaje alto (y fue la respuesta individual más popular), pero elegimos ver el vaso medio (o tres cuartos) lleno: el 74 % dijo que más del 20 % tenía acceso. (El 23 % de los encuestados dijo que del 41 % al 60 % de los trabajadores de datos de su empresa tenían autoservicio; el 15 % eligió del 61 % al 80 %; y el 16 % eligió del 81 % al 100 %). No hay respuesta, pero recuerde que, no hace mucho tiempo, los datos eran propiedad de actuarios, analistas y administradores de bases de datos. Los muros entre los miembros del personal y los datos que necesitan para hacer su trabajo comenzaron a desmoronarse con el movimiento de «ciencia de datos», pero los científicos de datos seguían siendo especialistas y profesionales. Todavía estamos haciendo la transición, pero nuestra encuesta muestra que los datos son cada vez más accesibles para más personas, y creemos que eso es saludable.

Aproximadamente un tercio (35 %) de los encuestados dijo que su organización usaba un catálogo de datos. Eso parece bajo, pero no es sorprendente. Si bien nos gusta decirnos qué tan rápido cambia la tecnología, el hecho es que la adopción real casi siempre es lenta. Los catálogos de datos son una tecnología relativamente nueva; su edad se mide en años, no en décadas. Poco a poco se van aceptando.

Obtuvimos un resultado similar cuando preguntamos sobre las herramientas de gobierno de datos. El 58% de los encuestados dijeron que no estaban usando nada («Ninguna de las anteriores», pero «las anteriores» incluían una opción para escribir). SAP, IBM, SAS e Informatica fueron las principales opciones (21%, 14%, 12% y 11% respectivamente; los encuestados podían seleccionar múltiples respuestas). Nuevamente, esperamos que la adopción de herramientas de gobierno de datos sea lenta. Los datos han sido el «salvaje oeste» del mundo de la tecnología durante años, con pocas restricciones sobre lo que cualquier organización puede hacer con los datos que recopila. Esa fiesta está llegando a su fin, pero nadie pretende que la resaca sea agradable. Al igual que los catálogos de datos (con los que están estrechamente relacionados), las herramientas de gobernanza son relativamente nuevas y se están adoptando gradualmente.

Mirando el panorama general, vemos que las empresas están lidiando con las demandas de los datos de autoservicio. También se enfrentan a una regulación cada vez mayor que rige el uso de datos. Ambas tendencias requieren herramientas que las respalden. Los catálogos ayudan a los usuarios a encontrar y mantener metadatos que muestren qué datos existen y cómo deben usarse; las herramientas de gobierno rastrean la procedencia de los datos y aseguran que los datos se utilicen de acuerdo con las políticas y regulaciones de la empresa. Hace quince años, oíamos con frecuencia «guardar todo y extraer todo el valor que pueda de sus datos». En la década de 2020, es difícil ver eso como una actitud buena y saludable. Una parte importante de la salud tecnológica es el compromiso de utilizar los datos de forma ética y legal. Creemos ver movimiento en esa dirección.

En los próximos meses, investigaremos la salud técnica en otras áreas (la siguiente es Seguridad). Para la salud de los datos, podemos cerrar con algunas observaciones:

  • Los datos no pueden ser el único factor en la toma de decisiones; el juicio humano juega un papel importante. Pero usar datos simplemente para justificar una decisión humana que ya se tomó también es un error. La salud técnica significa saber cuándo y cómo usar los datos de manera efectiva; es un continuo, no una elección. Creemos que las empresas están en el camino de entender eso.
  • Capacitar al personal para que realice sus propias consultas de datos y realice sus propios análisis puede ayudarlos a ser más productivos y comprometidos. Pero esto no sucede por sí solo. Las personas necesitan saber qué datos están disponibles para ellos y qué significan esos datos. Ese es el propósito de un catálogo de datos. Y el uso de datos tiene que cumplir con las regulaciones y políticas de la empresa; ese es el propósito de la gobernabilidad. Los catálogos de datos y las herramientas de gobierno están avanzando, pero apenas han comenzado. La salud técnica significa empoderar a los usuarios con las herramientas que necesitan para hacer un uso efectivo, ético y legal de los datos.

Los datos saludables mejoran procesos, cuestionan opiniones preconcebidas y arrojan luz sobre prácticas injustas o discriminatorias. No esperamos que nadie mire a su empresa y diga «nuestras prácticas de datos merecen una estrella dorada»; eso pierde el punto. Mantener una relación saludable con los datos es una práctica continua, y esa práctica aún se está desarrollando. Estamos aprendiendo a tomar mejores decisiones con datos; estamos aprendiendo a implementar la gobernanza para usar los datos de manera ética (por no hablar de la legalidad). El estado de los datos significa que tú y tu empresa están en el camino, no que hayas llegado. Todos estamos haciendo el mismo viaje.



Fuente del artículo

Deja un comentario