Ingeniería de datos, el puesto tecnológico de moda: un director de ingeniería de Google explica qué debes saber antes de entrar en el sector

Soy un director de ingeniería de Google que ha dirigido equipos de ingeniería en startups de tecnología de consumo y en grandes empresas. En todos los casos, los equipos de ingeniería de datos desempeñaron un papel fundamental en el negocio.

Cuando entré en el sector, hace más de 12 años, las organizaciones se centraban sobre todo en convertirse en soluciones nativas de computación en la nube. Esta transición creó nuevas oportunidades y las compañías se movieron más rápido, de forma más eficiente, y generaron más datos. El campo de la ingeniería de datos empezó a recibir más atención.

Los últimos avances en inteligencia artificial han puesto los datos en primer plano, ya que la calidad de los conjuntos de datos determina la calidad de los modelos de IA. En otras palabras, la fiebre por los avances de la inteligencia artificial está aumentando la necesidad de más puestos de trabajo en ingeniería de datos.

Todas las organizaciones tienen toneladas de datos no estructurados que esconden información valiosa. Uno de esos datos podría aumentar rápidamente sus beneficios, reducir sus costes operativos o mejorar su bienestar. El problema es que están enterrados bajo un montón de ruido. Tu trabajo como ingeniero de datos es eliminar el ruido, mediante la estructuración y el procesamiento de grandes cantidades de datos.

Pero antes de entrar en este sector, tendría que tener en cuenta estas cuatro cosas.

1. Si no te gusta bucear en las empresas, puede que no te guste la ingeniería de datos

Si te gusta programar, pero no disfrutas tanto con la parte empresarial, puede que la ingeniería de datos te resulte a la vez emocionante y decepcionante.

Será emocionante, porque tendrás que desarrollar sistemas a gran escala, pero, antes de ponerte a programar, deberás comprender tanto el contexto empresarial de la organización como sus productos.

Tendrás que colaborar estrechamente con los jefes de producto y los analistas de negocio. A veces, tendrás que asociarte con mucha gente para comprender todas las divisiones del negocio. Incluso si la compañía tiene varias divisiones, el sistema de datos que desarrolles debe servir para todas ellas.

Antes de programar una sola línea de código, deberás averiguar:

• ¿Qué datos hay que recopilar?
• ¿Cómo piensa utilizarlos la empresa?
• ¿Qué grado de actualización deben tener los datos?

Todas estas preguntas tienen implicaciones técnicas, estructurales y de eficiencia. Un buen ingeniero de datos ofrece el mejor sistema que equilibra las necesidades, los costes y los plazos de la organización.

Los mejores ingenieros de datos tienen en cuenta las necesidades futuras y diseñan sus sistemas teniéndolas en cuenta.

2. Es un trabajo rápido, que evoluciona continuamente

Si no te gustan los retos constantes, puede que la ingeniería de datos no sea para ti.

Se trata de un campo que evoluciona muy rápido y necesitas mantenerte al día. Los datos crecen exponencialmente y se necesitan nuevos sistemas y técnicas para gestionar cantidades ingentes de información. Los sistemas de ayer están obsoletos y eso puede parecer abrumador debido a la velocidad del cambio.

A mí me pasó al principio de mi carrera. Había tanto que aprender y tan poco tiempo. Trabajaba en una nueva empresa y tenía que ponerme manos a la obra. Al principio, leía y aprendía por la noche y me desarrollaba durante el día. Esto me ayudó a comprender mejor que mis compañeros la ingeniería de software.

Las grandes tecnológicas se quedan sin datos para entrenar sus modelos de IA: estas son algunas de las soluciones más descabelladas que plantean

Ahora dedico un par de horas a la semana a hojear y leer sobre los últimos avances en mi campo. Sé que no lo cubro todo, pero intento mantenerme al día en la medida de lo posible.

Las últimas tendencias en el espacio de la inteligencia artificial han traído consigo la IA generativa y tecnologías como las bases de datos vectoriales y las técnicas de generación mejorada por recuperación. Estas tecnologías abren nuevas posibilidades, pero también plantean nuevos retos.

No podrás estar al día todo el tiempo, pero eso no debería hacer que tires la toalla. Suscríbete a newsletter de tecnología. Puedes recibir un resumen semanal o mensual de las nuevas tendencias en tu sector. Muéstrate abierto a experimentar y probar cosas nuevas. Esto os dará a ti y a tu organización una ventaja competitiva.

3. Conocer la normativa es imprescindible

Como ingeniero de datos, debes tener en cuenta la privacidad de los datos y desarrollar sistemas internos que satisfagan los requisitos legales y de cumplimiento sin poner en riesgo a tu compañía. Debes familiarizarte con la GDPR, la CCPA, la HIPPA y otras leyes que tu empresa pueda tener que cumplir.

Recuerdo cuando entró en vigor el plazo de la GDPR, en el año 2018. Hubo prisa para que todas las organizaciones dejasen de hacer lo que estaban haciendo y cumpliesen con la normativa. Los equipos de ingeniería trabajaron sin descanso para que sus sistemas cumpliesen. La carga más considerable recayó en los equipos de datos y características para construir las funcionalidades correspondientes.

Garantizar que los datos de los usuarios estén seguros y que todo el procesamiento y las políticas sean transparentes para los usuarios es crucial para generar y mantener la confianza de los clientes. La forma más fácil de perder la confianza de los consumidores es no gestionar bien sus datos.

Los ingenieros de datos deben colaborar con los responsables legales y de producto para garantizar que todos los flujos de datos respetan la normativa sobre privacidad de datos y actualizar dichos flujos cuando cambie la legislación.

4. Los consumidores no van a ver tu trabajo

Lo más probable es que te equivoques si piensas que la ingeniería de datos tiene que ver con desarrollar funciones orientadas al consumidor.

Los productos en los que trabajan los ingenieros de datos la mayor parte del tiempo son sistemas y capacidades de plataformas de datos. Estos sistemas dan soporte a las necesidades empresariales de la organización. En la mayoría de las compañías, el equipo de datos es un equipo horizontal que desarrolla sistemas y conductos para estructurar y procesar la información.

La naturaleza del trabajo horizontal implica que los ingenieros de datos tienen varios clientes internos, que van desde otros equipos de software a jefes de producto, analistas y ejecutivos, que necesitan información valiosa sobre cómo dirigir su negocio.

Los ingenieros de datos solo trabajarán en características y funcionalidades indirectas para los consumidores. Aun así, sus acciones influirán en el rumbo del producto al proporcionar análisis y perspectivas del mercado y de cómo los utilizan sus clientes.

La ingeniería de datos es un campo apasionante, que evoluciona rápidamente

La rápida evolución de la ingeniería de datos es clave para desarrollar mejores modelos de inteligencia artificial. Pero, antes de adentrarte en este ámbito, ten en cuenta los cuatro puntos que se han explicado aquí. De esta forma, tendrás tus expectativas bien definidas y sabrás a lo que te apuntas.

La ingeniería de datos es un trabajo que te permitirá interactuar con diversas partes interesadas, desde equipos de ingeniería hasta gestores de productos, jurídicos y ejecutivos. Es un rol fundamental para cualquier organización moderna.

Conoce cómo trabajamos en BusinessInsider.

Etiquetas: Trending, Trabajo, Tecnología, Google, Empresa