En Microsoft Fabric la transformación se elige por lógica, volumen y capacidad del equipo, no por preferencia. Usa Dataflow Gen2 para preparación tabular de bajo código, SQL para transformaciones relacionales, Notebooks para reglas complejas en Python o PySpark, y Spark Job Definition para procesos de producción programados. La regla base: la opción más simple que pueda probarse, versionarse y operarse sin esconder lógica crítica.
¿Por qué la transformación es el corazón de la arquitectura?
En una arquitectura medallion, los datos viajan por tres capas. La capa Bronze preserva el dato tal como llega, para dar trazabilidad, recuperación y auditoría. La capa Silver limpia, une, estandariza, deduplica y corrige problemas conocidos. La capa Gold organiza los datos para el consumo analítico: modelos, informes, Excel y agentes. Antes de elegir motor conviene tener claro qué es la transformación de datos en Fabric y para qué sirve, porque esa base define cómo viaja el dato entre capas.
El motor de transformación es lo que mueve el dato de una capa a la siguiente. Si esa lógica está mal elegida o mal operada, el resto de la casa se resiente. Por eso la decisión no es cosmética: define si tu equipo podrá versionar, probar y mantener las reglas del negocio con el tiempo, o si quedarán atrapadas en un notebook que solo una persona entiende.
La regla práctica es simple: criterio antes que herramienta. La herramienta correcta aparece cuando ya sabes qué métrica quieres, con qué grano y para quién. Y si la lógica de base es débil, cualquier capa de IA que pongas encima solo hará más visibles sus errores.