Qué es
Databricks es una plataforma para trabajar con grandes volúmenes de datos: ingesta, transformación, analítica con SQL, ciencia de datos y modelos de IA en un mismo lugar. Usa la arquitectura lakehouse, que guarda los datos en formatos abiertos como Delta Lake sobre tu propio almacenamiento en la nube. La fundaron los creadores de Apache Spark y corre en AWS, Azure y Google Cloud.
Cómo se usa
- Transforma datos con notebooks en Python, SQL o Scala y pipelines programados.
- Consulta y crea tableros con Databricks SQL, o pregunta en lenguaje natural con Genie.
- Gobierna el acceso a tablas, archivos y modelos con Unity Catalog.
- Entrena, sigue y sirve modelos de IA con MLflow y Mosaic AI.
- Aprende sin pagar con la Free Edition.
Para qué sirve
- Un banco en Colombia que procesa las transacciones del día para detectar fraude con modelos propios.
- Una cadena de retail que une ventas, inventario y clima para pronosticar la demanda por tienda.
- Un equipo de ciencia de datos que quiere llevar sus modelos de los notebooks a producción con gobierno y trazabilidad.
A favor
- Datos en formatos abiertos (Delta Lake, Iceberg) sobre tu propio almacenamiento
- Ingeniería de datos, SQL y machine learning en la misma plataforma
- Corre en AWS, Azure y Google Cloud
- Free Edition gratuita para aprender y experimentar
En contra
- Curva de aprendizaje alta: conviene tener ingenieros de datos en el equipo
- El cobro por DBU, sumado a la infraestructura de la nube, cuesta estimarlo
- Excesivo para empresas con pocos datos o reportes simples
