Startree para apoyar a Apache Iceberg en un intento por expandir los casos de uso de Lakehouse

Startree Inc.que vende una plataforma de análisis en tiempo actual y un servicio en la nube basado en la base de datos de procesamiento analítico en línea Apache Pinot, hoy se convierte en el último proveedor de análisis de datos en anunciar el soporte completo para Apache Iceberg.

El servicio administrado de Startree Cloud empleará iceberg como la capa analítica y de servicio sobre su Knowledge Lakehouse, a partir de hoy. La compañía dijo que el movimiento crea nuevos casos de uso para Iceberg en aplicaciones en tiempo actual que requieren una alta concurrencia en miles de usuarios simultáneos. En explicit, permite que Iceberg se aplique más fácilmente a los escenarios orientados al cliente en los que las organizaciones desean exponer datos externamente sin depender de tuberías complejas de varios pasos.

Iceberg es una capa de administración que se encuentra en la cima de archivos de datos en el almacenamiento en la nube para mejorar la consistencia, la capacidad de administración y el rendimiento de la consulta. Ha estado ganando rápidamente aceptación como un estándar de tabla de facto, reemplazando una variedad de alternativas propietarias.

Iceberg proporciona acceso transaccional a archivos estructurados en formatos como Parquet, un formato de archivo de almacenamiento columnar optimizado para un acceso eficiente de lectura/escritura a grandes conjuntos de datos analíticos. Sin embargo, Iceberg carece de capacidades nativas para procesar consultas de baja latencia y altas concurrencias.

Por esta razón, las organizaciones típicamente han extraído datos de iceberg en sistemas separados, como tiendas de valor clave o formatos propietarios, para lograr la capacidad de respuesta de subsecond. Estos requieren tuberías intensivas en ingeniería y duplicación de datos al tiempo que limita la flexibilidad.

Complejidad de la consulta

“No solo está duplicando datos, está amplificando los datos en sí porque tiene que materializar todas las combinaciones de sus dimensiones y métricas para facilitar la consulta de una manera comparable a la tienda de valor clave”, dijo Chinmay Soman, jefe de producto de Startree.

Startree dijo que permite la consulta directa de las tablas de iceberg sin la necesidad de moverse o transformar los datos subyacentes. La integración admite formatos abiertos y aprovecha las características de mejora del rendimiento, incluida la indexación y la materialización de Pinot, el almacenamiento en caché native y la prolongación inteligente.

“Los productos de datos hoy dependen cada vez más de datos históricos de lake casas, pero la capa de servicio ha faltado”, dijo el director de advertising and marketing Chad Meley. “Al consultar Iceberg directamente con la latencia de Subsecond, estamos eliminando la necesidad de tuberías intermedias, almacenamiento duplicado y bases de datos externas”.

Los ejecutivos dijeron que el soporte de Iceberg expande el mercado direccionable de Startree más allá de su enfoque unique en la transmisión y el análisis de baja latencia. “Este es ciertamente un nuevo caso de uso para nosotros”, dijo Meley. “El desafío principal que estamos resolviendo ya no se trata solo de frescura de datos. Se trata de ayudar a los clientes a construir productos de datos escalables sin toda la hinchazón y la complejidad”.

Startree permite que varios índices y materializaciones preingregadas se definan directamente en las mesas de iceberg. Los índices para datos numéricos, texto, notación de objeto JavaScript, datos geoespaciales y otros tipos se pueden distribuir localmente en nodos de cómputo o almacenarse en el almacenamiento de objetos.

Soman dijo que la integración se basa en el trabajo que Startree ya había hecho para consultar archivos Parquet y almacenamiento de objetos basado en S3. “Parquet no está diseñado para un acceso de lectura aleatorio, pero hemos adaptado a Pinot para usarlo como un índice de avance”, dijo. “Combinar eso con nuestra comprensión de los manifiestos y metadatos de iceberg nos dio los bloques de construcción que necesitábamos”.

Los datos se mantienen en su lugar

La compañía enfatizó que su motor de consulta todavía utiliza estrategias de indexación patentadas para lograr el rendimiento, pero que los datos en sí permanecen en formatos abiertos. “No estamos moviendo datos de Iceberg al formato patentado de Startree”, dijo Meley. “Lo único propietario en este caso sería el índice”.

El soporte para Iceberg permite a los clientes como empresas de tecnología financiera usar paneles de Startree a Energy Service provider que informan el flujo de efectivo histórico o las métricas de ingresos de cohortes. Las organizaciones de transporte y logística están construyendo paneles interactivos para revisar el rendimiento de la entrega, las tasas de error y la eficiencia de la ruta a lo largo del tiempo. En ambos casos, los datos no necesitan ser en tiempo actual, pero aún deben ser atendidos con acuerdos de nivel de servicio estrictos para grandes bases de usuarios.

Paul Nashawaty, analista principal de Thecube Analysis, la firma de investigación de mercado hermana de Siliconangle, dijo que el enfoque aborda una brecha creciente en la arquitectura de datos moderna. “La adopción de iceberg se acelera, pero la mayoría de los motores de consulta no pueden cumplir con los SLA de rendimiento de las solicitudes orientadas al cliente”, dijo. “La capacidad de Startree para servir datos de iceberg a alta concurrencia sin duplicación es un avance oportuno”.

Soman dijo que hay compensaciones de rendimiento menores que usan iceberg en lugar del formato nativo patentado de Pinot, pero que Pinot todavía es capaz de manejar cientos de consultas por segundo con latencias de subsecond.

Meley dijo que la decisión de apoyar iceberg refleja tanto el impulso del mercado como las necesidades prácticas de los clientes. “Todos nuestros clientes preguntan sobre iceberg”, dijo. “Se está convirtiendo en el estándar para el almacenamiento de Lakehouse, y esto nos permite apoyar eso de forma nativa al tiempo que simplifica la arquitectura para servir productos de datos”.

Foto: Pixabay