Si elimina todas las palabras de moda sobre la inteligencia synthetic empresarial, como la “IA de agente”, la realidad es que las empresas están aprendiendo lo que funciona en la práctica mientras experimentan con la tecnología, de acuerdo con las herramientas de datos Large Databricks.
También: 10 razones clave por las que la IA fue la corriente principal durante la noche, y lo que sucede después
“Todavía estamos aprendiendo dónde están los lugares correctos para poner AI, dónde puedes obtener el punto óptimo de la IA para ayudarte a resolver un problema”, dijo el jefe de IA de Databricks, Jonathan Frankle, en una entrevista reciente que él y yo tuvimos en Nueva York.
Un nuevo tipo de análisis empresarial
Databricks Jefe de AI Científico Jonathan Frankle.
Tiernan ray
En un nivel básico, la IA generativa, como los modelos de idiomas grandes, está haciendo posible un nuevo tipo de análisis empresarial, dijo Frankle. Los datos no estructurados, como archivos de palabras, imágenes o movies, no tenían lugar en el análisis de datos tradicional antes de la IA generativa, señaló Frankle. Pero ahora, es una mina de oro.
“Think about toneladas y toneladas de documentos no estructurados, que son realmente difíciles de analizar en una IA pregenerativa o un mundo previo a LLM, y de repente puede extraer características significativas de ellos”, dijo. “Los datos que eran inútiles en un mundo de análisis ahora son increíblemente valiosos aquí”.
También: ¿Los datos sintéticos descarrilarán el impulso generativo de IA o serán el avance que necesitamos?
Si bien muchas personas se fijan en la IA generativa que se hace cargo del código de programación actual, un uso mucho más easy sería simplemente analizar el código de computadora de una empresa.
“Toda la documentación para todo el código de su empresa” no fue realmente tan útil como fuente de datos en 2015, pero, en 2025, increíblemente valioso […] Solo responde preguntas sobre su código para desarrolladores “.
Del mismo modo, “puede imaginar cada registro de chat de una aplicación de servicio al cliente con humanos reales, haciendo análisis de alto nivel en eso. ¿Cuál es el número promedio de interacciones en una conversación? ¿Cuál es el tiempo promedio para resolver un problema? Las cosas que no habrían sido posibles hace diez años”.
El papel de los datos es central en el desarrollo de aplicaciones generativas de IA, dijo Frankle. Frankle llegó a Databricks cuando compró la startup de aprendizaje automático para la que estaba trabajando, Mosaicml, en 2023. Mosaicml se enfoca en optimizar la infraestructura para ejecutar IA, mientras que Databricks es uno de los principales proveedores de lagos y tecnología de datos para mover y dar forma a los datos.
También: los agentes de IA no son solo asistentes: cómo están cambiando el futuro del trabajo hoy
“Toda la tesis de la adquisición fue que teníamos una pieza, Databricks tenía muchas otras piezas, y tenía mucho más sentido juntos”, dijo Frankle.
“Está tratando de implementar un bot de servicio al cliente de IA. ¿De qué datos está trabajando ese bot de servicio al cliente?” Frankle explicó. “Está trabajando con la información del cliente, está trabajando en su documentación, está trabajando en sus bases de datos SQL. Eso está todo en Databricks”.
De los datos a la estructura
Tener los datos juntos en Databricks es el comienzo de la creación de los tipos de nuevos análisis que cita Frankle. Si bien los LLM pueden utilizar una pila de datos no estructurados, no está de más que los datos de una empresa en algún tipo de estructura de antemano.
“Si realizó el trabajo con anticipación para usar un LLM para preprocesar esos datos en algún tipo de forma estructurada, como SQL o JSON, está pidiendo menos trabajo por parte de la IA; siempre debe tratar de hacer las cosas lo más fácil posible para la IA porque estos sistemas definitivamente no son infalibles”.
También: 8 de cada 10 estudiantes y administradores universitarios dan la bienvenida a los agentes de IA
Un paso preparatorio importante es poner los datos en lo que se llaman “incrustaciones”.
Un “modelo de incrustación” es un modelo de IA que se utiliza para convertir personajes, palabras o oraciones en un vector, un grupo de números, que capturan parte del contenido semántico de esos personajes, palabras o oraciones.
Puede pensar en los incrustaciones como puntajes numéricos que representan la relación de los términos, como “manzana” a “fruta” o “bebé” para “humano”.
Los modelos de lenguaje simples, incluso los relativamente pequeños, como el Bert de Google de 2018, se pueden usar para hacer incrustaciones. “No necesitas modelos enormes para obtener excelentes incrustaciones”, dijo Frankle.
Se han desarrollado muchos modelos de incrustación en la comunidad de código abierto, señaló Frankle, adaptando el modelo de llama de Meta Platforms a través del proceso conocido como ajuste fino.
Sin embargo, “es posible que necesite capacitar a un modelo de incrustación personalizado”, dado que los existentes se “basan en datos net”, lo que los hace muy generales.
En dominios específicos, como la atención médica, por ejemplo, un modelo de incrustación personalizado puede encontrar relaciones entre palabras y frases mejor que un modelo genérico de incrustación.
“Estamos descubriendo que la personalización de los modelos de incrustación puede conducir a una mejora de recuperación desproporcionadamente buena”, dijo Frankle. “Creemos que todavía hay mucho jugo para expulsarlos de solo hacerlos [embedding models] más específico para un dominio “.
Un modelo de incrustación bien desarrollado es excepcionalmente importante porque “harán el trabajo pesado que se realiza [by the large language model] Mucho más fácil “, dijo.
También: ¿Está listo para su negocio? 5 formas de evitar quedarse atrás
Múltiples modelos de incrustación también se pueden encadenar, dijo Frankle. Eso puede permitir que un modelo de IA utilizado en la búsqueda de documentos, por ejemplo, se reduzca de un grupo grande de cien documentos a solo un puñado que responda una consulta.
Además de ajustar un modelo de incrustación, cómo se alimentan los datos a la incrustación es su propia área de excelencia. “Cuando proporciona estos documentos a un modelo de incrustación, generalmente no desea proporcionar todo el documento a la vez”, dijo.
“A menudo quieres fragmentarlo en pedazos”, y cómo hacerlo de manera óptima también es una cuestión de experimentar y probar enfoques.
Frankle agregó que Databricks está “investigando todos estos temas porque, en muchos casos, no creemos que el estado de la arte sea lo suficientemente bueno”, incluidas las incrustaciones.
Si bien mucho puede ser “enchufar y jugar” a través de Databricks, cube Frankle, “la parte más complicada es que todavía hay mucha experimentación. Hay muchas perillas que deben ser giradas.
La pregunta de qué construir
Más allá de las técnicas, saber qué aplicaciones construir es un viaje y una especie de expedición de pesca.
“Creo que la parte más difícil de la IA es tener confianza en que esto funcionará”, dijo Frankle. “Si viniste a mí y me dijiste: ‘Aquí hay un problema en el espacio de la salud, aquí están los documentos que tengo, ¿crees que AI puede hacer esto?’ Mi respuesta sería: ‘Averigüemos’ “.
Por lo que Frankle está viendo con los clientes, “las aplicaciones que están en práctica en este momento tienden a buscar cosas que son un poco más abiertas”, dijo, lo que significa que lo que el modelo AI produce puede ser confuso, no necesariamente específico. “La IA es excelente para producir una respuesta, no siempre es excelente para producir el Respuesta “, observó.
También: He aquí por qué debería ignorar el 99% de las herramientas de IA, y cuáles uso todos los días
“Con la IA, puedes hacer cosas borrosas, puedes hacer una comprensión de documentos de manera para que nunca podría escribir un programa de Python”, explicó Frankle.
“También busco aplicaciones en las que sea relativamente costoso recurrir a una respuesta pero relativamente barato para verificar la respuesta”. Un ejemplo es la generación automática de notas textuales para un médico de grabaciones de sus exámenes de pacientes. “Se puede generar un borrador de notas del paciente, [the doctor or doctor’s assistant] Puede comprobarlo, ajustar un par de cosas y llamarlo un día “. Esa es una forma útil de eliminar el tedio, dijo.
Por el contrario, “las aplicaciones donde necesita la respuesta correcta, y son difíciles de verificar” pueden ser algo para evitar por ahora. Dio el ejemplo de redactar un documento authorized. “Si la IA pierde una cosa, el humano ahora necesita ir y revisar todo el documento para asegurarse de que no se pierdan nada más. Entonces, ¿cuál period el punto de usar la IA?” Frankle observado.
Por otro lado, hay mucho potencial para que la IA haga cosas como asumir el trabajo gruñido para abogados y asistentes legales y, como resultado, amplía el acceso que las personas tienen a los abogados.
También: ¿Quieres ganar en la period de la IA? Puede construirlo o construir su negocio con él
“¿Supongo que AI podría automatizar algunas de las tareas legales más aburridas que existen?” Ofreció Frankle, cuyos padres son abogados. “Si desea que una IA lo ayude a hacer una investigación authorized y lo ayude a idear sobre cómo resolver un problema o ayudarlo a encontrar materiales relevantes, ¡fenomenal!”
“Todavía estamos en los primeros días” de IA generativa “, y así, algo así, nos estamos beneficiando de las fortalezas, pero todavía estamos aprendiendo a mitigar las debilidades”.
El camino a las aplicaciones de IA
En medio de la incertidumbre, Frankle está impresionado con la forma en que los clientes han atravesado rápidamente la curva de aprendizaje. “Hace dos o tres años, había muchas explicaciones a los clientes de lo que period generativo AI”, señaló. “Ahora, cuando hablo con los clientes, están utilizando bases de datos vectoriales”.
“Estas personas tienen una gran intuición sobre dónde están teniendo éxito estas cosas y dónde no”, dijo sobre los clientes de Databricks.
Dado que ninguna empresa tiene un presupuesto ilimitado, Frankle aconsejó comenzar con un prototipo inicial, de modo que la inversión solo procede en la medida en que está claro que una aplicación AI proporcionará valor.
También: Incluso las herramientas de IA premium distorsionan las noticias y los enlaces de fabricación: estos son los peores
“Debería ser algo que pueda tirar en un día usando GPT-4, y un puñado de documentos que ya tiene”, ofreció. El desarrollador puede alistar “un par de personas aleatorias de la compañía que pueden decirle que está en el camino correcto aquí o no”.
Para los gerentes, Frankle aconseja hacer que la exploración de la IA generativa sea parte del trabajo de manera common.
“La gente está motivada”, como los científicos de datos, señaló. “Se trata aún menos del dinero y más de darles el tiempo y decir, como parte de sus responsabilidades laborales, tomar un par de semanas, hacer un hackathon de dos días y simplemente ver lo que puede hacer. Eso es realmente emocionante para las personas”.
El lema en la IA generativa empresarial podría ser, de pequeñas bellotas cultivando robles poderosos.
Como dijo Frankle, “la persona que tiene esa GPU en su sótano, y está jugando con Llama, en realidad es muy sofisticada y podría ser el experto generativo de IA del mañana”.
