«Desarrollo de una tecnología de IA multimodal basada en LLM para la gestión integral de datos». Un proyecto de investigación y desarrollo destinado a automatizar y mejorar los procesos de gestión de datos empresariales.
El reto
El objetivo de nuestro equipo era crear una tecnología de IA multimodal basada en el procesamiento del lenguaje natural (NLP) y los modelos de lenguaje grande (LLM), capaz de:
- Extracción de información de fuentes no estructuradas y semiestructuradas
- Validación y mejora automática de la calidad de los datos
- Transformación de datos mediante el procesamiento del lenguaje natural
- Ofrecer análisis avanzados y conclusiones explicables mediante modelos de lenguaje grande (LLM) y RAG
Para este proyecto, hemos recibido financiación a través del programa PID (Proyectos de Investigación y Desarrollo), una iniciativa de financiación puesta en marcha por el CDTI (Centro para el Desarrollo Tecnológico Industrial) con el fin de apoyar proyectos de I+D de las empresas.
Esta financiación nos permitió empezar a trabajar en la solución.
Lo que hicimos
Nuestro equipo desarrolló la solución basándose en cuatro capas:
- Una capa de extracción multimodal a partir de fuentes no estructuradas o semiestructuradas que utiliza tecnologías avanzadas de procesamiento del lenguaje natural (NLP) y modelos de lenguaje a gran escala (LLM).
- Una capa de validación de datos automatizada diseñada para garantizar datos más sólidos y de mayor calidad.
- Una capa de transformación de PLN controlada, que permite parametrizar el modelo de lenguaje grande (LLM) para que comprenda y ejecute comandos de transformación de forma accesible para usuarios sin conocimientos técnicos.
- Una infraestructura RAG LLM que combina la recuperación y la generación de información para ofrecer análisis de datos tabulares sin necesidad de intervención técnica.
En conjunto, estas capas dan soporte al ciclo de vida completo de la gestión de datos en seis etapas:
- Importación de datos: documentos PDF, archivos Excel, texto libre...
- Extracción de datos: OCR, análisis de maquetación, extracción basada en modelos de lenguaje grande (LLM) y aplicación de esquemas.
- Validación de datos: validación determinista, semántica y basada en el nivel de confianza, con revisión humana.
- Transformación de datos: conversión de lenguaje natural a SQL en modelos de datos regulados.
- Análisis de datos: recuperación y análisis de documentos RAG a partir de datos estructurados.
- Explicabilidad: respuestas basadas en pruebas, con citas, trazabilidad y control de la falta de respuesta.
Para validar este enfoque, se desarrollaron y probaron cuatro pruebas de concepto en escenarios reales: análisis de guías clínicas, procesamiento de informes de cirugía vascular, análisis de transcripciones de reuniones y un chatbot de SQL en lenguaje natural.
Lo que hemos conseguido
El proyecto ha dado lugar a una arquitectura de inteligencia artificial modular y reutilizable que abarca todo el ciclo de vida de los datos, desde la extracción hasta el análisis, con una comunicación clara y trazable para los usuarios.
- El enfoque híbrido sale ganando: la combinación de un modelo de lenguaje grande (LLM) con un enfoque determinista es la estrategia más sólida
- La validación no es un mecanismo único: cada tipo de datos requiere su propio método de control.
- Lo que suena bien no siempre se basa en pruebas: una respuesta puede parecer válida y coherente sin estar respaldada por las pruebas aportadas, por lo que la validación de este tipo de soluciones debe ser sistemática.
- La gobernanza es indispensable: las medidas de gobernanza y control deben estar presentes en todas las fases del ciclo, no solo durante la generación
- La obtención y la síntesis de la evidencia deben mantenerse separadas: la obtención de la evidencia debe permanecer separada de la síntesis de la misma, con una trazabilidad total
- Un enfoque transferible: la combinación de adaptación supervisada, contexto dinámico y indicaciones parametrizadas reduce los costes y permite aplicar este tipo de tecnología a ámbitos especializados.
El proyecto «Desarrollo de una tecnología de IA multimodal basada en LLM para la gestión integral de datos» fue financiado por el CDTI.
«Desarrollo de una tecnología de IA multimodal basada en LLM para la gestión integral de datos». Un proyecto de investigación y desarrollo destinado a automatizar y mejorar los procesos de gestión de datos empresariales.
El reto
El objetivo de nuestro equipo era crear una tecnología de IA multimodal basada en el procesamiento del lenguaje natural (NLP) y los modelos de lenguaje grande (LLM), capaz de:
- Extracción de información de fuentes no estructuradas y semiestructuradas
- Validación y mejora automática de la calidad de los datos
- Transformación de datos mediante el procesamiento del lenguaje natural
- Ofrecer análisis avanzados y conclusiones explicables mediante modelos de lenguaje grande (LLM) y RAG
Para este proyecto, hemos recibido financiación a través del programa PID (Proyectos de Investigación y Desarrollo), una iniciativa de financiación puesta en marcha por el CDTI (Centro para el Desarrollo Tecnológico Industrial) con el fin de apoyar proyectos de I+D de las empresas.
Esta financiación nos permitió empezar a trabajar en la solución.
Lo que hicimos
Nuestro equipo desarrolló la solución basándose en cuatro capas:
- Una capa de extracción multimodal a partir de fuentes no estructuradas o semiestructuradas que utiliza tecnologías avanzadas de procesamiento del lenguaje natural (NLP) y modelos de lenguaje a gran escala (LLM).
- Una capa de validación de datos automatizada diseñada para garantizar datos más sólidos y de mayor calidad.
- Una capa de transformación de PLN controlada, que permite parametrizar el modelo de lenguaje grande (LLM) para que comprenda y ejecute comandos de transformación de forma accesible para usuarios sin conocimientos técnicos.
- Una infraestructura RAG LLM que combina la recuperación y la generación de información para ofrecer análisis de datos tabulares sin necesidad de intervención técnica.
En conjunto, estas capas dan soporte al ciclo de vida completo de la gestión de datos en seis etapas:
- Importación de datos: documentos PDF, archivos Excel, texto libre...
- Extracción de datos: OCR, análisis de maquetación, extracción basada en modelos de lenguaje grande (LLM) y aplicación de esquemas.
- Validación de datos: validación determinista, semántica y basada en el nivel de confianza, con revisión humana.
- Transformación de datos: conversión de lenguaje natural a SQL en modelos de datos regulados.
- Análisis de datos: recuperación y análisis de documentos RAG a partir de datos estructurados.
- Explicabilidad: respuestas basadas en pruebas, con citas, trazabilidad y control de la falta de respuesta.
Para validar este enfoque, se desarrollaron y probaron cuatro pruebas de concepto en escenarios reales: análisis de guías clínicas, procesamiento de informes de cirugía vascular, análisis de transcripciones de reuniones y un chatbot de SQL en lenguaje natural.
Cómo cambiar toda una estrategia de datos
Me imagino a 8wires como ese socio sincero y honesto que te aleja de todo ese ruido y te ayuda a centrarte en lo que realmente importa, por muy poco atractivo que pueda parecer, para alcanzar un gran objetivo a largo plazo.
Aquel que te acompaña en los momentos difíciles y te ayuda a tomar las decisiones complicadas, sabiendo que no hay un camino fácil. Aquel que te da el empujón o las herramientas para que asciendas y seas tú mismo, aquel que alcanza las cimas que te propones de una forma saludable, sostenible y llena de energía. Y, sobre todo, aquel que se hace a un lado cuando sabe que no te está ayudando o que no podrá darte lo que necesitas.
No sé si servirá de algo, pero, de alguna manera, vi en Internet una explicación visual del problema en el ámbito de los datos y la tecnología (no sé si con esta metáfora) antes de mostrar cómo es trabajar con nosotros y, por último, otra explicación visual del resultado.
Como un puente sobre aguas turbulentas
Me imagino a 8wires como ese socio sincero y honesto que te aleja de todo ese ruido y te ayuda a centrarte en lo que realmente importa, por muy poco atractivo que pueda parecer, para alcanzar un gran objetivo a largo plazo.
Aquella persona que te acompaña en los momentos difíciles y te ayuda a tomar las decisiones complicadas, sabiendo que no hay un camino fácil. Aquella que te da el empujón o las herramientas necesarias para que puedas escalar y ser tú mismo, y que te permite alcanzar las cimas que te propones de una forma saludable, sostenible y llena de energía.
«Desarrollo de una tecnología de IA multimodal basada en LLM para la gestión integral de datos». Un proyecto de investigación y desarrollo destinado a automatizar y mejorar los procesos de gestión de datos empresariales.
El reto
El objetivo de nuestro equipo era crear una tecnología de IA multimodal basada en el procesamiento del lenguaje natural (NLP) y los modelos de lenguaje grande (LLM), capaz de:
- Extracción de información de fuentes no estructuradas y semiestructuradas
- Validación y mejora automática de la calidad de los datos
- Transformación de datos mediante el procesamiento del lenguaje natural
- Ofrecer análisis avanzados y conclusiones explicables mediante modelos de lenguaje grande (LLM) y RAG
Para este proyecto, hemos recibido financiación a través del programa PID (Proyectos de Investigación y Desarrollo), una iniciativa de financiación puesta en marcha por el CDTI (Centro para el Desarrollo Tecnológico Industrial) con el fin de apoyar proyectos de I+D de las empresas.
Esta financiación nos permitió empezar a trabajar en la solución.
Lo que hicimos
Nuestro equipo desarrolló la solución basándose en cuatro capas:
- Una capa de extracción multimodal a partir de fuentes no estructuradas o semiestructuradas que utiliza tecnologías avanzadas de procesamiento del lenguaje natural (NLP) y modelos de lenguaje a gran escala (LLM).
- Una capa de validación de datos automatizada diseñada para garantizar datos más sólidos y de mayor calidad.
- Una capa de transformación de PLN controlada, que permite parametrizar el modelo de lenguaje grande (LLM) para que comprenda y ejecute comandos de transformación de forma accesible para usuarios sin conocimientos técnicos.
- Una infraestructura RAG LLM que combina la recuperación y la generación de información para ofrecer análisis de datos tabulares sin necesidad de intervención técnica.
En conjunto, estas capas dan soporte al ciclo de vida completo de la gestión de datos en seis etapas:
- Importación de datos: documentos PDF, archivos Excel, texto libre...
- Extracción de datos: OCR, análisis de maquetación, extracción basada en modelos de lenguaje grande (LLM) y aplicación de esquemas.
- Validación de datos: validación determinista, semántica y basada en el nivel de confianza, con revisión humana.
- Transformación de datos: conversión de lenguaje natural a SQL en modelos de datos regulados.
- Análisis de datos: recuperación y análisis de documentos RAG a partir de datos estructurados.
- Explicabilidad: respuestas basadas en pruebas, con citas, trazabilidad y control de la falta de respuesta.
Para validar este enfoque, se desarrollaron y probaron cuatro pruebas de concepto en escenarios reales: análisis de guías clínicas, procesamiento de informes de cirugía vascular, análisis de transcripciones de reuniones y un chatbot de SQL en lenguaje natural.
Cómo cambiar toda una estrategia de datos
Me imagino a 8wires como ese socio sincero y honesto que te aleja de todo ese ruido y te ayuda a centrarte en lo que realmente importa, por muy poco atractivo que pueda parecer, para alcanzar un gran objetivo a largo plazo.
Aquel que te acompaña en los momentos difíciles y te ayuda a tomar las decisiones complicadas, sabiendo que no hay un camino fácil. Aquel que te da el empujón o las herramientas para que asciendas y seas tú mismo, aquel que alcanza las cimas que te propones de una forma saludable, sostenible y llena de energía. Y, sobre todo, aquel que se hace a un lado cuando sabe que no te está ayudando o que no podrá darte lo que necesitas.
No sé si servirá de algo, pero, de alguna manera, vi en Internet una explicación visual del problema en el ámbito de los datos y la tecnología (no sé si con esta metáfora) antes de mostrar cómo es trabajar con nosotros y, por último, otra explicación visual del resultado.
Como un puente sobre aguas turbulentas
Me imagino a 8wires como ese socio sincero y honesto que te aleja de todo ese ruido y te ayuda a centrarte en lo que realmente importa, por muy poco atractivo que pueda parecer, para alcanzar un gran objetivo a largo plazo.
Aquella persona que te acompaña en los momentos difíciles y te ayuda a tomar las decisiones complicadas, sabiendo que no hay un camino fácil. Aquella que te da el empujón o las herramientas necesarias para que puedas escalar y ser tú mismo, y que te permite alcanzar las cimas que te propones de una forma saludable, sostenible y llena de energía.
.png){kind=logo}
.png){kind=small}
