Realidad aumentada, IA y 3D para conservar el patrimonio

La Universitat de València (UV) lidera un proyecto interdisciplinar con 12 instituciones de países como Italia, Francia, Rumanía, Alemania, Austria, Grecia y Ucrania. Pretende desarrollar nuevas tecnologías y un sistema computacional inteligente que faciliten el trabajo a los profesionales que se encargan de conservar y restaurar monumentos y edificios que forman parte del patrimonio cultural, artístico y arquitectónico.

El objetivo es ayudar a determinar el deterioro de los edificios y monumentos, especialmente cuyas causas sean por un origen químico y por la acción humana, como podrían ser del cambio climático o de las guerras.

El proyecto tiene como nombre ChemiNova y ha recibido 3,5 millones de euros dentro de la convocatoria Horizonte Europa, lo que permitirá desarrollarlo durante los próximos tres años, junto a los socios del consorcio conformado por universidades e institutos y centros de investigación.

De la UV participan dos grupos de investigación: por un lado, el DINA del Instituto de Robótica y Tecnologías de la Información y la Comunicación (IRTIC), del que la investigadora principal es Cristina Portales; y por otro lado, la Facultad de Geografía e Historia, con la vicerrectora de Cultura, Esther Alba, a la cabeza.

Iniciado recientemente

El proyecto ha empezado en febrero y la semana pasada una treintena de investigadores de las diferentes instituciones se reunieron en València. La Nau, el edificio histórico de la Universitat, fue el lugar elegido para hacer las primeras pruebas piloto, además de reuniones de trabajo y la presentación formal de ChemiNova. Cristina Portales explica que parten de imágenes (las visuales pero también otras, como las térmicas), de datos y de nubes de puntos.

El reto es grande, pues como reconoce la investigadora "es un proyecto muy experimental" y, además, es "difícil" gestionar equipos multidisciplinares tan amplios como este caso. Pretenden crear modelos 3D enriquecidos y georreferenciados, que sirvan de entrada para el motor de la Inteligencia Artificial que van a desarrollar y que, en un futuro, deberá tratar de identificar los diferentes deterioros que se vean en una foto. Estos resultados de la IA serán los datos básicos con los que trabajen los conservadores. 

Por esto, desarrollarán diferentes herramientas tecnológicas, como una app de escritorio tradicional (con 3D enriquecido, para que puedan explorar); realidad aumentada (visualizaciones reales a través de un dispositivo); y realidad virtual (objetos simulados de apariencia real). También crearán una herramienta con la que intentar concienciar a la ciudadanía y los software que se desarrollen serán en abierto, "para que cuando se acabe el proyecto, se pueda seguir investigando".

Además de los investigadores de datos y expertos en tecnología, en ChemiNova será fundamental el papel de los conservadores. "La Inteligencia Artificial aprenderá de lo que ellos les digan; las imágenes que tomemos en esta primera fase entrenarán a la máquina. Por ejemplo, se detallará a qué son debidas ciertas grietas, o mármoles de color negro... se etiquetarán esas imágenes para que luego se pueda detectar en otras fotos", añade Portales. Así, se trabajará con algoritmos de aprendizaje automático para que la Inteligencia Artificial pueda "ver, aprender y predecir".

Cuatro edificios como prueba

En concreto, en el proyecto pretenden desarrollar ChemInspection y ChemiModel —dos herramientas basadas en el 3D—; ChemiSensing —monitorización y análisis del estado de los objetos patrimoniales—; y ChemiSee, para el estudio del impacto del cambio climático y los conflictos bélicos.

Además de la Nau de València, otros edificios que se estudiarán durante el proyecto son un palacio de la emperatriz Sissi en Viena; la sede de la Universidad de Palermo; o la catedral de Santa Sofía de Kiev. De los 3,5 millones de financiación, la UV gestionará directamente 850.000 euros. Portales recuerda que la convocatoria Horizonte Europa es "muy competitiva" y solo se han financiado tres propuestas.

Los dos grupos de investigación de la Universitat de València ya habían colaborado anteriormente, en concreto en la coordinación del proyecto SILKnow de Horizonte 2020.