División de Realidad Extendida del IDF
La división de Realidad Mixta del Instituto de Diseño y Fabricación de la Universidad Politécnica de Valencia está formada por diferentes miembros de grupos de investigación del IDF interesados en la aplicación de las nuevas tecnologías de AR y VR en la industria productiva y las industrias culturales. Los profesores investigadores de la UPV que forman esta agrupación transversal son: Ernesto Solanes, Luis Gracia y Josep Tornero del grupo AIR (Automatización Industrial y Robótica);y Adolfo Muñoz, Ana Martí, Nuria Lloret, Marga Cabrera, del grupo Industrias Culturales y TIC. Asimismo, el profesor Vicent Girbés, de la Universitat de València, forma parte de la división como colaborador permanente.
Como división multidisciplinar nos encargamos de elaborar proyectos de investigación y de transferencia tecnológica junto con empresas e instituciones interesadas en explorar las posibilidades de las nuevas tecnologías emergentes de la denominada Industria 4.0, y en especial en la implantación de procesos que vinculan el diseño de experiencias de usuario (UX) con smartphones, tabletas y gafas de realidad aumentada (AR) y virtual (VR).
HUME – Hub de Museología Experimental
Dentro de las iniciativas promovidas desde esta división, destacamos la creación en 2022 de HUME, un Hub de Museología Experimental. Se trata de un nuevo laboratorio del IDF centrado en la experimentación con las tecnologías presentes y futuras de la realidad extendida.
Con esta iniciativa pretendemos unir museos, investigadores/as y empresas que buscan construir nuevas aplicaciones de realidad extendida (XR) innovadoras en el campo de la museología, el turismo y la comunicación.
A través de HUME lanzamos publicaciones periódicas en nuestra página de HUME en LinkedIn sobre las últimas novedades tecnológicas de realidad extendida y su aplicación en el ámbito cultural.
«La AR y VR cambiará nuestra forma de percibir el mundo digital, y la manera con la que nos relacionamos con las máquinas, en todos los ámbitos, comenzando por la industria y el ocio.»
Adolfo Muñoz. Coordinador de la división.
Oferta tecnológica
Somos especialistas en ingeniería del software, la fabricación y el diseño multimedia, y es por ello que nos hemos embarcado apasionadamente en la generación de contenidos y aplicaciones para este nuevo medio, sabedores de que hay todavía mucho espacio por recorrer en los próximos años.
Estamos abiertos a futuras colaboraciones con instituciones y empresas dispuestas a apostar por estar en la vanguardia de lo que creemos está empezando a vislumbrarse como el próximo gran salto de la informática.
Nuestras líneas de investigación se centran en el diseño, creación y evaluación de UX (User experiences) para Hololens, Meta, Pico y otros dispositivos de realidad aumentada del tipo wearable y handheld, en dos ámbitos:
– Industria productiva. Creación de prototipos AR y VR para la mejora de los controles de calidad y la colaboración entre robots y operarios, en actividades específicas (como el control de calidad de pintura en la industria de automoción, o el pulido asistido con robots).
– Industria Cultural. Creación y experimentación de nuevos modelos museológicos basados en la aplicación de tecnologías de realidad aumentada y realidad virtual.
Proyectos expositivos y museología experimental
Almoina AR
Este proyecto experimental de realidad aumentada fue realizado en el museo arqueológico de la Almoina de Valencia. Se trata de una aplicación diseñada para las gafas Hololens que nos sirvió como plataforma experimental para comprobar la aceptación y el uso de estas tecnologías como facilitadoras de experiencias donde lo digital cabalga sobre lo real para complementarlo. El diseño de la experiencia se construyó alrededor de la idea de una guía virtual del pasado romano de la ciudad que introduce y explica la enorme importancia de los restos arqueológicos sobre los que aparecen hologramas animados. Este proyecto nos dio un enorme know-how sobre las posibilidades y limitaciones de las gafas de realidad aumentada, y su futuro potencial en museos y galerías.
Holomuseum
Holomuseum es la primera de una serie de aplicaciones creadas por la división de AR del IDF (Instituto de Diseño y Fabricación), especialmente diseñada para las gafas de realidad aumentada Hololens de Microsoft. Se trata de una aplicación pensada para facilitar la creación y mantenimiento de exhibiciones de objetos multimedia en cualquier espacio.
HoloSound
La aplicación Soundcool & Augmented Reality Performance se realizó para el sistema de creación colaborativa audiovisual Soundcool . Con esta aplicación el bailarín tocaba junto a la chelista gracias al uso de la realidad aumentada. Para ello se creó un campo sonoro a partir de figuras geométricas con las que el intérprete interactuaba con su cabeza y manos cuando se movía por el espacio.
Proyectos industriales
QEYE-Virtual
QEYE-Virtual, es una aplicación para las gafas Hololens, que muestra al operario los defectos detectados por el túnel de inspección QEYE sobre la propia carrocería del vehículo tratado.
Teleoperation of industrial robot manipulators based on augmented reality
J. Ernesto Solanes, Adolfo Muñoz, Luis Gracia, Ana Martí, Vicent Girbés-Juan & Josep Tornero
Doi: https://doi.org/10.1007/s00170-020-05997-1
Demo circuito 1: https://media.upv.es/player/?id=8be7f8e0-99b4-11ea-a399-57da8aaa21ee
Demo circuito 2: https://media.upv.es/player/?id=afda6530-99b4-11ea-a399-57da8aaa21ee
Demo circuito 3: https://media.upv.es/player/?id=56c62d20-99b5-11ea-a399-57da8aaa21ee
Demo circuito 4: https://media.upv.es/player/?id=9461f740-99b5-11ea-a399-57da8aaa21ee
Advanced teleoperation and control system for industrial robots based on augmented virtuality and haptic feedback
Claudia González, J. Ernesto Solanes, Adolfo Muñoz, Luis Gracia, Vicent Girbés-Juan, Josep Tornero
Pulido de defectos: https://media.upv.es/player/?id=84e85220-1e10-11eb-9463-339a8e543e47
Pulido continuo de superficie: https://media.upv.es/player/?id=d8ca06f0-1e14-11eb-9463-339a8e543e47
Camera 3D positioning mixed reality-based interface to improve worker safety, ergonomics and productivity.
Adolfo Muñoz, Ana Martí, Xavier Mahiques, Luis Gracia, J. Ernesto Solanes and JosepTornero
Doi: https://doi.org/10.1016/j.cirpj.2020.01.004
Demo interacción con la interfaz por voz https://media.upv.es/player/?id=096fab50-18d7-11ea-a59e-3f45266cd80b
Demo interacción con la interfaz por gestos: https://media.upv.es/player/?id=33be4390-a4af-11e9-abe1-f718df9623c1
Mixed reality-based user interface for quality control inspection of car body surfaces
Adolfo Muñoz, Xavier Mahiques, J. Ernesto Solanes, Ana Martí, Luis Gracia and Josep Tornero
Doi: https://doi.org/10.1016/j.jmsy.2019.08.004
Robustez de la interfaz: https://media.upv.es/player/?id=ba4fa650-2869-11e9-8fef-e30aa8ecd453
Panel de defecto: https://media.upv.es/player/?id=f89e93d0-2869-11e9-8fef-e30aa8ecd453
Panel principal – Comunicaciones: https://media.upv.es/player/?id=464e93f0-286a-11e9-8fef-e30aa8ecd453
Human-Robot Cooperation for Surface Repair Combining Automatic and Manual Modes
Alberto García, Vicent Girbés, J. Ernesto Solanes, Luis Gracia, Calos Pérez-Vidal, Josep Tornero
Doi: https://doi.org/10.1109/ACCESS.2020.3014501
Demo: https://media.upv.es/player/?id=ed3e6250-6c55-11ea-8c87-2ba15c40d192
Human-robot cooperation for robust surface treatment using non-conventional sliding mode control
J. Ernesto Solanes, Luis Gracia, Pau Muñoz-Benavent, Jaime Valls Miro, Vicent Girbés, Josep Tornero
Doi: https://doi.org/10.1016/j.isatra.2018.05.013
Demo: https://media.upv.es/player/?id=a27932a0-5a77-11e8-aab9-a1a4e108f2ab
Robust Hybrid Position-Force Control for Robotic Surface Polishing
J. Ernesto Solanes , Luis Gracia , Pau Muñoz-Benavent , Jaime Valls Miro , Carlos Perez-Vidal , Josep Tornero
Demo: https://media.upv.es/player/?id=4afd6df0-7ea0-11e8-bed3-8f377bbbf659
Publicaciones
- Muñoz, A. / Martí, A. New Storytelling for Archaeological Museums Based on Augmented Reality Glasses. February 2020. DOI: 10.5334/bch.g In book: Communicating the Past in the Digital Age: Proceedings of the International Conference on Digital Methods in Teaching and Learning in Archaeology (12th-13th October 2018).
- Muñoz, A. / Martí, A. / Mahiques, X. / Gracia, L/ Solanes, E. / Tornero, J. Camera 3D positioning mixed reality-based interface to improve worker safety, ergonomics and productivity, https://doi.org/10.1016/j.cirpj.2020.01.004. CIRP Journal of Manufacturing Science and Technology. Volume 28, January 2020, Páginas 24-37.
- Shliakhovchuk, E. / Muñoz, A. Intercultural Perspective on Impact of Video Games on Players: Insights from a Systematic Review of Recent Literature. January 2020. DOI: 10.12738/jestp.2020.1.004
- Muñoz, A. / Mahiques, X. / Solanes, E. / Martí, A. / Gracia, L./ Tornero, J. Mixed reality-based user interface for quality control inspection of car body surfaces. October 2019. Journal of Manufacturing Systems 53:75-92. DOI: 10.1016/j.jmsy.2019.08.004
- Shliakhovchuk, E. / Muñoz, A. Digital game-based learning for D&I: conceptual design of an educational digital game Chuzme. November 2019. DOI: 10.4995/INN2019.2019.10561 Conference: INNODOCT/19 International Conference on Innovation, Documentation and EducationAt: Valencia, Spain, 6-8 November 2019, pp. 409-419
- Muñoz, A; Martí ( 2019). La necesidad de una alfabetización para el uso de la realidad aumentada. Pruebas y experimentos en el ámbito museístico. Cuadiernu: Difusión, Investigación y Conservación del Patrimonio Cultural. La Ponte-Ecomuséu. ISSN 2444-7765.
- Muñoz, A; Martí, A. (2019) Del museo en el bolsillo a las experiencias inmersivas de realidad aumentada insitu. Gobierno de Aragón. Re_Visiones sobre Arte, patrimonio y tecnología en la era digital. ISBN 978-84-8380-411-7. 411-416
- Muñoz, A & Martí, A.(2018) HOLOMUSEUM: A Hololens application for creating extensible and customizable holographic exhibitions. July 2018. DOI: 10.21125/edulearn.2018.0625 Conference: 10th International Conference on Education and New Learning Technologies.
- Martí Testón, A. (2018). Hacia una museografía 4.0. Diseño de experiencias inmersivas con dispositivos de realidad aumentada [Tesis doctoral]. Universitat Politècnica de València. doi:10.4995/Thesis/10251/107375 http://hdl.handle.net/10251/107375
- Muñoz, A & Martí, A.(2018) Reframing museum experiences with augmented reality to transform musums content into an emotional jorney . July 2018. DOI: 10.21125 /edulearn. 2018.0624. Conference: 10th International Conference on Education and New Learning Technologies.
- Muñoz, A; Martí, 2018 Fotografía y Post-Realidad. Laooconte. Revista de estética y teoría de las artes, 133-141. ISSN: 2386-8449.
- Mahiques Sifres, X. (2017). Desarrollo y evaluación de un sistema de control de brazos robóticos industriales mediante una interfaz de realidad aumentada. http://hdl.handle.net/10251/93063 (Trabajo fin de Máster dirigido por A. Muñoz)
- Muñoz, A./ Martí, A. (2016). Estrategias de videojuegos aplicadas a la comunicación online de colecciones museográficas. Universidad Complutense Madrid. Al margen. Reflexiones en torno a la imagen. 147-154. ISBN 978-84-617-7560-6.
- Garcia Gomez, L. (2016). Herramienta de autor para crear guías interactivas en museos con las gafas de realidad aumentada Hololens. http://hdl.handle.net/10251/76391 (Trabajo fin de grado dirigido por A. Muñoz)
Contacto
Correo electrónico: reality@institutoidf.com
Coordinador de la división de AR-VR: Dr. Adolfo Muñoz.
Instituto de diseño y fabricación (IDF) CPI, Universitat Politècnica de València. Camino de Vera s/n. Edificio 8E bajo. 46022
