Sylaiou S., Dafiotis P., Fidas C., Vlachou E., Nomikou V. (2024). Evaluating the impact of XR on user experience in the Tomato Industrial Museum "D. Nomikos", Heritage. Special issue: Museums for Heritage Preservation and Communication—2nd Edition (accepted with revisions)
Abstract: This study presents the background and the evaluation of integrating eXtended Reality (XR) in the permanent exhibition at the Tomato Industrial Museum "D. Nomikos". This paper firstly provides the context of this study by outlining the methodological, technological, and museological approaches undertaken to integrate XR in a quest to enhance visitors’ meaningful engagement with the industrial heritage-related exhibition. Storytelling and narration are key elements of the museums’ museological design through audio tours and interactive AR-based visualization of the machinery’s role and function. This paper presents and discusses the design of the evaluation methodology employed in the context of pertinent methods and approaches used in related research. This study investigates the effectiveness of XR for audience engage-ment, the added value that such technologies offer to the user experience as well as possible im-provements. The main method adopted for gathering quantitative data is the User Experience Questionnaire (UEQ) and qualitative, through semi-structured interviews. Moreover, the find-ings are analyzed, interpreted and discussed. Based on a case study, this paper offers a broader discussion of the challenges and prospects connected to the quest of employing emerging tech-nologies and assessing their impact on visitors’ museum experience, reaching conclusions for fu-ture directions in the field.
Fidas C., Sylaiou S., Kuflik T., Liarokapis F., Koutsabasis P., Wallace M., Koukopoulos D., Antoniou A., Mania K., Lykourentzou I. (Eds.) (2023). Proceedings of the First International Workshop on Accessibility and Multimodal Interaction Design Approaches in Museums for People with Impairments co-located with MobileHCI 2023 Conference Athens, Greece, September 26, 2023 - https://ceur-ws.org/Vol-3622
Abstract:
This volume contains the papers presented in the context of the AMID 2023 - International Workshop on Mobile and Multimodal HCI Design Approaches in Museums for People with Impairments (http://amidworkshop.ece.upatras.gr), held within the 25th International ACM Conference on Mobile Human-Computer Interaction (MobileHCI), Athens, Greece, on September 26–29, 2023. The aim of the First International Workshop on Mobile and Multimodal HCI Design Approaches in Museums for People with Impairments is to bring together researchers as well as practitioners who are active in doing research on or employ tools and methods related to mobile HCI in museums that foster the experience of visitors/users with impairments. The workshop comprises contributions that cover a wide range of interrelated fields, topics, and contexts and include Adaptation and Personalization, User Modeling, Human-centered Computing, and User Experience. It addresses academics, scientists, students, ICT professionals, service providers and developers, designers, and end-users with the view to exchanging and sharing best practices, innovative methodologies, experiences, and ideas as well as presenting research findings and insights gained that pertain to theoretical, technological, or methodological facets of the various HCI Design Approaches for People with Impairments in Museums. The workshop presents and discusses methods, tools, and techniques to design and develop mobile museum applications for people with impairments. More specifically, the research presented mainly relates to technological solutions that support museum visitors with visual, motor, and hearing impairments. The workshop foregrounds the importance (as well as the related challenges) of providing meaningful and engaging experiences to museum visitors with customized interfaces adapted to the characteristics of various groups of people with special needs. Moreover, the workshop addresses the employment of Mixed Reality (i.e., the combination of real and virtual worlds), as this technology heralds new possibilities in enhancing access and inclusion with regard to museum visitors with impairments. The workshop attracted experts who outlined and discussed the challenges and opportunities that arise in the field and presented solutions concerning methods, tools, and techniques in HCI. Research presented included user requirements and system design, adaptation, and optimization, as well as uses of emerging technologies to enhance inclusion and meaningful engagement. The areas covered in the workshop include (but are not limited to) accessibility for users with motor impairment, inclusion of sign language, introduction of soundscapes for the visually impaired (through the presentation of a case study), methodologies for a wide range of visual impairments, pertinent surveys of existing research and suggestions for future practices in the field. Furthermore, the workshop also addressed issues of inclusion in relation to openness with regard to content creation, the principles that should guide adaptation of exhibition design as well as interactive exhibits, resources or prompts showcasing specific research projects. Examples of applications for hand-held devices for people with certain types of impairment were presented by authors who designed, employed, and evaluated them, while in some cases thorough as well as targeted surveys of existing practices were involved in the context of presenting or foregrounding a certain methodological approach.
The workshop has put emphasis on the following:
There was one invited paper by Prof. Alan Six (Director of the Computational Foundry, Swansea, Wales, UK). The workshop accepted after a peer-reviewed process seven papers that have focused on a variety of topics, with the aim to foster cross-fertilization of approaches emanating from diverse disciplines related to differing users with the goal of synthesizing methods, enriching and where applicable, synthesizing or adapting methods and gaining insights as well as inspiration for future research. The workshop also aspires to facilitate the creation of a knowledge hub in the form of a research community that will remain in contact and collaborate after its conclusion. As a final remark, the Programme Committee would like to warmly thank the keynote speaker, Prof. Alan Dix, for his inspiring talk and insightful paper, and all the contributing authors, as well as the organizers of the 25th International ACM Conference on Mobile Human-Computer Interaction (MobileHCI), who helped us to run the event.
Gkagka E., Sylaiou S., Koukopoulos D., Fidas C. (2023). Designing accessible cultural heritage experiences for individuals with hearing impairments. Proceedings of the First International Workshop on Accessibility and Multimodal Interaction Design Approaches in Museums for People with Impairments co-located with MobileHCI 2023 Conference Athens, Greece, September 26, 2023, Vol-3622 - https://ceur-ws.org/Vol-3622/paper8.pdf
Abstract: This paper examines the design considerations and challenges in creating accessible cultural heritage experiences specifically tailored for individuals with hearing impairments. Cultural heritage sites hold immense value in terms of historical significance, art, and cultural identity, and ensuring inclusivity for all visitors, including those with hearing impairments, is crucial. Drawing upon user-centered design principles, this study explores various aspects that must be addressed to provide meaningful and inclusive experiences. Key considerations encompass the provision of Mixed-Reality (MR) solutions that deploy real-time speech-to-text translation combined with mobile applications that provide visual cues to the communicating peers. Challenges such as communication barriers, technological limitations, and the need for effective collaboration between cultural heritage institutions, designers, and the hearingimpaired community are discussed. By addressing these considerations and challenges, this paper aims to foster awareness and provide insights into developing inclusive cultural heritage experiences that cater to the needs of individuals with hearing impairments, facilitating their engagement and appreciation of our shared cultural heritage.
Koukopoulos D., Koukoulis K., Sylaiou S., Fidas C. (2023). XR technologies fostering museum visits for people with impairments. Proceedings of the First International Workshop on Accessibility and Multimodal Interaction Design Approaches in Museums for People with Impairments co-located with MobileHCI 2023 Conference Athens, Greece, September 26, 2023, Vol-3622 - https://ceur-ws.org/Vol-3622/paper3.pdf
Abstract: XR technologies are a trend nowadays for enhancing museum visits. Although museum visits are a way to enhance well-being in modern cities, there is a question concerning how inclusive they can be, especially for people with impairments. In this work, we are interested in people with impairments like low vision or hearing problems. In such a context, we investigate the issue of how XR technologies can benefit museum visits for impaired people. Based on the literature, we make an attempt to specify user needs and associate them with XR technology functionalities taking into account how those functionalities have been implemented in current systems for museum visits. To the best of our knowledge, there is no system for museum visits that can personalize its features to the special needs of impaired persons independently of the type of impairment they are facing. Another challenge is the engagement of impaired persons in the design and development of such systems. Our results suggest that this scientific domain is in its infancy and a lot of work remains to be done, especially for the human-computer interaction community
Sylaiou, S., Dafiotis, P., Koukopoulos, D., Koukoulis, Chr., Vital, R., Antoniou, A., & Fidas, Chr. (2024). From physical to virtual art exhibitions and beyond: Survey and some issues for consideration for the metaverse. Journal of Cultural Heritage (Vol. 66, pp. 86–98). Elsevier BV. - https://doi.org/10.1016/j.culher.2023.11.002
Abstract: Αυτό το άρθρο ασχολείται με την αυξανόμενη σημασία της εκτεταμένης πραγματικότητας (XR) στις εκθέσεις τέχνης. Επεξεργάζεται τις τεχνολογίες που χρησιμοποιούνται, τα θέματα σχεδιασμού, τους σχετικούς στόχους και τις μετρήσεις αξιολόγησης. Τα κύρια ερευνητικά ερωτήματα αφορούν τους τύπους των τεχνολογιών που χρησιμοποιούνται σήμερα, τα κύρια ζητήματα σχεδιασμού και τους τρόπους με τους οποίους η εμπειρία των χρηστών μπορεί να ενισχυθεί σύμφωνα με το όραμα των καλλιτεχνών και των επιμελητών, καθώς και τις ανάγκες των επισκεπτών. Επιπλέον, η εργασία εξετάζει σχετικά κριτήρια αξιολόγησης. Το άρθρο καταγράφει τους τύπους τεχνολογιών που χρησιμοποιούνται για τις εικονικές εκθέσεις τέχνης και εξετάζει τα χαρακτηριστικά σχεδιασμού τους και ζητήματα σχετικά με τις διεπαφές, τους πόρους και τις δυνατότητές τους. Επιπλέον, μετά την συζήτηση για τη χρήση εικονικών ανθρώπων σε αυτά τα περιβάλλοντα, ακολουθεί μια συζήτηση σύγκρισης μεταξύ εικονικών και φυσικών εκθέσεων. Ακόμη, συζητούνται διεξοδικά οι παράμετροι που επηρεάζουν την εμπειρία του χρήστη. Τέλος, η έρευνα ολοκληρώνεται με μια συζήτηση των προαναφερθέντων πτυχών των εκθέσεων Εκτεταμένης Πραγματικότητας με έμφαση στη βελτιστοποίηση του σχεδιασμού για περιεχόμενο σχετικό με την τέχνη και την παρουσίαση ενημερωμένων προτάσεων για μελλοντικές κατευθύνσεις. Το γενικό πεδίο εφαρμογής αυτής της εργασίας είναι να εξετάσει τρόπους αξιοποίησης της XR ως δημιουργικού μέσου και όχι ως απλό μέσο αναπαραγωγής φυσικών εκθέσεων. Σε αυτό το πλαίσιο, η συζήτηση περιλαμβάνει και το Metaverse.
Fidas Chr., Sylaiou S., Kuflik T., Liarokapis F., Koutsabasis P., Wallace M. (2023). Mobile and Multimodal HCI Design Approaches in Museums for People with Impairments, MobileHCI ’23 Companion: Proceedings of the 25th International Conference on Mobile Human-Computer Interaction, September 2023, Article No.: 33, pp 1–4 - https://doi.org/10.1145/3565066.3609509
Abstract: Το πρώτο διεθνές εργαστήριο για κινητές και πολυτροπικές προσεγγίσεις σχεδιασμού HCI σε μουσεία για άτομα με ειδικές ανάγκες έχει ως στόχο να φέρει σε επαφή ερευνητές και επαγγελματίες που εργάζονται σε διάφορα θέματα που σχετίζονται με την κατανόηση των θεμάτων που σχετίζονται με το κινητό HCI σε μουσεία για άτομα με ειδικές ανάγκες. Το εργαστήριο περιλαμβάνει διεπιστημονικές συνεισφορές σε διάφορα συναφή θέματα σε ένα ευρύ φάσμα πεδίων, όπως η προσαρμογή και η εξατομίκευση, η μοντελοποίηση χρηστών, η ανθρωποκεντρική πληροφορική και η εμπειρία του χρήστη. Αυτό το εργαστήριο επικεντρώνεται τόσο στον ακαδημαϊκό χώρο όσο και στη βιομηχανία και στοχεύει να προσελκύσει την προσοχή ενός διεπιστημονικού κοινού ερευνητών και επαγγελματιών που εργάζονται στον τομέα. Θα φέρει σε επαφή επιστήμονες, φοιτητές, επαγγελματίες ΤΠΕ, παρόχους υπηρεσιών και προγραμματιστές, σχεδιαστές και τελικούς χρήστες για να ανταλλάξουν και να μοιραστούν τις εμπειρίες τους, νέες ιδέες και ερευνητικά αποτελέσματα σχετικά με όλες τις πτυχές (θεωρία, εφαρμογές και εργαλεία) των προσεγγίσεων σχεδιασμού HCI για άτομα με προβλήματα στα μουσεία.
Sylaiou S., Gkagka E., Fidas Chr., Vlachou E., Lampropoulos G., Plytas A., Nomikou V. (2023). Use of XR technologies for fostering visitors’ experience and inclusion at industrial museums, CHIGREECE 2023: 2nd International Conference of the ACM Greek SIGCHI Chapter, DOI: 10.1145/3609987.3610008
Abstract: Η μελέτη παρουσιάζει την έρευνα που διεξήχθη και τις λύσεις που υιοθετήθηκαν για την ενσωμάτωση εφαρμογών εκτεταμένης πραγματικότητας in situ και online για την ενίσχυση της εμπειρίας των επισκεπτών του Βιομηχανικού Μουσείου τομάτας "Δ.Νομικός" με έμφαση στις ανάγκες των ατόμων με προβλήματα ακοής. Αυτή η εργασία περιγράφει τις μεθοδολογικές, τεχνολογικές και μουσειολογικές προσεγγίσεις που αξιοποιήθηκαν για την ενσωμάτωση των τεχνολογιών XR με τρόπους που θα προωθήσουν την εμπλοκή με τις αφηγήσεις των ανθρώπων που εργάστηκαν στις εγκαταστάσεις και θα περιγράψουν τη διαδικασία παραγωγής. Η αφήγηση και η αφήγηση αποτελούν βασικά στοιχεία του μουσειολογικού σχεδιασμού των μουσείων και ως εκ τούτου περιλαμβάνουν επισκέπτες με προβλήματα ακοής μέσω τεχνολογιών XR που επιτρέπουν στους χρήστες να αντιλαμβάνονται τις ηχητικές περιηγήσεις μέσω της οπτικοποίησης της ομιλούμενης γλώσσας σε πραγματικό χρόνο από μια ειδικά προσαρμοσμένη λειτουργία ομιλίας σε κείμενο. Επιπλέον, η εργασία διερευνά τις προκλήσεις που αντιμετωπίζει σε όλη την προσπάθεια να προσελκύσει το κοινό και να το βοηθήσει να αποκτήσει ενδιαφέρον για τη βιομηχανική κληρονομιά μέσω της εξερεύνησης της έκθεσης, ερεθίζοντας το ενδιαφέρον του μέσω πολυτροπικών πόρων προσβάσιμων σε όλους. Για να προσελκύσουμε τους θεατές, αναπτύξαμε διαδραστικές εφαρμογές έτσι ώστε οι επισκέπτες να αναλάβουν να εκπληρώσουν τα καθήκοντα των εργαζομένων όπως στο παιχνίδι ρόλων. Το αποτέλεσμα της προσέγγισής μας είναι μια ισορροπία μεταξύ της στενής επαφής μέσω ψηφιακών αφηγήσεων με τους ανθρώπους εποχής που εμφανίζονται στις μουσειακές εφαρμογές, εξασφαλίζοντας ταυτόρονα την ένταξη των ατόμων με προβλήματα ακοής και προσφέροντας παράλληλα διαδραστικές απεικονίσεις των εκθεσιακών λειτουργιών μηχανημάτων.
Δαφιώτης Π., Στυλιανίδης Ε., Συλαίου Σ., Συλαίου Σ., Κουκόπουλος Δ., Φείδας Χ. (2023). Evaluation issues in virtual exhibitions: applications in the fields of culture and art teaching, Τεκμηρίωση και Ανάδειξη Πολιτισμού, 135–146. Εκδ. Τζιόλας.
Περίληψη: Το παρόν κεφάλαιο παρουσιάζει τις βασικές παραμέτρους που καθορίζουν την ποιότητα μιας εμπειρίας εκτεταμένης πραγματικότητας στους τομείς των τεχνών και του πολιτισμού. Συγκεκριμένα, συζητούνται οι παράγοντες της ευχρηστίας, της αίσθησης παρουσίας των χρηστών σε εικονικά περιβάλλοντα, καθώς και των δυνατοτήτων μάθησης σε αυτά. Γίνεται αναφορά σε πιο εξειδικευμένα κριτήρια που αφορούν εφαρμογές ανάδειξης πολιτισμού με έμφαση στις εικονικές εκθέσεις τέχνης, καθώς και σε θέματα προσαρμογής των σχετικών μεθόδων αξιολόγησης στο συγκεκριμένο πεδίο. Γίνεται εστίαση σε παραμέτρους που επηρεάζουν την ικανότητα των χρηστών να εμπλακούν με εκθέματα σε περιβάλλοντα εκτεταμένης πραγματικότητας και να αναστοχαστούν επί της εμπειρίας τους. Θίγεται το θέμα εκφραστικών δυνατοτήτων της δημιουργίας περιβαλλόντων επεκταμένης πραγματικότητας. Τέλος, γίνεται μια εκτενής συζήτηση για τα μαθησιακά οφέλη που έχει η διαδικασία δημιουργίας εικονικών εκθέσεων με κεντρικό άξονα αναφοράς το ερευνητικό πρόγραμμα Scaffolding Creativity of Arts Students: Framework, Toolchain, and Educational Material on how to Create their Own Virtual Exhibitions (CREAMS). Με βάση την ιδιαιτερότητα που αυτό παρουσιάζει ως μαθησιακό μέσο για τους φοιτητές/τριες Σχολών Καλών Τεχνών, γίνεται συνακόλουθα και μια κριτική προσέγγιση των τρόπων αξιολόγησης της πλατφόρμας εφαρμογών εκτεταμένης πραγματικότητας που αυτό αναπτύσσει.
Συλαίου Σ., Δαφιώτης Π., Φείδας Χ., Στυλιανίδης Ε. (2023). Εικονικοί άνθρωποι (virtual humans) και οι χρήσεις τους στην ανάδειξη τέχνης και πολιτισμού, Τεκμηρίωση και Ανάδειξη Πολιτισμού, 119–133. Εκδ. Τζιόλας.
Περίληψη: Tο κεφάλαιο βασίζεται στα αποτελέσματα πρόσφατης συστηματικής βιβλιογραφικής, καθώς και πειραματικής έρευνας σχετικά με τη χρήση ψηφιακών ανθρώπων σε μουσεία και χώρους πολιτιστικού ενδιαφέροντος. Η βελτιστοποίηση των εικονικών ανθρώπων στον τομέα της πολιτιστικής κληρονομιάς είναι μια διεπιστημονική προσπάθεια και αυτό το κείμενο εξετάζει τη σχετική έρευνα, λύσεις που έχουν δοθεί και προτείνει μελλοντικές κατευθύνσεις στη βάση των εφαρμοζόμενων πρακτικών, καθώς και των εξελίξεων στο πεδίο. Έμφαση δίνεται στα τεχνολογικά χαρακτηριστικά των εικονικών ανθρώπων που σχετίζονται με την πολιτιστική κληρονομιά και τις κυρίαρχες τάσεις όσον αφορά τις εφαρμοζόμενες προσεγγίσεις που αφορούν τη χρήση, τον ρόλο και τη λειτουργία τους. Ένα σημαντικό εύρημα της έρευνας είναι ότι υπάρχει μια αυξητική τάση των επιτόπιων σε χώρους πολιτισμού εφαρμογών μεικτής πραγματικότητας. Ακόμη, ιδιαίτερη έμφαση δίνεται στη βελτιστοποίηση παραγόντων που καθιστούν εικονικούς ανθρώπους, π.χ. οδηγούς/ξεναγούς, πιο αποτελεσματικούς ως διαμεσολαβητές πολιτιστικού περιεχομένου. Τέλος, ο συμπεριφοριστικός ρεαλισμός (behavioral realism), που εμφανίζεται κυρίως σε εφαρμογές Εικονικής Πραγματικότητας, ενισχύει την εμπλοκή των χρηστών σε σημαντικό βαθμό και καταλήγουμε στο συμπέρασμα ότι στο μέλλον οι εφαρμογές μεικτής πραγματικότητας θα παρουσιάσουν μια ανοδική πορεία.
Sylaiou S., Fidas C. (2022). Virtual Humans in Museums and Cultural Heritage Sites. Applied Sciences 2022, 12(19), 9913.
Περίληψη: This article presents the results of a survey on the use of digital avatars and agents in museums and places of cultural interest. The optimization of virtual agents in the cultural heritage domain is an interdisciplinary undertaking and this paper investigates pertinent research and solutions and suggests ways forward. The research questions examined relate to (a) the technological characteristics of cultural heritage-related uses of users’ avatars and virtual agents, and patterns that emerge, and (b) suggestions for future research based on this article’s findings. We reviewed relevant publications and analysed the approaches presented to identify trends and issues that could lead to conclusions on the existing state of the field and, moreover, infer and suggest future directions. The main findings relate to a trend toward onsite, sophisticated installations or applications with increasing investment in mixed reality. Moreover, emphasis shifts toward optimising agents such as virtual guides or companions, mediators of cultural content and engaging facilitators. Behavioural Realism (BR), featured mostly in virtual reality installations, greatly fosters engagement according to the reviewed research, and we conclude that mixed reality onsite applications, which are gathering pace, should reach their degree of sophistication and combine the strengths of both MR and BR.
Sylaiou S., Fidas C. (2022). Supporting People with Visual Impairments in Cultural Heritage Realms: Survey and Future Research Directions. Special issue on Advanced Interaction in Cultural Heritage, International Journal of Human-Computer Interaction, 2022.
Περίληψη: This literature review surveys published research that aims to foster blind and visually impaired (VI) people’s engagement with cultural heritage. The reviewed papers cover a broad area of methodological approaches, outlining challenges and solutions for empowering VI people to enjoy cultural heritage sites and museums, mainly with the use of Information and Communication Technologies (ICT). Fifty (50) papers are included in this survey, published between 2008 and 2021. They mostly focus on multisensory, multimodal, and interdisciplinary, ICT-based assistive human- centered computing approaches. These methods often optimize the VI user experience through an effort to gain an in-depth understanding of this special group’s needs. Moreover, several publications include user evaluations and empirical studies. Findings suggest that approaches tend to become more complex, multimodal, and multidisciplinary as time progresses. This leads to a discussion and conclusions suggesting future research directions in this domain. The proposed way forward re lates to a synthesis of methodologies, scientific domains, and approaches into a more holistic, comprehensive, and synergetic model.
Sylaiou S., Fidas C. (2022). First Results of a Survey Concerning the Use of Digital Human Avatars in Museums and Cultural Heritage Sites. IMET 2022 (2nd International Conference on Interactive Media, Smart Systems and Emerging Technologies).
Περίληψη: The paper presents the first results of a survey on the use of digital human avatars in museums and places of cultural interest. The papers included in this survey have been published between 2003 and 2022. The research questions examined were related to (a) the technological characteristics of Cultural Heritage-related uses of digital human avatars and patterns that emerge, (b) what affects their potential for audience engagement and (c) what directions may be suggested for future research based on the findings of this review.