UNIVERSIDAD DE COSTA RICA SISTEMA DE ESTUDIOS DE POSGRADO DISEÑO DE UN PROTOTIPO DE REALIDAD VIRTUAL PARA SER USADO EN UN ESTUDIO DE MERCADO DE DISEÑO DE EMPAQUES DE UN PRODUCTO Trabajo final de investigación aplicada sometido a la consideración de la Comisión del Programa de Posgrado en Computación e Informática para optar al grado y título de Maestría Profesional en Computación e Informática. ANA LIGIA BRENES VINDAS Ciudad Universitaria Rodrigo Facio, Costa Rica 2019 Dedicatoria A mi mamá, mi mayor tesoro. A Hen, que del 1 al 10, siempre ha creído un 11 en mí. A Titi, por enseñarme el valor de la responsabilidad y que el trabajo duro siempre deja frutos. A Gab, el mejor regalo que mis papás me pudieron haber dado. A Enrique, mi mayor ejemplo a seguir…tito tito, ¿ahora qué sigue? A Daniel, quién me hace sentir la mujer más inteligente del mundo todos los días. ii Agradecimientos A una mujer a la cuál admiro muchísimo, la Dra. Gabriela Marín por darme la oportunidad de trabajar este tiempo con ella, y enseñarme tanto. Al Dr. Gustavo López por ser el profesor más dedicado que he tenido y enseñarme el mundo de HCI. A ambos les agradezco el acompañarme en este viaje que fue largo, pero lo disfruté tanto que se pasó volando. A Alejandra López, por compartir sus valiosos conocimientos, de vital importancia para mi investigación y por su apoyo incondicional. A dos hermanos, que me dejó el paso por la ECCI: Marie y Esteban, mi dream team. Por último, a mi alma mater, la Universidad de Costa Rica, a la cual le debo tanto y todo lo que soy hoy profesionalmente. iii Hoja de firmas Este trabajo final de investigación aplicada fue aceptado por la Comisión del Programa de Estudios de Posgrado en Computación e Informática de la Universidad de Costa Rica, como requisito parcial para optar al grado y título de Maestría Profesional en Computación e Informática. ____________________________________________ Dr. Marcelo Jenkins Coronas Representante del Decano Sistema de Estudios de Posgrado ____________________________________________ Dra. Gabriela Marín Raventós Profesora Guía ____________________________________________ Dr. Gustavo López Herrera Lector ____________________________________________ MBA. Alejandra López Rosales Lectora ____________________________________________ M.Sc. Marta Calderón Campos Representante de la Directora del Programa de Posgrado en Computación e Informática ____________________________________________ Bach. Ana Ligia Brenes Vindas Sustentante iv Tabla de contenidos Dedicatoria .......................................................................................................................................... ii Agradecimientos ................................................................................................................................ iii Hoja de firmas .................................................................................................................................... iv Tabla de contenidos ............................................................................................................................ v Índice de Tablas ................................................................................................................................ vii Índice de Figuras .............................................................................................................................. viii Resumen ............................................................................................................................................. ix Abstract ............................................................................................................................................... x 1.Introducción ..................................................................................................................................... 1 1.1 Objetivos………………………………………………………………………………….. 2 1.1.2 Objetivo General……………………………………………………………………...2 1.1.3 Objetivos específicos………………………………………………………………… 2 1.2 Justificación……………………………………………………………………………….. 3 2.Estado del arte .................................................................................................................................. 5 3.Marco Conceptual ............................................................................................................................ 8 4.Metodología ................................................................................................................................... 11 4.1 Lista de actividades……………………………………………………………………… 13 5.Resultados ...................................................................................................................................... 14 5.1 Resultados de la evaluación del storyboard……………………………………………... 14 5.2 Resultado de la evaluación del prototipo………………………………………………... 16 6.Conclusiones……………………………………………………………………………………... 20 6.1 Trabajo futuro……………………………………………………………………………. 21 7.Referencias……………………………………………………………………………………….. 22 Anexo 1………………………………………………………………………………………….. 24 Anexo 2………………………………………………………………………………………….. 30 Anexo 3………………………………………………………………………………………….. 44 v Anexo 4………………………………………………………………………………………….. 47 vi Índice de Tablas Tabla 1. Estructura de la evaluación del Storyboard ............................................................ 11 Tabla 2. Estructura de la evaluación del prototipo ............................................................... 12 Tabla 3. Lista de actividades realizadas. ............................................................................... 13 Tabla 4. Distribución de los participantes en la evaluación de la idea ................................. 14 Tabla 5. Resumen de los comentarios de los participantes ................................................... 15 Tabla 6. Resultado comentarios participantes ...................................................................... 19 vii Índice de Figuras Figura 1. Hallazgos revisión de literatura ............................................................................... 6 Figura 2. (a) Estudiantes de informática y (b) Profesores de mercadeo. ............................. 15 Figura 3. Resultados de la evaluación del storyboard .......................................................... 16 Figura 4. Participantes utilizando el prototipo ...................................................................... 17 Figura 5. Resultados evaluación del prototipo ...................................................................... 18 viii Resumen La investigación de mercado es importante porque cada empresa quiere destacarse de sus competidores. Sin embargo, existen desventajas bien conocidas de los métodos tradicionales de investigación de mercado [1]. Esta investigación presenta un sistema de realidad virtual que tiene como objetivo mejorar la calidad de los datos recopilados en investigación de mercado. El sistema fue diseñado y desarrollado utilizando la metodología de investigación de Ciencias del Diseño y técnicas de interacción humano-computador como diseño iterativo, storyboards y prototipos. Ciento veintiocho personas participaron en esta investigación. Treinta y cinco estudiantes del Posgrado en Computación e Informática y doce profesores de mercadeo validaron la idea a través de un storyboard de la Universidad de Costa Rica. Adjetivos como innovador, útil e interesante fueron utilizados por los participantes para referirse a la idea presentada. Además, ochenta y uno estudiantes de licenciatura de mercadeo validaron la experiencia del usuario y la usabilidad del prototipo utilizando el cuestionario AttrakDiff. El 100% de los participantes estuvo de acuerdo en que el prototipo podría ayudar a mejorar los estudios de mercado del diseño de empaques de productos. Además, el 99% de los participantes dijeron que utilizarían el prototipo al ejecutar una investigación de mercado del diseño de empaques de productos. ix Abstract Market research is important because every company wants to stand out from their competitors. However, there are well-known weaknesses of traditional market research methods. This research presents a virtual reality system that aims to improve the quality of the data collected in marketing research. The system was designed and developed using a Design Science methodology and Human-Computer Interaction techniques like iterative design, storyboards, and prototypes. One hundred twenty-eight participants were involved in this research. Thirty-five Computer Science graduate students, and twelve Marketing professors from the University of Costa Rica validated the idea through a storyboard. Adjectives like innovative, useful and interesting were used by the participants to refer to the idea presented. Furthermore, eighty-one Marketing graduate students validated the prototype’s user experience and usability using the AttrakDiff survey. One hundred percent of the participants agreed that the prototype could help improve market studies of product packaging design. In addition, nighty nine percent of the participants said that they would use the prototype when executing market research of product packaging design. x 1. Introducción La investigación de mercado analiza y recopila información sobre lo que los clientes actuales y futuros pueden necesitar y desear. Algunos métodos tradicionales de investigación de mercado son grupos focales, encuestas, entrevistas cerradas y ensayos de campo [2]. Cada estudio de mercado tradicional tiene sus ventajas, pero si las empresas solo se adhieren a un método, probablemente perderán muchos datos de calidad [3]. Se conocen desventajas sobre los métodos de investigación tradicionales [3]. En primer lugar, son muy caros, dado que las empresas tienen que invertir mucho dinero en incentivos para conseguir participantes. En el caso de grupos focales, se requieren varias fases [2]. En general, estos métodos tradicionales están desactualizados [3]. La forma en que las personas interactúan con la tecnología ha cambiado notablemente. Entonces, ¿no deberían los métodos de investigación hacerlo también? La investigación de mercados debería utilizar la tecnología para facilitarlos, tratar de hacer la experiencia más atractiva para los participantes y tratar de bajar sus costos. Otro punto clave de la investigación de mercados es la calidad de los datos recolectados. Con frecuencia estos no son totalmente confiables [1]. Por ejemplo, la participación en encuestas es baja; a veces el público meta no está cubierto por los participantes, lo que resulta en datos de baja calidad [1]. Por el contrario, las nuevas técnicas de mercado, como la recopilación de información sobre emociones, proporcionan datos de muy alta calidad, ya que predice métricas clave de éxito como el retiro de marca, la intención de compra y la posibilidad de compartir [4]. Previo a esta investigación, se realizó una revisión de literatura acerca del uso de interfaces no tradicionales en estudios de mercado, ya que se quería conocer si el uso de interfaces no tradicionales tenía algún impacto en los procesos tradicionales de estudio de mercado. Como resultado de dicha revisión de literatura es que surge la pregunta de investigación: ¿Es posible 1 mejorar la forma en la que es recolectada y analizada la información de estudios de mercado tradicionales utilizando interfaces no tradicionales? Es de gran interés para esta investigación que el prototipo de realidad virtual que se realizó sea utilizado en la encuesta cerrada de un test de packaging, pero para poder realizar esto se necesitan dos etapas. La primera etapa sería crear el artefacto y la segunda etapa sería analizar cómo incorporar el artefacto en las encuestas cerradas de test de packaging y evaluar los resultados. Por lo tanto, los objetivos inicialmente definidos evolucionaron a los que se presentan en la sección a continuación. 1.1 Objetivos A continuación, se presenta el objetivo general y objetivos específicos, seguidos de la justificación de la investigación propuesta que establece cuál sería el aporte a la academia de la investigación. 1.1.2 Objetivo General Diseñar y validar un prototipo basado en realidad virtual, que permita a un usuario observar e interactuar virtualmente con la presentación (empaque) de un producto, con el fin de comprobar si es posible mejorar la calidad de datos recolectados en un estudio de diseño de etiquetas de productos. 1.1.3 Objetivos específicos 1. Implementar un prototipo que permita a un usuario observar e interactuar virtualmente con la presentación (empaque) de un producto utilizando realidad virtual. 2. Evaluar la funcionalidad, usabilidad, experiencia de usuario del prototipo. 2 1.2 Justificación Los estudios en investigación de mercado han demostrado que, entre más realista sea una situación, se logra una respuesta más positiva y un comportamiento más natural por parte de los consumidores [5]. También que el 70% de las decisiones que toma un consumidor al realizar una compra se hacen dentro de la tienda [6]. Por esta razón y por el problema de costo de implementar un empaque o producto físico en grupos focales y entrevistas cerradas, se decide diseñar un prototipo basado en realidad virtual, que permita al usuario observar e interactuar con un producto en un ambiente lo más real posible. De esta manera al comprobar si efectivamente al integrar este prototipo en el proceso de entrevistas cerradas en un test de packaging, se logra obtener una mejora en la calidad de los datos recolectados. Esta investigación será importante porque tiene como propósito beneficiar a las compañías que utilizan métodos de investigación tradicionales para realizar sus estudios de mercado. Podrán obtener resultados más precisos y reducir costos. La estructura del documento es la siguiente. En el capítulo 2 se presenta un estado del arte que da evidencia de revisiones de literatura efectuadas, y en el capítulo 3, un mapa conceptual que explica los conceptos claves para entender la propuesta. En el capítulo 4 se describe la metodología a seguir. Luego, en el capítulo 5 se introduce el artículo en el cual se presentaron los resultados y finalmente en los capítulos 6 y 7 se resaltan las conclusiones y trabajo futuro de la investigación, respectivamente. 3 4 2. Estado del arte Se realizó una revisión de literatura acerca del uso de interfaces no tradicionales en estudios de mercado [7] utilizando el protocolo de Barbara Kitchenham [8]. La revisión de literatura, la cual está disponible en el Anexo 1, estuvo enfocada en mercadeo e Interacción Humano Computador (HCI) y por recomendación experta en HCI, únicamente se consultó en la base de datos Springer. Los criterios de búsqueda se describen a continuación. • Tipo de contenido: Artículo de revistas y de conferencias • Disciplina: Ciencias de la computación • Subdisciplina: Interfaz de usuario y HCI • Lenguaje: Inglés • Cadena de búsqueda: (("non-traditional" OR nontraditional) AND (interfaces OR interface OR “user interfaces” OR “user interface” OR tool OR tools OR application OR technology OR technologies)) AND (“market research” OR “marketing research”)) La consulta realizada en Springer devolvió 66 artículos, de los cuales, después del proceso de escaneo (título, resumen y palabras clave), 25 artículos fueron seleccionados para un análisis más exhaustivo. En la Figura 1 se muestra la distribución de temas principales de los artículos revisados, el más relevante es que el 40% de los artículos hablaba de realidad virtual y su uso en estudios de mercado. 5 Figura 1. Hallazgos revisión de literatura Actualmente existen aplicaciones innovadoras que ayudan a mejorar la forma en la que se recopilan datos en los estudios de mercado por medio de videoconferencias, neurociencia, realidad virtual y social media marketing. En el caso de la neurociencia, una herramienta que ha tenido un gran impacto en investigación de mercado es Affdex for Market Research de Affectiva [4]. Es una solución basada en la nube que utiliza el software de reconocimiento de emociones de Affectiva. También conocida como “codificación facial”, esta solución proporciona una visión profunda de las respuestas emocionales de los consumidores a los contenidos digitales. Por otra parte, la investigación en tiendas virtuales es una extensión de los métodos tradicionales de investigación de marketing [5]. Utiliza técnicas de investigación estándar dentro de un entorno de tienda simulado, creando situaciones que estén lo más cerca posible de la experiencia de compra real [6]. Esto permite a los consumidores de pruebas dentro del entorno virtual interactuar con los productos de la tienda y tomar decisiones de compra de una manera que se asemeja mucho al comportamiento real en la tienda [9]. Otro hallazgo muy importante es el de social media marketing, el cual centra sus esfuerzos normalmente en crear contenidos que llamen la atención y estimule a los lectores de ese contenido a compartirlos en sus redes sociales [10]. 6 En general, hay bastantes herramientas innovadoras para tratar de recolectar información más exacta y valiosa en estudios de mercado. Se conocen en el mercado herramientas y aplicaciones de realidad virtual para el diseño de empaque de productos, pero no se encontró información relevante en artículos académicos (se consultó en ACM, IEEE y Springer) ni tampoco ningún artículo que realizara una comparación si mejoraba o no utilizar interfaces tradicionales en la recolección de datos y análisis en estudios de mercado tradicionales. El aporte de esta investigación es brindar una base de conocimiento en esta área. 7 3. Marco Conceptual Con el fin de comprender en su totalidad la idea principal de esta propuesta de trabajo final de investigación aplicada (TFIA) es necesario explicar los conceptos más importantes. La interfaz gráfica de usuario (GUI) es un componente esencial de cada sistema informático porque determina cómo se controla y opera el sistema. Cuando la interfaz está bien diseñada, los usuarios se sienten satisfechos [11]. Si bien la GUI sigue siendo la interfaz más común en la actualidad, muchas otras interfaces se están volviendo cada vez más populares. La definición de una interfaz "no tradicional" es bastante arbitraria. Incluye desde una interfaz interactiva hasta una interfaz que cubre todos los sentidos humanos. Muchas de estas interfaces evocarán un fuerte factor "wow" (por ejemplo, interfaces de gusto) ya que no son comunes [12]. La realidad virtual es utilizada en la creación de interfaces no tradicionales. Uno de los mayores beneficios de la realidad virtual es la habilidad de interactuar con algo o con alguien que no existe físicamente. Por ejemplo, una persona puede vivir la experiencia de observar el nuevo diseño de un producto, amueblar una casa entera o sentarse en el carro más lujoso, sin necesidad de estar físicamente en una tienda o dentro de una casa o un carro. Todos los anteriores son casos de uso de realidad virtual en los que el costo de desarrollar tiendas, casas y carros virtuales es mucho menor que los artículos reales. Si no fuera por ramas como la de la HCI, muchos de estos avances no serían posibles. HCI "…es un campo multidisciplinario en el que la psicología y otras ciencias sociales se unen con la informática y los campos técnicos relacionados, con el objetivo de crear sistemas informáticos que sean útiles y utilizables" [13, pág. 491]. 8 Una de las técnicas utilizadas en HCI es la del storyboarding. Consiste en una serie de dibujos o imágenes en formato secuencial de viñetas (o storyboards) que, aplicada al diseño de sistemas interactivos, representan cómo un determinado sistema será usado durante la ejecución de una determinada tarea. Muestra la evolución del usuario y su entorno mientras está interactuando con el sistema [13]. Ahora bien, otro elemento clave en esta investigación es el mercadeo. Expertos aseguran que están convencidos de que el mercadeo consiste en un proceso en el que es necesario comprender las necesidades de los consumidores, y encontrar qué puede producir la empresa para satisfacerlas [14]. Por esta razón, en toda estrategia de mercadeo se debe cuidar hasta el mínimo detalle para obtener un aumento en el retorno de la inversión. El concepto de diseño de empaques (packaging) proyecta una carta de presentación de los productos, por lo que debe centrarse sobre todo en captar la atención de los consumidores y ser una ventana de comunicación hacia el usuario. En un mercado cada vez más competitivo, el diseño de empaques adquiere una mayor relevancia posicionándose como el mejor instrumento de mercadeo [15]. Para medir el éxito del diseño de un empaque, se utiliza la técnica llamada packaging test, que se refiere a la evaluación de visibilidad, reacciones iniciales, impacto atencional, imágenes y sensaciones que son proyectados a partir del diseño del empaque de los productos. Como metodología, generalmente se lleva a cabo mediante la técnica de grupo focal en la que podrán establecerse las opiniones de los consumidores acerca de los empaques y etiquetas de los productos. También se puede realizar mediante entrevistas de profundidad o encuestas cerradas [16]. Las entrevistas a profundidad son un método de recolección de datos cualitativos, sin una estructura definida, que permiten recopilar una gran cantidad de información sobre el comportamiento, la actitud y la percepción de los entrevistados [17]. Por otra parte, las encuestas cerradas tienen una estructura definida y los encuestados deben elegir para responder una de las opciones que se presentan en una lista de opciones; no es libre como en la encuesta a profundidad. 9 Entender los conceptos anteriormente descritos de la rama de computación y mercadeo son de vital importancia para entender a cabalidad la metodología utilizada, la cual se describe en el siguiente capítulo. 10 4. Metodología Para cumplir con los objetivos de la investigación, se utilizó una metodología de ciencia del diseño [18] para diseñar el prototipo de forma iterativa (objetivo específico 1), y protocolos de evaluación para validar la usabilidad los dos prototipos (objetivo específico 2). En total, se realizaron dos ciclos de diseño. En el primero se creó y evaluó un storyboard. En el segundo, se construyó y se evaluó un prototipo de realidad virtual. El reclutamiento de los participantes para ambos procesos de evaluación se basó en muestras de conveniencia. El proceso de evaluación general se presenta en la sección de la metodología en el Anexo 2 del artículo presentado en la 13th International Conference on Ubiquitous Computing and Ambient Intelligence (UCAMI 2019). El proceso de evaluación general se presenta en la Tabla 1 para el storyboard y en la Tabla 2 para el prototipo. Tabla 1. Estructura de la evaluación del Storyboard Participantes Objetivo Procedimiento Se realizó una sesión con Evaluar si la idea fue lo 1. Bienvenida a los 35 estudiantes de suficientemente buena para participantes. Computación e Informática ser desarrollado como un 2. Breve introducción primero y luego, en una prototipo de realidad de la investigación sesión separada, con 12 virtual. y su propósito. profesores de mercadeo de 3. Presentación del la Universidad de Costa storyboard y Rica. explicación. 4. Completar la encuesta (Anexo Los participantes fueron 3). seleccionados debido a su 5. Agradecimiento a experiencia en TI y en los participantes mercadeo. por su tiempo. 11 Tabla 2. Estructura de la evaluación del prototipo Participantes Objetivo Procedimiento 81 estudiantes • Evaluar la experiencia de La evaluación se realizó con graduados en usuario y usabilidad del prototipo. tres diferentes grupos en un Administración de mismo día (uno en la mañana, Empresas como uno en la tarde y otro en la posibles usuarios • Determinar si los usuarios noche). finales. potenciales piensan que el prototipo podría ayudar a mejorar un estudio de mercado de diseño 1. Bienvenida a los de etiquetas de empaques. participantes. 2. Breve introducción de la investigación y su • Conocer si usarían el prototipo propósito. al ejecutar un estudio de mercado 3. Presentación del de producto de diseño de storyboard y etiquetas de empaques. explicación detallada de la idea y del flujo de interacción del prototipo. 4. Diseños de las etiquetas de los productos se presentaron por primera vez en papel a los participantes, como en un proceso tradicional de investigación de mercado. 5. Demo del prototipo de realidad virtual. 6. Completar la encuesta (Anexo 4). 7. Agradecimiento a los participantes por su tiempo. 12 4.1 Lista de actividades En la tabla 3 se detallan la lista de actividades realizadas, con su respectivo tiempo en semanas y su relación al número de objetivo de la investigación. Tabla 3. Lista de actividades realizadas. Objetivo Actividad específico 1 • Revisión Literatura sobre virtual store research. • Revisión Literatura sobre packaging, test de packaging y encuestas cerradas. 1 • Reunión con especialista en mercadología para abarcar conceptos como diseño de empaques, test de packaging y encuestas cerradas. • Reunión con experto en HCI para abarcar conceptos como Persona, Usabilidad, UX 1 • Inicio con el diseño iterativo utilizando un storyboard del prototipo. 1 • Construcción de material para validar el storyboard 1 • Validación de la idea mediante un storyboard con expertos 1 • Se completaron cursos y tutoriales de Unreal (tecnologías de realidad virtual) 1 • Programación del prototipo con lenguaje seleccionado 2 • Construcción de material para validar la usabilidad, experiencia de usuario y funcionalidad del prototipo 2 • Validación de la usabilidad, experiencia de usuario y funcionalidad del prototipo con expertos de mercadeo 2 • Recolección y análisis de los datos 1 y 2 • Conclusiones finales e inicio de la redacción del artículo, incluye correcciones y revisiones 13 5. Resultados Para este trabajo de investigación aplicada se realizó y publicó el artículo “Improving Packaging Design using Virtual Reality in the Market Research Process” en UCAmI 2019 realizada del 2 al 5 de diciembre del 2019 en Toledo, España. En el Anexo 2 se encuentra el artículo en texto completo. Los resultados se dividen como resultado de la evaluación del storyboard y del prototipo. 5.1 Resultados de la evaluación del storyboard. La distribución de los participantes de la encuesta se explica en la Tabla 4. Los resultados de ambas áreas (computación y mercadeo) se separaron para comparar ambas opiniones. En la encuesta, cada participante tuvo que mencionar tres palabras que describieran la idea. Las nubes de palabras correspondientes se presentan en la Figura 2: (a) Estudiantes de informática y (b) Profesores de mercadeo. Innovador, interesante, interactivo y útil fueron las palabras más repetidas para ambas poblaciones. Tabla 4. Distribución de los participantes en la evaluación de la idea Tipo de Total de Edad Desviación Mujeres Hombres participante Participantes promedio estándar Estudiantes 35 25 6 17% 83% de computación Profesores 12 46 8 58% 42% de mercadeo 14 Figura 2. (a) Estudiantes de informática y (b) Profesores de mercadeo. Además, se evaluaron diez características de la idea propuesta, y los resultados se resumen en la Figura 3. Los resultados entre los estudiantes de Informática y los profesores de mercadeo fueron diferentes principalmente en términos de entusiasmo, creatividad, eficiencia y valor. Los comentarios generales recibidos de los participantes se muestran en la Tabla 5. Tabla 5. Resumen de los comentarios de los participantes Tipo de Comentarios participante ● Interfaz llamativa e interesante. ● Analice el público objetivo, cuán atractivo sería para Estudiantes de adultos mayores de 35 años, difícil para personas sin Computación habilidades tecnológicas. ● Es una buena idea obtener información de una manera más creativa. ● Sería interesante poder capturar cuáles son los elementos Profesores de clave que determinaron la decisión. mercadeo ● Es bastante interactivo y adaptable, lo que lo convierte en una buena propuesta. 15 Figura 3. Resultados de la evaluación del storyboard 5.2 Resultado de la evaluación del prototipo Para evaluar la usabilidad del prototipo y la experiencia del usuario, se utilizó el cuestionario AttrakDiff, un instrumento para medir el atractivo de un producto interactivo. Los usuarios pueden indicar cómo experimentan el producto utilizando pares de adjetivos opuestos [18]. Este instrumento fue seleccionado porque es aplicable una vez que el prototipo o sistema está disponible, lo que permite al usuario interactuar y experimentar el producto [19]. 16 En la Figura 4 se muestra a los participantes probando el prototipo. El rango de edad fue de 20-40 años, y la distribución por género fue del 55% de mujeres (45 participantes) y del 45% de hombres (36 participantes). Figura 4. Participantes utilizando el prototipo Los valores medios de los pares de palabras se presentan en la Figura 5. Los valores extremos muestran qué características son críticas o están bien resueltas. Con respecto a la experiencia del usuario que ofrece el prototipo, la Figura 5 muestra que los resultados generales son buenos o excelentes. Solo tres pares de palabras muestran un posible problema ("técnico - humano", "impredecible-predecible" y "me separa, me acerca"). Se esperaban dos de estos resultados. El tecnicismo del prototipo es claro, ya que introduce tecnología en un campo tradicionalmente humano. Esto también explica que los participantes creen que el prototipo los separa de las personas. 17 El resultado inesperado fue la imprevisibilidad del prototipo. Sin embargo, esto podría explicarse debido a la evaluación con participantes que no están familiarizados con este tipo de tecnologías y están acostumbrados a una forma particular de realizar estudios de empaques. La Tabla 6 muestra un resumen de los comentarios más relevantes que realizaron los participantes. Figura 5. Resultados evaluación del prototipo 18 Tabla 6. Resultado comentarios participantes Idea Principal Comentarios ● Los estudios de mercado tradicionales suelen ser tediosos y pueden tener un alto margen de error. Comparación con ● Tomaría menos tiempo ejecutar la investigación de estudios de mercado mercado. tradicionales ● Reduce los costos en la implementación de grupos focales o pruebas de productos (en general, los estudios de mercado son muy costosos). ● Podría revolucionar la investigación de mercado en productos y servicios. ● Concentra los esfuerzos en comparar y elegir, en lugar de imaginar un diseño incorrecto. ● Realmente puedo ver cómo mi producto se destacará Fortalezas del prototipo con la competencia. ● Crea experiencias anticipadas sobre un producto real, de modo que permita recopilar reacciones y comentarios antes del lanzamiento. ● Adaptable ● Increíble ● Incluir un sistema de audio para mejorar la experiencia y hacerla más real. Oportunidades de mejora ● Integración de imagen de supermercado más realista. del prototipo ● Las personas que usan anteojos presentan dificultades para interactuar con el prototipo. ● Incluir sensores para medir las emociones. 19 6. Conclusiones El objetivo principal de esta investigación fue el de diseñar y validar un prototipo basado en realidad virtual, que permita a un usuario observar e interactuar virtualmente con la presentación de un producto, con el fin de comprobar si es posible mejorar la calidad de datos recolectados en un estudio de diseño de etiquetas de productos. Este objetivo se cumplió utilizando técnicas de interfaz humano-computador como storyboards, diseño iterativo y evaluación de la experiencia del usuario, usabilidad y funcionalidad del prototipo. Además, se realizaron preguntas a usuarios expertos sobre si el prototipo podría mejorar los resultados de un estudio de mercado. Al final, 128 personas participaron en la investigación. Con base en los resultados de la evaluación del storyboard, ciertamente podemos concluir que la idea de usar una interfaz no tradicional en la investigación de mercado de diseño de etiquetas tiene mucho potencial. Los resultados entre los estudiantes de Ciencias de la Computación y los profesores de Mercadeo fueron diferentes en características como entusiasmo, creatividad y eficiencia. Una de las razones es porque los estudiantes de Computación están acostumbrados a trabajar con tecnologías emergentes, pero también tienden a tener un pensamiento más concreto y, por lo tanto, probablemente no vieron el potencial más allá del flujo de interacción del storyboard. En contraste, los profesores de Mercadeo pudieron imaginar el impacto y los diferentes usos que el prototipo pueden tener en una investigación de mercado, más que solo el flujo presentado. Sin embargo, ambas poblaciones acordaron que la idea es muy innovadora y útil. El primer objetivo específico de implementar un prototipo que permita a un usuario observar e interactuar virtualmente con la presentación (empaque) de un producto utilizando realidad virtual y el segundo objetivo de verificar la usabilidad, experiencia de usuario y funcionalidad del prototipo fueron cumplidos a cabalidad con dicha investigación ya que los resultados de la encuesta del prototipo muestran que el prototipo obtuvo calificaciones muy buenas en 20 calidad pragmática y hedónica. Se puede concluir que la experiencia del usuario y la usabilidad del prototipo son bastante positivas. Como se menciona en los resultados, el 100% de los participantes estuvo de acuerdo en que este prototipo mejorará los resultados de la investigación de diseño de empaques en términos de calidad de los datos recopilados, lo que respondió a la pregunta de investigación que si es posible mejorar cómo la información de la investigación de mercado es recopilada utilizando interfaces no tradicionales. Los métodos tradicionales de investigación de mercado, como los grupos focales, son buenos, pero hablar con las personas en una habitación es diferente de comprender cómo podrían comportarse si en realidad están rodeados por el estímulo adecuado. En este caso, el estímulo correcto se puede lograr a través de realidad virtual. 6.1 Trabajo futuro Teniendo en cuenta que esta es la primera iteración del prototipo, los resultados fueron muy satisfactorios en general, pero se puede hacer mucho trabajo futuro después de esta investigación. Incluir sensores, audio y simular imágenes más realistas son solo tres de las áreas de oportunidad mencionadas por los participantes. También esta propuesta puede ser adecuada para casi todos los productos, vender juguetes para niños podría ser un experimento interesante, para medir su comportamiento y decisiones de una manera muy interactiva. De igual manera, sería interesante probar el prototipo con personas mayores que nunca antes hayan usado realidad virtual. 21 7. Referencias [1] M. Hamersveld and C. Bont, Market research handbook. Chichester (West Sussex): J. Wiley & Sons, 2008. [2] P. Hague, M. Harrison, J. Cupman and O. Truman, Market research in practice. London: Kogan Page, 2016. [3] A. Pangan, "A Comparison between Traditional and Non-Traditional Market Research", Infinit Datum, 2012. [Online]. Available: http://www.infinitdatum.com/blog/comparison- traditionalnontraditional-market-research/. [Accessed: 28- March- 2017]. [4] "Affdex for Market Research", Affectiva, 2017. [Online]. Available: http://www.affectiva.com/product/affdex-for-market-research. [Accessed: 18- May- 2017]. [5] R. Burke, "Technology and the Customer Interface: What Consumers Want in the Physical and Virtual Store", Journal of the Academy of Marketing Science, vol. 30, no. 4, pp. 411-432, 2002. [6] H. Van Kerrebroeck, M. Brengman and K. Willems, "When brands come to life: experimental research on the vividness effect of Virtual Reality in transformational marketing communications", Virtual Reality, 2017. [7] Brenes A, Non-Traditional Interfaces used in Market Research: A Literature Review, JOCICI 2017. [Online]. Available: https://revistas.tec.ac.cr/index.php/memorias/article/view/4521/4092 [Accessed: 25-Sept-2019). [8] B. Kitchenham, Procedures for performing systematic reviews. Keele, UK, Keele University, 33(TR/SE-0401), 28. http://doi.org/10.1.1.122.3308, 2004. [9]R. Adams, "Five Ways Virtual Reality Will Change The World", Forbes.com, 2016. [Online]. Available: https://www.forbes.com/sites/robertadams/2016/10/17/5-ways-virtual-reality-will-change- the-world/#240927b92b01. [Accessed: 18- May- 2017]. [10] M. Varmus and M. Kubina, "Marketing Communications and Its Sustainable Influence”, 2016 [11] B. Shneiderman and C. Plaisant, Designing the user interface, 1st ed. Boston: Addison-Wesley, 2009. [12] P. Kortum, HCI beyond the GUI. Amsterdam: Elsevier/Morgan Kaufmann, 2008. [13] G. Olson and J. Olson, "Human-Computer Interaction: Psychological Aspects of the Human Use of Computing", Annual Review of Psychology, vol. 54, no. 1, pp. 491-516, 2003. 22 [14]C. Vergara, "Definición de mercadeo: lo que es, lo que fue y lo que puede ser", Revista PyM, 2018. [Online]. Available: https://www.revistapym.com.co/destacados/definicion-mercadeo-lo-que-lo-que-fue- lo-que-puede-ser/. [Accessed: 15- Feb- 2019]. [15]"Marketing y Packaging. Cuando el envase marca la diferencia", PuroMarketing, 2008. [Online]. Available: https://www.puromarketing.com/32/4178/marketing-packaging-cuando-envase-marca- diferencia.html. [Accessed: 15- Feb- 2019]. [16]"Coto Consulting: Estudios de mercado, Estrategia y Marketing", Coto Consulting: Estudios de mercado, Estrategia y Marketing, 2019. [Online]. Available: https://www.cotoconsulting.com/estudios- de-mercado/estudios-cualitativos/test packagingpackaging/. [Accessed: 15- Feb- 2019]. [17] A. Esteban Talaya, A. Molina Collado and M. Alarcón del Amo, Investigación de mercados. Madrid: ESIC, 2014. [18] Vaishnavi, V. and Kuechler, W. Design science research methods and patterns. 2nd ed. CRC Press. Boca Raton, FL, 2015. [19] AttrakDiff. Available Online:http://www.attrakdiff.de/ (accessed on 17 04 2019). [20] Bogdan, C., Gulliksen, J., Sauer, S., Forbrig, P., Winckler, M., Johnson, C., Palanque, P., Bernhaupt, R., Kis, F. (Eds.). Human-Centered and Error-Resilient Systems Development In 6th International Conference on Human-Centered Software Engineering, Stockholm, Sweden, in August 2016; Springer. 19. How Virtual [21] "Virtual Reality: Changing the Way Marketers are Conducting Research - Rutgers", Rutgers, 2017. [Online]. Available: http://online.rutgers.edu/resources/infographics/virtualreality/?program=mba. [Accessed: 05- Apr- 2017]. 23 Anexo 1. Artículo presentado en JOCICI 2017 24 Non-Traditional Interfaces used in Market Research: A Literature Review Ana Brenes Universidad de Costa Rica San José, Costa Rica ana.brenesvindas@ucr.ac.cr Abstract— The main reason why market research is so do so too? Another key point is the data quality; frequently is important, is because every company wants to improve and not fully trustable [3]. For instance, survey participation is low, maximize their chances of having a successful campaign. However, sometimes the target audience is not covered by the participants, there are well-known weaknesses about traditional research resulting in low-quality data [3]. Conversely, new market methods that could be improved using new technologies. The techniques such as gathering emotion information, provides purpose of this literature review is to find studies that evidence the very high-quality data as it predicts key success metrics such as use of non-traditional interfaces in market research. Search brand recall, purchase intent and possibility to share [4]. criteria were defined and selected papers were categorized into: Therefore, if innovative technologies are combined with Non-Traditional Interfaces, Market Research and Non- marketing strategies, market research could be more accurate, Traditional Interfaces in Market Research. The majority of Non- efficient and fast. The main goal of this literature review is to Traditional Interfaces findings were mainly related to design and find studies that evidence the use of non-traditional interfaces in evaluation of non-traditional interfaces, applying Human Computer Interaction (HCI) concepts and techniques. In terms of market research. Market Research, most of the findings were related to Analysis of The graphical user interface (GUI) is an essential component consumers’ behavior based on changes in marketing trends. In of every computer system because it determines how the system conclusion, the main concepts that were closely related between is controlled and operated. When the interface is well designed, the findings of Market Research and Non-Traditional Interfaces it makes users to feel satisfied [5]. were Virtual Reality, Social Marketing, Usability, User While the GUI is still the most common interface today, a lot of Experience and Consumers’ behavior. other interfaces are becoming progressively popular. The definition of a “non-traditional” interface is quite arbitrary. It includes from an interactive interface to an interface Keywords—Non-traditional Interfaces; Market Research; that covered all of the human senses, many of these interfaces Marketing; Virtual Reality; Human Computer Interaction. will evoke a strong “wow” factor (e.g., taste interfaces) since they are not common [6]. Examples of non-traditional interfaces are: haptic interfaces Introduction (use the sensation of touch to provide information to the user), gesture interfaces (use hand and face movements as input Market research analyzes and collects information about controls for a computer), locomotion interfaces, auditory what current and future customers may need and want. Some interfaces, speech user interfaces, interactive voice response traditional market research methods are: focus groups, surveys, interfaces, olfactory interfaces, taste interfaces, small-screen personal interviews, field trials [1]. Each traditional method has interfaces and multimodal interfaces [6]. its advantages but if companies only get stick to one method, they will probably miss a lot of quality data [2]. There are known Human Computer Interaction (HCI) “is a multidisciplinary disadvantages about traditional research methods too [2]. In the field in which psychology and other social sciences unite with first place, they are very expensive, companies have to spend a computer science and related technical fields, with the goal of lot of money on incentives to get participants. In the case of making computing systems that are both useful and usable” [7, focus groups, several phases are required [1]. In general, these p. 491]. Non-traditional interfaces add value to our day-to-day methods are outdated [2]. The way people interact with lives, and that’s the reason why HCI plays a key factor in this technology has notably changed; so, shouldn’t research methods 25 research, because it perfectly fits with psychology (marketing, Search Strategy users) and computer science (non-traditional interfaces). This Literature Review is focused on Market Research and This paper describes the protocol and results of a Literature Human Computer Interaction (non-traditional interfaces), for Review performed to gather evidence of the use of non- this reason and based on HCI expert advice, Springer was the traditional interfaces in market research. A literature review is a only search source consulted. way to identify and discuss in a formal manner, the current knowledge related to a research area; in this case Market The eligibility criteria in Springer were: Conference Paper Research and Non-Traditional Interfaces. and Article (content type), Computer Science (discipline), User Interfaces and Human Computer Interaction (sub-discipline) Section II presents background of non-traditional interfaces and English (language). in market research, section III presents the protocol used to conduct the Literature Review. Section IV presents the results The query string executed was: (("non-traditional" OR and findings of the three categories (Non-traditional Interfaces, nontraditional) AND (interfaces OR interface OR “user Market Research and Non-traditional Interfaces in Market interfaces” OR “user interface” OR tool OR tools OR Research). Section V presents the conclusions and future work application OR technology OR technologies)) AND (“market of the research. research” OR “marketing research”)). Study Selection Background After executing the query with the above mentioned eligibility criteria, a quick title and keyword scan was done and the 25 most interesting articles related to the research topic were considered. Although there are very interesting new technologies, market research is still very traditional. Some efforts have been Retrieved papers’ titles, abstracts, keywords and conclusions made to implement non-traditional interfaces using Virtual were reviewed. If those sections explicitly mentioned the words Reality to create a greater impact in retailing, through virtual “non-traditional interfaces”, “Interactive/Innovative systems”, stores [8]. “Virtual Reality” or “Augmented Reality”, the paper was included under the first category (“Non-Traditional Interfaces”). A non-traditional tool that has had a major impact on market If “marketing”, “market research “or “marketing research” was research is Affdex for Market Research by Affectiva [9], a cloud- mentioned, the paper was included under the second category based solution that uses emotion recognition software. This (“Market Research”). Lastly, if the paper met both criteria, it solution provides deep insight into unfiltered and neutral was included under the third category (“Non-traditional consumer emotional responses to digital content. It’s simple, Interfaces in Market Research”). easy and highly accurate. Affdex for Market Research measures the user moment-by-moment facial expressions of emotions. The results are aggregated and displayed in an easy-to-use Results dashboard [4]. Another example is iMeet that gives users the power to meet This section presents an overall analysis of the studies via web, video or audio conferencing—however and wherever included in this Literature Review. they want—from single interface. Vantedge Group Managing Partner & Founder, Read Xiegler, said that traditional in-person Since the results were quite heterogeneous, they were focus groups can cost up to $6,000 each, depending on the scale, grouped into related topics depending on each category. while focus groups conducted virtually using iMeet can save the The query in Springer retrieved 66 documents. After the company up to half those costs [10]. scanning process (by title, abstract and keywords), 20 papers were selected to full text reading. In the Table 1 categories are presented. Methodology TABLE I. DISTRIBUTION OF PAPERS BY GATEGORY Number of Full Papers Category (Reviewed/included) The following subsections describe how the Literature 10 Review was conducted. Barbara Kitchenham protocol [11] was Non-Traditional Interfaces used as a guideline and its most relevant sections were covered. Market Research 6 Non-traditional Interfaces in Research Question 4 Market Research The main purpose of this Literature Review is to find an answer to the following research question: Have Non- Traditional interfaces been used in Market Research? Non-Traditional Interfaces 26 The information gathered to perform the synthesis was: tool Non-traditional Interfaces in Market functionality, technology used for the implementation, evidence of improvement when using the system and HCI techniques Research applied. In this category, the most important finding was related to Figure 1 shows that 58% of the reviewed studies were market research and different non-traditional interfaces mainly related to design and evaluation of non-traditional developed with Virtual Reality (VR). VR has gotten marketers interfaces, applying HCI concepts and techniques. The remaining percentage corresponds to Innovative Systems interest because it can get consumers’ attention in a creativity implementation. and ingenious way. Some brands like Volvo, offer a virtual test- drive for their newest models. Jaguar, offers a virtual visit to the Wimbledon Stadium in which the user can simulate to be a tennis player, i.e.: Andy Murray. Adidas offers a VR experience featuring NBA Players. Also, Carrefour has also embarked on a VR marketing strategy, by creating virtual environments in which the consumers can see the various products they offer [12]. Marketing literature has demonstrated that a more vivid representation gets positive feedback in the consumer in terms of attitudes [12], that is why Virtual Reality has started to be implemented in VR Experience Marketing. The use of Virtual Reality in marketing practice is still fairly Fig. 1. Findings of Non-traditional Interfaces limited. Nevertheless, affordable Virtual Reality headsets like Market Research Samsung Gear VR are reaching consumer markets. Recently, even reachable low-cost alternatives, such as the Google Cardboard are available for general customers. [12]. Some of the information gathered to perform the synthesis was: marketing strategy, type of research, target audience and In addition, an important concept in this category is Social improvement opportunities. Figure 2 shows that 60% of the Media Marketing. It is completely related to consumers and reviewed studies were Analysis of consumers' behavior based from that perspective, the use of information technologies on changes in marketing trends. The remaining percentage was new marketing techniques. offers a number of benefits, including: efficiency, a broader selection of products, competitive pricing, cost reduction, and product diversity [13]. The main concepts that were closely related between the findings of Market Research and Non-traditional Interfaces are shown in Figure 3. Fig. 2. Findings of Market Research 27 References Virtual 10% Reality [1] P. Hague, M. Harrison, J. Cupman and O. Truman, Market research in practice. London: Kogan Page, 2016. 15% 40% Social [2] A. Pangan, "A Comparison between Traditional and Non-Traditional Marketing 15% Market Research", Infinit Datum, 2012. [Online]. Available: http://www.infinitdatum.com/blog/comparison-traditional- Usability nontraditional-market-research/. [Accessed: 28- March- 2017]. 20% [3] M. Hamersveld and C. Bont, Market research handbook. Chichester (West Sussex): J. Wiley & Sons, 2008. [4] "Affdex for Market Research", Affectiva, 2017. [Online]. Available: Fig. 3. Findings of Non-traditional Interfaces in Market research http://www.affectiva.com/product/affdex-for-market-research. [Accessed: 18- May- 2017]. [5] B. Shneiderman and C. Plaisant, Designing the user interface, 1st ed. Conclusions Boston: Addison-Wesley, 2009. [6] P. Kortum, HCI beyond the GUI. Amsterdam: Elsevier/Morgan This Literature Review was made to find evidence of the use Kaufmann, 2008. of non-traditional interfaces in market research. A protocol was defined to perform the literature review and 20 papers were [7] G. Olson and J. Olson, "Human-Computer Interaction: Psychological reviewed and categorized in three categories. Aspects of the Human Use of Computing", Annual Review of Psychology, vol. 54, no. 1, pp. 491-516, 2003. Non-Traditional Interfaces findings, showed that 58% of the [8] R. Burke, "Technology and the Customer Interface: What Consumers reviewed studies were mainly related to design and evaluation Want in the Physical and Virtual Store", Journal of the Academy of of non-traditional interfaces, applying HCI concepts and Marketing Science, vol. 30, no. 4, pp. 411-432, 2002. techniques. Market research findings showed that 60% of the [9] R. Office, "A market for emotions", MIT News, 2017. [Online]. Available: reviewed studies were about analysis of consumers' behavior http://news.mit.edu/2014/with-emotion-tracking-software-affectiva- attracts-clients-mood-aware-internet-0731. [Accessed: 18- May- 2017]. based on changes in marketing trends. The most relevant concepts between the Findings of Market Research and Non- Traditional Interfaces were Virtual Reality, Social Marketing, [10] "Vantedge Chooses iMeet® to Power Cost-effective Virtual Focus Usability, User Experience and Consumers’ Behavior. Groups", Prnewswire.com, 2017. [Online]. Available: http://www.prnewswire.com/news-releases/vantedge-chooses-imeet-to- Despite the fact that few studies directly link non-traditional power-cost-effective-virtual-focus-groups-300076595.html. [Accessed: interfaces with market research, valuable findings were found 05- Apr- 2017]. after synthesizing the information to answer the research question. [11] B. Kitchenham, Procedures for performing systematic reviews. Keele, UK, Keele University, 33(TR/SE-0401), 28. In market research, the more realistic the situation, the more http://doi.org/10.1.1.122.3308, 2004. accurately will marketers be able to study how people behave. Focus groups are good, but talking to people in a room is [12] H. Van Kerrebroeck, M. Brengman and K. Willems, "When brands come different from understanding how they might behave if they are to life: experimental research on the vividness effect of Virtual Reality in actually surrounded by the right stimulus. In this case, the right transformational marketing communications", Virtual Reality, 2017. stimulus can be achieved through VR [14] . [13] M. Varmus and M. Kubina, "Marketing Communications and Its One research question that arose based on this literature Sustainable Influence on Different Generations", Smart City 360°, pp. review is: 681-691, 2016. Is it possible to improve the way in which data from focus [14] "How Virtual Reality Will Change Market Research | InterQ Research", groups is analyzed and gathered using non-traditional Interq-research.com, 2015. [Online]. Available: http://interq- interfaces? research.com/how-virtual-reality-will-change-market-research/. [Accessed: 05- Apr- 2017]. In a nutshell, non-traditional interfaces have been used in market research, but mostly in experimental phases, which [15] T. Gruber-Muecke and C. Rau, "“Fake It or Make It” – Selfies in opens the possibility to a large series of future researches. Corporate Social Media Campaigns", Social Computing and Social Media, pp. 417-427, 2016. [16] K. Hornbæk and E. Frøkjær, “Evaluating User Interfaces with Metaphors of Human Thinking,” Lecture Notes in Computer Science Universal Access Theoretical Perspectives, Practice, and Experience, pp. 486–507, 2003. 28 [17] A. Kratky, “Metaphor and Storytelling in Interface Design for Virtual Reality,” Lecture Notes in Computer Science Universal Access in Human-Computer Interaction. Interaction Techniques and Environments, pp. 287–300, 2016. [18] Y. J. Jang and E. C. Jung, “Studies on the Design Marketing Strategies in the Experiential Economy through the Case Study of ‘the Starbucks Company’,” Design, User Experience, and Usability. Web, Mobile, and Product Design Lecture Notes in Computer Science, pp. 30–36, 2013. [19] M. Chen and V. Lim, “Tracking Eyes in Service Prototyping,” Human- Computer Interaction – INTERACT 2013 Lecture Notes in Computer Science, pp. 264–271, 2013. [20] E. Pantano and L. D. Pietro, “Understanding Consumer’s Acceptance of Technology-Based Innovations in Retailing,” Journal of technology management & innovation, vol. 7, no. 4, pp. 1–19, 2012. [21] Involving Human in Agile Methods: Contributions from HCI and Marketing,” Human-Centered Software Engineering Lecture Notes in Computer Science, pp. 283–290, 2014. 29 Anexo 2. Artículo presentado en UCAMI 2019 30 Proceedings Improving Packaging Design using Virtual Reality in the Market Research Process† Ana Brenes, Gabriela Marín-Raventós and Gustavo López 1 University of Costa Rica; ana.brenesvindas@ucr.ac.cr, gabriela.marin@ucr.ac.cr, gustavo.lopez_h@ucr.ac.cr * Correspondence: ana.brenesvindas@ucr.ac.cr; Tel.: +506-8570-5501 † Presented at the 13th International Conference on Ubiquitous Computing and Ambient Intelligence UCAmI 2019; Toledo, Spain; December 2 to 5th, 2019. Abstract: Market research is important because every company wants to stand out from their competitors. However, there are well-known weaknesses of traditional market research methods. This research presents a virtual reality system that aims to improve the quality of the data collected in marketing research. The system was designed and developed using Human-Computer Interaction techniques like iterative design, storyboards and prototypes. One hundred twenty-eight participants were involved in this research. Thirty-five computer science graduate students, and twelve marketing professors validated the idea through a storyboard. Adjectives like innovative, useful and interesting were used by the participants to refer to the idea presented. Furthermore, eighty-one marketing graduate students validated the prototype’s user experience and usability using the AttrakDiff survey. Unquestionably, 100% of the participants agreed that the prototype could help improve market studies of product packaging design. In addition, 99% of the participants said that they would use the prototype when executing market research of product packaging design. Keywords: Human-Computer Interaction; Market Research; Packaging Design; Virtual Reality; User Experience; Usability; AttrakDiff 1. Introduction Market research analyzes and collects information about what current and future customers may need and want. Some traditional market research methods are focus groups, surveys, personal interviews, and field trials [1]. Each traditional method has its advantages. However, if companies only stick to one method, they will probably miss a lot of quality data [2]. Also, there are known disadvantages of traditional research methods [3]. In the first place, they are costly. Companies have to spend much money on incentives to get participants. In the case of focus groups, several phases are required [4], and data collecting is very cumbersome. In general, market research methods are outdated [3]. The way people interact with technology has notably changed; so, should not research methods do so too? Another critical point is data quality; frequently is not fully trustable [5]. For instance, survey participation is low, and sometimes, the target audience is not covered by the participants, resulting in low- quality data [5]. Conversely, new market techniques such as gathering emotions information, provides very high-quality data, as it predicts key success metrics such as brand recall and purchase intent [6]. Prior to this research, a literature review was made regarding the use of non-traditional interfaces in market research [7]. The goal was to determine if the use of non-traditional interfaces have had any impact on the traditional processes of market research. As a result of this literature review, our general research 31 question was stated: Is it possible to improve how market research information is collected using non- traditional interfaces? In market research, some interesting findings are the support for our underlining hypotheses. For example, the more realistic the situation is, the more accurately will marketers be able to study how people behave [6]. Moreover, 70% of the consumer’s decisions are made inside the store [6]. It has also been proven that effective package design can encourage customers to make a purchase [8]. Thus, doing packaging design research in a real setting makes sense. However, doing so may be very difficult and costly. Furthermore, creating new package prototypes or physical product versions may also be very costly. Thus, the main goal of this paper is to design and validate a prototype based on virtual reality that enables the user to observe and interact with a product as realistically as possible, in order to determine if it is feasible to improve the quality of data collected. One hundred twenty-eight participants were involved in this research, 35 Computer Science graduate students, and 12 Marketing professors validated the idea. Furthermore, 81 Marketing graduate students validated the prototype’s user experience and provided feedback. They issued their opinion on if a prototype like this could improve the quality of the data collected in a market research process. This paper is structured to present the design, evaluation, and results of the idea and the virtual reality prototype. In section 2, the background is presented; valuables findings from the literature review are covered. Section 3 presents the methodology, section 4 describe the design of the idea (Storyboard) and the design of the prototype. The evaluation and results are detailed in Section 5. Finally, in section 6, the discussion and main conclusions are presented. 2. Background Packages are the presentation letter of the product. They must capture the attention of consumers and are a window of communication to the user. In an increasingly competitive market, packaging design acquires relevance, positioning itself as the best marketing tool [9]. Even though there are new technologies, market research is still very traditional. Some efforts have been made to implement non-traditional interfaces using Virtual Reality to create a more significant impact in retailing, through virtual stores [10]. A non-traditional tool that has had a significant impact on market research is Affdex for Market Research by Affectiva [11], a cloud-based solution that uses emotion recognition software. It is simple, easy, and highly accurate. Affdex for Market Research measures the user moment-by-moment facial expressions of emotions. The results are aggregated and displayed in an easy-to-use dashboard [11]. The most crucial finding of the literature review was related to market research and different non- traditional interfaces developed with Virtual Reality (VR). VR has gotten marketers interest because it can get consumers attention creative and ingenious way [12]. Marketing literature has demonstrated that a more vivid representation gets positive feedback in the consumer in terms of attitudes [10], that is why Virtual Reality has started to be implemented in VR Experience Marketing. The use of Virtual Reality in marketing practice is still somewhat limited. Nevertheless, affordable Virtual Reality headsets like Samsung Gear VR are reaching consumer markets. Recently, even reachable low-cost alternatives, such as Google Cardboard and Daydream are available for general customers [10]. 3. Methodology The main goal of this research is to design and validate a prototype based on virtual reality that enables the user to interact with one product, in order to prove if it is feasible to improve the quality of data collected in a product label design process. 32 We followed a design science methodology [13] to design the prototype in an iterative fashion, and quasi-experiments to validate the two prototypes. Two design cycles were performed. In the first a storyboard was created and evaluated. In the second, a virtual reality prototype was built and evaluated. The recruitment of the participants for both evaluation processes was based on convenience samples. The general evaluation process is presented in Table 1 for the storyboard and in Table 2 for the prototype. Table 1. Storyboard evaluation structure. Participants Stimuli Procedure 35 Computer Science graduate • Evaluate if the idea 1. Greeting the participants. students first and then, in a was good enough to 2. Brief introduction of the research and separate session, with 12 be developed as a its purpose. Marketing professors of the virtual reality 3. Presentation of the storyboard and University of Costa Rica. prototype. explanation. Participants were selected from 4. Fill in of the survey. these two populations due to 5. Thank the participants for their time. their expertise in IT and in Marketing. Table 2. Prototype evaluation structure. Participants Stimuli Procedure 81 Business • Evaluate the prototype’s The evaluation was conducted with three Administration graduate user experience and different groups in the same day (one in students as the potential usability. the morning, one in the afternoon and one final users. • Determine if potential users at night). think the prototype could 1. Greeting the participants. help improve a market 2. Brief introduction of the research and research process in its purpose. packaging label design. 3. Presentation of the storyboard and • Know if they would use the detailed explanation of the idea and prototype when executing a prototype interaction flow. market research of product 4. Packages´ designs were first presented packaging design. in paper to the participants, as in a traditional market research process. 5. Demo of the virtual reality prototype. 6. Fill in of the survey. 7. Thank the participants for their time. 4. General Idea and Prototype As mention in the methodology, to evaluate the proposed idea, a storyboard was used. Figure 1 shows the storyboard used in this research. 4.1. Storyboard 33 The storyboard shows a market research event in which, instead of using a real product, a virtual reality headset is used. The main goal of this is to provide more options of products and environments to improve the participants experience during the evaluation. The first step of the process is to gain knowledge of the type of supermarket that the participant visits. With this information the context is setup. Once in the virtual supermarket, the participant can navigate an aisle to find the product being evaluated and select it. Upon selection the system prompts the user to choose between different versions of the product. Each selection is shown in the aisle and the process can be repeated as necessary. Figure 1. Storyboard made to represent the idea and the future prototype interaction flow. 4.2. Virtual Reality Prototype To improve user experience the potential users were actively engaged in the design process since its early design stages [12]. Iterative prototyping was also used to observe and examine different product alternatives, with diverse levels of detail, and then compare them with the defined requirements [14]. 34 The main technology used in the development was Unreal Engine Platform. VR requires complex scenes rendered at very high framerates. With Unreal you can build content on all VR platforms - from PC to console to mobile [15]. The Blueprints Visual Scripting was used to develop the prototype´s functionality. It is a complete gameplay scripting system based on the concept of using a node-based interface to create gameplay elements from within Unreal Editor [16]. It is used to define object-oriented (OO) classes or objects in the engine. To create the supermarket environment, assets from Unreal Engine Platform were used. Also, the packages designs were created using Adobe Photoshop and later imported to Unreal Engine. The prototype´s application was deployed in Android and the headset used was Google Daydream. It was necessary to create 4 different label designs that are shown in Figure 2. The main differences between the label designs are the background color and the activity the character is performing. The different scenarios covered in the storyboard like selecting new designs and simulating a supermarket interface were created in the application as shown in Figure 3. Figure 2. Label designs options to select in the prototype. Figure 3. Prototype´s interface: The images at the top show how the label design selection looks like, also the images at the bottom show the supermarket environment. 5. Evaluation 35 The first evaluation conducted was on the idea. This evaluation was executed with 47 participants from marketing and computer science. The idea was presented through a Storyboard. The prototype evaluation was conducted with 81 marketing experts. Both evaluations were qualitative and used surveys. 5.1. Idea Evaluation In the survey, ten characteristics of the proposed idea were evaluated: innovation, easiness to use, originality, exactingness, creativity, efficiency, attractiveness, value-added, clearness and if it meets their expectations. All of these characteristics were measured using 7 points semantic differentials. Participants were also asked to mention three words that describe the idea of the prototype and if they would be interested in participating in market research using a prototype like this. A general comments section was also available. The survey participants distribution is explained in Table 3. Results from both areas were separated to compare both opinions. In the survey, each participant had to provide three words to describe the idea. The corresponding word clouds are presented in Figure 4: (a) Computer Science students and (b) Marketing professors. Innovative, Interesting, Interactive and Useful were the most repeated words for both populations. Table 3. Distribution of Participants in the Idea Evaluation Type of Participant # Participants Average Age Standard Deviation Women Men Computer Science Students 35 25 6 17% 83% Marketing Professors 12 46 8 58% 42% Figure 4. Word cloud created with the characterization given by participants in the idea’s evaluation. (a) Computer Science Graduate Students word cloud; (b) Marketing professors word cloud. (www.nubedepalabras.es was the tool used to generate the word clouds) Furthermore, ten characteristics of the proposed idea were evaluated, and the results are summarized in Figure 5. Results between Computer Science graduate students and Marketing professors were different mostly in terms of excitingness, creativeness, efficiency and value. Furthermore, the standard deviation indicates a downward trend. General comments received from the participants are shown in Table 4. 36 Table 4. Summary of participant comments Type of participant Comments ● Striking and interesting interface. Computer science ● Analyze target audience, how attractive it would be for adults over 35 years old, students difficult for people without technological skills. ● It is a good idea to obtain information in a more creative way. ● It would be interesting to see what are the key elements that determined the Marketing decision. professors ● It is quite interactive and adaptable, which makes it a good proposal. At the end, 100% of the marketing professors were interested in participating in a market research using this prototype and 80% of the computer science students were interested as well. As the idea evaluation results were a success, a real VR prototype was developed. 5.2. Prototype Evaluation To evaluate the prototype’s usability and user experience the AttrakDiff questionnaire was used. AttrakDiff is an instrument for measuring the attractiveness of an interactive product. Users can indicate how they experience the product using pairs of opposite adjectives [17]. This instrument was selected because it is applicable once prototype or system is available, enabling the user to interact and experience the product [18]. In Figure 6 is shown the participants testing the prototype. The age range was 20-40 years, and the gender distribution were 55% women (45 participants) and 45% men (36 participants). 37 Figure 5. Storyboard Evaluation Results Figure 6. Prototype evaluation. AttrakDiff evaluations distinguish between pragmatic quality (PQ) and hedonic quality (HQ). Pragmatic factors are, for example, usefulness and usability. Hedonic factors include emotional needs, such 38 as curiosity and identification. The resulting attractiveness is based on the combination of pragmatic and hedonic factors [17]. Figure 7.a shows the overall results of the evaluation. The confidence rectangle shows that according to user consensus, the hedonic quality almost equal to the pragmatic quality. Furthermore, the confidence rectangle is small, showing little variability among participants. The solution cannot be clearly classified as desirable. However, since this paper present a prototype, we believe that the full product will achieve this state. The diagram of average values of the AttrakDiff dimensions for the Virtual Reality prototype are plotted in Figure 7.b. The diagram distributes the mean values assigned by the participants in the dimensions Pragmatic Quality (PQ), Hedonic Quality - Identity (HQ-I), Hedonic Quality - Stimulation (HQ-S) and Attractiveness (ATT). The Pragmatic Quality (PQ) indicates the degree of success in achieving the objectives. Figure 7.b shows a score of 1.00 in the user experience, indicating that in general, the result is positive but could improve. On the other hand, Hedonic Quality - Identity (HQ-I) indicates the level of identification of the user with the prototype and obtained a score of 1.16, which is considered acceptable. The Hedonic Quality - Stimulus (HQ-S), which measures whether the experience is original, interesting and stimulating, obtained a score of 1.76, the second highest. Attractiveness (ATT), which indicates how attractive the product is to the user, scored 1.94, the highest classification among the categories. The results shown in Figure 7.b demonstrate that the prototype is attractive and provides an overall stimulant experience to users. However, the pragmatism of the prototype could be improved. (a) (b) Figure 7. AttrakDiff General Result. (a) Portfolio of results; (b) Diagram of average values The mean values of the word pairs are presented in Figure 8. Extreme values show which characteristics are critical or are well-resolved. Regarding the prototype´s user experience, Figure 8 shows that the overall results are good or excellent. Only three dimensions show a possible problem (i.e., “technical – human”, “unpredictable- predictable” and “separates me-brings me closer”). Two of these results were expected. The technicality of the prototype is clear as it introduces technology in a traditionally human field. This also explains that participants believe that the prototype separates them from people. 39 The unexpected result was the unpredictability of the prototype. However, this could be explained due to the evaluation with participants that are unfamiliar to this type of technologies and are used to a particular way of conducting packaging evaluations. Table 5 shows a summary of the highlighted participant comments. Figure 8. AttrakDiff Individual Results for each dimension Unquestionably, 100% of the participants agreed that the prototype could help to improve a market study of product packaging design. In addition, 99% of the participants said that they would use the prototype when executing a market research of product packaging design. 40 Table 5. Summary of participant comments Main idea Comments ● Traditional market research studies are often tedious and may have a high margin of error. Comparison with traditional ● It would take less time to execute the market research. market research ● Reduce costs in the implementation of focus groups or product tests (in general the market researches are very expensive). ● It could revolutionize market research in products and services. ● Concentrate efforts on comparing and choosing, rather than imagining a wrong design. ● I can really see how my product will stand out with the competition. Prototype’s strengths ● Create anticipated experiences about a real product, so it allows collecting reactions and feedback before launch. ● Adaptable ● Amazing ● Include audio system to improve the experience and make it more real. ● More realistic supermarket image integration. Prototype’s improvement ● People who wear glasses presented difficulties to interact with the opportunities prototype ● Include sensors to measure emotions 6. Discussion and Conclusions The main goal of this paper was to design and validate a prototype based on virtual reality, to prove if it is feasible to improve the quality of data collected in a label design process. A storyboard was made to evaluate the idea and a survey based on AttrakDiff was used to evaluate prototype’s user experience and usability. Additionally, questions regarding if the prototype will improve the results of focus group were made. At the end, 128 persons participated in the investigation. Based on the results from the storyboard’s evaluation, we can certainly conclude that the idea of using a non-traditional interface in label design market research has a lot of potential. The results between Computer Science students and Marketing professors were different in characteristics like excitingness, creativeness and efficiency. One of the reasons is because computer science students are used to work with emerging technologies, but also tend to have a more concrete thought, and therefore, they probably didn’t see the potential beyond the storyboard flow. In contrast, Marketing professors could imagine the impact and different uses the prototypes may have in a market research, more than just the flow presented. But both populations agreed that the idea is very innovative and useful. Besides the product being analyzed, this proposal can be suitable for almost every product, selling toys for kids could be an interesting experiment, to measure their behavior and decisions in a very interactive way. Additionally, the prototype’s survey results show that the prototype obtained very good rates in pragmatic and hedonic quality. It can be concluded that the prototype’s user experience and usability was quite positive. In a nutshell, participants mentioned that traditional market research are often tedious and may have a high margin of error. Also, that integrating this prototype will reduce costs of implementation in focus groups or product tests which are normally very expensive. Furthermore, they affirmed that the prototype will provide a whole context of the product’s environment which possibly enriches the final decision. Most of the participants said that this could revolutionize market research in products and services. Besides, instead of trying to imagine a wrong design, potential customers could concentrate efforts on comparing and choosing right designs. Comments 41 like “I can really see how my product will stand out with the competition” was one of the most relevant. The participants said that creating anticipated experiences about a real product, allows collecting reactions and feedback before launch, which will add a lot of value in market research. Considering this is the prototype’s first iteration, the results were very satisfactory overall, but a lot of future work can be done after this research. To include sensors, audio and simulate more realistic images are just three of the opportunity areas mentioned by the participants. Also it would be interesting to test the prototype with elderly people who have never used VR before. As mentioned in the results, 100% of the participants agreed that this prototype will improve the results of label design research in terms of quality of the data collected, which answered the research question that is if it is possible to improve how market research information is collected using non- traditional interfaces. Traditional market research methods like focus groups are good but talking to people in a room is different from understanding how they might behave if they are actually surrounded by the right stimulus. In this case, the right stimulus can be achieved through VR [19]. Author Contributions: Conceptualization, A.B., G.L. and G.M.; Methodology, A.B.; Software, A.B.; Validation, A.B., G.L. and G.M..; Formal Analysis, A.B.; Investigation, A.B.; Resources, A.B., G.L. and G.M...; Data Curation, A.B.; Writing-Original Draft Preparation, A.B.; Writing-Review & Editing, G.M. and G.L..; Visualization, A.B.; Supervision, G.M. and G.L..; Project Administration, A.B.. Acknowledgments: Special thanks to Alejandra López, MBA., for her valuable advice, and to all the participants in this research. Conflicts of Interest: The authors declare no conflict of interest. References 1. P. Hague, M. Harrison, J. Cupman and O. Truman, Market research in practice; Kogan Page, London, UK, 2016; pp 3-1. 2. M. Hamersveld and C. Bont, Market research handbook, 5th ed; J. Wiley & Sons, Chichester, West Sussex, UK, 2008; pp. 381-401. 3. Mansell, I., Bennett, G., Northway, R., Mead, D., & Moseley, L. The learning curve: the advantages and disadvantages in the use of focus groups as a method of data collection. Nurse Researcher, 2004, 11(4), 79- 88. Available online: https://journals.rcni.com/nurse-researcher/the-learning-curve-the-advantages-and- disadvantages-in-the-use-of-focus-groups-as-a-method-of-data-collection- nr2004.07.11.4.79.c6217 (accessed on 10 03 2019). 4. Breen, R. A Practical Guide to Focus-Group Research. Journal of Geography in Higher Education, 30(3), UK, 2006, pp.463-475. 5. McDaniel, C. and Gates, R.. Marketing research. 9th ed. John Wiley & Sons, USA, 2012, Inc, pp.130-132. 6. Sethna, Z., & Blythe, J. (2016). Consumer behaviour, 3rd ed; SAGE Publications, London, UK, 2016; pp 426- 427. 7. Brenes A, Non-Traditional Interfaces used in Market Research: A Literature Review, JOCICI Available online https://revistas.tec.ac.cr/index.php/memorias/article/view/4521/4092 (accessed on 25 09 2019). 8. Suzuki K., Nishiuchi N., Park M.K. Modeling of Purchasing Behavior for Application on Merchandise Display and Package Design. In HCI International 2011, Orlando, FL, USA, July 9-14, 2011; Springer, Berlin, Heidelberg, 2011. 9. Ahmed, Rizwan & Parmar, Vishnu & Ahmed Amin, Muhammad. Impact of Product packaging on consumer’s buying behavior. European Journal of Scientific Research 2014. 122(2), 125-134. Available online: https://www.researchgate.net/publication/263652021_IMPACT_OF_PRODUCT_PACKAGING_ON_CONS UMER'S_BUYING_BEHAVIOR (accessed on 09 03 2019). 10. Van Kerrebroeck, H., Brengman, M., & Willems, K. When brands come to life: experimental research on the vividness effect of Virtual Reality in transformational marketing communications. Virtual Reality, 21(4); Springer-Verlag London, UK,2017. pp 177-191. 42 11. Affdex for Market Research. Available Online: http://www.affectiva.com/product/affdex-for-market- research (accessed on 17 03 2019). 12. Ayanoğlu H., Rebelo F., Duarte E., Noriega P., Teixeira L. Using Virtual Reality to Examine Hazard Perception in Package Design. In Design, User Experience, and Usability. User Experience in Novel Technological Environments. Las Vegas, NV, USA, July 15–20, 2018, Marcus A. (eds). Springer, Berlin, Heidelberg, 2018. 13. Vaishnavi, V. and Kuechler, W. Design science research methods and patterns. 2nd ed. CRC Press. Boca Raton, FL, 2015. 14. Truong, K., Hayes, G., & Abowd. G. Storyboarding: an empirical determination of best practices and effective guidelines. In Proceedings of the 6th Conference on Designing Interactive Systems, University Park, PA, USA, June 26 - 28, 2006; ACM, NY, USA, 2006. 15. Unreal Engine. Available Online:https://www.unrealengine.com/en-US/ (accessed on 17 04 2019). 16. Blueprints Visual Scripting. Available Online: https://docs.unrealengine.com/en- US/Engine/Blueprints/index.html (accessed on 23 09 2019). 17. AttrakDiff. Available Online:http://www.attrakdiff.de/ (accessed on 17 04 2019). 18. Bogdan, C., Gulliksen, J., Sauer, S., Forbrig, P., Winckler, M., Johnson, C., Palanque, P., Bernhaupt, R., Kis, F. (Eds.). Human-Centered and Error-Resilient Systems Development In 6th International Conference on Human-Centered Software Engineering, Stockholm, Sweden, in August 2016; Springer. 19. How Virtual Reality Will Change Market Research | InterQ Research. Available online: http://interq- research.com/how-virtual-reality-will-change-market-research/. (accessed on 12 05 2019). © 2019 by the authors. Submitted for possible open access publication under the terms and conditions of the Creative Commons Attribution (CC BY) license (http://creativecommons.org/licenses/by/4.0/). 43 Anexo 3. Cuestionario utilizado para la evaluación del storyboard 44 Posgrado en Computación e Informática, UCR. Encuesta para el trabajo final de investigación aplicada de la Maestría Profesional en Computación e Informática: DISEÑO DE UN PROTOTIPO DE REALIDAD VIRTUAL PARA MEJORAR EL PROCESO DE ESTUDIO DE MERCADO DE DISEÑO DE EMPAQUES DE PRODUCTOS. Estudiante: Ana Ligia Brenes Vindas. Por favor dé su opinión. Con el fin de evaluar la idea representada por medio del storyboard, por favor, complete el siguiente cuestionario. Se compone de pares opuestos de las propiedades que puede tener el prototipo. Las gradaciones entre los opuestos están representados por círculos. Ejemplo: Con esta evaluación, el usuario piensa que el prototipo es más atractivo que feo. Debe decidir de la manera más espontánea posible. Por favor, seleccione siempre una respuesta, incluso si no está seguro con alguna propiedad o siente que no va de acorde al prototipo. No hay "correcto" o "incorrecto" como respuesta. Su opinión personal es lo que cuenta! Edad: _____ años. Sexo: ( ) Femenino ( ) Masculino 1 2 3 4 5 6 7 conservador O O O O O O O innovador fácil de aprender O O O O O O O difícil de aprender 45 original O O O O O O O convencional aburrido O O O O O O O emocionante creativo O O O O O O O sin imaginación ineficiente O O O O O O O eficiente ordenado O O O O O O O sobrecargado atractivo O O O O O O O feo valioso O O O O O O O de poco valor cubre expectativas O O O O O O O no cubre expectativas confuso O O O O O O O claro Mencione tres palabras que describan la idea del prototipo: 1. _____________________________ 2. _____________________________ 3. _____________________________ Le parecería interesante participar en un estudio de mercado utilizando un prototipo como este? ____________________________________________________________________________ ____________________________________________________________________________ ____________________________________________________________________________ Comentarios adicionales ____________________________________________________________________________ ____________________________________________________________________________ 46 Anexo 4. Cuestionario utilizado para la evaluación del prototipo 47 Posgrado en Computación e Informática, UCR. Encuesta para el trabajo final de investigación aplicada de la Maestría Profesional en Computación e Informática: DISEÑO DE UN PROTOTIPO DE REALIDAD VIRTUAL PARA MEJORAR EL PROCESO DE ESTUDIO DE MERCADO DE DISEÑO DE EMPAQUES DE PRODUCTOS. Estudiante: Ana Ligia Brenes Vindas. Por favor dé su opinión. Lea atentamente las siguientes instrucciones. Con su ayuda, nos gustaría examinar cómo los usuarios perciben la usabilidad y la estética del prototipo de realidad virtual. Esperamos identificar áreas que nos permitirá optimizar el prototipo de tal manera que sea lo más eficiente y comprensible posible. La encuesta se compone de pares de palabras opuestos. Por ejemplo: Agradable - Pleasant X Unpleasant - Desagradable Esta calificación indica que el producto es bastante agradable, pero tiene margen de mejora. Debe decidir de la manera más espontánea posible. Por favor, seleccione siempre una respuesta, incluso si no está seguro con alguna propiedad o siente que no va de acorde al prototipo. No hay "correcto" o "incorrecto" como respuesta. Su opinión personal es lo que cuenta! Evaluación del prototipo Con la ayuda de los pares de palabras, marque la que considere más adecuada. Edad: _____ años. Género: ( ) Femenino ( ) Masculino Carrera que cursa: _____________________________. Humano - Human Technical - Técnico 48 Aisla - Isolating Connective - Conecta Agradable - Pleasant Unpleasant - Desagradable Original - Inventive Conventional - Convencional Sencillo - Simple Complicated -Complicado Profesional - Professional Unprofessional - Poco Profesional Feo - Ugly Attractive - Atractivo Práctico - Practical Impractical - Poco práctico Amigable - Likeable Disagreeable - Poco amigable Díficil de usar Cumbersome Straightforward - Fácil de usar Con estilo - Stylish Tacky - Ordinario Predecible - Predictable Unpredictable -Impredecible Básico - Cheap Premium - Exclusivo Separa - Alienating Integrating -Une Me acerca a las personas - Brings Separates me from people - Me separa me closer to people de las personas Poco presentable Unpresentable Presentable - Presentable Rechaza - Rejecting Inviting -Atrae Sin imaginación Unimaginative Creative - Creativo Bueno - Good Bad - Malo Confuso - Confusing Clearly Structured - Estructurado Repele - Repelling Appealing - Seduce Atrevido - Bold Cautions - Prudente Innovador - Innovative Conservative - Conservador Aburrido - Dull Captivating -Divertido Poco exigente -Undemanding Challenging -Retador Motiva Motivating Discouraging -Desalienta Extraordinario - Novel Ordinary -Corriente Descontrolado -Unruly Manageable - Controlado 49 1. Le parece que el prototipo podría ayudar a mejorar un estudio de mercado? ( ) Sí ( ) No ( ) No sé 2. Consideraría útil utilizar el prototipo en un estudio de mercado? ( ) Sí ( ) No ( ) No sé 3. Utilizaría usted el prototipo al ejecutar un estudio de mercado? ( ) Sí ( ) No ( ) No sé Si desea brindar su opinión complete las fortalezas y oportunidad de mejora del prototipo, si no tiene ningún comentario adicional puede terminar la evaluación aquí. Fortalezas del prototipo: ________________________________________________________________________ ________________________________________________________________________ ________________________________________________________________________ Oportunidad de mejora del prototipo: ________________________________________________________________________ ________________________________________________________________________ ________________________________________________________________________ Muchas gracias por su colaboración 50