Universidad de Oviedo Departamento de Informtica TESIS DOCTORAL

Universidad de Oviedo Departamento de Informática TESIS DOCTORAL Sistema de Evaluación de la Usabilidad Web orientado al Usuario y basado en la determinación de Tareas Críticas M. del Carmen Suárez Torrente Director: Dr. Juan Manuel Cueva Lovelle Directora: Dra. Ana Belén Martínez Prieto Febrero, 2011

Contenido • • Introducción Objetivos Estudio de la situación actual Sistema de evaluación SIRIUS Validación del sistema Herramienta de soporte Conclusiones Líneas futuras de investigación Febrero, 2011 Universidad de Oviedo Departamento de Informática

Contenido Universidad de Oviedo Departamento de Informática § Introducción § § § § • Contexto de la tesis • Problemática en la evaluación de la usabilidad Objetivos Estudio de la situación actual Sistema de evaluación SIRIUS Validación del sistema Herramienta de soporte Conclusiones Líneas futuras de investigación Febrero, 2011

Contexto Universidad de Oviedo Departamento de Informática Inicio>>Introducción>>Contexto de la tesis § La web juega un papel muy importante en la sociedad proporcionando acceso ilimitado a la información y modificando los hábitos de comportamiento respecto al ocio, consumo y trabajo, entre otros. § La usabilidad se considera el aspecto de calidad de mayor relevancia en las aplicaciones web, además de un factor determinante para el éxito o fracaso de un sitio web. § El bajo nivel de usabilidad que ofrecen muchos de los sitios web es la causa de: § § La pérdida de tiempo, desmotivación y frustración del usuario en su proceso de navegación por la red. Numerosos fracasos de sitios web a los que se había dedicado una importante inversión económica. Febrero, 2011

Problemática Universidad de Oviedo Departamento de Informática Inicio>>Introducción>>Problemática en la evaluación de la usabilidad § Para garantizar la usabilidad de un sitio web, se hace necesario incorporar al proceso de desarrollo un método que permita la evaluación de la misma. § La evaluación de la usabilidad se considera, por tanto, una de las tareas más importantes que debe emprenderse cuando se desarrolla una interfaz de usuario. § El organismo de referencia en estándares para el desarrollo web, el W 3 C, no se ha pronunciado en aspectos relativos a la usabilidad. § Existe una gran proliferación de métodos para la evaluación de la usabilidad: los desarrolladores no tienen un modelo claro a seguir. Febrero, 2011

Problemática Universidad de Oviedo Departamento de Informática Inicio>>Introducción>>Problemática en la evaluación de la usabilidad § El método más utilizado es la evaluación heurística : evaluadores expertos examinan una interfaz para juzgar el grado de cumplimento de reconocidos principios de usabilidad (heurísticas). § Problemas: • • Gran cantidad de heurísticas documentadas Poca uniformidad en su enunciado Escasa coherencia entre ellas Contradictorias Febrero, 2011 Trabajo de uniformidad y reescritura de pautas de evaluación

Contenido Universidad de Oviedo Departamento de Informática § Introducción § Objetivos § § § • Generales • Específicos • Marco global de evaluación Estudio de la situación actual Sistema de evaluación SIRIUS Validación del sistema Herramienta de soporte Conclusiones Líneas futuras de investigación Febrero, 2011

Objetivos Universidad de Oviedo Departamento de Informática Inicio>>Objetivos>>Generales § Un sistema de evaluación de la usabilidad web: • Basado en la revisión de heurísticas. • Aplicable a cualquier tipo de sitio web. • Que proporcione un valor porcentual del nivel de usabilidad del sitio. • Cuyos resultados dependan del tipo de sitio en evaluación. • Permita inferir los elementos a subsanar en el sitio atendiendo a su prioridad en el arreglo. • Proporcione el resultado de la evaluación en formato estándar. • Aplicable en cualquier fase del ciclo de vida. • Fácilmente escalable. Febrero, 2011

Objetivos Universidad de Oviedo Departamento de Informática Inicio>>Objetivos>> Específicos § Especificación de heurísticas y subheurísticas a considerar en la evaluación. § Clasificación de sitios web para ajustar el resultado de la evaluación. § Identificación de perfiles y tareas relevantes. § Formulación de una métrica para cuantificar el nivel de usabilidad. § Validación del sistema de evaluación propuesto. § Formalización del conocimiento mediante una ontología. § Diseño y desarrollo de una herramienta que dé soporte al sistema de evaluación. Febrero, 2011

Marco global Universidad de Oviedo Departamento de Informática Inicio>>Objetivos>> Marco global de evaluación Febrero, 2011

Contenido Universidad de Oviedo Departamento de Informática § § Introducción Objetivos § Estudio de la situación actual § § § • Evaluación de la usabilidad • Clasificación de sitios web • Ontologías Sistema de evaluación SIRIUS Validación del sistema Herramienta de soporte Conclusiones Líneas futuras de investigación Febrero, 2011

Usabilidad Universidad de Oviedo Departamento de Informática Inicio>>Estudio de la situación actual>>Evaluación de la usabilidad>>Concepto de Usabilidad "La facilidad de uso y la aceptabilidad de un sistema o producto para una clase particular de usuarios que llevan a cabo tareas específicas en un entorno específico“ “Parte de la utilidad del sistema, la cual es parte de la aceptabilidad práctica y, finalmente, parte de la aceptabilidad del sistema” Jacob Nielsen (1993) Niegel Bevan (1991) Usabilidad “La usabilidad realmente significa estar seguro de que algo funciona bien: que una persona con habilidades promedio, e incluso “El desarrollo de sistemas fáciles de usar y de por debajo del promedio, pueda utilizar una aprender“ cosa, ya sea un sitio web, un jet de combate, Jenny Preece (1994) o una puerta rotatoria, para su fin sin terminar enormemente frustrado“ Steve Krug (2000) Febrero, 2011

Usabilidad Universidad de Oviedo Departamento de Informática Inicio>> Estudio de la situación actual >>Evaluación de la usabilidad>>Concepto de Usabilidad "La usabilidad se refiere a la capacidad de un software de ser comprendido, aprendido, usado y atractivo para el usuario, en condiciones específicas de uso“ “El grado de eficacia, eficiencia y satisfacción con la que usuarios específicos pueden lograr objetivos específicos, en contextos de uso específicos” ISO/IEC 9126 (1991) ISO/DIS 9241 (1993) Usabilidad Se presentan los métodos de evaluación tales como observación, cuestionarios, Se detallan los principios para el diseño de entrevistas, técnicas de diseño y evaluación sitios web usables centrándose en 5 áreas: participativa o métodos formales, que diseño de alto nivel, diseño del contenido, implican directamente a los usuarios finales. navegación y búsqueda, presentación del No se especifican los detalles de cómo contenido y diseño general. implementar o realizar los métodos de ISO/TR 9241 -151 (2008) usabilidad descritos ISO/TR 16982 (2002) Febrero, 2011

Evaluación Universidad de Oviedo Departamento de Informática Inicio>>Estudio de la situación actual >>Evaluación de la usabilidad Principios y recomendaciones Métodos de evaluación: Métodos de inspección Damodaran y Simpson Evaluación heurística Schneiderman Inspección de características Preece Inspección de consistencia Constantine Inspección de estándares Instone … Seguimiento pluralista Febrero, 2011 Scheiderman Nielsen y Molich Tognazinni

Evaluación Universidad de Oviedo Departamento de Informática Inicio>>Estudio de la situación actual>>Evaluación de la usabilidad>>Evaluación heurística Olsina Hassan Pierotti Perallos González • Calidad • 27 subheurísticas agrupadas en 4 heurísticas • Métrica de evaluación de Calidad • No considera el tipo de sitio en evaluación • Usabilidad • 70 subheurísticas agrupadas en 11 heurísticas • No proporciona métrica • No considera el tipo de sitio en evaluación • Usabilidad • 296 subheurísticas agrupadas en 13 heurísticas • No proporciona métrica • No considera el tipo de sitio en evaluación • Calidad • 50 subheurísticas agrupadas en 8 heurísticas • No proporciona métrica • Considera el tipo de sitio en evaluación • Usabilidad • 66 subheurísticas agrupadas en 4 heurísticas • Métrica de evaluación de usabilidad • No considera el tipo de sitio en evaluación Uniformidad en el estilo del sitio ¿Existen elementos de navegación que orienten al usuario acerca de dónde está y cómo deshacer su navegación? Have industry or company formatting standards been followed consistently in all screens within a system? En todo momento se tiene que saber dónde se está ¿Existen elementos que permitan al usuario saber exactamente dónde se encuentra dentro del sitio y cómo volver atrás? Febrero, 2011

Evaluación Universidad de Oviedo Departamento de Informática Inicio>>Estudio de la situación actual >>Evaluación de la usabilidad>>Evaluación heurística Autor/es Shneiderman Niels en y Molich Constantine I nstone Tog nazzini Olsina Hassan y Fernández P ierotti González P erallos Items evaluables O O O P P P Métrica asociada Evaluación adaptada al tipo de sitio web O O O P O O O P No se ha propuesto ningún un sistema de evaluación de la usabilidad basado en la revisión de heurísticas que proporcione un valor cuantitativo ajustado al tipo de sitio en evaluación. Febrero, 2011

Clasificación de Sitios Universidad de Oviedo Departamento de Informática Inicio>>Estudio de la situación actual>>Clasificación de sitios web Complejidad de desarrollo Acciones del usuario Funcionalidad proporcionada § § § § Informativos Interactivos Transaccionales Sistemas de workflow Entornos colaborativos Comunidades en línea Portales web Servicios web Despande § § § § Grado de complejidad y evolución Grado de complejidad y orientación Sitio de comunidad Sitio de noticias Sitio de turismo Sitio de Comercio electrónico E-Learning Buscador Banco Weblog Perallos § § § § § Sitios de comercio electrónico Sitios de educación a distancia Sitios de empresas comerciales Sitios de gerencia electrónica Sitios institucionales Sitios de medios de comunicación Sitios personales Sitios de proveedores de contenidos y servicios Sitios de redes sociales Sitios de servicios en general Coutín No se ha encontrado una clasificación de consenso que recoja la gran variedad de sitios web existentes en la actualidad. Febrero, 2011

Ontologías Universidad de Oviedo Departamento de Informática Inicio>>Estudio de la situación actual>>Ontologías § En el momento actual la web evoluciona hacia la denominada Web Semántica § En este contexto, las ontologías juegan un papel primordial definiendo formalmente conceptos y relaciones, ofreciendo una definición común que pueda ser utilizada por diversas aplicaciones. § Dado que uno de los objetivos de las ontologías es la reutilización del conocimiento, se plantea reutilizar alguna ontología existente Febrero, 2011

Ontologías Universidad de Oviedo Departamento de Informática Inicio>>Estudio de la situación actual>>Ontologías § Se ha revisado ontologías existentes relativas a la usabilidad (18), destacando dos de ellas: Pese al creciente interés investigador en el área de las ontologías, se constata una limitada publicación de ontologías relativas al área de la evaluación. Febrero, 2011

Conclusión Universidad de Oviedo Departamento de Informática Inicio>>Estudio de la situación actual>>Conclusión § Tras el estudio de la situación actual se concluye que es necesario: • Desarrollar un sistema de evaluación que trate de solventar las carencias detectadas. • Elaborar una clasificación de sitios web atendiendo al criterio de funcionalidad. • Formalizar el conocimiento relativo al sistema de evaluación en una ontología. Febrero, 2011

Contenido Universidad de Oviedo Departamento de Informática § § § Introducción Objetivos Estudio de la situación actual § Sistema de evaluación SIRIUS • • § § Marco específico de evaluación Establecimiento de los tipos de sitios web Determinación de tareas críticas y niveles de audiencia Establecimiento de Aspectos y Criterios Valoración y Ponderación Establecimiento de la métrica de evaluación Esquema global de funcionamiento de SIRIUS Validación del sistema Herramienta de soporte Conclusiones Líneas futuras de investigación Febrero, 2011

Marco de evaluación Inicio>>Sistema de evaluación SIRIUS>>Marco específico de evaluación Febrero, 2011 Universidad de Oviedo Departamento de Informática

Marco de evaluación Universidad de Oviedo Departamento de Informática Inicio>>Sistema de evaluación SIRIUS>>Marco específico de evaluación Se trata de desarrollar un sistema de evaluación de la usabilidad web basado en la revisión de heurísticas, que proporcione un valor cuantitativo del nivel de usabilidad alcanzado en el sitio web y cuyo resultado sea dependiente del tipo de sitio en evaluación. Conjunto de pautas a Medida cuantitativa del considerar en desarrollo y nivel de usabilidad en Sistema de evaluación función del tipo de sitio Evaluación SIRIUS Relación priorizada de pautas tras evaluación Resultados de evaluación en el formato estándar proporcionado por el W 3 C Febrero, 2011

Tipos de Sitios Universidad de Oviedo Departamento de Informática Inicio>>Sistema de evaluación SIRIUS>>Establecimiento de los tipos de sitios web Tipos de Sitios Web Administración Pública / Institucional Banca electrónica Blog Comercio electrónico Comunicación / Noticias -Administración ||||||||| -Banca electrónica |||||||| -Meteorología | -Buscar pareja ||| -Comercio electrónico |||||||| -Coches || -Descargas ||||||| Corporativo / Empresa Descargas Educativo / Formativo Entornos colaborativos / Wikis Foros / Chat Ocio / Entretenimiento Personal Portal de Servicios interactivos basados en imágenes Servicios interactivos no basados en imágenes Webmail / Correo + Híbrido Febrero, 2011

Tareas y Audiencia Universidad de Oviedo Departamento de Informática Inicio>>Sistema de evaluación SIRIUS>>Determinación de Tareas críticas y Niveles de audiencia C O M U N IC A C IÓ N üConsultar las últimas noticias üBuscar noticias üLeer una noticia üComentar una noticia üConsultar la hemeroteca 16 -2 3 24 -6 0 >6 0 COME 24 -60 >60 BA NC A- E de cuentas o d ta es el d a lt 24 -6 0 su n üCo s ta en cu e tr üTransferencias en (inversión, >6 0 caria üInformación ban pensiones, etc) evos servicios üSuscripción a nu plazo fijo. . . ) (planes pensiones, Febrero, 2011 RCIO- E ü V e r c a tá lo g o d e a r tí c u lo s ü V e r d e ta ll e s de un a r tí c u lo ü V e r e s ta d o d e l p e d id o üBuscar un a r tí c u lo d e te r m in a d o ü A d q u ir ir a r tí c u lo s c o n s e g u r id a d e n la tr a n s a c c ió n

Aspectos y Criterios Universidad de Oviedo Departamento de Informática Inicio>>Sistema de evaluación SIRIUS>>Establecimiento de Aspectos y Criterios Heurísticas /Subheurísticas de diversos autores Reunificación y reescritura Experimentación Incorporación de nuevas pautas 10 Aspectos y 83 Criterios Se establece una única relación de elementos a evaluar denominados criterios (subheurísticas), agrupados en aspectos (heurísticas) Febrero, 2011

Aspectos Inicio>>Sistema de evaluación SIRIUS>>Establecimiento de Aspectos y Criterios>>Aspectos generales Universidad de Oviedo Departamento de Informática 10 aspectos • Objetivos del sitio, el look & feel, coherencia y nivel de actualización de contenidos. Identidad e Información • Identidad del sitio, información proporcionada sobre el proveedor y autoría de los contenidos. Estructura y Navegación • Idoneidad de la arquitectura de la información y la navegación del sitio. Rotulado • Significación, corrección y familiaridad del rotulado de los contenidos. Layout de la página • Distribución y aspecto de los elementos de navegación e información en la interfaz. Entendibilidad y facilidad en la interacción • Adecuación y calidad de los contenidos textuales, iconos y controles de la interfaz. Control y retroalimentación • Libertad del usuario en la navegación y la información proporcionada al mismo en el proceso de interacción con el sitio. Elementos multimedia • Grado de adecuación de los contenidos multimedia al sitio web. Búsqueda Ayuda • Buscador implementado en el sitio web. • Ayuda ofrecida al usuario durante la navegación por el sitio. Febrero, 2011

Criterios Universidad de Oviedo Departamento de Informática Inicio>>Sistema de evaluación SIRIUS>>Establecimiento de Aspectos y Criterios>>Criterios Aspectos Generales AG 1. Objetivos del sitio web concretos y bien definidos Identidad e Información II 1. Identidad o logotipo significativo, identificable y visible AG 2. Contenidos o servicios ofrecidos precisos y completos II 2. Identidad del AG 3. Estructura II 3. Eslogan o general del sitio web orientada al usuario … AG 10. Sitio web actualizado periódicamente sitio en todas las páginas tagline adecuado al objetivo del sitio … II 7. Se ofrece información sobre el autor, fuentes y fechas de creación Layout LA 1. Se aprovechan 83 criterios Elementos Multimedia BU 1. Si es las zonas de alta jerarquía informativa para contenidos de mayor relevancia EM 1. Fotografías LA 2. Se ha EM 2. Fotografías evitado la sobrecarga informativa bien recortadas comprensibles EM 3. Fotografías LA 3. Es una interfaz limpia, sin ruido visual … LA 10. Se ha evitado el texto parpadeante / deslizante Febrero, 2011 Búsqueda con correcta resolución … EM 6. El uso de sonido proporciona valor añadido necesaria, está accesible desde todas las páginas del sitio BU 2. Es fácilmente reconocible BU 3. Se encuentra fácilmente accesible … BU 8. Asiste al usuario en caso de no poder ofrecer resultados para una consulta …

Valores evaluación Universidad de Oviedo Departamento de Informática Inicio>>Sistema de evaluación SIRIUS>>Valoración y Ponderación>>Valores de evaluación § Una escala de 0 -10 puntos que indique el grado de conformidad del evaluador con el cumplimiento del criterio. AG 1: Objetivos del sitio web concretos y bien definidos § Un valor textual que indique no sólo si el criterio se cumple o no, si no en qué extensión del sitio web se detecta el problema en el caso de que el criterio no se cumpla. LA 9: El texto de la página se lee sin dificultad Febrero, 2011

Valores evaluación Inicio>>Sistema de evaluación SIRIUS>>Valoración y Ponderación>>Valores de evaluación Valor de evaluación 0. . 10 NTS NEP NPI S NA AG. 1 LA. 9 Definición Cómputo 0 0: No se cumple en absoluto 10: Se cumple totalmente No se cumple en todo el sitio No se cumple en los enlaces principales No se cumple en la página principal No se cumple en alguna página interior Se cumple el criterio Criterio no aplicable en el sitio 10 0 2, 5 5 7, 5 10 -1 Objetivos del sitio web concretos y bien definidos 0 1 2 3 4 5 6 7 8 9 10 NA El texto de la página se lee sin dificultad NTS Febrero, 2011 NEP NPI S NA Universidad de Oviedo Departamento de Informática

Ponderación Universidad de Oviedo Departamento de Informática Inicio>>Sistema de evaluación SIRIUS>>Valoración y Ponderación>>Ponderación Tipo de sitio: Banca-E Tipo de sitio: Comercio-E La baja calidad de las imágenes (aspecto Multimedia) tendría mayor relevancia en el sitio web de comercio electrónico Ante idénticos valores de evaluación, el sitio web de comercio electrónico debiera resultar con menor nivel de usabilidad Febrero, 2011

Relevancia Aspectos Universidad de Oviedo Departamento de Informática Inicio>>Sistema de evaluación SIRIUS>>Valoración y Ponderación>>Relevancia aspectos 160 valores de relevancia Administración Pública Comercio Electrónico Educativo/Formativo Aspectos generales Muy alta Identidad e Información Alta Muy alta Alta Estructura y Navegación Alta Muy alta Rotulado Alta Media Alta Layout de la página Muy alta Media Entendibilidad y facilidad en la interacción Muy alta Alta Muy alta Control y retroalimentación Media Muy alta Alta Elementos multimedia Baja Alta Media Búsqueda Muy alta Alta Muy alta Ayuda Media Alta Febrero, 2011 …

Relevancia Criterios Universidad de Oviedo Departamento de Informática Inicio>>Sistema de evaluación SIRIUS>>Valoración y Ponderación>>Relevancia criterios Valor Definición Crítica El problema identificado es severo. El usuario no podrá completar la tarea y podría no desear seguir utilizando el sitio web. Mayor Es posible que el usuario complete la tarea pero tendrá mucha dificultad, frustración o incluso tendrá que ejecutar muchos pasos innecesarios. Podrá superarlo después de que se le haya mostrado cómo hacerlo. En la mayoría de casos, el usuario podrá completar la tarea, realizando un moderado esfuerzo para evitar el problema. Pueden necesitar investigar algunos enlaces para determinar que opción les permitirá completar la tarea propuesta. En navegaciones posteriores del sitio, los usuarios probablemente recordaran cómo ejecutar la tarea. El problema ocurre de manera intermitente y puede ser fácilmente superado, aunque es irritante para el usuario. Debido principalmente a problemas estéticos. Media Moderada Febrero, 2011

Relevancia Criterios Universidad de Oviedo Departamento de Informática Inicio>>Sistema de evaluación SIRIUS>>Valoración y Ponderación>>Relevancia de los criterios 1328 valores de relevancia Administración Pública Comercio Electrónico Ocio / Entretenimiento AG 6: Diseño general del sitio web coherente Crítica Mayor Media AG 8: Se da soporte a otro/s idioma/s Mayor Moderada Moderada RO 1: Rótulos significativos Mayor Moderada LA 2: Se ha evitado la sobrecarga informativa Media Moderada EF 1: Se emplea un lenguaje claro y conciso Crítica Mayor EM 2: Fotografías comprensibles Media Crítica Mayor BU 5: Sistema de búsqueda simple y claro Crítica Mayor Moderada II 5: Existen mecanismos de contacto EN 1: Se ha evitado pantalla de bienvenida AY 3: Se ofrece ayuda contextual en tareas complejas Febrero, 2011 …

Valores de relevancia Universidad de Oviedo Departamento de Informática Inicio>>Sistema de evaluación SIRIUS>>Valoración y Ponderación>>Valores de relevancia § El valor de relevancia de los criterios se introduce como un factor de ponderación en la métrica de evaluación de manera que el valor proporcionado por ésta dependa de la relevancia que tengan los criterios no cumplidos en el sitio en evaluación dependiendo del tipo de sitio web. Relevancia criterio Valor de relevancia Crítica Mayor Media Moderada 8 4 2 1 § El valor de relevancia de los aspectos se utilizará para elaborar la relación priorizada de criterios a subsanar en el sitio web evaluado en caso de empate entre criterios. Relevancia aspecto Valor de relevancia Muy alta Alta Media Baja 4 3 2 1 Febrero, 2011

Métrica Universidad de Oviedo Departamento de Informática Inicio>>Sistema de evaluación SIRIUS>>Establecimiento de la métrica de evaluación § nce: Número de criterios evaluados. Será como máximo 83, que son los que integran el sistema de evaluación. Se considera que alguno de los criterios pueda no ser aplicable al sitio en evaluación y, por lo tanto, no se evalúe. § vc: Valor de evaluación de un criterio (entre 0 y 10). § fc: Factor de corrección aplicado al criterio evaluado. El valor del factor de corrección de cada uno de los criterios evaluados se obtiene de la siguiente manera: § rc: Valor de relevancia que corresponde a un criterio Febrero, 2011

Esquema global Universidad de Oviedo Departamento de Informática Inicio>>Sistema de evaluación SIRIUS>>Esquema global de funcionamiento de SIRIUS Aspecto 1 Aspectos %Usb. Aspecto 2 Criterios …. . . Febrero, 2011

Contenido Universidad de Oviedo Departamento de Informática § § § Introducción Estado del arte Sistema de evaluación SIRIUS § Validación del sistema § § § • • Candidatos a Premios web • Empresas del índice Nasdaq • Aplicación de Sirius en desarrollo Candidatos a Peores sitios del 2010 Herramienta de soporte Conclusiones Líneas futuras de investigación Febrero, 2011

Validación Universidad de Oviedo Departamento de Informática Inicio>>Validación § “Muchas propuestas de métricas se enuncian sin ningún tipo de rigor ni orden. Consecuentemente, la aplicación de estas métricas propuestas es difícil y arriesgado y peligroso tomar decisiones en base a los valores obtenidos” (Calero y Piatini, 2005) § Se trata de validar la métrica propuesta en base a los siguientes experimentos: • Evaluación de sitios web candidatos a premios web • Evaluación de sitios web considerados entre los peores del 2010 • Evaluación de los sitios web de empresas del índice Nasdaq • Aplicación de SIRIUS en desarrollo y evaluación Febrero, 2011

Premios web Universidad de Oviedo Departamento de Informática Inicio>>Validación>>Candidatos a Premios web Sitio Web Certamen Categoría felixrodriguezdelafuente. com Clasificación Valor SIRIUS Ganador 83, 73 Finalista 69, 88 Finalista 81, 83 Ganador 84, 46 Finalista 85, 84 Finalista 78, 43 Ganador 79, 75 Premios Internet 2010 Mejor Iniciativa Finalista 78, 07 infodisclm. com Finalista 77, 54 cartes. es Ganador 86, 13 Finalista 83, 45 Finalista 72, 08 Ganador 84, 18 Finalista 80, 08 Finalista 78, 40 portalparados. com Premios Internet 2010 Mejor Web sigojoven. com yokmok. com gowex. com Premios Internet 2010 Mejor Empresa chivasentada. com libredebarreras. es aytoburgos. es cdtuc. com Premios web Cantabria 2010 Mejor web Institucional parquedecabarceno. com www. guerrascantabras. net www. productorespasiegos. com www. avpsanroque. com Premios web Cantabria 2010 Mejor web Asociativa Febrero, 2011 Concordancia SIRIUS / Jurado TOTAL APROXIMADO TOTAL

Peores sitios 2010 Universidad de Oviedo Departamento de Informática Inicio>>Validación>>Candidatos a Peores sitios del 2010 Febrero, 2011 Sitio Web Valor de Sirius art. yale. edu 35, 80 www. joneschijoff. com 30, 24 www. siphawaii. com 49, 98 www. gotmilk. com 55, 77 www. indiana. edu/~ensiwe b 55, 94

Peores sitios 2010 Universidad de Oviedo Departamento de Informática Inicio>>Validación>>Candidatos a Peores sitios del 2010 Layout Criterio LA 1. Se aprovechan las zonas de alta jerarquía informativa de la página para contenidos de mayor relevancia LA 2. Se ha evitado la sobrecarga informativa LA 3. Es una interfaz limpia, sin ruido visual LA 4. Existen zonas en blanco entre los objetos informativos de la página para poder descansar la vista LA 5. Uso correcto del espacio visual de la página LA 6. Se utiliza correctamente la jerarquía visual para expresar las relaciones del tipo "parte de" entre los elementos de la página LA 7. Se ha controlado la longitud de página LA 8. La versión impresa de la página es correcta LA 9. El texto de la página se lee sin dificultad LA 10. Se ha evitado el texto parpadeante / Búsqueda Valoración 0 0 0 Criterio BU 1. Si es necesaria, se encuentra accesible desde todas las páginas del sitio 10 BU 2. Es fácilmente reconocible como tal 5 BU 3. Se encuentra fácilmente accesible 8 BU 4. La caja de texto es lo suficientemente ancha 10 BU 5. Sistema de búsqueda simple y claro 10 BU 6. Permite la búsqueda avanzada BU 7. Muestra los resultados de la búsqueda de forma comprensible para el usuario BU 8. Asiste al usuario en caso de no poder ofrecer resultados para una consultada dada 0 0 0 10 Valoració n Febrero, 2011 0 10 5

Empresas Nasdaq Universidad de Oviedo Departamento de Informática Inicio>>Validación>>Empresas del índice Nasdaq § En el ámbito de las aplicaciones de comercio electrónico se establece que la usabilidad de sus sitios web influye de manera directa en las ventas de la empresa (Nielsen 2001, Black 2002, Bias 2005). § Se realizaron mediciones de usabilidad en los sitios web de una muestra significativa de empresas en dos años consecutivos para determinar el nivel de usabilidad alcanzado y cuantificar la variación en la misma en los dos años considerados. § Si se logra establecer esta relación entre usabilidad y ventas en base a las mediciones proporcionadas por Sirius, dado que esta hipótesis ya está ampliamente contrastada en varios estudios, se podría concluir que la métrica es válida ya que determina de manera correcta las variaciones en el nivel de usabilidad de los sitios evaluados. Febrero, 2011

Empresas Nasdaq Universidad de Oviedo Departamento de Informática Inicio>>Validación>>Empresas del índice Nasdaq Symbol Company MAT AMZN Amazon. com Inc Apollo Group Inc Auto. Nation Inc Bed Bath & Beyond Inc Big Lots Inc Black & Decker Corp Carnival Corp Centex Corp Coach Inc Comcast Corp A Darden Restaurants Inc Eastman Kodak Co Family Dollar Stores Inc Gannett Co Inc General Motors Corp Harman Intl Industries Inc Horton D. R. Inc Johnson Controls Inc Leggett & Platt Lennar Corp A Lowe's Cos Inc MCD APOL AN BBBY BIG BDK CCL CTX COH CMCSA DRI EK FDO GCI GM HAR DHI JCI LEG LEN LOW MHP MDP NYT OMC JCP RSH SIN SHLD SHW SNA SWK SBUX HOT TGT TWC TWX TJX DIS WHR YUM Febrero, 2011 Company Mattel Inc Mc. Donald's Corp Mc. Graw-Hill Cos Inc Meredith Corp New York Times Co A Omnicom Group Penney J. C. Inc Radio. Shack Corp Scripps Networks Interactive Sears Holdings Corp Sherwin-Williams Co Snap On Inc Stanley Works Starbucks Corp Starwood Hotel & Resort World Target Corp Time Warner Cable Inc Time Warner Inc TJX Cos Inc Walt Disney Co Whirlpool Corp Yum! Brands Inc

Empresas Nasdaq Universidad de Oviedo Departamento de Informática Inicio>>Validación>>Empresas del índice Nasdaq Symbol AMZN BDK CCL DRI EK MDP SHW SNA YUM Usabilidad 2005 Usabilidad 2006 73, 68 82, 91 72, 69 82, 54 81, 72 61, 40 75, 91 74, 44 79, 57 75, 20 85, 82 72, 69 82, 54 79, 33 61, 40 86, 66 82, 63 81, 85 Variables estudiadas Ventas 2006 / Usabilidad 2005 Ventas 2007 / Usabilidad 2006 ρ de Spearman 0, 363 0, 325 Nivel de significació n 0, 017 0, 033 La usabilidad tiene un impacto positivo en las ventas de una empresa. Esto corrobora que las medidas proporcionadas por Sirius han estimado de manera fiable los niveles de usabilidad, dado que han permitido demostrar empíricamente la relación entre ventas y usabilidad Febrero, 2011

Aplicación en desarrollo Universidad de Oviedo Departamento de Informática Inicio>>Validación>>Aplicación de Sirius en desarrollo § Instrumento de evaluación y orientación en el rediseño de sitios web personales de alumnos del Máster en Ingeniería Web. El total de los alumnos o bien rediseñaron completamente su sitio web en base a los resultados obtenidos o bien corrigieron los criterios no evaluados con la máxima puntuación. § Instrumento de evaluación de sitios web reales en explotación. Contaron con un método claro y concreto para poder emitir informes acerca del nivel de usabilidad de un sitio web y recomendar las oportunas acciones de mejora. Febrero, 2011

Contenido Universidad de Oviedo Departamento de Informática § § Introducción Estado del arte Sistema de evaluación SIRIUS Validación § Herramienta de soporte • • • § § Objetivos y Funcionalidad general Alta de tipo de sitio Híbrido Evaluación de un sitio web Relación priorizada de criterios a subsanar Informe EARL Ontología asociada al sistema de evaluación Conclusiones Líneas futuras de investigación Febrero, 2011

Herramienta Universidad de Oviedo Departamento de Informática Inicio>>Herramienta de soporte>>Objetivos y Funcionalidad general § Servir de soporte a la evaluación heurística de la usabilidad, presentando una serie de criterios a chequear en el sitio web en evaluación y proporcionando el porcentaje de usabilidad obtenido en el sitio evaluado. § Identificación de la relación de los criterios a mejorar en el sitio ordenados por orden de prioridad, de manera que el primer criterio de la lista sea el que proporcione el mayor incremento en el nivel de usabilidad del sitio. § Permitir la visualización de los valores asignados por los evaluadores a cada uno de los criterios evaluados así como las observaciones realizadas por los mismos durante el proceso de evaluación. § Obtener un informe en un formato compatible y estándar, propuesto por el W 3 C, EARL (Evaluation and Report Language) con el resultado de la evaluación realizada en el sitio web. Febrero, 2011

Herramienta Universidad de Oviedo Departamento de Informática Inicio>>Herramienta de soporte>>Objetivos y Funcionalidad general . Administrador. Auditor. Evaluador Auditor registra sitio web a evaluar Administrador lo activa para evaluación Evaluador valida los criterios Febrero, 2011 Auditor accede a los resultados

Sitio híbrido Inicio>>Herramienta de soporte>>Alta de tipo de sitio Híbrido Febrero, 2011 Universidad de Oviedo Departamento de Informática

Evaluación Inicio>>Herramienta de soporte>>Evaluación de un sitio web Febrero, 2011 Universidad de Oviedo Departamento de Informática

Resultados Inicio>>Herramienta de soporte>>Relación priorizada de criterios a subsanar Febrero, 2011 Universidad de Oviedo Departamento de Informática

Resultados Inicio>>Herramienta de soporte>>Relación priorizada de criterios a subsanar Febrero, 2011 Universidad de Oviedo Departamento de Informática

Informe EARL Inicio>>Herramienta de soporte>>Informe EARL Febrero, 2011 Universidad de Oviedo Departamento de Informática

Ontología Inicio>>Herramienta de soporte>>Ontología asociada al sistema de evaluación Febrero, 2011 Universidad de Oviedo Departamento de Informática

Contenido Universidad de Oviedo Departamento de Informática § § § Introducción Estado del arte Sistema de evaluación SIRIUS Validación Herramienta de soporte § Conclusiones § Líneas futuras de investigación Febrero, 2011

Conclusiones Universidad de Oviedo Departamento de Informática Inicio>>Conclusiones Sistema de evaluación de la usabilidad web basado en la revisión de heurísticas que, además de ser aplicable a cualquier tipo de sitio web, pondera el incumplimiento de los criterios evaluados dependiendo del tipo de sitio en revisión. § Sistema fácilmente escalable § Relación completa de aspectos y criterios § Clasificación de sitios web e identificación de audiencia y tareas críticas. § Métrica cuantitativa. § Herramienta web de soporte. § Representación formal del sistema mediante una ontología. Febrero, 2011

Contenido Universidad de Oviedo Departamento de Informática § § § Introducción Estado del arte Sistema de evaluación SIRIUS Validación Herramienta de soporte Conclusiones § Líneas futuras de investigación Febrero, 2011

Líneas futuras Universidad de Oviedo Departamento de Informática Inicio>>Líneas futuras de investigación § Profundizar en el análisis de la usabilidad en dominios de aplicación específicos para adaptar de manera dinámica la relación de criterios a utilizar en la evaluación de los mismos. § Ampliación del sistema de evaluación con un modelo de evaluación de usuarios. § Evaluación automática de la usabilidad. § Búsqueda de soluciones de implementación que permitan incorporar de manera más eficiente la ontología a la herramienta desarrollada. § Utilización de herramientas colaborativas en el proceso de evaluación. Febrero, 2011

Publicaciones Universidad de Oviedo Departamento de Informática Inicio>>Publicaciones § Publicaciones relacionadas con el ámbito de la tesis • Alva M. E. , Martínez A. B. , Suárez M. C. , Labra J. E. , Cueva J. M. y Sagástegui H. “Towards the evaluation of usability in educative Websites. ” International Journal Technology Enhanced Learning. Vol. 2, Nos. 1/2, pp. 145 -161. 2010. • Martínez A. B. ; Juan A. ; Álvarez D. ; Suárez M. C. “WAB*: A quantitative metric based on WAB”, in Proceedings of the 9 th International Conference on Web Engineering (ICWE 2009), LNCS Vol. 5648, pp. 485 -488, Springer-Verlag Berlin Heidelberg. 2009. • Alva M. E. , Martínez A. B. , Suárez M. C. , Labra J. E. , Cueva J. M. y Sagástegui H. Proposal of a Tool of Support to the Evaluation of User in Educative Web Sites. pp. : Lecture Notes in Artificial Intelligence (LNAI 5288). Springer. Verlag. pp. 149 -157. Atenas, 2008. • Alva M. E. , Martínez A. B. , Suárez M. C. , Sagástegui H. y Cueva J. M. “Definiendo una estructura de evaluación para medir la usabilidad de sitios web educativos”. Conferencia iadis Ibero-Americana. WWW/Internet 2007. 7 -8 octubre. Vila Real. Portugal Febrero, 2011

Publicaciones Universidad de Oviedo Departamento de Informática Inicio>>Líneas futuras de investigación § Publicaciones relacionadas con el ámbito de la tesis • Alva M. E. , Martínez A. B. , Cueva J. M. , Suárez M. C. , Sagástegui H. y Joyanes L. “Configuración del Árbol de Requisitos de Usabilidad para la Evaluación de Sitios Web Educativos”. SISOFT 2005. pp. 211 -218. República Dominicana, 2005. • Alva M. E. , Martínez A. B. , Cueva J. M. y Suárez M. C. “Factores Fundamentales en la Evaluación de Sitios Web Educativos: Perfil de usuario, Clasificación y Parámetros de Evaluación de Usabilidad”. VI Congreso de Interacción Persona Ordenador. 2005. • Suárez M. C, Martínez A. B. , Cueva J. M. Revisión de Metodologías para el Desarrollo de Sitios Web. Actas Interacción 2003. Vigo. ISBN: 84 -932887 -4 -8 Febrero, 2011

Universidad de Oviedo Departamento de Informática TESIS DOCTORAL Sistema de Evaluación de la Usabilidad Web orientado al Usuario y basado en la determinación de Tareas Críticas M. del Carmen Suárez Torrente Director: Dr. Juan Manuel Cueva Lovelle Directora: Dra. Ana Belén Martínez Prieto Febrero, 2011