Máster en Ingeniería y Ciencia de Datos

Utilización de técnicas multivariantes
para el estudio del aprendizaje de la mejora de la
accesibilidad en el subtitulado de vídeos

Autor: Javier Pérez Arteaga
Directores: Emilio Letón Molina y Jorge Pérez Martín

29 de junio 2023

Introducción

Motivación

  • Sexta Edición (2022) MOOC Materiales Digitales Accesibles perteneciente al Canal Fundación ONCE en UNED.
  • Iniciativa del Real Patronato sobre Discapacidad en colaboración con la Fundación ONCE y la UNED.
  • MOOC dirigido por los profesores Emilio Letón Molina y Alejandro Rodríguez Ascaso.
  • Hasta mayo de 2023: 7 ediciones y más de 8.000 alumnos matriculados.
  • Sexta Edición: 1.261 alumnos matriculados y 165 (13,08%) aprobados.
  • En el módulo “Accesibilidad del material multimedia” se propuso una actividad de subtitulado.
  • Los alumnos vieron dos vídeos un bien subtitulado y otro con errores.
  • El orden en que vieron los vídeos se asignó aleatoriamente.
  • Después de ver cada uno de los vídeos realizaron un test de 18 preguntas.

Objetivo del experimento

Pregunta de investigación

¿Son los estudiantes de un curso de creación de materiales accesibles capaces de evaluar las diferencias en la calidad del subtitulado de un vídeo?

Objetivo específico

¿En qué pautas de subtitulado los estudiantes tienen mayor facilidad para reconocer diferencias entre un subtitulado correcto y otro incorrecto?

Objetivo específico

¿En qué pautas de subtitulado los estudiantes tienen mayor dificultad para reconocer diferencias entre un subtitulado correcto y otro incorrecto?

Objetivo específico

¿Son los estudiantes capaces de valorar de forma similar los aspectos del subtitulado que no cambian en los vídeos?

Objetivo específico

Efecto secuencia: ¿El orden en el que vieron los vídeos los estudiantes influye en la calidad del subtitulado percibida?

Objetivo específico

Efecto periodo: ¿La evaluación del subtitulado del segundo vídeo visto está influida por haber evaluado un vídeo previamente?

Marco teórico y estado del arte

Características del diseño del experimento

  • Completamente aleatorizado.
  • Triple ciego.
  • Cruzado AB/BA.
  • Medidas repetidas.
  • De respuesta ordinal.

Ítems de la escala de Likert

Ítem Texto
Q01 La posición de los subtítulos
Q02 El número de líneas por subtítulo
Q03 La disposición del texto respecto a la caja donde se muestran los subtítulos
Q04 El contraste entre los caracteres y el fondo
Q05 La corrección ortográfica y gramatical
Q06 La literalidad
Q07 La identificación de los personajes
Q08 La asignación de líneas a los personajes en los diálogos
Q09 La descripción de efectos sonoros
Q10 La sincronización de las entradas y salidas de los subtítulos
Q11 La velocidad de exposición de los subtítulos
Q12 El máximo número de caracteres por línea
Q13 La legibilidad de la tipografía
Q14 La separación en líneas diferentes de sintagmas nominales, verbales y preposicionales
Q15 La utilización de puntos suspensivos
Q16 La escritura de los números
Q17 Las incorrecciones en el habla
Q18 Los subtítulos del vídeo cumplen en general con los requisitos de accesibilidad

Niveles de los ítems de la escala de Likert

Valor Texto
0 No sé / No contesto
1 Muy en desacuerdo
2 En desacuerdo
3 Neutral
4 De acuerdo
5 Muy de acuerdo

Modelos

  • GLM
    • Extensión del Modelo Lineal General usado cuando la variable respuesta no es normal.
    • La estimación de coeficientes en GLM se realiza maximizando la función de verosimilitud (MLE).
    • Modelos utilizados:
      • Regresión Logística
      • Regresión Ordinal Acumulativa
  • GLMM
    • Extensión de GLM en la que no se puede asumir la independencia de las observaciones.
  • Enfoque Bayesiano.

Materiales y métodos

Variables utilizadas

Response

Valor Texto
0 No sé / No contesto
1 Muy en desacuerdo
2 En desacuerdo
3 Neutral
4 De acuerdo
5 Muy de acuerdo

Item

Ítem Texto
Q01 La posición de los subtítulos
Q02 El número de líneas por subtítulo
Q03 La disposición del texto respecto a la caja donde se muestran los subtítulos
Q04 El contraste entre los caracteres y el fondo
Q05 La corrección ortográfica y gramatical
Q06 La literalidad
Q07 La identificación de los personajes
Q08 La asignación de líneas a los personajes en los diálogos
Q09 La descripción de efectos sonoros
Q10 La sincronización de las entradas y salidas de los subtítulos
Q11 La velocidad de exposición de los subtítulos
Q12 El máximo número de caracteres por línea
Q13 La legibilidad de la tipografía
Q14 La separación en líneas diferentes de sintagmas nominales, verbales y preposicionales
Q15 La utilización de puntos suspensivos
Q16 La escritura de los números
Q17 Las incorrecciones en el habla
Q18 Los subtítulos del vídeo cumplen en general con los requisitos de accesibilidad

Treat

¿\(A\)? ¿\(B\)?

¿\(A\)? ¿\(B\)?

Period 1 vs. Period 2

Efecto periodo
Efecto que se produce cuando las respuestas en el segundo periodo están influidas por haber realizado previamente el mismo test.

Seq AB vs. Seq BA

Efecto secuencia
Efecto que se produce cuando las respuestas en el segundo periodo son diferentes en función de si previamente se realizó el test \(A\) o el test \(B\).

“No test of treatment difference is possible without assuming the carryover effects are equal.” John Lawson

Subject
Estudiantes participantes en el estudio.

Ejemplo de dataset df_response

Seq Period Treat Subject Item Response
AB 1 A 35 Q18 5
AB 2 B 35 Q18 4
AB 1 A 35 Q01 5
AB 2 B 35 Q01 5
AB 1 A 35 Q02 5
AB 2 B 35 Q02 4
BA 1 B 33 Q18 2
BA 2 A 33 Q18 4
BA 1 B 33 Q01 4
BA 2 A 33 Q01 4
BA 1 B 33 Q02 4
BA 2 A 33 Q02 4

Modelado estadístico

Exploración inicial

  • Los estudiantes eligen participar o no voluntariamente en el estudio.
  • Los datos se suministran anonimizados.
  • Algunos de los estudiantes que realizaron la actividad de subtitulado no dieron su consentimiento para participar en el estudio y se han eliminado.
  • Algunos de los estudiantes solo realizaron la primera actividad de subtitulado y también se han eliminado.

Exploración inicial

  • El subtitulado denominado como \(A\), muestra claramente mejores puntuaciones.
  • El comportamiento por grupos (secuencias) y periodos es similar con sutiles diferencias.

Exploración inicial

  • En el subtitulado \(A\) hay mayor homogeneidad entre grupos que en el \(B\).
  • En el subtitulado \(A\), los ítems \(Q15\), \(Q16\), \(Q17\), tienen relativamente peores valoraciones.
  • En el subtitulado \(B\), las peores valoraciones corresponden a los ítems \(Q05\) y \(Q09\).
  • En el subtitulado \(B\), las mejores valoraciones corresponden a los ítems \(Q04\) y \(Q13\).

Regresión Logística

  • La Regresión Logística requiere una variable respuesta dicotómica.
  • La variable Response es ordinal.
  • Se puede dicotomizar:

¿Es mejor la respuesta en subtitulado \(A\) que en \(B\)?

Muestra de df_improve
Subject Item Seq A B Improve
35 Q18 AB 5 4 TRUE
35 Q01 AB 5 5 FALSE
35 Q02 AB 5 4 TRUE
35 Q03 AB 5 5 FALSE
35 Q04 AB 5 5 FALSE

¿Es la respuesta positiva?

Muestra de df_response con variable Level
Subject Item Seq Treat Response Level Level == "Positivo"
38 Q18 AB A 5 Positivo TRUE
38 Q18 AB B 3 Neutral FALSE
38 Q01 AB A 5 Positivo TRUE
38 Q01 AB B 1 Negativo FALSE
38 Q02 AB A 5 Positivo TRUE
38 Q02 AB B 5 Positivo TRUE

Regresión Ordinal

Comprobación de la proporcionalidad de odds.

Comprobación de la proporcionalidad de odds para Seq.
Response n cum.sum logit
AB
Y ≤ 1 89 89 −2.74
Y ≤ 2 210 299 −1.36
Y ≤ 3 192 491 −0.69
Y ≤ 4 375 866 0.37
Y ≤ 5 600 1466 Inf
BA
Y ≤ 1 78 78 −2.91
Y ≤ 2 204 282 −1.47
Y ≤ 3 191 473 −0.79
Y ≤ 4 582 1055 0.83
Y ≤ 5 459 1514 Inf

Resultados

Regresión Logística (enfoque frecuentista)

options(contrasts = rep("contr.sum", 2))
glmer_improve_subject_question <- glmer(Improve ~ 1 + (1 | Subject) + (1 | Item), family = "binomial", data = df_improve)

glmer_positive_treat_subject_question <- glmer(
    I(Level == "Positivo") ~ Treat + (1 + Treat | Subject) + (1 + Treat | Item), family = "binomial", df_response
)
Improve (A>B) Level == 'Positivo'
(Intercept) 0.465 1.474***
(0.295) (0.284)
Treat1 1.548***
(0.223)
SD (Intercept Subject) 1.703 1.590
SD (Treat1 Subject) 1.082
Cor (Intercept~Treat1 Subject) -0.093
SD (Intercept Item) 0.931 0.893
SD (Treat1 Item) 0.726
Cor (Intercept~Treat1 Item) -0.119
Num.Obs. 1451 2980
AIC 1553.6 2390.0
BIC 1569.5 2438.0

Regresión Ordinal (enfoque frecuentista)

options(contrasts = rep("contr.sum", 2))
clm_sum_treat.period <- clm(
    Response ~ Treat * Period,
    data = df_response, link = "logit"
)

clmm_treat.period.subject.item <- clmm(
    Response ~ Treat * Period + (1 + Treat | Subject) + (1 + Treat | Item),
    data = df_response
)
Response ~ Treat * Period Response ~ Treat * Period + (1 + Treat | Subject) + (1 + Treat | Item)
Est. S.E. 2.5 % 97.5 % Est. S.E. 2.5 % 97.5 %
1|2 -3.127*** 0.082 -3.288 -2.965 -5.003*** 0.262 -5.517 -4.490
2|3 -1.608*** 0.050 -1.706 -1.511 -2.650*** 0.242 -3.124 -2.176
3|4 -0.818*** 0.042 -0.901 -0.736 -1.366*** 0.238 -1.832 -0.900
4|5 0.750*** 0.042 0.668 0.832 1.184*** 0.236 0.720 1.647
Treat1 0.874*** 0.037 0.802 0.946 1.432*** 0.210 1.020 1.844
Period1 0.140*** 0.034 0.073 0.206 0.173 0.132 -0.087 0.433
Treat1 × Period1 0.106** 0.034 0.039 0.173 0.140 0.165 -0.184 0.464
SD (Intercept Subject) 1.489
SD (Intercept Item) 0.695
SD (Treat1 Subject) 1.168
SD (Treat1 Item) 0.682
Cor (Intercept~Treat1 Subject) -0.128
Cor (Intercept~Treat1 Item) -0.528

Regresión Ordinal (comparación frecuentista vs bayesiano)

options(contrasts = rep("contr.sum", 2))
clmm_treat.period.subject.item <- clmm(
    Response ~ Treat * Period + (1 + Treat | Subject) + (1 + Treat | Item),
    data = df_response
)
brm_treat.period.subject.item <- brm(
    Response ~ Treat * Period + (1 + Treat | Subject) + (1 + Treat | Item),
    data = df_response,
    family = cumulative("logit")
)
Name ordinal::clmm brms::brm
Est. conf.2.5% conf.97.5% Est. cred.2.5% cred.97.5%
1|2 -5.003 -5.517 -4.490 -4.941 -5.516 -4.418
2|3 -2.650 -3.124 -2.176 -2.584 -3.109 -2.094
3|4 -1.366 -1.832 -0.900 -1.298 -1.822 -0.817
4|5 1.184 0.720 1.647 1.253 0.737 1.749
Treat1 1.432 1.020 1.844 1.464 1.010 1.920
Period1 0.173 -0.087 0.433 0.174 -0.095 0.435
Treat1:Period1 0.140 -0.184 0.464 0.141 -0.200 0.475
Item.sd(Intercept) 0.695 0.750 0.530 1.151
Item.sd(Treat1) 0.682 0.746 0.529 1.117
Subject.sd(Intercept) 1.489 1.531 1.293 1.845
Subject.sd(Treat1) 1.168 1.207 1.014 1.449
Item.cor(Intercept,Treat1) -0.528 -0.490 -0.784 0.009
Subject.cor(Intercept,Treat1) -0.128 -0.110 -0.344 0.138

Discusión

Correspondencia entre los ítems y los errores del subtitulado del vídeo B

Error nº Subtítulo incorrecto Requisito que se incumple Ítems
1
 Hola este video nos ba a servir Los subtítulos deben ser correctos
ortográfica y gramaticalmente. 		Q05
2 para hacer una prácti
ca de subtitulado 		No se deben separar en dos líneas
las sílabas de la misma palabra. 		Q14
3 Podemos pensar en personas
que no entienden bien
un determinado idioma

 Los subtítulos deben ocupar
dos líneas y, excepcionalmente tres. 		Q02
4 Muchos ejemplos que
harán que estos subtítulos 		Las conjunciones y los nexos
deben ir en la línea inferior. 		Q14
5 El texto del subtítulo es válido,
pero su entrada debe producirse antes para que
coincida con la información sonora. 		Las entradas y salidas de los subtítulos
deben coincidir con el movimiento labial,
con la locución y/o con la información sonora. 		Q10, Q09
6 Perdonad Deben describirse los efectos sonoros
que sean relevantes para la comprensión del vídeo. 		Q09
7 ¿Dígame? (EMI) Hola, soy Emilio.
 Para cada participante en el diálogo
debe comenzarse una nueva línea. 		Q08
8 (ALE) Emilio, muy buenas. Mira, precisamente estoy grabando el vídeo
 El máximo número de caracteres
por línea es 37. 		Q12
9 El texto del subtítulo es válido,
pero su duración debe ser de al menos 3 segundos. 		La velocidad de exposición del subtítulo
debe permitir leerlo sin dificultad.
La velocidad recomendada para los subtítulos
es de unos 12 caracteres por segundo. 		Q11
10 Luego voy a verte al despacho ¿Ok?
 Los subtítulos deben ser literales. Q06
11 Muy bien, estupendo. Aquí estaré.
Hasta luego 		Los diferentes personajes que intervienen en la
obra audiovisual deben estar claramente identificados.
Q07

Repuesta a la pregunta de investigación y a los objetivos específicos

Pregunta de investigación

¿Son los estudiantes de un curso de creación de materiales accesibles capaces de evaluar las diferencias en la calidad del subtitulado de un vídeo?

  • El subtitulado \(A\) ha sido mejor evaluado por los estudiantes.
  • El modelo con variable respuesta Improve predice que la probabilidad de que se otorgue una mayor puntuación en \(A\) que en \(B\) es 61.42%.

Objetivo específico

¿En qué pautas de subtitulado los estudiantes tienen mayor facilidad para reconocer diferencias entre un subtitulado correcto y otro incorrecto?

Improve Model Positive Model
Item Freq Prob Treat A Treat B
Freq Prob Freq Prob
Evaluated Items
Q18
 74.7% 79.5% 94.3% 97.4% 34.5% 30.4%
Q02
 65.5% 68.6% 95.4% 98.0% 52.9% 56.6%
Q05
 81.4% 86.5% 95.4% 97.8% 20.9% 14.3%
Q06
 72.1% 76.6% 95.3% 97.9% 40.2% 38.5%
Q07
 64.4% 67.1% 89.7% 94.9% 42.5% 41.6%
Q08
 69.9% 72.8% 81.0% 88.4% 31.4% 26.4%
Q09
 83.7% 88.3% 88.4% 94.0% 19.5% 12.4%
Q10
 53.2% 55.3% 90.8% 95.6% 51.9% 53.9%
Q11
 57.1% 57.5% 94.2% 97.5% 60.0% 66.0%
Q12
 61.4% 63.7% 91.9% 96.3% 50.6% 53.4%
Q14
 65.3% 70.8% 82.9% 90.5% 32.5% 27.8%
Treat A Treat B
Item Data Frequencies Model Prob. Data Frequencies Model Prob.
1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5
Q18
 1.1% 3.4% 1.1% 36.8% 57.5% 0.1% 1.0% 2.7% 30.0% 66.1% 11.5% 34.5% 19.5% 23.0% 11.5% 5.6% 32.9% 30.2% 27.2% 3.3%
Q01
 1.1% 2.3% 5.7% 34.5% 56.3% 0.1% 1.1% 3.1% 32.5% 63.1% 10.3% 20.7% 5.7% 33.3% 29.9% 1.3% 11.2% 21.6% 52.7% 13.0%
Q02
 0.0% 1.1% 3.4% 33.3% 62.1% 0.1% 0.8% 2.2% 25.8% 71.1% 5.7% 28.7% 12.6% 33.3% 19.5% 2.2% 17.2% 27.0% 45.2% 8.2%
Q03
 0.0% 7.0% 3.5% 37.2% 52.3% 0.1% 1.4% 3.8% 36.6% 58.1% 6.0% 24.1% 9.6% 33.7% 26.5% 1.6% 13.1% 23.6% 50.4% 11.1%
Q04
 0.0% 2.3% 5.7% 31.0% 60.9% 0.1% 0.9% 2.5% 28.0% 68.6% 2.3% 5.7% 5.7% 39.1% 47.1% 0.3% 2.3% 6.2% 46.5% 44.6%
Q05
 0.0% 0.0% 4.6% 31.0% 64.4% 0.1% 0.7% 1.9% 23.5% 73.8% 33.7% 36.0% 9.3% 8.1% 12.8% 18.8% 51.3% 18.9% 9.3% 0.9%
Q06
 0.0% 0.0% 4.7% 36.0% 59.3% 0.1% 0.8% 2.3% 27.1% 69.7% 6.9% 33.3% 19.5% 25.3% 14.9% 3.9% 26.3% 30.1% 34.1% 4.7%
Q07
 0.0% 3.4% 6.9% 39.1% 50.6% 0.2% 1.5% 4.1% 38.0% 56.3% 14.9% 33.3% 9.2% 23.0% 19.5% 4.4% 28.4% 30.2% 31.9% 4.2%
Q08
 0.0% 7.1% 11.9% 29.8% 51.2% 0.2% 1.8% 4.9% 41.9% 51.2% 17.4% 40.7% 10.5% 17.4% 14.0% 7.6% 38.8% 29.1% 21.7% 2.4%
Q09
 1.2% 5.8% 4.7% 37.2% 51.2% 0.2% 1.5% 4.0% 37.5% 56.9% 43.7% 27.6% 9.2% 11.5% 8.0% 25.6% 51.7% 14.5% 6.5% 0.6%
Q10
 0.0% 1.1% 8.0% 42.5% 48.3% 0.2% 1.4% 3.9% 37.4% 57.0% 5.1% 29.1% 13.9% 27.8% 24.1% 2.3% 17.8% 27.5% 44.4% 7.8%
Q11
 0.0% 2.3% 3.5% 45.3% 48.8% 0.1% 1.4% 3.7% 36.3% 58.3% 2.4% 14.1% 23.5% 42.4% 17.6% 1.4% 11.8% 22.2% 52.0% 12.4%
Q12
 0.0% 3.5% 4.7% 48.8% 43.0% 0.2% 1.8% 4.9% 41.7% 51.4% 4.8% 27.7% 16.9% 32.5% 18.1% 2.5% 18.6% 27.9% 43.4% 7.5%
Q13
 0.0% 0.0% 6.9% 32.2% 60.9% 0.1% 0.8% 2.3% 27.0% 69.7% 2.3% 2.3% 15.1% 39.5% 40.7% 0.4% 3.3% 8.3% 51.6% 36.3%
Q14
 1.3% 3.9% 11.8% 35.5% 47.4% 0.2% 1.9% 5.0% 42.4% 50.5% 10.4% 33.8% 23.4% 22.1% 10.4% 5.4% 32.2% 30.2% 27.9% 3.4%
Q15
 0.0% 13.2% 22.4% 36.8% 27.6% 0.6% 5.5% 13.0% 54.8% 24.7% 6.9% 20.8% 26.4% 26.4% 19.4% 2.5% 18.5% 27.8% 43.5% 7.5%
Q16
 0.0% 3.1% 40.0% 35.4% 21.5% 0.6% 5.7% 13.2% 54.8% 24.3% 3.2% 4.8% 50.0% 25.8% 16.1% 2.0% 15.6% 25.9% 47.2% 9.1%
Q17
 0.0% 8.6% 25.7% 35.7% 30.0% 0.4% 4.0% 10.0% 53.6% 31.6% 5.3% 12.0% 34.7% 32.0% 16.0% 2.4% 18.1% 27.6% 44.1% 7.7%

Objetivo específico

¿En qué pautas de subtitulado los estudiantes tienen mayor dificultad para reconocer diferencias entre un subtitulado correcto y otro incorrecto?

Improve Model Positive Model
Item Freq Prob Treat A Treat B
Freq Prob Freq Prob
Evaluated Items
Q18
 74.7% 79.5% 94.3% 97.4% 34.5% 30.4%
Q02
 65.5% 68.6% 95.4% 98.0% 52.9% 56.6%
Q05
 81.4% 86.5% 95.4% 97.8% 20.9% 14.3%
Q06
 72.1% 76.6% 95.3% 97.9% 40.2% 38.5%
Q07
 64.4% 67.1% 89.7% 94.9% 42.5% 41.6%
Q08
 69.9% 72.8% 81.0% 88.4% 31.4% 26.4%
Q09
 83.7% 88.3% 88.4% 94.0% 19.5% 12.4%
Q10
 53.2% 55.3% 90.8% 95.6% 51.9% 53.9%
Q11
 57.1% 57.5% 94.2% 97.5% 60.0% 66.0%
Q12
 61.4% 63.7% 91.9% 96.3% 50.6% 53.4%
Q14
 65.3% 70.8% 82.9% 90.5% 32.5% 27.8%
Treat A Treat B
Item Data Frequencies Model Prob. Data Frequencies Model Prob.
1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5
Q18
 1.1% 3.4% 1.1% 36.8% 57.5% 0.1% 1.0% 2.7% 30.0% 66.1% 11.5% 34.5% 19.5% 23.0% 11.5% 5.6% 32.9% 30.2% 27.2% 3.3%
Q01
 1.1% 2.3% 5.7% 34.5% 56.3% 0.1% 1.1% 3.1% 32.5% 63.1% 10.3% 20.7% 5.7% 33.3% 29.9% 1.3% 11.2% 21.6% 52.7% 13.0%
Q02
 0.0% 1.1% 3.4% 33.3% 62.1% 0.1% 0.8% 2.2% 25.8% 71.1% 5.7% 28.7% 12.6% 33.3% 19.5% 2.2% 17.2% 27.0% 45.2% 8.2%
Q03
 0.0% 7.0% 3.5% 37.2% 52.3% 0.1% 1.4% 3.8% 36.6% 58.1% 6.0% 24.1% 9.6% 33.7% 26.5% 1.6% 13.1% 23.6% 50.4% 11.1%
Q04
 0.0% 2.3% 5.7% 31.0% 60.9% 0.1% 0.9% 2.5% 28.0% 68.6% 2.3% 5.7% 5.7% 39.1% 47.1% 0.3% 2.3% 6.2% 46.5% 44.6%
Q05
 0.0% 0.0% 4.6% 31.0% 64.4% 0.1% 0.7% 1.9% 23.5% 73.8% 33.7% 36.0% 9.3% 8.1% 12.8% 18.8% 51.3% 18.9% 9.3% 0.9%
Q06
 0.0% 0.0% 4.7% 36.0% 59.3% 0.1% 0.8% 2.3% 27.1% 69.7% 6.9% 33.3% 19.5% 25.3% 14.9% 3.9% 26.3% 30.1% 34.1% 4.7%
Q07
 0.0% 3.4% 6.9% 39.1% 50.6% 0.2% 1.5% 4.1% 38.0% 56.3% 14.9% 33.3% 9.2% 23.0% 19.5% 4.4% 28.4% 30.2% 31.9% 4.2%
Q08
 0.0% 7.1% 11.9% 29.8% 51.2% 0.2% 1.8% 4.9% 41.9% 51.2% 17.4% 40.7% 10.5% 17.4% 14.0% 7.6% 38.8% 29.1% 21.7% 2.4%
Q09
 1.2% 5.8% 4.7% 37.2% 51.2% 0.2% 1.5% 4.0% 37.5% 56.9% 43.7% 27.6% 9.2% 11.5% 8.0% 25.6% 51.7% 14.5% 6.5% 0.6%
Q10
 0.0% 1.1% 8.0% 42.5% 48.3% 0.2% 1.4% 3.9% 37.4% 57.0% 5.1% 29.1% 13.9% 27.8% 24.1% 2.3% 17.8% 27.5% 44.4% 7.8%
Q11
 0.0% 2.3% 3.5% 45.3% 48.8% 0.1% 1.4% 3.7% 36.3% 58.3% 2.4% 14.1% 23.5% 42.4% 17.6% 1.4% 11.8% 22.2% 52.0% 12.4%
Q12
 0.0% 3.5% 4.7% 48.8% 43.0% 0.2% 1.8% 4.9% 41.7% 51.4% 4.8% 27.7% 16.9% 32.5% 18.1% 2.5% 18.6% 27.9% 43.4% 7.5%
Q13
 0.0% 0.0% 6.9% 32.2% 60.9% 0.1% 0.8% 2.3% 27.0% 69.7% 2.3% 2.3% 15.1% 39.5% 40.7% 0.4% 3.3% 8.3% 51.6% 36.3%
Q14
 1.3% 3.9% 11.8% 35.5% 47.4% 0.2% 1.9% 5.0% 42.4% 50.5% 10.4% 33.8% 23.4% 22.1% 10.4% 5.4% 32.2% 30.2% 27.9% 3.4%
Q15
 0.0% 13.2% 22.4% 36.8% 27.6% 0.6% 5.5% 13.0% 54.8% 24.7% 6.9% 20.8% 26.4% 26.4% 19.4% 2.5% 18.5% 27.8% 43.5% 7.5%
Q16
 0.0% 3.1% 40.0% 35.4% 21.5% 0.6% 5.7% 13.2% 54.8% 24.3% 3.2% 4.8% 50.0% 25.8% 16.1% 2.0% 15.6% 25.9% 47.2% 9.1%
Q17
 0.0% 8.6% 25.7% 35.7% 30.0% 0.4% 4.0% 10.0% 53.6% 31.6% 5.3% 12.0% 34.7% 32.0% 16.0% 2.4% 18.1% 27.6% 44.1% 7.7%

Objetivo específico

¿Son los estudiantes capaces de valorar de forma similar los aspectos del subtitulado que no cambian en los vídeos?

Improve Model Positive Model
Item Freq Prob Treat A Treat B
Freq Prob Freq Prob
Control Items
Q01
 49.4% 47.9% 90.8% 95.7% 63.2% 70.1%
Q03
 51.2% 51.1% 89.5% 94.9% 60.2% 66.4%
Q04
 31.0% 26.4% 92.0% 96.5% 86.2% 92.0%
Q13
 39.5% 36.1% 93.1% 97.1% 80.2% 87.4%
Q15
 44.9% 42.8% 64.5% 74.4% 45.8% 45.5%
Q16
 33.3% 34.0% 56.9% 67.5% 41.9% 37.0%
Q17
 43.9% 43.2% 65.7% 77.5% 48.0% 45.3%
Treat A Treat B
Item Data Frequencies Model Prob. Data Frequencies Model Prob.
1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5
Q18
 1.1% 3.4% 1.1% 36.8% 57.5% 0.1% 1.0% 2.7% 30.0% 66.1% 11.5% 34.5% 19.5% 23.0% 11.5% 5.6% 32.9% 30.2% 27.2% 3.3%
Q01
 1.1% 2.3% 5.7% 34.5% 56.3% 0.1% 1.1% 3.1% 32.5% 63.1% 10.3% 20.7% 5.7% 33.3% 29.9% 1.3% 11.2% 21.6% 52.7% 13.0%
Q02
 0.0% 1.1% 3.4% 33.3% 62.1% 0.1% 0.8% 2.2% 25.8% 71.1% 5.7% 28.7% 12.6% 33.3% 19.5% 2.2% 17.2% 27.0% 45.2% 8.2%
Q03
 0.0% 7.0% 3.5% 37.2% 52.3% 0.1% 1.4% 3.8% 36.6% 58.1% 6.0% 24.1% 9.6% 33.7% 26.5% 1.6% 13.1% 23.6% 50.4% 11.1%
Q04
 0.0% 2.3% 5.7% 31.0% 60.9% 0.1% 0.9% 2.5% 28.0% 68.6% 2.3% 5.7% 5.7% 39.1% 47.1% 0.3% 2.3% 6.2% 46.5% 44.6%
Q05
 0.0% 0.0% 4.6% 31.0% 64.4% 0.1% 0.7% 1.9% 23.5% 73.8% 33.7% 36.0% 9.3% 8.1% 12.8% 18.8% 51.3% 18.9% 9.3% 0.9%
Q06
 0.0% 0.0% 4.7% 36.0% 59.3% 0.1% 0.8% 2.3% 27.1% 69.7% 6.9% 33.3% 19.5% 25.3% 14.9% 3.9% 26.3% 30.1% 34.1% 4.7%
Q07
 0.0% 3.4% 6.9% 39.1% 50.6% 0.2% 1.5% 4.1% 38.0% 56.3% 14.9% 33.3% 9.2% 23.0% 19.5% 4.4% 28.4% 30.2% 31.9% 4.2%
Q08
 0.0% 7.1% 11.9% 29.8% 51.2% 0.2% 1.8% 4.9% 41.9% 51.2% 17.4% 40.7% 10.5% 17.4% 14.0% 7.6% 38.8% 29.1% 21.7% 2.4%
Q09
 1.2% 5.8% 4.7% 37.2% 51.2% 0.2% 1.5% 4.0% 37.5% 56.9% 43.7% 27.6% 9.2% 11.5% 8.0% 25.6% 51.7% 14.5% 6.5% 0.6%
Q10
 0.0% 1.1% 8.0% 42.5% 48.3% 0.2% 1.4% 3.9% 37.4% 57.0% 5.1% 29.1% 13.9% 27.8% 24.1% 2.3% 17.8% 27.5% 44.4% 7.8%
Q11
 0.0% 2.3% 3.5% 45.3% 48.8% 0.1% 1.4% 3.7% 36.3% 58.3% 2.4% 14.1% 23.5% 42.4% 17.6% 1.4% 11.8% 22.2% 52.0% 12.4%
Q12
 0.0% 3.5% 4.7% 48.8% 43.0% 0.2% 1.8% 4.9% 41.7% 51.4% 4.8% 27.7% 16.9% 32.5% 18.1% 2.5% 18.6% 27.9% 43.4% 7.5%
Q13
 0.0% 0.0% 6.9% 32.2% 60.9% 0.1% 0.8% 2.3% 27.0% 69.7% 2.3% 2.3% 15.1% 39.5% 40.7% 0.4% 3.3% 8.3% 51.6% 36.3%
Q14
 1.3% 3.9% 11.8% 35.5% 47.4% 0.2% 1.9% 5.0% 42.4% 50.5% 10.4% 33.8% 23.4% 22.1% 10.4% 5.4% 32.2% 30.2% 27.9% 3.4%
Q15
 0.0% 13.2% 22.4% 36.8% 27.6% 0.6% 5.5% 13.0% 54.8% 24.7% 6.9% 20.8% 26.4% 26.4% 19.4% 2.5% 18.5% 27.8% 43.5% 7.5%
Q16
 0.0% 3.1% 40.0% 35.4% 21.5% 0.6% 5.7% 13.2% 54.8% 24.3% 3.2% 4.8% 50.0% 25.8% 16.1% 2.0% 15.6% 25.9% 47.2% 9.1%
Q17
 0.0% 8.6% 25.7% 35.7% 30.0% 0.4% 4.0% 10.0% 53.6% 31.6% 5.3% 12.0% 34.7% 32.0% 16.0% 2.4% 18.1% 27.6% 44.1% 7.7%

Objetivo específico

Efecto secuencia: ¿El orden en el que vieron los vídeos los estudiantes influye en la calidad del subtitulado percibida?

Objetivo específico

Efecto periodo: ¿La evaluación del subtitulado del segundo vídeo visto está influida por haber evaluado un vídeo previamente?

  • En el modelo ordinal Response ~ Treat * Period se constató que tanto el periodo como la secuencia son significativos.
  • Estos efectos son mucho menos importantes que los debidos al subtitulado.
  • Al introducir como variables explicativas el estudiante y el ítem tanto el periodo como la secuencia pasan a ser no significativos.

Conclusiones y trabajo futuro

Conclusiones y trabajo futuro

  • El nivel de subtitulado es la variable que mejor explica la respuesta a cada ítem.
  • Los efectos secuencia y periodo son comparativamente de poca importancia.
  • Los estudiantes conocen las normas de subtitulado.
  • Son capaces identificar los errores que no requieren una comprobación exhaustiva.
  • Trabajo futuro:
    • Incorporar al modelo variables como el sexo, la edad, el lugar de nacimiento, el nivel de estudios, …
    • Analizar los datos de la edición del curso de 2023.
    • Plantear mejoras en la recogida de datos.
    • Añadir errores de subtitulado para todos o casi todos los ítems.
    • Comparar con respuestas de expertos en subtitulado.
    • La intención es enviar este trabajo a una revista de alto índice de impacto en el área de Computer Science (por ejemplo, Computers & Education).

¡Muchas gracias por vuestra atención!


Utilización de técnicas multivariantes
para el estudio del aprendizaje de la mejora de la
accesibilidad en el subtitulado de vídeos


  • Realizado por: Javier Pérez Arteaga
  • jperez40@alumno.uned.es
  • https://github.com/surtich
  • https://www.linkedin.com/in/javier-perez-arteaga

Apéndices

Herramientas

  • : herramienta de publicación de documentación científica en , \(\mathrm{\LaTeX}\), Markdown, …
  • : lenguaje de programación estadístico:
    • Manipulación de datos: tidyr, dplyr, …
    • Gráficos: ggplot2, pyplot
    • Tablas: knitr, gt
    • Modelado estadístico: lme4, stats, ordinal, vcd, VGAM, brms, stan, …
  • VScode: Entorno de desarrollo.
  • memoiQ: Plantilla memoria
  • emitanaka: Plantilla presentación
  • Tanto la memoria como la presentación son reproducibles.

GLM

  • No se debe confundir un Modelo Lineal Generalizado con un Modelo Lineal General.
  • Se usan cuando la variable respuesta no es normal.
  • Tiene tres componentes:

    • Un componente aleatorio que será una distribución de probabilidad que sigue la variable respuesta Y.

    • Un componente lineal de predictores: \[ \tau+\beta_1x_1+...+\beta_px_p \]

    • Una función de enlace \(g\) que relaciona \(\mu=E(Y)\) con los predictores, de tal forma que: \[ g(\mu)=\tau+\beta_1x_1+...+\beta_px_p \]

  • La estimación de coeficientes en GLM se realiza maximizando la función de verosimilitud (MLE).
  • La Regresión Logística es un caso particular de \(GLM\) en la que \(Y\) es Bernoulli:
    \[ logit(Y=1) = log \left[\frac{P(Y=1)}{1-P(Y=1)} \right] = \tau+\beta_1x_1+...+\beta_px_p \]

Regresión Ordinal

Regresión Ordinal

Regresión Ordinal

Cálculo de probabilidad de respuesta
\[ \begin{aligned} P(Y \le k) &= logistic\left[\tau_k-\beta_1x_1 ... -\beta_px_p \right] \\ P(Y = k) &= P(Y \le k) - P(Y \le k-1) \end{aligned} \]

“The proportional hazards assumption is frequently violated, just as the assumptions of normality of residuals with equal variance in ordinary regression are frequently violated, but the PO model can still be useful and powerful in this situation” Frank E. Harrel

Proporcionalidad de odds

\[ \frac{P(Y \le k | X = x)}{1-P(Y \le k | X = x)} \propto \frac{P(Y \le l | X = x)}{1-P(Y \le l | X = x)} \]

Ecuación Regresión Logística
\[ logit(Y=1) = log \left[\frac{P(Y=1)}{1-P(Y=1)} \right] = \tau+\beta_1x_1+...+\beta_px_p \]

Ecuación Regresión Ordinal
\[logit [Y \color{red}{\le k}] = log \left[\frac{P(Y \color{red}{\le k})}{1-P(Y \color{red}{\le k})} \right] = \tau_{\color{red}{k}} \color{red}{-} \beta_1 x_1 \color{red}{-} \beta_2 x_2 ... \color{red}{-} \beta_p x_p\]

Interpretación de los coeficientes
\[ \begin{aligned} exp(\tau_k) &= \frac{P(Y \le k | x_i = 0)}{1-P(Y \le k| x_i = 0)} \\ exp(\beta_{i}) &= \frac{\frac{P(Y > k \mid x_i = x + 1)}{P(Y \leq k \mid x_i = x + 1)}}{\frac{P(Y > k \mid x_i = x)}{P(Y \leq k \mid x_i = x)}} \end{aligned} \]

GLMM

\[ \begin{aligned} Nivel\ 1: & y_{ij} & = & \beta_{0j} + \beta_{1j}x_{1ij} + \epsilon_{ij} \\ Nivel\ 2: & \beta_{0j} & = & \color{blue}{\beta_{0}} + U_{0j} & (intercepto\ aleatorio) \\ & \beta_{1j} & = & \color{blue}{\beta_{1}} + U_{1j} & (pendiente\ aleatoria) \\ \end{aligned} \]

\[ \begin{aligned} \text{Error intra grupo: } & \epsilon_{ij} \sim N(0, \color{blue}{\sigma^2}) \\ \text{Error entre grupos: } & \begin{pmatrix} U_{0j} \\ U_{1j} \\ \end{pmatrix} \sim N \begin{pmatrix} \begin{pmatrix} 0 \\ 0 \\ \end{pmatrix}, \begin{pmatrix} \color{red}{\tau_0^2} & \color{red}{\tau_0}\color{green}{\tau_1}\color{blue}{\rho_{01}} \\ \color{red}{\tau_0}\color{green}{\tau_1}\color{blue}{\rho_{01}} & \color{green}{\tau_1^2} \\ \end{pmatrix} \end{pmatrix} \end{aligned} \]

Efecto secuencia vs interacción tratamiento periodo



Contrast

Model

 Factor Levels
TreatA
Period1
SeqAB 		TreatA
Period2
SeqBA 		TreatB
Period1
SeqBA 		TreatB
Period2
SeqAB

Treatment 		\(Response \! = \! \beta_0 \! +\! \beta_1Treat \! +\! \beta_2Period \! +\! \beta_3Treat\!:\!Period\) \(Response \! = \! \beta_0\) \(Response \! = \! \beta_0 \! +\! \beta_2\) \(Response \! = \! \beta_0 \! +\! \beta_1\) \(Response \! = \! \beta_0 \! +\! \beta_1 \! +\! \beta_2 \! +\! \beta_3\)
\(Response \! = \! \beta_0 \! +\! \beta_1Treat \! +\! \beta_2Period \! +\! \beta_3Seq\) \(Response \! = \! \beta_0\) \(Response \! = \! \beta_0 \! +\! \beta_2 \! +\! \beta_3\) \(Response \! = \! \beta_0 \! +\! \beta_1 \! +\! \beta_3\) \(Response \! = \! \beta_0 \! +\! \beta_1 \! +\! \beta_2\)

Sum 		\(Response \! = \! \beta_0 \! +\! \beta_1Treat \! +\! \beta_2Period \! +\! \beta_3Treat\!:\!Period\) \(Response \! = \! \beta_0 \! +\! \beta_1 \! +\! \beta_2 \! +\! \beta_3\) \(Response \! = \! \beta_0 \! +\! \beta_1 \! -\! \beta_2 \! -\! \beta_3\) \(Response \! = \! \beta_0 \! -\! \beta_1 \! +\! \beta_2 \! -\! \beta_3\) \(Response \! = \! \beta_0 \! -\! \beta_1 \! -\! \beta_2 \! +\! \beta_3\)
\(Response \! = \! \beta_0 \! +\! \beta_1Treat \! +\! \beta_2Period \! +\! \beta_3Seq\) \(Response \! = \! \beta_0 \! +\! \beta_1 \! +\! \beta_2 \! +\! \beta_3\) \(Response \! = \! \beta_0 \! +\! \beta_1 \! -\! \beta_2 \! -\! \beta_3\) \(Response \! = \! \beta_0 \! -\! \beta_1 \! +\! \beta_2 \! -\! \beta_3\) \(Response \! = \! \beta_0 \! -\!\beta_1 \! -\! \beta_2 \! +\! \beta_3\)

Comparación con Odds Ratio

Log OR ~ Treat + Period + Response
Response Estimate Std. Error z value Pr(>|z|)
No sé / No contesto 0.335 0.327 1.022 0.307
Muy en desacuerdo 0.135 1.012 0.134 0.894
En desacuerdo -0.121 0.291 -0.416 0.677
Neutral 0.055 0.214 0.259 0.796
De acuerdo -0.851 0.134 -6.367 0.000
Muy de acuerdo 0.486 0.137 3.557 0.000

Muestreo de la función predictiva a posteriori por tratamiento e ítem