Introducción

La metodología observacional aplicada a la investigación deportiva ha presentado un amplio desarrollo a nivel internacional en los últimos años (Anguera y Hernández Mendo, 2013; Ávila, Chirosa, Ureña, Lozano y Ulloa, 2018; Sarmento et al., 2014). Específicamente en Uruguay son numerosos los trabajos realizados y publicados que estudian aspectos técnicos y tácticos de los deportes colectivos (handball, básquetbol, fútbol, etc.) en diferentes ámbitos. Aunque se pueden encontrar algunos estudios notacionales con anterioridad (Botejara y Puñales, 2001), en el año 2010 se desarrolló en el Instituto Universitario Asociación Cristiana de Jóvenes (iuacj) el primer proyecto de estudio del rendimiento en handball que utilizaba específicamente esta metodología. Desde 2014 esta línea de investigación observacional en los deportes colectivos ha sido ampliamente extendida con la formación del grupo de investigación Entrenamiento Deportivo y Rendimiento del iuacj. Un hito importante supuso la presentación en Montevideo de los primeros trabajos finales del Máster en Rendimiento Deportivo: Tecnificación y Alto Nivel (retan) desarrollado por el Instituto Nacional de Educación Física de Cataluña (inefc) en las instalaciones del iuacj en 2015, donde algunas de las investigaciones utilizaron esta metodología. Por otra parte, dentro del Instituto Superior de Educación Física (isef), su inclusión en las propuestas de investigación ha ido aumentando de forma relevante, y es una línea de trabajo fructífera dentro del Grupo de Investigación de Deporte y Rendimiento desde su formación en el año 2017.

El carácter científico de la metodología observacional en el deporte está claramente consolidado (Anguera, Blanco, Losada y Hernández Mendo, 2000). En este sentido, es relevante la exigencia de determinar la calidad del instrumento y de la medida. Los conceptos de validez y fiabilidad son centrales en los procesos de elaboración del instrumento y durante la toma de datos. Por un lado, la validez confirma que el instrumento de observación mide lo que se pretende medir. Por otro, la fiabilidad garantiza la estabilidad de las mediciones y su independencia de los observadores y otras fuentes de error. Finalmente, la adecuada preparación de los observadores es clave para asegurar un correcto proceso de registro.

El objetivo de este trabajo es realizar una revisión de las decisiones tomadas respecto a la calidad del dato a través de las investigaciones en deportes colectivos realizadas en Uruguay utilizando la metodología observacional en los últimos diez años.

Método

Desde una perspectiva cualitativa, para alcanzar el objetivo planteado se realizó una revisión narrativa (Ferrari, 2015) de artículos de investigación disponibles en las bases de datos internacionales: Scopus, SportDiscus, Dialnet y Scielo durante el período 2010-2020. Los términos de búsqueda utilizados fueron «metodología observacional» y «análisis notacional», «instrumento observacional» y «calidad del dato», así como su traducción en inglés. Además, se consideró como criterio de inclusión que al menos un autor tuviera su filiación en Uruguay y se excluyeron aquellos documentos cuyo objeto de estudio no fuera el análisis del deporte.

Resultados

Una vez realizada la búsqueda, siguiendo los criterios de inclusión se seleccionaron un total de once artículos de investigación. Se constató que la totalidad de trabajos reportaron los valores de fiabilidad, mientras la descripción del procedimiento de validación y de entrenamiento de los observadores no siempre fue explicitado (Tabla 1).

Tabla 1. Listado de estudios seleccionados que reportan la descripción de los procesos de validez, fiabilidad y/o entrenamiento de los observadores

elaboración propia.

Discusión

La validez

La metodología observacional estudia al deportista inserto en su contexto natural, ya sea de entrenamiento o competición. A partir de una pregunta inicial de investigación se desarrolla el proceso en etapas, delimitando el problema y tomando decisiones sobre el diseño observacional, la recogida de datos, su gestión y optimización (Anguera y Hernández Mendo, 2013). En este punto, es habitual la necesidad de elaborar un instrumento observacional ad hoc que permita registrar las conductas específicas de los deportistas. Debido al carácter multifactorial y variable de la conducta humana, y más aún en deportes colectivos, el instrumento más propicio en estos contextos se conforma frecuentemente con un formato mixto de sistemas de categorías y formatos de campo (Anguera et al., 2000). Mientras que los sistemas de categorías se deducen de un soporte teórico profundo y precisan de un estudio bibliográfico exhaustivo que determina directamente las conductas que pueden ser categorizables en un determinado criterio, en el formato de campos las expresiones son más flexibles y con un sustento más débil en términos teóricos.

Para garantizar la validez del instrumento observacional y demostrar que se están midiendo las conductas objeto de interés, en el ámbito de los deportes colectivos se determina prioritariamente la validez de contenido y la validez de constructo. Verificamos la validez de contenido cuando los conceptos teóricos se encuentran adecuadamente representados en el sistema de categorías construido (Arnau, Anguera y Gómez, 1990; Blanco y Anguera, 2003). Así, la validez de contenido se demuestra a partir de la «descripción detallada y argumentada en el marco teórico» y mediante el «criterio de autoridad». Por otra parte, la validez del constructo se constata «siempre que se haya procedido deductivamente en la elaboración del sistema, y de la misma forma que en otras metodologías distintas a la observacional» (Arnau et al., 1990: 184).

La primera etapa dentro de la validación de un nuevo instrumento observacional ad hoc es un relevamiento minucioso de la bibliografía existente sobre el fenómeno a estudiar, para así poder conformar una primera lista de criterios y posibles categorías acorde al marco teórico. Como ejemplo, en el estudio sobre la eficacia ofensiva en las desigualdades en el handball femenino realizado por Trejo y Planas (2018) se conformó la lista abierta de categorías que fueron agrupadas según una primera serie de criterios (Tablas 2 y 3).

Tabla 2. Proceso de cálculo de la fiabilidad en Cabrera y González (2015)

Tabla 3. Criterios y categorías del instrumento de observación (Trejo y Planas, 2018)

En una segunda etapa de la construcción del instrumento se procedió a definir las categorías a partir de los registros bibliográficos, siendo más específicos en la determinación de indicadores de conductas registrables vinculadas a los objetivos del estudio. En el caso del trabajo de Trejo y Planas (2018), se consideraron como criterios de búsqueda los artículos vinculados al handball y la utilización de instrumentos obervacionales (Botejara, Puñales, González, Ruy López y Trejo, 2012; Cabrera y González, 2015; González, Botejara, Puñales, Trejo y Ruy López, 2013; Lozano y Camerino, 2012; Montoya, Moras y Anguera, 2013). Conjuntamente se realizó la observación de seis partidos de handball de nivel elite del Mundial Femenino de Serbia 2013, lo que permitió ajustar el instrumento con una primera lista de criterios y categorías.

Por otro lado, en el caso de basarse total o parcialmente en un instrumento ya utilizado en estudios previos, esta primera parte del proceso de validación se reduce a determinar la lista definitiva de sistemas de categorías ya utilizados y adaptarlos al nuevo contexto. A modo de ejemplo se presenta un extracto del instrumento usado por De Pablo y González (2019) y De Pablo, Trejo y González (2019) para el estudio de las finalizaciones del ataque en el fútbol basado en zasof (Vivés, 2012) (Tabla 4).

Tabla 4. Sistemas de categorías utilizados por De Pablo y González (2019) a partir del instrumento de Vivés (2012)

Tanto en instrumentos observacionales nuevos como en instrumentos ya existentes pero utilizados en nuevos contextos, el proceso de validación se completa a través del «criterio de autoridad» o «validez de expertos» (Hernández Sampieri, Fernández y Baptista, 2014). En este caso, se realiza la consulta a entrenadores de alto nivel acerca de la pertinencia de los criterios y categorías seleccionadas. En general, se consideran expertos aquellos especialistas en el deporte que son profesores de Educación Física, técnicos o entrenadores de nivel internacional y con larga trayectoria de competición. A estos especialistas se les aplica un cuestionario, preferentemente mediante entrevista personal, donde se pregunta sobre el nivel de acuerdo o desacuerdo con un criterio o categoría, agregando además un espacio para observaciones. El cuestionario se presenta con una breve descripción del proyecto de investigación y sus objetivos.

Como ejemplo, Trejo y Planas (2018) aplicaron un cuestionario a cinco entrenadores de la categoría senior de la Federación Uruguaya de Handball, con una experiencia mínima de cinco años dirigiendo a ese nivel, que participaron de procesos de selección nacional sub 18, sub 20 o senior (Tabla 5).

Tabla 5. Extracto del cuestionario enviado a expertos. Trejo (2016), sin publicar

El nivel de acuerdo total entre los expertos para cada elemento es variable en función de las investigaciones. En el caso de las investigaciones revisadas, todas tuvieron un grado mayor o igual al 80 % para validar el instrumento (Trejo y Planas, 2018; Trejo et al., 2020). En general, aquellos criterios y categorías que no alcanzan este nivel de acuerdo se reformulan para una nueva consulta. En algunos casos se debe tomar la decisión de eliminar el criterio o las categorías.

A cada experto encuestado se le alienta a realizar las observaciones que crean pertinentes para cada categoría. Incluso estando de acuerdo con una categoría, puede recomendar revisar o mejorar determinado aspecto de la misma. A modo de ejemplo, algunos de los entrenadores consultados estuvieron de acuerdo con las tres categorías presentes en la Tabla 4, pero sugirieron unir los partidos de Play off y de medalla en una única categoría, pues en los hechos eran partidos eliminatorios del torneo y deben tener un ganador, a diferencia de la fase de grupos donde un juego puede terminar en empate.

La fiabilidad del instrumento observacional

La fiabilidad se establece a partir de considerar las diferentes fuentes de error que pueden incidir en la medida. Un instrumento es fiable cuando sus registros son dependientes de las variaciones de los elementos y conductas evaluadas, e independientes de otros aspectos que puedan influir en la medición, como por ejemplo los observadores, los momentos o las sesiones de observación.

Para garantizar la fiabilidad de un instrumento observacional podemos encontrar diferentes procedimientos: la concordancia de los juicios de los observadores, la utilización de coeficientes de correlación desde la teoría psicométrica de la fiabilidad, y la teoría de la generalizabilidad (Blanco, 2001; Blanco y Anguera, 2003).

La concordancia interobservadores puede determinarse de forma cualitativa y cuantitativa. Desde la perspectiva cualitativa, la concordancia consensuada supone el acuerdo entre dos o más observadores antes del registro. Este consenso fortalece el registro y permite garantizar la elección más adecuada del rasgo o categoría. Como inconveniente, la presencia de un observador con mayor prestigio puede condicionar el criterio de otros observadores (Anguera, 2003; Anguera y Hernández Mendo, 2013).

Por otra parte, desde la perspectiva cuantitativa se pueden calcular los coeficientes de concordancia interobservadores e intraobservador que indican el nivel de acuerdo. Aunque se han definido muchos índices, como el coeficiente de concordancia total, porcentaje de concordancia en ocurrencias y no ocurrencias, etc., lo más habitual ha sido la utilización del índice de Kappa (Cohen, 1960). Su interés radica en que este índice calcula la concordancia entre observadores corrigiendo las posibilidades de acuerdo debidas al azar. Por esta razón, es preferible a los porcentajes de acuerdo simples (Bakeman y Gottman, 1989). Teniendo en cuenta que el valor máximo de 1,00 representa el acuerdo perfecto, Landis y Koch (1977) proponen una escala donde valores superiores a 0,61 son considerados como buenos, y a 0,81 como muy buenos.

Figura 1. Prueba Kappa utilizando el software sdis-gseq para valorar el acuerdo entre observadores en el criterio «eficacia de las acciones». Proceso de cálculo de fiabilidad (Álvarez, 2012)

Para la concordancia interobservadores, dos o más observadores realizan el registro por separado a partir de las grabaciones en video de las sesiones, y una vez finalizada esta primera toma de datos se evalúan los acuerdos y las diferencias entre ellos (Figura 1). Varias semanas después, generalmente tres o cuatro, se realiza una nueva observación de la misma sesión. Con los nuevos registros se calcula, además de la concordancia interobservadores, la concordancia intraobservador, es decir, el acuerdo de un observador consigo mismo en dos momentos distintos.

Este proceso de análisis de la calidad del dato es imprescindible y se debe realizar en todos los trabajos observacionales. La concordancia intraobservador e interobservadores garantiza la estabilidad de la medida entre un grupo de observadores. La fiabilidad se induce cuando varios observadores presentan concordancias adecuadas en una muestra heterogénea de sesiones. El número mínimo de observadores debe ser dos, aunque se recomienda que para este proceso inicial se utilicen entre tres y cinco observadores.

En Cabrera y González (2015), durante la elaboración del instrumento de observación ad hoc, el criterio de «valoración de la oposición» fue ajustado en repetidas ocasiones de cara a poder alcanzar buenos niveles de concordancia intraobservador e interobservadores. Finalmente, este criterio fue descartado puesto que no se alcanzó el mínimo de 0,60 que consideramos como aceptable (Tabla 6).

Tabla 6. Resultados del cálculo de concordancia intraobservador e interobservadores mediante el índice de Kappa en el criterio «oposición» con tres observadores (ObsA, ObsB y ObsC) y dos períodos de observación (1 y 2). Proceso de cálculo de la fiabilidad en (Cabrera y González, 2015)

Por otra parte, para el estudio de la fiabilidad del instrumento observacional se puede utilizar la teoría de la generalizabilidad (Blanco, Castellano, Hernández Mendo, Sánchez y Usabiaga, 2014). La teoría de la generalizabilidad permite reconocer las fuentes de error de la medida a partir del estudio de las diferentes facetas y las relaciones entre ellas (Cardinet, Johnson y Pini, 2010). Así, se puede identificar y medir la influencia en la variabilidad real y en la variabilidad del error de facetas como las categorías del instrumento, los observadores, los momentos de medición, etc. (Blanco, 1989).

El análisis de generalizabilidad presenta tres etapas (Blanco y Anguera, 2003): 1) análisis de la varianza; 2) análisis de generalizabilidad; y 3) modificación y optimización. Las dos primeras etapas permiten obtener el coeficiente de generalizabilidad, que estima la capacidad de generalizar la medida observada a la medida de todas las observaciones posibles en las mismas condiciones. Por otra parte, la tercera permite elegir un diseño optimizado.

La teoría de la generalizabilidad ha sido utilizada para determinar la fiabilidad de un instrumento observacional para analizar la eficacia del ataque en handball (González, 2016). En este trabajo, se realizó un estudio de generalizabilidad combinando los distintos criterios del instrumento (c), considerados como facetas, con las facetas observadores (o) y momentos (m). Para ello, tres observadores analizaron por separado y de forma independiente dos partidos de competiciones panamericanas. Además, cada uno de los observadores realizó el registro en dos momentos distintos con un intervalo de un mes. A partir de los datos se calcularon los coeficientes de generalización para los planes de medida c/om y om/c (Tabla 7). En este caso, para el plan de medida c/om los valores fueron próximos a uno. Por el contrario, en om/c se acercan a cero. Esto indica que la variabilidad total se explica a través de la faceta criterio (c), con escasa influencia de los observadores (o) y los momentos (m). De nuevo la excepción aparece en el criterio «oposición», donde los bajos coeficientes de generalizabilidad delatan grandes diferencias entre los observadores.

Tabla 7. Coeficientes de generalizabilidad en los planes de medida c/om y om/c. Criterio de observación (c), observadores (o) y momentos (m) (González, 2016)

Entrenamiento de los observadores

Un aspecto destacado que permite garantizar la calidad del dato es el proceso de entrenamiento de los observadores y el estudio de su fiabilidad en la recogida de datos. Losada y Manolov (2015) consideran que los observadores pueden incurrir en tres posibles fuentes de sesgo: a) el error mecánico durante el registro debido a dificultades con el instrumento de observación o la herramienta de registro; b) errores de percepción como consecuencia de una mala ubicación, dificultades con la focalización de la atención y las particularidades de los estímulos; y 3) características personales del observador (biográficas, psicológicas, profesionales, etc.) que pueden condicionar su observación. Por tanto, se hace imprescindible un proceso de formación y evaluación de los observadores que tenga por objetivo desarrollar su capacidad teórica y práctica, de modo que se asegure la fiabilidad y precisión de las observaciones que se realicen.

Medina y Delgado (1999) establecen dos fases para el entrenamiento de los observadores: una primera «fase preparatoria», donde se pretende la familiarización del observador con los instrumentos, conductas y formas de registro; y una segunda «fase de entrenamiento en la observación», que pretende desarrollar las habilidades del observador y garantizar su adecuación al proceso. En esta fase se incluye una comprobación periódica de la fiabilidad de los observadores. En este sentido, Losada y Manolov (2015) consideran una tercera fase de «mantenimiento», donde se pretende evaluar que las capacidades del observador perduran a lo largo del tiempo.

Dentro de la fase preparatoria, una vez se ha definido el instrumento, es habitual comenzar elaborando un manual de observación. Este manual sirve de guía para el registro, ya que además de los criterios y categorías del instrumento se pueden encontrar algunas instrucciones y detalles respecto al proceso. Como ejemplo, Botejara, Puñales, Trejo, Ruy López y González (2011) elaboraron un manual para el estudio de las pérdidas de balón en los partidos igualados de handball que ha servido de antecedente para otros muchos estudios posteriores. Con una extensión de once páginas, se desarrollaron las diferentes particularidades del instrumento observacional.

El manual es entregado a los observadores seleccionados. En este punto, es necesario destacar la importancia de la selección de los observadores. A nuestro juicio, dos características necesarias para formar parte del equipo de observadores son conocer adecuadamente el deporte y mostrar interés por formar parte del estudio. Más allá de la claridad con la que se elabore el instrumento y las puntualizaciones que puedan plantearse en el manual, la utilización de observadores que desconocen el deporte genera un esfuerzo de formación innecesario que no garantiza las posibles ventajas de una hipotética mayor objetividad.

Los observadores estudian individualmente el instrumento e incluso realizan una primera prueba de observación. Posteriormente, en sucesivas reuniones con los investigadores se aclaran dudas, se realizan ajustes y se discuten ejemplos o situaciones que puedan generar confusión. En esta fase, la formación teórica se acompaña de actividades prácticas.

En la segunda etapa, «fase de entrenamiento», los observadores realizan el registro de diferentes grabaciones con propiedades similares al estudio. La duración del proceso estará en función de las características de los observadores, la complejidad del instrumento y las peculiaridades de las conductas a observar. Además de la formación práctica, los datos obtenidos son analizados, estudiando el grado de acuerdo entre los diferentes observadores. Cuando las pruebas de concordancia interobservador e intraobservador son adecuadas, generalmente utilizando el índice de Kappa, el proceso de formación ha concluido y los observadores comenzarán a registrar los datos de la investigación principal.

Una vez finalizado el proceso de entrenamiento es aconsejable realizar una primera sesión de observación con la muestra de investigación donde participen los diferentes observadores. Aquí, todos ellos registran la misma sesión inicial por separado y en dos ocasiones distintas. Además de medir la fiabilidad de la toma de datos, se garantiza la adecuación de los observadores al proceso específico. Posteriormente, el resto de sesiones serán registradas por un único observador o grupo de observadores entrenados. En algunas ocasiones, cuando la toma de datos se extiende, se debe verificar que no se produzca un deterioro de la fiabilidad y que la codificación de cada observador sea consistente a lo largo del tiempo (Bakeman y Gottman, 1989). Este fue el caso de los trabajos de análisis de las finalizaciones en handball de Botejara et al. (2012) y González et al. (2013), donde se analizaron los partidos con resultados ajustados; y Cabrera y González (2015), que describieron las competiciones panamericanas. Como se puede ver en la Tabla 8, en el proyecto de investigación «Estudio de las pérdidas de balón en los resultados finales de partidos igualados de handball masculino y femenino» de Botejara et al. (2011) se utilizaron dos partidos que no formaban parte de la muestra para el entrenamiento de los observadores (a y b). Posteriormente, se repartieron las observaciones, con un partido inicial (1), al comienzo de la toma de datos, que todos los observadores registraron en dos ocasiones y sirvió para determinar la concordancia intraobservador e interobservadores. Avanzado el proceso, un partido final (14) verificó el mantenimiento de la fiabilidad de los observadores. En este caso, además, el proceso de registro continuó con otras competiciones.

Tabla 8. Esquema de reparto de sesiones de observación (partidos de handball) entre cinco observadores. En proyecto de investigación «Estudio de las pérdidas de balón en los resultados finales de partidos igualados de handball masculino y femenino» de Botejara et al. (2011)

Conclusiones

En la última década se ha producido un desarrollo considerable de la investigación de las conductas de juego dentro de los deportes colectivos en Uruguay. Con la incorporación de la metodología observacional a este proceso, una de las principales preocupaciones por parte de los investigadores ha sido garantizar la calidad del dato, aspecto que no era destacado en estudios anteriores. Por esta razón, durante la elaboración y utilización de los instrumentos de observación y registro de los datos se ha exigido garantizar su validez y fiabilidad. En este sentido, las decisiones tomadas han ido aportando a la calidad de la investigación con instrumentos rigurosos, precisos y estables, donde se minimizan las fuentes de error. También la adecuada preparación y entrenamiento de los observadores ha sido objeto de atención. Con este trabajo de revisión metodológica se pretende consolidar un ámbito de investigación reciente y en expansión dentro de los estudios del deporte en Uruguay.

Referencias bibliográficas

Álvarez, O. (2012). Análisis de las redes de comunicación motriz a través del pase entre los jugadores de la Selección uruguaya de fútbol. Revista Universitaria de la Educación Física y el Deporte, 5, 56-61.

Anguera, M. T. (2003). La observación en la educación infantil. En J. L. Gallego y E. Fernández, Enciclopedia de educación infantil (vol. 1, pp. 861-884). Málaga: Aljibe.

Anguera, M. T.; Blanco, Á.; Losada, J. L. y Hernández Mendo, A. (2000). La metodología observacional en el deporte: conceptos básicos. efdeportes.com, 24.

Anguera, M. T. y Hernández Mendo, A. (2013). La metodología observacional en el ámbito del deporte. E-Balonmano.com: Revista de Ciencias del Deporte, 9(3), 135-160.

Arnau, J.; Anguera, M. T. y Gómez, J. (1990). Metodología de la investigación en ciencias del comportamiento. Murcia: Universidad.

Ávila, F. M.; Chirosa, L. J.; Ureña, A.; Lozano, D. y Ulloa, D. (2018). Evaluation of tactical performance in invasion team sports: a systematic review. International Journal of Performance Analysis in Sport, 18(2), 195-216. DOI: https://doi.org/10.1080/24748668.2018.1460054

Bakeman, R. y Gottman, J. M. (1989). Observación de la interacción: introducción al análisis secuencial. Madrid: Morata.

Blanco, A. (2001). Generalizabilidad de observaciones uni y multifaceta: Estimadores ls y ml. Metodología De Las Ciencias Del Comportamiento, 3(2), 161-193.

Blanco, A. y Anguera, M. T. (2003). Calidad de los datos registrados en el ámbito deportivo. En A. Hernández Mendo (ed.), Psicología del Deporte ii. Metodología. (pp. 35-73). Buenos Aires: Tulio Guterman.

Blanco, A. (1989). Fiabilidad y generalización de la observación conductual. Anuario de Psicología, 43(4), 6-32.

Blanco, A.; Castellano J.; Hernández Mendo, A.; Sánchez, C. R. y Usabiaga, O. (2014). Aplicación de la tg en el deporte para el estudio de la fiabilidad, validez y estimación de la muestra. Revista de Psicología del Deporte, 23(1), 131-137.

Botejara, J.; Puñales, L.; González, A.; Ruy López, E. y Trejo, A. (2012). Análisis de la finalización de la posesión de balón en handball. Estudio del campeonato de mundo masculino 2011. Revista Universitaria de la Educación Física y el Deporte, (5), 6-14.

Botejara, J.; Puñales, L.; Trejo, A.; Ruy López, E. y González, A. (2011). Estudio de las pérdidas de balón en los resultados finales de partidos igualados de handball masculino y femenino. Proyecto de investigación. Instituto Universitario Asociación Cristiana de Jóvenes. No publicado.

Botejara, J. y Puñales, L. (2001). Handball de alto rendimiento. Efectividad en zonas de lanzamiento. Actas VIII Encuentro de investigadores en Educación Física, 171-173. Montevideo: Ediciones Ideas.

Cabrera, I. y González, A. (2015). Eficacia del ataque de los Juegos odesur y Campeonato Panamericano de Handball Mayores Masculino 2014. Revista Universitaria de la Educación Física y el Deporte, 8(8), 68-76.

Cardinet, J.; Johnson, S. y Pini, G. (2010). Applying generalizability theory using EduG. En Quantitative methodology series. Nueva York: Routledge.

Casal, C. A.; Losada, J. L. y Ardá, T. (2015). Análisis de los factores de rendimiento de la fase ofensiva en el fútbol de alto nivel. Revista de Psicología del Deporte, 24(1), 103-110.

Cohen, J. (1960). A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, 20(1), 37-46. DOI: https://doi.org/10.1177/001316446002000104

De Pablo, M. y González-Ramírez, A. (2019). Patrones presentes en las secuencias de juego a balón parado que finalizaron en gol en el Campeonato Uruguayo de Fútbol. Kronos, 18(2).

De Pablo, M.; Trejo, A. y González-Ramírez, A. (2019). Patterns of play to score goals in uruguayan professional football. Ibero-American Journal of Sports and Exercise Psychology, 14(2), 179-83.

Dol, G.; Onetto, V.; Carbonell, V. y González-Ramírez, A. (2020). Análisis del rendimiento de los lanzamientos en balonmano playa femenino de élite. Apunts, 141, 49-54. DOI: https://doi.org/10.5672/apunts.2014-0983.es.(2020/3).141.06

Ferrari, R. (2015). Writing narrative style literature reviews. Medical Writing, 24(4), 230-235, DOI: 10.1179/2047480615Z.000000000329

González, A. (2016). Fiabilidad de un instrumento de observación para analizar el rendimiento en handball. Ciencias Psicológicas, 10(2), 199-207. DOI: https://doi.org/10.22235/cp.v10i2.1256

González, A.; Botejara, J.; Puñales, L.; Trejo, A. y Ruy López, E. (2013). Análisis de la finalización del ataque en partidos igualados de balonmano de alto nivel mediante coordenadas polares. E-Balonmano.com: Revista de Ciencias del Deporte, 9(2), 71-89.

González, A.; Bermúdez, S.; Martínez, I. y Chirosa, L.J. (2017). Eficacia de los porteros en los Juegos odesur y Campeonato Panamericano de Balonmano en 2014. Apunts, 130, 95-105. DOI: http://dx.doi.org/10.5672/apunts.2014-0983.es.(2017/4).130.08

Hernández Sampieri, R.; Fernández, C. y Baptista, P. (2014). Metodología de la investigación (6.a ed.). México, D.F.: McGraw-Hill Education.

Landis, J. R. y Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174. DOI: https://doi.org/10.2307/2529310

Losada, J. L. y Manolov, R. (2015). The process of basic training, applied training, maintaining the performance of an observer. Quality & Quantity, 49(1), 339-347. DOI: https://doi.org/10.1007/s11135-014-9989-7

Lozano, D. y Camerino, O. (2012). Eficacia de los sistemas ofensivos en balonmano. Apunts. Educación física y deportes, 2(108), 70-81.

Medina, J. y Delgado, M. (1999). Metodología de entrenamiento de observadores para investigaciones sobre ef y deporte en las que se utilice como método la observación. Revista Motricidad, 5, 69-86.

Montoya, M.; Moras, G. y Anguera, M. T. (2013). Análisis de las finalizaciones de los extremos en balonmano. Apunts. Educación física y deportes, (113), 52-59.

Sarmento, H.; Marcelino, R.; Anguera, M. T.; Campaniço, J.; Matos, N. y Leitão, J. C. (2014). Match analysis in football: a systematic review. Journal of Sports Sciences, 32(20), 1831-1843. DOI: https://doi.org/10.1080/02640414.2014.898852

Trejo, A.; Camacho, A.; Camacho, M.; González-Ramírez, A. y Brazo-Sayavera, J. (2020). Offensive performance under numerical inequality during exclusions in female handball. ricyde. Revista Internacional de Ciencias del Deporte, 62(16), 396-409. DOI: https://doi.org/10.5232/ricyde2020.06205

Trejo, A. y Planas, A. (2018). Eficacia ofensiva en situaciones de desigualdad numérica en el balonmano femenino. Apunts: Educación física y deportes, (131), 95-107.

Vivés, M. (2012). Estudio de la relación existente entre las acciones ofensivas en la fase de creación y en la fase de finalización del juego del r.c.d. Espanyol. Tesis doctoral. inefc – Universidad de Lleida, Lleida.