CÓD.A05-S04-04 ONLINE

APLICACIÓN EN EL NIVEL UNIVERSITARIO DEL PROGRAMA INFORMÁTICO “GALLITO-API” PARA LA CORRECCIÓN Y EVALUACIÓN DE BREVES EJERCICIOS ESCRITOS

Introducción

En este trabajo presentamos un análisis global de una serie de proyectos de innovación docente realizados en el marco del Programa Innova-Docentia de la Universidad Complutense de Madrid entre 2016 y 2021. El equipo de investigación ha estado integrado por profesorado del Departamento de Antropología Social y Psicología Social y por estudiantes en prácticas pertenecientes a distintos Grados de la Facultad de Ciencias Políticas y Sociología.

El equipo ha trabajado con el programa informático “Gallito-Api” para la corrección y evaluación de breves ejercicios escritos, elaborado por profesores del Departamento de Psicología Evolutiva de la UNED, aplicándolo, analizando los resultados obtenidos y proponiendo mejoras.

Objetivos

Objetivo General

Analizar y desarrollar el programa informático con el fin de volverlo aplicable en el nivel universitario en el ámbito de las ciencias sociales.

Objetivos Específicos

  1. Análisis del funcionamiento del programa, con vistas a identificar con mayor precisión sus criterios de valoración de los ejercicios en cuanto al contenido y al estilo.
  2. Partiendo de este conocimiento, promover una mejora en distintos aspectos del programa.

Metodología

El programa utiliza la técnica de procesamiento del lenguaje conocida como Latent Semantic Analysis, mediante la cual se generan árboles de palabras correlacionadas entre sí. En nuestro caso, permite calibrar en qué medida un ejercicio escrito recoge los contenidos temáticos requeridos.

El programa construye distintos espacios semánticos a partir de diversos corpus integrados por materiales escritos acerca de un determinado tema, a los que se añaden además extensos listados de palabras, con fines orientativos. Cada ejercicio específico se remite a un espacio semántico particular. Su elaboración requiere asimismo de una “regla de oro”, o respuesta modélica a una pregunta, y de una serie de cadenas de descriptores, es decir de palabras claves relacionadas con las distintas ideas centrales que deben desarrollarse en los ejercicios escritos.

Se ha elaborado un conjunto de ejercicios que han ido siendo aplicados en distintos grupos de clase impartidos por el profesorado del equipo. Los estudiantes que han participado voluntariamente en la experiencia han recibido incrementos en sus calificaciones finales. El análisis de los resultados ha brindado ya orientaciones para ampliar los corpus y listados de palabras y reformar las reglas de oro y las cadenas de descriptores.

Discusión

El principal problema inicial consistió en las calificaciones extremadamente bajas que otorgaba el programa. Este problema ha ido resolviéndose progresivamente.

No obstante, todavía no se comprende bien el modo en que opera la aplicación. Actualmente estamos trabajando cuestiones como el orden expositivo global, los encadenamientos entre frases y la valoración de sinónimos de los términos clave. A partir de estos análisis se propondrán ulteriores mejoras.

Conclusión

Aunque todavía queda mucho por hacer, se espera disponer dentro de unos años de una herramienta capaz de corregir adecuadamente ejercicios escritos, así como de entrenar para una buena escritura al alumnado con más carencias en este aspecto.

Palabras clave

Análisis Semántico Evaluación Online Innovación Docente

Ponencia Online

Documentación de apoyo a la presentación ONLINE de la ponencia

Ver el video en youtube

Documento Complementario de Apoyo
Descargar INNDOCpowepoint-revisado.pdf


Firmantes

Los autores de la ponencia

profile avatar

Juan Ignacio Castien Maestro

Ver Perfil

profile avatar

Cristina Cuenca García

Ver Perfil

profile avatar

Anna Zlobina Kuzminá

Ver Perfil


Preguntas y comentarios al autor/es

Hay 13 comentarios en esta ponencia

    • profile avatar

      Julia Manetsberger

      Comentó el 25/06/2021 a las 09:39:18

      Buenos días,

      Muy interesante el programa, me preguntaba si constatáis que presente algún tipo de dificultad para el profesorado y el alumnado poner en práctica esta herramienta. En el caso del alumno, ¿existen reticencias y/o dudas por parte de los alumnos para ser evaluados mediante el programa? En su caso, ¿cómo las gestionan?

      Muchas gracias y un saludo,
      Julia

      Responder

      • profile avatar

        Juan Ignacio Castien Maestro

        Comentó el 25/06/2021 a las 10:38:33

        Buenos días. El estudiantado participa voluntariamente y se le ha comunicado que no se le evalúa su respuesta, ya que es una prueba experimental. La disposición suele ser muy buena, ya que el programa suscita mucha curiosidad. Cuando las puntuaciones otorgadas por la aplicación eran más bajas, a veces había una cierta frustración, pero este problema se ha ido superando, conforme la hemos ido superando. Saludos

        Responder

    • profile avatar

      Carmen Liliana Mera Plaza

      Comentó el 23/06/2021 a las 02:42:52

      Buenas noches estimados profesores, muy interesante la participación de ustedes, mi consulta;
      podrían ustedes aplicar esta herramienta a temas de matemáticos, estadísticos o financieros, conociendo la actualidad globlal del estudiantado.

      Responder

      • profile avatar

        Juan Ignacio Castien Maestro

        Comentó el 23/06/2021 a las 10:45:53

        Buenos días. El proyecto está centrado en el campo de las ciencias humanas, pero no veo razón alguna por la que no pueda ser adaptado con éxito a los niveles más discursivos de estas otras disciplinas. El caso de sus vertientes más basadas en lenguajes matemáticos es obviamente diferente. Un cordial saludo.

        Responder

      • profile avatar

        Cristina Cuenca García

        Comentó el 23/06/2021 a las 21:08:14

        Hola Carmen Liliana, muchas gracias por su comentario.
        La herramienta se basa en el análisis semántico latente, de manera que entiendo que su uso en estas disciplinas debería centrarse en cuestiones explicables a través del lenguaje y no mediante fórmulas. Podría plantearse una "regla de oro" con la explicación de la fórmula y sus aplicaciones.

        Responder

    • profile avatar

      Telly Yarita Macias Zambrano

      Comentó el 22/06/2021 a las 23:18:53

      Estimados profesores, buenas tardes:
      Muy bonito trabajo, muy práctico y útil a la realidad que vivimos con nuestros estudiantes día a día. Respecto de la aplicación del programa a un ensayo, creen ustedes que se lo puede aplicar ahora, o requiere una mejora en el programa?

      Responder

      • profile avatar

        Juan Ignacio Castien Maestro

        Comentó el 22/06/2021 a las 23:53:11

        Muchas gracias. Estamos avanzando rápido. Pero no creemos que todavía se pueda utilizar en exclusiva ni para evaluar ni para orientar al estudiante sin la orientación de un docente. Pero ya parece que si puede empezar a operar como un instrumento complementario de la práctica educativa. Un saludo

        Responder

      • profile avatar

        Cristina Cuenca García

        Comentó el 23/06/2021 a las 21:14:18

        Gracias Telly Yarita!
        Precisamente en un ensayo me parece complicado por la exigencia del programa de comparación con una "regla de oro" que realiza previamente el profesor y con un corpus; también por que precisamente en un ensayo la originalidad puede ser determinante en la calificación, y en esto de la creatividad la Inteligencia Artificial tiene sus límites.
        No obstante, los alumnos aprenderían a mejorar sus habilidades de comunicación y también sería una forma de ir aumentando las posibilidades de la herramienta.

        Responder

    • profile avatar

      Alessandra Farné

      Comentó el 22/06/2021 a las 12:27:15

      Buenos días y felicidades a todo el quipo por un proyecto tan interesante y útil. Como habéis explicado en la presentación, aunque no llegue a sustituir un seguimiento "humano", puede ser una herramienta de gran ayuda para estudiantes con dificultades en la redacción y una oportunidad para practicar y mejorar. Sería interesante saber si esta herramienta es Creative Commons y de acceso abierto, en qué plataforma funciona (por ejemplo, Moodle) y si tenéis un plan para darle difusión y que se pueda usar en otras instituciones. Saludos.

      Responder

      • profile avatar

        Juan Ignacio Castien Maestro

        Comentó el 22/06/2021 a las 15:19:14

        Muchas gracias. La aplicación como tal, no ha sido diseñada por nosotros, sino por un equipo del Departamento de Psicología Evolutiva de la UNED, que han creado la empresa Semantialab. Puedes contactar directamente con ellos a través de su web. Seguro que están encantados. Saludos

        Responder

    • profile avatar

      Iluminada Fuertes Fuertes

      Comentó el 22/06/2021 a las 09:25:25

      En primer lugar, dar la enhorabuena a la compañera Cristina por su claridad en la exposición, y en segundo lugar, a todos los miembros del grupo por el proyecto que habéis presentado, puesto que es realmente interesante y oportuno. A través de la presentación se ve el gran esfuerzo que conlleva. Me gustaría saber si habéis estudiado la existencia de diferencias en el rendimiento del estudiantado de vuestros grupos atendiendo al perfil del mismo (características socio-demográficas, lengua materna, necesidades especiales, género…), más allá del expediente al que Cristina se refería cuando comentaba la penalización que el software otorga al estudiantado “más brillante”. Si es así, cómo habéis observado que se comporta la aplicación. Muchas gracias.

      Responder

      • profile avatar

        Juan Ignacio Castien Maestro

        Comentó el 22/06/2021 a las 15:21:10

        Gracias por tu interés. Es un tema en el que estamos trabajando actualmente, por lo que sería un poco prematuro adelantar datos. Si más adelante nos quieres contactar, te atenderemos con mucho gusto. Saludos

        Responder

      • profile avatar

        Cristina Cuenca García

        Comentó el 24/06/2021 a las 12:47:39

        Gracias por tus comentarios!
        Estamos también recopilando datos a través de un cuestionario que esperamos podrán facilitarnos algo de la información que comentas, no obstante, será a partir del próximo curso cuando trataremos de analizar los datos, por ahora, teniendo en cuenta los objetivos del proyecto (-> mejorar la aplicación) hemos recopilado poca información aunque espero que de interés.

        Responder


Deja tu comentario

Lo siento, debes estar conectado para publicar un comentario.