¿Qué se evalúa?
Se evalúa que el PE tenga procesos adecuados y documentados para valorar el grado de desarrollo de los atributos del egresado de los estudiantes a lo largo del PE.
Estándar
El PE tiene definido un proceso sistemático para valorar el desarrollo y logro de los atributos del egresado a través del plan de estudios, con mecanismos de valoración adecuados, así como indicadores y metas.
El PE analiza periódicamente los resultados de la valoración periódicamente en conjunto con representantes de los grupos de interés del programa para hacer recomendaciones que deberán tomarse en cuenta en el proceso de mejora continua.
Autoevaluación y evidencias
1. Para cada atributo del egresado del programa, se tiene definido…
- Su mapeo en el plan de estudios
- Las herramientas de valoración
- Sus indicadores de desempeño
- El proceso de recolección de resultados?
Si se cuenta con la evaluación de los Atributos de Egreso (AE) conforme a los aspectos definidos de mapeo, herramientas de valoración, criterios e indicadores de desempeño, así como recolección de resultados.
2. ¿Se cuenta con un proceso sistematizado para asegurar el desarrollo continuo, la medición y el logro de los atributos del egresado?
Se definió un proceso para la evaluación de los AE:
El diagrama se definió por parte del Comité Curricular, precisamente para establecer de manera continua la evaluación de los AE y su sistematización. Se puede observar que el origen está en el curso de materia ¿qué actividades desarrolla el alumno que aportan a un atributo y que el profesor pueda evaluar? (paso 1), para contestar esta pregunta, se diseñó una rúbrica que facilita al profesor identificar el nivel en el que aporta su curso (paso 2) por alguna actividad ya sea tarea, examen, proyecto, entre otras. También se observa que debe haber pertinencia de dichos cursos sobre todo si aportan al logro de los atributos para considerarlos “avanzados” (pasos 3, 4 y 5). El Comité Curricular diseñó un formato estandarizado para reportar la evaluación de cada curso, lo proporcionó a cada profesor y lo apoyo en su uso (pasos 6 y 7). La recolección de datos fue primero a nivel del criterio de desempeño y luego a reunirlos por atributo para obtener resultados (pasos 8 y 9), finalmente analizar e identificar áreas de oportunidad y propuestas de mejora (pasos 10 y 11).
Modificaciones en el proceso de evaluación de los AE
Luego de contar con un mapeo de 2018, éste se actualizó en 2022 con la participación de profesores y autoridades. Para el ejercicio de la evaluación, se tuvo también la participación de los profesores asesorados por profesores pares, miembros del Comité Curricular. Es importante señalar que en 2018 la evaluación de los atributos, se realizó con una rúbrica diseñada en aquel momento, conforme a lo que solicitaba este indicador, se hizo entonces contestando un formato de rubrica por curso avanzado participante. Por otra parte, vino la pandemia que afectó la forma de impartir clases, con la necesidad de ser flexibles con las evaluaciones en general, ya que fue evidente el problema de comunicación en línea (sobredemanda) y los factores económicos y sociales involucrados; por ello y dadas las irregularidades que afectaron los programas de materia y el proceso de enseñanza –aprendizaje, no se evaluaron los atributos de egreso en ese periodo.
Por otra parte, es preciso decir que, si se aprovechó el tiempo de la pandemia para revisar y diseñar una nueva rúbrica general para identificar los niveles de desempeño de los atributos de egreso y actualizar el mapeo, mismo que se aplicó en 2022 para identificar los cursos que aportan en forma avanzada a los atributos de egreso.
Con el nuevo mapeo, se realizó la evaluación de los atributos de egreso en los ciclos 2022 A y 2022B. Cabe hacer notar que durante el ciclo 2022B, como parte de la mejora continua, se trabajó en el diseño de la sistematización del proceso usando software, esto con el propósito de implementarlo en la evaluación del ciclo 2023 A. El prototipo de este sistema, se puso en marcha con la participación de los profesores que se capacitaron para su uso, evaluando los atributos del ciclo 2023 A, mismo que también se reporta.
El Sistema de Evaluación de los Atributos de Egreso de Ingeniería Química (SEAEIQ) se diseñó con uso de visual BASIC 6 y su funcionamiento se explica en el siguiente diagrama de flujo:
El diagrama se basa en el diagrama anterior, pero ahora el usuario (profesor) ingresa al sistema (paso 1) y alimenta la información por etapas, primero selecciona el curso y alimenta relaciona los criterios de desempeño con los indicadores (actividades de aprendizaje) (pasos 2 y 3), luego se procede a subir evidencias con muestras calificadas (paso 4), a continuación, se procede a la captura de las evaluaciones según una escala de calificaciones equivalente a niveles “avanzado”, “intermedio”, “introductorio” y “no alcanza” (paso 5 y 6). Posteriormente, se capturan comentarios y observaciones, así como posibles propuestas de mejora según el caso (paso 7). El administrador del sistema que es otro par académico, revisa la información para su validación o retroalimentación (paso 9). Se pueden obtener reportes de resultados en varias formas según se necesite; finalmente analizar e identificar áreas de oportunidad y propuestas de mejora (pasos 10 y 11).
Por otra parte, se organizó un curso de capacitación para el uso del SEAEIQ con los profesores involucrados en cursos avanzados y otros profesores invitados que en el futuro podrían participar. El curso se llevó a cabo en mayo 2023 justo para usarse al terminar el ciclo escolar en la evaluación. Para la organización y seguimiento del curso, participó el Comité Curricular y el Jefe de Departamento.
3. Las conclusiones u observaciones del análisis del resultado de la evaluación periódica, ¿se utilizan para hacer recomendaciones con el fin de mejorar el proceso de evaluación, los atributos del egresado y el cumplimiento de las metas establecidas?
Si, del análisis de los resultados de evaluación reportado en 4.2.1, se han encontrado hallazgos, mismos que se han discutido en el Comité Curricular, con los profesores y también se han incluido los grupos de interés que también han participado con uno de los criterios de desempeño de los objetivos educacionales, que está relacionado con los AE.
Cabe señalar que, como un extra, se han realizado autoevaluaciones de los alumnos candidatos a egresar para obtener su percepción sobre el dominio de los atributos de egreso.
El análisis de los resultados de la evaluación de los atributos de egreso, presenta las siguientes observaciones:
1. En el ciclo 2022A, se pueden identificar los atributos fortaleza, es decir aquellos que cuentan con un mayor desempeño avanzado son el A4, A5 y A8, en donde queda manifiesta la capacidad de los alumnos de conducir experimentación, analizar e interpretar datos en prácticas y proyectos de ingeniería química, en comunicarse efectivamente y trabajar en equipos estableciendo metas, tareas, cumplimiento con las fechas, analizando riesgos e incertidumbre.
Como atributos con un desempeño intermedio se identifican el A1, A2, A6 y A7, los cuales se relacionan con la solución de problemas de ingeniería, análisis y aplicación de ingeniería y lo relacionado con ética sustentabilidad y aprendizaje continuo, este resultado plantea la necesidad de su mejora.
Por otra parte, es notable que el atributo A3 presenta los resultados de evaluación menores con respecto a los otros atributos; con una tendencia intermedio a introductorio. Además, al realizar una observación mayor se tiene que el criterio calificado con el menor desempeño de este ciclo escolar es el criterio 3.2 “el alumno evalúa la factibilidad técnica del proyecto de diseño”. Los indicadores de este criterio manifiestan que los alumnos no demuestran capacidad para evaluar la factibilidad técnica del proyecto de diseño de una planta o proceso, lo que lleva a realizar una revisión sobre la enseñanza del tema y las rúbricas que se usan para evaluar, entre otros factores.
2. Al analizar los resultados de evaluación de los atributos en el ciclo 2022B, se puede observar que se mantiene la fortaleza de los atributos A4, A5 y A8, demostrando que los alumnos cuentan con la competencia de análisis e interpretación datos en prácticas y proyectos de ingeniería química, así como de trabajo en equipo, estableciendo metas, tareas, cumplimiento con las fechas, analizando riesgos e incertidumbre en la Ingeniería Química, incluso con ligera mejoras en el atributo de comunicación (A5).
Para los atributos calificados en nivel intermedio, durante el ciclo escolar 2022B no se observan cambios sustanciales en su comportamiento, es decir que son similares al ciclo 2022A, sin embargo, si se observa con mayor detalle si hay una mejora en el atributo, precisamente en los primeros criterios 1.1, 1.2.
Al igual que el ciclo escolar anterior, el criterio con menor índice de desempeño avanzado es el 3.2, aunque los resultados demuestran un ligero incremento en el desempeño intermedio, sigue siendo bajo y requiere de estrategias de mejora o de revisar si los indicadores no son los adecuados.
3. En el ciclo 2023 A se presenta una mejora general en todos los resultados de evaluación de atributos de egreso que además se acompaña del uso del sistema SEAEIQ.
En este ciclo se puede observar que los atributos fortaleza para este ciclo son A5, A6, A7 y A8, demostrando que los alumnos tienen más facilidad de mejorar en las competencias blandas que en las de ingeniería, como lo son: comunicarse efectivamente, reconocer sus responsabilidades ética y profesionales, reconocer la necesidad del aprendizaje continuo y trabajar efectivamente en equipo. El atributo A4 cuenta con un desempeño entre intermedio y avanzado, debido a que los criterios de desempeño relacionados con la experimentación práctica y teórica están mejor calificados que la del criterio desempeño de análisis e interpretación de datos, que presenta un nivel intermedio.
Por otra parte, el criterio de desempeño 3.2 presenta una mejora significativa con respecto a los ciclos anteriores; ya que, por primera vez se presentan evaluaciones con nivel avanzado que permite reconocer la mejora.
Finalmente, el atributo con menor rendimiento para el ciclo 2023A es el atributo A1, pero no debido que este haya disminuido, si no que los demás atributos mejoraron en sus resultados de evaluación. Es notable que los alumnos requieren de mayor atención en las competencias duras representadas por los atributos A1, A2, A3 y parte del A4.
Análisis de las metas
Es evidente que el análisis de los resultados nos da información sobre el nivel de dificultad de los alumnos para el logro de los AE en las competencias duras en comparación con las competencias blandas.
Del reporte de metas por ciclo escolar, se concluye que el periodo 2022A-2022B la mayoría de los cursos mantienen el mismo nivel de desempeño, y para el periodo 2022B-2023A la mayoría de los cursos presentan incrementos en el desempeño avanzado, en consecuencia, es evidente el incremento en el nivel avanzado en el ciclo escolar 2023A.
Para el periodo 2022A-2022B, la evaluación de metas por atributos, muestra que los resultados se mantienen constantes en su mayoría, pero se presenta una ligera mejora debido a la zona de incrementos de las metas.
Para el periodo 2022B-2023A, la evaluación de metas por atributos, muestra mayor amplitud en las zonas de incrementos, en tanto que las otras dos zonas (decremento y la constante) son ligeras, esto permite un desarrollo significativo en los atributos de egresos de Ingeniería Química para el ciclo escolar 2023A.
Recomendaciones
El proceso de evaluación de los AE presenta oportunidades para hacer recomendaciones de mejora a los cursos involucrados en diferentes etapas:
1. Cuando se realizó el mapeo y algunos profesores indicaron alcanzar un nivel intermedio en cursos que por su naturaleza y nivel en la malla curricular deberían ser avanzados; en ese caso la revisión del contenido del curso en si ya es una mejora.
2. Cuando se realiza el paso de la retroalimentación de las evidencias que se utilizan para evaluar los AE, es decir aquellas actividades que generan productos de aprendizaje y que deben ser congruentes con el indicador y criterio de desempeño. Aquí los profesores pares hacen observaciones y recomendaciones a los profesores participantes para que reporten el cómo evalúan, con qué instrumentos de evaluación (rúbricas) y si estos son adecuados, se elaboró un reporte al respecto.
3. Cuando los profesores de los cursos participantes se les invita a reflexionar acerca de su evaluación de los AE.
Auto-evaluación de los alumnos, candidatos a egresar
Como ya se mencionó al principio, se realiza un ejercicio que se ha vuelto sistemático de auto-evaluación de los recién egresados; en este reporte, los egresados se reconocen con mejor dominio en el atributo de “reconoce la necesidad del aprendizaje continuo aplicando habilidades, técnicas y herramientas modernas de la ingeniería en su práctica profesional” y con menor dominio en el atributo “Analiza, sintetiza y aplica procesos de diseño de ingeniería química que resulten en proyectos que cumplen las necesidades especificadas”. Esto coincide en lo general con las evaluaciones hechas por los profesores.