Introducción de los Test Adaptativos Informatizados en las Universidades Cubanas
En la actualidad,
la labor de los profesores a la hora de la calificación de
los exámenes y las preguntas escritas se hace
difícil pues deben dedicarle mucho tiempo a esta
tarea. Y cuando se debe medir la calidad de los
estudiantes dado un criterio, el proceso se
hace muy lento y trabajoso. Por ejemplo, si necesitamos escoger
los mejores estudiantes para un proyecto
determinado, tendríamos seguramente que recurrir al
criterio de sus profesores, o a los resultados en las pruebas (que
también es un número considerable); ambas variantes
consumen mucho tiempo y recursos. Este
proceso se hará cada vez más engorroso a medida que
aumente el número de estudiantes y proyectos en los
que estos deberán trabajar.
Analizando los sistemas de
certificación académica existentes en el mundo y
comprobando que no se ajustan a las necesidades del proceso
docente-educativo que se esta llevando a cabo en nuestro
país, se propone aplicar los Test Adaptativos
Informatizados (TAIs) en la docencia
académica a través del Sistema
Inteligente de Certificación Académica (SICA), de
manera que garantice y facilite los procesos de
evaluación y calificación, de
fácil acceso para estudiantes y profesores de las
universidades de nuestro
país.
La utilización de los TAIs permitirán
agilizar los procesos de confección, aplicación y
revisión de los exámenes; evaluar a los estudiantes
sin la intervención continua de los profesores;
certificarlos académicamente en el
conocimiento de una aplicación o técnica
determinada y; la elaboración y calificación
automática de pruebas para la auto evaluación de
estudiantes.
La ejecución e implantación de este
sistema tendrá un impacto social importante en la nueva
tendencia de la educación en
nuestro país: avanzar cada vez más en el camino de
la docencia no presencial, y borrar el mito de que la
aplicación de exámenes tradicionales.
Palabras Claves
Adaptativo
Proceso docente-educativo
TAIs o Test Adaptativos Informatizados
Testing
Abstract
At the present time, the work of the professors in the
qualification of the exams becomes difficult because they should
dedicate a lot of time to this task. And when should be measured
the quality of the given students an parameter, the process
becomes very slow and difficult. For example, if we need to
choose the best students for a certain project, we would have to
ask the opinion of their professors, or to the results in the
tests (that is also a considerable number); both variants consume
a lot of time and resources. This process will become more
difficult as it increases the number of students and projects in
those they will work.
Analyzing the academic certification systems existent in
the world and checking that they are not adjusted to the
necessities of the educational process in our country, is
necessary to apply the Computer Adaptative Test (CATs) in the
educational process through the System of Intelligent Academic
Certification (SICA), so that it guarantees and facilitate the
evaluation's process and qualification's process , and to easy's
access for
students and professors of the universities of our
country.
The use of the Computer Adaptative Test will allow to
speed up the making processes, application and revision of the
exams; to evaluate the students without the continuous
intervention of the professors; to certify them academically in
the knowledge of an application or technique and; the elaboration
and automatic in self qualification of tests for the evaluation
of students.
The execution and installation of this system will have
an important social impact in the new tendency of the education
in our country: to erase the myth that the application of
traditional exams.
La creciente demanda
laboral, a
nivel mundial, ha traído como consecuencias un aumento del
nivel de preparación de los aspirantes a los puestos y por
tanto la necesidad de existencia de mecanismos que faciliten la
selección de estos a gran escala.
Por otra parte el mito de la computadora
trae consigo la posibilidad de explotar todas las vías de
enseñanza y aprendizaje,
realzando los términos de auto preparación, auto
estudio y auto evaluación; aunque este último, en
nuestro país, se encuentre un poco en desuso, pues
necesariamente tenemos que dirigirnos a sistemas de
certificación o evaluación de competencias,
existentes en el mercado
internacional, cuyos recursos no están al alcance de
nuestras posibilidades o simplemente tenemos del desconocimiento
del idioma.
Nuestras universidades utilizan el modo de
evaluación tradicional, a través de los
exámenes establecidos en el plan docente,
pero si un alumno desea medir sus conocimientos en una materia que
estudia de forma independiente debe remitirse a sistemas
existentes que pueden o no estar en Internet y que por tanto, no
son de fácil acceso. Cuando se debe medir la calidad de
los estudiantes dado un criterio, el proceso se hace muy lento y
trabajoso. Por ejemplo, si necesitamos escoger los mejores
estudiantes para un proyecto determinado, tendríamos
seguramente que recurrir al criterio de sus profesores, o a los
resultados en las pruebas (que también es un número
considerable); ambas variantes consumen mucho tiempo y recursos.
Este proceso se hará cada vez más engorroso a
medida que aumente el número de estudiantes y proyectos en
los que estos deberán trabajar. Actualmente la labor de
los profesores a la hora de la calificación de los
exámenes y las preguntas escritas se hace difícil
pues deben dedicarle mucho tiempo para esta tarea.
El problema está dado por la carencia de un
sistema que permita certificar académicamente a los
estudiantes, así como agilizar los procesos de
confección, aplicación y revisión de los
exámenes. Este trabajo, por
tanto, se desarrolla con el objetivo de
proveer nuestras universidades de un sistema que
permita:
- Evaluar a los estudiantes sin la intervención
continua de los profesores. - Certificarlos académicamente en el conocimiento
de una aplicación o técnica
determinada. - La aplicación y calificación
automática de pruebas para la auto
evaluación.
En el tema a tratar consultamos bibliografía y sistemas de
certificación académica existentes en el mundo,
como http://www.BrainBench.com,
http://www.ExamsOnLine.com
y http://www.NCSAcademy.com.
El estudio se enfoca hacia sus potencialidades y las ventajas y
desventajas según nuestras necesidades específicas.
Además consultamos las teorías
sobre los Test Automatizados, Test Adaptativos Informatizados
(TAIs) como tecnología mayormente
utilizada en los mejores sistemas de certificación del
mundo.
El calificativo certificación académica es
utilizado en algunos ámbitos para nombrar a un documento
que recoge los resultados cuantitativos de las evaluaciones
realizadas durante un determinado período
académico, en otras palabras la certificación de
notas. En su lugar debería referirse a un sistema de
certificación de competencias, pues está más
a tono con las tendencias actuales de la
formación.
Las universidades cubanas siguen las tendencias actuales
de la educación y cada día se inclina
más a la educación no presencial y la
formación profesional, y a la certificación y
evaluación mediante el uso de las nuevas
tecnologías. De manera general muchas instituciones
han tenido la grandiosa idea de utilizar este tipo de sistemas,
lo que a pesar de lo fructífero que seria su
utilización, no han sido llevadas a cabo, o han sido
abandonadas en medio de su desarrollo por
falta de motivación, recursos o simplemente por no
contar con un buen respaldo.
2. Evaluación y
automatización. Las nuevas
tecnologías en el área de Testing
La renovación en las ciencias es
consustancial a la profesión docente. Pero esta
renovación no se refiere sólo a la llamada
actualización científica, es decir, a la puesta al
día en los conocimientos de las distintas disciplinas; se
refiere también, muy particularmente, a la
renovación de los métodos de
enseñanza y de los procedimientos de
evaluación. En este quehacer el profesor
necesita, sin duda, orientaciones e instrumentos
nuevos.
El ser humano desde que nace necesita de guías
que le muestren el camino para desarrollar sus habilidades. Estos
guías, tutores o maestros con sus enseñanzas forman
o crean inquietudes en las cuales se basa nuestro desarrollo
cognoscitivo. Los tutores humanos proveen una alta eficiencia en el
entorno de la enseñanza debido a que son capaces de
estimar el grado de entendimiento de sus alumnos sobre un tema.
Esto es posible gracias a la interacción directa tutor-alumno. Con el
desarrollo de la tecnología se planteó una
cuestión interesante ¿Será posible duplicar
un tutor humano mediante alguna máquina? Si fuera
así, la única máquina capaz de emular las
labores humanas en la actualidad es la computadora.
Los sistemas inteligentes de enseñanza o mejor conocidos
por su nombre en inglés
"Intelligent Tutoring Systems" o solo ITS, son herramientas
de software que
utilizan técnicas
descubiertas en la inteligencia
artificial para lograr la enseñanza de algún tema o
habilidad. Los sistemas inteligentes de enseñanza son
comúnmente referidos como CAI que son las siglas de
Instrucción Asistida por Computadora.
Los sistemas inteligentes de enseñanza son
verdaderamente sistemas de comunicación de conocimiento. Pueden ser
definidos de esa manera debido a que el énfasis principal
en el desarrollo de estos sistemas es proveerlos con acceso a la
representación del conocimiento que es lo que el sistema
intenta de comunicar al estudiante. En un ITS el énfasis
está puesto en el conocimiento (qué) a ser
comunicado al estudiante y no en el mecanismo (cómo) de
comunicación usado para presentar el conocimiento al
estudiante.
3. Algo sobre los TAIs (Tests Adaptativos
Informatizados)
El uso del ordenador ha permitido la
incorporación de estrategias
singulares en la presentación, análisis de respuesta y puntuación
de los Tests, así como avances importantes en la
elaboración, construcción y administración de los mismos.
El uso de los TAIs proporciona una evaluación de
habilidades o conocimientos, precisa y eficiente, así como
que presenta posibilidades de aplicación en la mejora de
los procesos de enseñanza y aprendizaje.
Uno de los campos en los que los TAIs han creado
más expectativas es el diagnóstico de las habilidades de los
estudiantes. Estas expectativas encuentran una
justificación en el hecho de que algunos de los objetivos
asociados a los TAIs están próximos a aquellos que
se establecen en el ámbito del diagnóstico. Un TAI
se construye bajo el supuesto de que la presentación de un
ítem cualquiera a un sujeto es el resultado de un proceso
de análisis en el que se tienen en cuenta las
características del ítem y las del propio sujeto.
Pues bien, el problema básico del diagnóstico que
se apoya en el uso de Tests es determinar bajo qué
condiciones, restricciones o reglas se elige un ítem de
modo que nos permita profundizar en el proceso que sigue un
individuo para
afrontar una tarea. En ambos campos, el problema es un problema
no sólo de contenido sino, sobre todo, de proceso:
¿cuál es el siguiente ítem? y
¿qué características debe poseer? Un TAI que
pretenda utilizarse con fines diagnósticos debería
responder satisfactoriamente a esas dos cuestiones.
La posibilidad de aplicar este tipo de Tests en la
evaluación de habilidades complejas, de introducirlos como
instrumentos asociados a los procesos de enseñanza y
aprendizaje o de utilizarlos como herramientas en los procesos
diagnósticos no resulta, desde luego, un asunto
baladí. No es un asunto fácil realizar un TAIs y
mucho menos aplicarlo a los procesos docentes
educativos, su creación y aplicación exige
condiciones, tanto psicológicas como físicas,
adecuadas, así como una buena selección de hardware, software y
dispositivos.
Podemos considerar que los Tests Adaptativos
Informatizados (TAIs) tienen ya unos 30 años de historia. La mayor parte de
este tiempo ha estado en el
laboratorio,
donde la principal preocupación de los investigadores ha
sido obtener las estrategias más eficientes, precisas y
válidas posibles. Sólo en la última
década se han empezado a utilizar de forma masiva.
[Hotangas, 2000].
Conviene no confundir "Test Adaptativo Informatizado"
con "Test Informatizado". Un Test Informatizado es un Test
tradicional en el que se utiliza un ordenador para la
administración de ítems (o reactivos), recogida
de respuestas, corrección del Test, emisión de la
calificación. Un Test Adaptativo Informatizado (o TAI)
también presenta los ítems y recoge las respuestas
de la persona
utilizando un ordenador, pero el uso del ordenador no es su rasgo
más característico. Lo más genuino es su
capacidad para adaptarse al rendimiento de la persona que
está siendo medida, de ahí el "Adaptativo" de TAI.
La idea básica es presentar exclusivamente a cada persona
los ítems que nos informan de su nivel de rasgo. A una
persona con mucho nivel de vocabulario inglés no tiene
mucho sentido pedirle la traducción de "DOG" (perro), pues es
seguro que la
sabrá. Análogamente, a una persona con muy bajo
nivel, tampoco se le debería preguntar por la
traducción de "SLED" (trineo), pues es muy poco probable
que la sepa. Un TAI evitaría ambas preguntas a personas de
alto y bajo nivel de vocabulario inglés, respectivamente.
Una consecuencia de sólo administrar los ítems
realmente útiles es que se puede conseguir la misma
precisión en la medida del rasgo con muchos menos
ítems.
El auge actual de los TAIs se debe básicamente a
dos razones: la primera es la existencia de ordenadores
personales de gran capacidad a bajo coste. La segunda es la
aparición de una nueva teoría
de los Tests, la Teoría de la Respuesta al Ítem
(TRI), que tiene claras ventajas frente a la tradicional
Teoría Clásica, [Muñiz, 1997]. El principio
de invarianza de la TRI permite obtener estimaciones de los
niveles de rasgo en la misma escala sean cuales sean los
ítem administrados. Es decir, podemos aplicar unos
ítems fáciles a una persona de bajo nivel e
ítems difíciles a otra de alto nivel y obtener para
uno y otro sus niveles de rasgo en una misma escala, lo que
permite su comparación.
4. Ventajas que poseen los
TAIs o frente a los Test Estáticos
Los TAIs requieren menos preguntas para arribar a un
estimado más exacto de la habilidad de los encuestados que
los Test de papel y lápiz.
- La tecnología de los TAIs permite recibir
retroalimentación acerca de su
funcionamiento. - Cada encuestado administra diferentes Sets de
preguntas aumentando la seguridad
del los Test. - TAI no guarda el número de preguntas
respondidas correctamente, solamente los ítems
respondidos correctamente. - Un usuario que responde correctamente un conjunto de
preguntas de más dificultad reciben una mayor
puntación que el uno que responde correctamente un
conjunto de preguntas más sencillas. - El resultado obtenido es reflejo del número de
preguntas respondidas adecuadamente y el nivel de dificultad de
esas preguntas.
Las preguntas generalmente son de selección
múltiple, son hechas para evaluar el conocimiento del
mundo real contrario al conocimiento académico. Se puede
esperar obtener código
de ejemplo, imágenes y
escenarios asociados con muchos de las preguntas. Cada pregunta
tiene solo una respuesta correcta. [Hotangas, 2000].
Sus elementos básicos son cuatro: el banco de
ítems, el procedimiento
adaptativo, la estimación del nivel de rasgo y el criterio
de parada.
5. Reseña sobre los sistemas de
certificación existentes
- BrainBench
(http://www.brainbench.com)
Los Test de BrainBench consisten en 40 preguntas que
toman entre 45 minutos y 1 hora para completar. Cada pregunta
dispone generalmente de 180 segundos mostrando una advertencia
cuando restan 30 segundos. Los resultados incluyen lo
siguiente:
- Una puntuación entre 1.0 y 5.0 puntos donde 5
es el máximo, acompañado del texto con la
descripción del significado de la
puntuación. - Una puntuación porcentual mostrando la
comparación con todos los que se hallan evaluado
antes. - Un resumen de tus fortalezas y debilidades comparadas
con tu puntuación en conjunto.
Aproximadamente el 40% de los que completan un Test de
certificación son certificados (alcanzan una
puntuación de 2.75). De estos solo el 12% alcanzan el
nivel master (4.0 puntos).
Los Test de BrainBench están desarrollados,
validados y revisados por profesionales del área que ya
han sido certificados. Todos los Test han sido desarrollados
usando el certificado ISO 9001. Las
pruebas son enviadas mediante el Computer Adaptive Tests
(CATs).
BrainBench proporciona también un programa de
certificación de roles laborales. Una completa
certificación laboral incluye una selección de un
núcleo de habilidades así como también
habilidades electivas que se pueden seleccionar de acuerdo con
las necesidades específicas. Mientras una
certificación de habilidad pueda probar sus conocimientos
sobre una habilidad específica, una certificación
laboral prueba que tiene el núcleo de habilidades
requeridas para desempeñar un trabajo.
- ExamsOnLine
(http://www.examsonline.com)
Los exámenes gratis constan de 15 preguntas y
los pagados de 105.Brinda 3 opciones para la realización del
examen:Simulación de examen aleatorio: Las
preguntas se muestran en un orden aleatorio con un
límite de tiempo de 20 minutos. Permite simular un
examen real, las respuestas no son mostradas durante la
realización del examen.Examen completo: Todas las preguntas son
mostradas, no hay límite de tiempo. Puedes ver las
respuestas durante la realización del
examen.Examen personalizado: No hay límite de
tiempo. Se puede modificar la pregunta inicial y la final.
Este modo se utiliza para ver las preguntas en un rango
determinado. Las preguntas no son aleatorias. Se
podrán ver las mismas preguntas cada vez que se
seleccione el mismo rango de preguntas. Puedes ver las
respuestas durante la realización del
examen.Todas las opciones permiten una revisión al
finalizar el examen.Permite bajar exámenes.
- NCSAcademy
(http://www.ncsacademy.com)
Características de los
exámenes:
El examen consta de 35 a 50 preguntas en dependencia del
tema a evaluar, tomándose hasta cerca de una hora para
contestarlas todas. Todas las preguntas son de selección
múltiple.
La puntuación es en base a 4.0 puntos. Una
puntuación superior a los 2.0 puntos indica que se ha
superado el examen y es elegible para la certificación.
Una puntuación inferior no te permite ser certificado. Se
deben esperar 7 días para repetir un examen.
Se tienen 90 segundos para contestar cada pregunta. El
sistema proporciona un contador que muestra el tiempo
restante para responder la pregunta. El tiempo también es
controlado por el servidor y cuando
termina no hay posibilidades de cambiar la respuesta
dada.
Ofrece una evaluación por temáticas
permitiendo conocer donde se encuentran los problemas.
Dados los sistemas de certificación
académica existentes en el mundo y el estudio de sus
principales características encontramos que los mismos se
encuentran fundamentalmente en idioma inglés, no existe
código fuente ni datos de diseño
y no hay un ajuste a las necesidades que han surgido en nuestras
universidades, por lo tanto se propone comenzar el
desarrollo de un sistema que respondiera a las necesidades del
proceso docente que se pretende llevar a cabo en nuestras
universidades.
La propuesta viene siendo introducir los Tais a
través de un sistema que la fusione estos sitios,
recogiendo lo mejor de los sistemas de certificación
existentes hasta este momento y se caracterice principalmente por
las posibilidades que brinda de adaptarse al individuo que se
examine en ese momento. Y provee mejoras como:
- Interfase visual y agradable.
- Trabajo en el idioma del país.
- No necesidad de buscar otros Sistemas de
evaluación de competencias o certificación
académica en Internet.
Es necesario aclarar que la propuesta aun se encuentra
en el orden teórico, aunque su verdadero fin es proveer al
sistema docente-educativo de una alternativa para la
evaluación, a través del Sistema Inteligente de
Certificación Académica, el cual esta en proceso de
concepción.
La ejecución e implantación de este
proyecto tendrá un impacto social importante en la nueva
tendencia de la educación en nuestro país: avanzar
cada vez más en el camino de la docencia no presencial, y
borrar el mito de que la aplicación de exámenes
tradicionales.
Del análisis de los resultados de esta investigación se plantean las conclusiones
siguientes:
- Al aplicar los TAIs tendríamos aportes
prácticos de este trabajo debemos destacar:
- Rapidez y eficacia en
la creación, aplicación y calificación
de exámenes. - Facilidades de preparación y
evaluación, para estudiantes, de manera
autodidacta. - Reconocimiento del nivel cognoscitivo de los
estudiantes en una materia, dado un criterio. - Agilización de las estadísticas generales
docentes.
- Los sistemas de certificación académica
existentes no se ajustan a las necesidades de nuestros
profesores y estudiantes, por lo que se propone
desarrollar un nuevo sistema que recoja lo mejor de los
sistemas analizados.
- Hacer uso de los TAIs en los procesos
docente-educativos de las universidades cubanas. - Investigar las herramientas existentes para la
creación de Sistema Tutores Inteligentes
(STI). - Profundizar los estudios en las técnicas
más actuales de la Inteligencia
Artificial (IA) aplicadas a los TAIs.
[Hotangas, 2000] Hontangas, P.M, Ponsoda, V.,
Olea, J. y Abad, F. Los tests adaptativos informatizados en la
frontera del
siglo XXI: una revisión. Metodología de las
Ciencias del Comportamiento, 2000, .2 (2),
183-216.
[Muñiz,1997] Muñiz, J. Introducción a la Teoría de
Respuesta a los Ítems. Madrid:
Pirámide, 1997.
Ponsoda, V., Olea, J., Hontangas, P., Revuelta, J.
Ponencia presentada en el XXVIII Congreso Iberoamericano de
Psicología. Santiago de Chile, 29 de julio
a 3 de agosto, 2001.
Padilla, Franco Jávitt Higmar Nahitt; Lara
Rogriguez, Amado y Marquez Gutierrez, Pedro Rafael. Sistema
Inteligente para la Enseñanza de las Matemáticas. Instituto Tecnológico
de Chihuahua
http://www.depi.itchihuahua.edu.mx/electro/electro2001/mem2001/articulos/cmp6.pdf
Sánchez Medina, Edmundo. Sistema de
Evaluación en Línea en el Centro Universitario de
la Costa de la Universidad de
Guadalajara. http://www.somece.org.mx/memorias/2000/docs/521.DOC
[consulta: 04/03/2004].
Tamayo Taype, Miguel Ángel; Climént
Bonilla, Juan B. La Evaluación y Certificación de
Competencias
Laborales en el Contexto de América
Latina. Algunas Reflexiones en el caso de México.
Documentos
presentados en el II Foro Iberoamericano sobre
Formación y Empleo.
Evaluación y Certificación de Competencias
Profesionales. Río de Janeiro, Brasil, 12-14 de
julio de 1999. http://www.oei.org.co/iberfop/brasil2.htm
[consulta: 04/03/2004]
La Evaluación de Test adaptativos Informatizados
[en línea] http://www.uv.es/RELIEVE/v4n2/RELIEVEv4n2_6.htm
Revista
ELectrónica de Investigación y
Evaluación Educativa. 1998, Volumen 4,
Número 2_6. ISSN 1134-4032. D.L. SE-1138-94.
Inc. Site designed and hosted by NetAblaze.com [en
línea] http://www.examsonline.com
2000-2004. [consulta: 04/03/2004]
National Computer Science Academy [en
línea] http://www.ncsacademy.com
2003.[consulta: 04/03/2004]
Brainbench is the leading global provider of online
skills, aptitude, and knowledge measurement solutions. [en
línea] http://www.brainbench.com
[consulta: 13/03/2004].
Yulkeidi Martínez Espinosa
Estudios: Ingeniero Informático
Profesión: Profesor/Formador
Categoría Educación, Computación (general)
Fac. Informática, UNICA
Ciego de Ávila, 2005