Screenshot 2024 06 11 At 2.10.09 Pm.png

La interacción persona-computadora (HCI) se centra en el diseño y uso de tecnología informática, particularmente las interfaces entre personas (usuarios) y computadoras. Los investigadores en este campo observan cómo los humanos interactúan con las computadoras y diseñan tecnologías que les permiten interactuar con las computadoras de maneras novedosas. HCI abarca varias áreas, como el diseño de la experiencia del usuario, la ergonomía y la psicología cognitiva, con el objetivo de crear interfaces intuitivas y eficientes que mejoren la satisfacción y el rendimiento del usuario.

Un desafío importante en HCI y la educación es la integración de modelos de lenguajes grandes (LLM) en cursos de programación de pregrado. Estas herramientas avanzadas de IA, como los modelos GPT de OpenAI, tienen el potencial de revolucionar la forma en que se enseña y aprende la programación. Sin embargo, su impacto en los procesos de aprendizaje, la autoeficacia y las percepciones profesionales de los estudiantes sigue siendo una preocupación crítica. Comprender cómo estas herramientas pueden integrarse eficazmente en el marco educativo es esencial para maximizar sus beneficios y minimizar sus posibles inconvenientes.

Tradicionalmente, la educación en programación se ha basado en conferencias, libros de texto y tareas de codificación interactivas. Algunos entornos educativos han comenzado a incorporar herramientas de inteligencia artificial más simples para la generación de código y asistencia en la depuración. Sin embargo, la integración de LLM sofisticados aún se encuentra en sus etapas incipientes. Estos modelos pueden generar, depurar y explicar código, ofreciendo nuevas formas de ayudar a los estudiantes en su viaje de aprendizaje. A pesar de su potencial, es necesario comprender cómo los estudiantes se adaptan a estas herramientas y cómo influyen en sus resultados de aprendizaje y en su confianza en sí mismos.

Investigadores de la Universidad de Michigan presentaron un estudio integral para explorar los factores sociales que influyen en la adopción y el uso de LLM en un curso de pregrado en programación. El estudio utilizó la teoría de la configuración social para examinar cómo las percepciones sociales de los estudiantes, las influencias de sus pares y las expectativas profesionales impactan su uso de los LLM. El equipo de investigación empleó un enfoque de métodos mixtos, que incluyó una encuesta anónima de final de curso con 158 estudiantes, encuestas de autoeficacia a mitad de curso, entrevistas a estudiantes y un análisis de regresión de datos de desempeño a mitad de período. Este enfoque multifacético tenía como objetivo proporcionar una comprensión detallada de la dinámica en juego.

Metodológicamente, el estudio implicó una encuesta anónima distribuida a los estudiantes, entrevistas semiestructuradas para obtener conocimientos más profundos y un análisis de regresión de los datos de desempeño de mitad de período. Este enfoque tuvo como objetivo triangular datos de múltiples fuentes para comprender de manera integral la dinámica social que afecta el uso de LLM. Los investigadores descubrieron que el uso de LLM por parte de los estudiantes estaba asociado con sus expectativas profesionales futuras y sus percepciones sobre el uso de sus compañeros. En particular, el uso temprano de LLM autoinformado se correlacionó con una menor autoeficacia y puntuaciones intermedias. Sin embargo, la excesiva dependencia percibida de los LLM, en lugar de su uso real, se asocia con una menor autoeficacia más adelante en el curso.

La metodología propuesta incluyó una encuesta detallada y una entrevista para recopilar datos cualitativos y cuantitativos. La encuesta, realizada durante la última semana de clases presenciales, tenía como objetivo capturar una muestra representativa de las actitudes y percepciones de los estudiantes con respecto a los LLM. La encuesta constaba de 25 preguntas que cubrían áreas como la familiaridad con las herramientas de LLM, los patrones de uso y las preocupaciones sobre la dependencia excesiva. También se incluyeron cinco preguntas de autoeficacia para evaluar la confianza de los estudiantes en sus habilidades de programación. Luego, estos datos se analizaron utilizando técnicas de regresión para identificar patrones y correlaciones significativos.

Los resultados notables del estudio indicaron que el uso temprano de LLM se correlacionaba con una menor autoeficacia y puntuaciones intermedias. Los estudiantes percibieron una dependencia excesiva de los LLM en lugar del uso en sí, lo que llevó a una disminución de la autoeficacia más adelante en el curso. Sus aspiraciones profesionales y percepciones sobre el uso de sus pares influyeron significativamente en las decisiones de los estudiantes de utilizar LLM. Por ejemplo, los estudiantes que creían que una excesiva dependencia de los LLM perjudicaría sus perspectivas laborales tendían a preferir aprender habilidades de programación de forma independiente. Por el contrario, aquellos que anticipaban un alto uso futuro de los LLM en sus carreras eran más propensos a utilizar estas herramientas durante el curso.

El estudio también destacó el desempeño y los resultados notables de la integración de LLM en el plan de estudios. Por ejemplo, los estudiantes de LLM informaron resultados mixtos en su autoeficacia en programación y logros de aprendizaje. Algunos estudiantes descubrieron que el uso de LLM les ayudó a comprender conceptos de codificación complejos y mensajes de error, mientras que otros sintieron que afectó negativamente su confianza en sus habilidades de codificación. El análisis de regresión reveló que los estudiantes que se sentían demasiado dependientes de los LLM tenían puntuaciones de autoeficacia más bajas, lo que enfatiza la importancia del uso equilibrado de las herramientas.

En conclusión, el estudio subraya la compleja dinámica de la integración de los LLM en la educación de pregrado en programación. Los factores sociales, como el uso de pares y las aspiraciones profesionales, influyen en gran medida en la adopción de estas herramientas avanzadas. Si bien los LLM pueden mejorar significativamente las experiencias de aprendizaje, la dependencia excesiva de estas herramientas puede afectar negativamente la confianza y el desempeño de los estudiantes. Por lo tanto, encontrar un equilibrio en el uso de los LLM es crucial para garantizar que los estudiantes desarrollen habilidades fundamentales sólidas y al mismo tiempo aprovechen las herramientas de inteligencia artificial para mejorar. Estos hallazgos resaltan la necesidad de estrategias de integración reflexivas que consideren tanto las capacidades tecnológicas de los LLM como el contexto social de su uso en entornos educativos.


Fuente

  • https://arxiv.org/pdf/2406.06451


Aswin AK es pasante de consultoría en MarkTechPost. Está cursando su doble titulación en el Instituto Indio de Tecnología de Kharagpur. Le apasiona la ciencia de datos y el aprendizaje automático, y aporta una sólida formación académica y experiencia práctica en la resolución de desafíos interdisciplinarios de la vida real.