Avaliación da eficacia dun programa de competencias emocionais en estudantes universitarios
Mª Paula Ríos-de Deus, MªLuisa Rodicio-García, Mª Josefa Iglesias-Cortizas e Mª José Mosquera González
Universidade da Coruña
María Penado Abilleira
Universidade Isabel I (Burgos)
Grupo FORVI (Formación e Orientación para a Vida)
paula.rios.dedeus@udc.es
Introdución
No últimos vinte anos proliferaron os traballos no campo das competencias emocionais e foron varios os autores que se preocuparon polo desenvolvemento de programas de adestramento destas. A pesar diso, no ámbito do ensino superior, as achegas son escasas e os estudos existentes circunscríbense a niveis non universitarios (Bisquerra, 2015; Caruana, 2005; Martínez, 2009; Muñoz, 2005, 2006; Muñoz e Bisquerra, 2009; Romasz, Cantor e Elias, 2004), á formación de persoas desempregadas (Pérez e Ribeira, 2009), adultos en xeral (Soldevila, 2009) e, sobre todo, ao ámbito dos recursos humanos coa incorporación do coaching ou outdoor training como metodoloxías de traballo (Baron e Morin, 2010; Evers, Brouwers e Tomic, 2006; Pérez-González, 2008; Reinoso, 2008; Riggio e Le, 2007; Stevens e Campion, 1994).
A teor das publicacións sobre o tema, aínda non está claro como desenvolver as competencias emocionais, malia que todos os autores coinciden en que o seu adestramento pode contribuír a melloralas (Goetz, Frenkel, Pekrun e Hall, 2005; Pérez-González, 2008; Roberts, Zeidner, Mattews, 2007). Isto é algo fundamental na actualidade na que se está demandando un tipo de profesional persoalmente competente e, polo tanto, creativo e innovador, definindo o perfil de emprendedor tan desexado nestes momentos. En consecuencia, os antecedentes sinalados fundamentan a relevancia da educación emocional nas universidades, o que implica cambios na institución e no profesorado, tales como o deseño de programas específicos e instrumentos de valoración, entre outros (Bisquerra, 2015), que permiten lograr o compromiso académico (Medrano, Moretti e Ortiz, 2015).
Considérase que as competencias emocionais se aprenden e que é aconsellable potenciar o deseño e desenvolvemento de programas de intervención na súa adquisición, tan descoidadas na maioría dos programas de formación e que están na base das competencias profesionais tan perseguidas na actualidade (González e Wagenaar, 2003). Así mesmo, considérase que, como sinala Rodicio-García (2009:326), «estamos ante un novo tipo de profesionalidade no que a actividade laboral dun traballador é cada vez máis complexa xa que o seu desempeño esixe unha serie de competencias que van desde “o saber”, ata “o ser”, pasando polo “saber facer” e “saber estar” na organización», ao cal, sen dúbida, contribuirá ao desenvolvemento das competencias emocionais.
A avaliación das competencias está intimamente relacionada co seu desenvolvemento práctico. Ademais de que existe pouca evidencia obxectiva sobre a modificación das competencias emocionais a través do seu adestramento con programas específicos, tampouco se dispón dunha avaliación rigorosa que mostre a súa eficacia para poder xeneralizar a súa aplicación. Considérase de especial relevancia a investigación evaluativa, entendida como avaliación de programas de intervención social e centrada na valoración da eficacia dos servizos que se prestan á sociedade (Colás e Rebollo, 1993; Correa, Porta e Restrepo, 2002; Da Orde, 1985; Escudeiro, 2006; Martínez, 1996; Popham, 1980).
Ao longo da historia propuxéronse diferentes enfoques ou modelos de avaliación e este estudo apóiase no modelo CIPP de Stufflebeam. Trátase dunha metodoloxía utilizada para a avaliación de programas de adestramento, educación e plans de estudo que ten en conta as condicións de partida (contexto), a información de entrada ou input, o proceso e o produto, e que expón a avaliación como un proceso útil de obtención de resultados para a toma de decisións (Stufflebeam, 2000, 2003) e que persegue os seguintes obxectivos (Stufflebeam, 2000, 2003; Stufflebeam, e Shinkfield, 1987):
- Obter información pertinente, válida e fiable que actúe como soporte para a emisión de xuízos de valor.
- Estimar os resultados e a eficacia dos programas.
- Obter coñecemento sobre os problemas específicos da súa aplicación.
- Colaborar na súa mellora.
Método
Unha das liñas de interese é o diagnóstico das competencias emocionais dos estudantes universitarios, o que levou a constatar as carencias formativas que posúen respecto diso. De aí xurdiu a idea de deseñar e implementar un programa para o desenvolvemento das competencias emocionais no devandito contexto.
Unha vez matriculados os estudantes na materia Desenvolvemento de Competencias Emocionais, realizouse un pretest para constatar en que medida estaban formados en cuestións sobre competencias emocionais para, a partir de aí, obter evidencias de cal era a situación real dos participantes e darlle forma definitiva ao noso programa. Debido á súa natureza práctica, fixouse un límite de prazas, circunstancia que reduciu a poboación polo que non se considerou oportuno a formación dun grupo control, malia saber da súa importancia, dado que calquera cambio observado no grupo de beneficiarios antes e despois de participar no programa pode ser influenciado por factores externos a el. Tendo isto en conta, débense interpretar os resultados coas reservas oportunas ata futuras comprobacións.
Seguindo a clasificación realizada por De Miguel (2000), pódese afirmar que se está fronte a un deseño en función do nivel de control sobre as variables do programa e, máis concretamente, un estudo selectivo, no que hai un programa prefixado no que se especifican os procedementos para utilizar na comparación dos grupos sobre os cales se aplicou o programa. Neste caso, como se sinalou, trátase dun único grupo con comparación pre e post, é dicir, o que saben ao comezo do programa e as aprendizaxes alcanzadas unha vez finalizado este. Trátase dun deseño no que non hai un control externo e os colectivos sobre os cales se fai a avaliación non foron elixidos mediante procedementos aleatorios.
É importante ter presente tamén que, polo simple feito de aplicar un programa de adestramento en competencias emocionais, non se está garantindo que estas se adquiran de forma permanente. Si se pode garantir a súa adquisición ou mellora no momento da súa aplicación e para ese grupo concreto, pero o alcance temporal dos cambios é difícil de determinar. En calquera caso, é un paso nesa mellora e posterior consolidación das devanditas competencias.
Obxectivos
O propósito xeral desta investigación é comprobar a eficacia dun programa para conseguir unha mellora nas competencias emocionais dos estudantes.
Os obxectivos específicos son:
1. Caracterizar a mostra en función das variables de identificación.
2. Determinar a fiabilidade e validez do instrumento utilizado.
3. Estimar a eficacia do programa contrastando as diferenzas obtidas entre pretest-postest.
Mostra
O estudo baséase en 174 estudantes da UDC de diferentes titulacións, con presenza maioritaria de estudantes de Administración e Dirección de Empresas e Arquitectura.
Instrumento
Para a avaliación do programa elaborouse un cuestionario de identificación das competencias emocionais e aplicouse en dous momentos diferentes: antes de comezar a desenvolver o programa e ao final. Mantense o cuestionario idéntico en ambas as aplicacións para poder obter evidencias da súa eficacia mediante a comparación das respostas obtidas.
Análise dos datos
Combinouse a estatística descritiva e a inferencial: estatísticos de fiabilidade, análise factorial, proba para unha mostra, proba de mostras relacionadas e ANOVA dun factor. O tratamento e análise de datos foi efectuado mediante o programa estatístico SPSS para Windows.
Resultados
Primeiro obxectivo. Caracterizar a mostra en función das variables de identificación
A mostra está composta maioritariamente por mulleres, un 65,9 % fronte ao 34,1 % de homes. As súas idades oscilan entre os 19 e os 60 anos, cunha media de idade de 22,95 anos e unha desviación típica de 9,004. O estudantado provén maioritariamente (táboa 1) das titulacións de Administración e Dirección de Empresas (19,54 %), Arquitectura (19,54 %) e de Educación Social (14,94 %).
Táboa 1. Titulación de procedencia
Fonte: Elaboración propia
Segundo obxectivo. Determinar a fiabilidade e validez do instrumento
Utilizouse o coeficiente de fiabilidade de Cronbach (táboa 2) e obtívose un valor excelente (α = ,897).
Táboa 2. Estatísticos de fiabilidade
Fonte: Elaboración propia
Para verificar a validez do instrumento realizouse unha análise factorial que proporcionou as diferentes medidas de adecuación mostral:
- A KMO (Kaiser-Meyer-Olkin) reflicte a media global para todo o grupo de variables, cun valor de ,744, interpretado entre mediano a meritorio.
- A proba de Barlett dá un valor moi elevado Chi-cadrado = 494,756 cun nivel de significación ,000<.05.
- A matriz antiimaxe ofrece o valor de KMO individual ≥,05, que reflicte o valor individual que cada variable achega á análise, con valores superiores a ,800.
- A correlación antiimaxe, formada polas KMO individuais, ofrece valores baixos e próximos a 0, o que supón que as variables de estudo poderían ser agrupadas en factores comúns para a súa información compartida.
- O criterio de porcentaxe de varianza acumulada, cun valor superior ao 70 % (70,281), nunha solución parsimoniosa de 5 factores: autocontrol, automotivación, autoafirmación, asertividade e motivación de logro.
Terceiro obxectivo. Estimar a eficacia do programa contrastando as diferenzas obtidas entre pretest-postest
Para alcanzalo realizouse a proba para unha mostra, a proba de mostras relacionadas e ANOVA dun factor.
a) Proba para unha mostra. A proba t de Student, asumindo que se cumpre o suposto de normalidade que a lexitima, permitiu aceptar a hipótese alternativa (h1) de existencia de diferenzas de medias tras aplicar o programa. Obtívose unha p=,000 >,01 para todos os ítems, circunstancia que valida, xunto con valores elevados do coeficiente t, diferenzas significativas no beneficio obtido nas competencias emocionais.
As variables nas que se conseguiu un maior desenvolvemento das competencias emocionais e, polo tanto, unha maior diferenza de medias, tras aplicar o programa, son:
- Sabes que significa asertividade? (t=18,816; diferenza de medias (dm)=2,386)
- Sabes que é autoafirmarte? (t=19,118; dm=2,205)
- Sabes que é motivación de logro? (t=19,773; dm=1,909)
- Sabes como controlar as túas emocións e conduta? (t=18,163; dm=1,955)
- Sabes que é empatía e para que se usa? (t=17,956; dm=1,841)
b) Proba de mostras relacionadas. Con este estatístico compróbase que, tras a aplicación do programa, a media de ítem de resposta aumenta significativamente. Acéptase a h1 de existencia de diferenzas que xeran un beneficio nas competencias emocionais.
Todos os pares avaliados, pretest-postest, obtiveron niveis óptimos de significación (p=,000>,05), o que sinala que existe beneficio do programa en todas as variables. A obtención de coeficientes elevados confirma que o programa é adecuado para desenvolver as competencias a estudo. As variables máis significativas son:
- Par (22): Coñeces as formas de comunicación social? (t=-12,91; p=,000<,05; gl=173; M=-591). Os suxeitos, tras recibir un programa adecuado, melloraron o seu coñecemento acerca das formas de comunicación social existentes.
- Par (25): En xeral, tes unha idea das competencias emocionais? (t=-12,956; p=,000<,05; gl=173; M=-1,636). É o obxectivo xeral do programa. O seu coñecemento mellorou tras a aplicación.
- Par (4): Coñeces os indicadores das competencias emocionais? (t=-12,557; p=,000<.05; gl=173; M=-1,500). O coñecemento das dimensións que forman as competencias emocionais melloraron tras o tratamento.
- Par (19): Coñeces a forma de utilizar a asertividade? (t=-12,397; p=,000<,05; gl=173; M=-1,659). É un dos indicadores das competencias emocionais no ámbito persoal que tamén se ve beneficiado co programa.
- Par (1): Sabes que son as competencias emocionais? (t=-12,163; p=,000<,05; gl=173; M=-1,705). Obxectivo xeral das competencias emocionais. Pregunta contraste.
- Par (20): Sabes que é a empatía e para que se usa? (t=-11,629; p=,000<,05; gl=173; M=-1,614). Recolle o coñecemento dun dos indicadores das habilidades sociais.
Verifícase que o variable programa se distribúe normalmente en ambas as situacións experimentais (pretest-postest), por iso se asume que a súa aplicación permitiu rexeitar a h0 e concluír que existen diferenzas estatisticamente significativas con base na media obtida entre o pretest e o postest e, polo tanto, os suxeitos melloraron o seu coñecemento acerca das competencias emocionais.
c) ANOVA dun factor. Para realizar esta proba (táboa 3) tomouse como variable dependente o efecto diferencial en competencias emocionais, xerando un índice coas máis importantes:
- En xeral o programa serviuche para coñecerte?
- Serviuche para coñecer os demais?
- Serviuche para xestionar as túas emocións?
- Serviuche para automotivarte?
- Serviuche para desenvolver as habilidades sociais?
- Ensinoume a afrontar os conflitos?
O estatístico de Levene confirma un valor de 2,963, p=,020<,05; o que permite aceptar a h1 que indica que o factor programa ten un efecto diferencial moi significativo sobre a variable dependente, competencias emocionais xerais.
Táboa 3. ANOVA. Competencias xerais totais
Fonte: Elaboración propia
A partir destes datos obtívose un valor de F=3,268>3,84 e p=,008<,05 que confirma a h1 exposta e permite concluír que o factor programa manifesta un beneficio sobre o desenvolvemento das competencias emocionais. Polo tanto, dedúcese que os cambios observados na variable dependente se poden explicar a partir dos efectos producidos pola implementación do programa.
Conclusións e discusión
Conclúese que o instrumento elaborado (Cuestionario de identificación das competencias emocionais) cumpre satisfactoriamente a función de medición das competencias emocionais desenvolvidas no programa, con valores óptimos (α=,903 e KMO=,744) similares aos obtidos por Iglesias-Cortizas (2009a,b) no Cuestionario de percepción das competencias emocionais; Repetto e outros (2006) no Inventario de competencias socioemocionais-importancia e presenza; Boyatzis, Goleman e Rhee (2000) no Emotional Competence Inventory (ECI), ou Bar-On (1997) no Emotional Quotient Inventory (EQ-i).
Con este traballo achéganse datos sobre o deseño e a avaliación de programas de adestramento de competencias emocionais no contexto do ensino superior. Os resultados obtidos son consistentes e están en sintonía cos traballos publicados aos que se tivo acceso e que salientan a importancia de traballar as competencias emocionais para conseguir un bo desenvolvemento destas, tanto ao seu coñecemento como á súa posta en práctica (Baron e Morin, 2010; Evers, Brouwers e Tomic, 2006; Caruana, 2005; Romasz, Cantor e Elias, 2004; Martínez, 2009; Muñoz, 2006, 2005; Muñoz e Bisquerra, 2009; Pérez e Ribeira, 2009; Reinoso, 2008; Stevens e Campion, 1994).
Na revisión bibliográfica realizada, constátase a escasa presenza de traballos sobre desenvolvemento de competencias emocionais en estudantes de educación superior, centrándose a pouca literatura existente en competencias docentes (Álvarez e outros, 2009; Gilis e outros, 2008). Este limitado interese polas competencias do discente vese ratificado pola escasa atención que os servizos de orientación das universidades españolas lle dedican, concretándose en apenas un 24,9 % os que manifestan que atenden ao desenvolvemento persoal, tal e como se desprende dun estudo coordinado por Sánchez (2008: 340-341).
As variables nas que se conseguiu maior optimización en canto a coñecemento son: asertividade, autoafirmación, motivación de logro, control das emocións e empatía.
En canto ao desenvolvemento, os datos obtidos revelan que o factor programa ten un efecto diferencial moi significativo sobre a variable dependente (competencias emocionais xerais) e permite concluír que supón un beneficio sobre todo en comunicación social, coñecemento das competencias emocionais, dimensións que as forman e empatía.
Os resultados determinan como o coñecemento e desenvolvemento das competencias emocionais melloran substancialmente despois de participar nun programa específico, o que fai presupoñer que os nosos estudantes se manifesten máis eficaces, dominando situacións, resolvendo conflitos, afrontando problemas, mellorando o seu rendemento con base nunha mellora da autoxestión etc.
En calquera caso, será labor de futuro constatar ata onde se poden manifestar cambios derivados dunha mellora neste tipo de competencias no ensino superior, tal e como se constatou nalgúns estudos noutros ámbitos, como é o de Pérez e Ribera (2009), ao referirse á inserción laboral de persoas desempregadas, constatando como a eficacia dos devanditos procesos melloraba despois de seguirse un adestramento en competencias emocionais, o traballo de Martínez (2009) sobre a mellora da convivencia familiar, ou o de Reinoso (2008), Riggio e Lee (2007) ou Stevens e Campion (1994), no campo dos recursos humanos.
Álvarez, V. et al. (2009). Perfiles y competencias docentes requeridos en el contexto actual de la educación universitaria. REOP, 20 (3), pp. 270-283.
Bar-On, R. (1997). EQ-i Bar-On Emotional Quotient Inventory: A measure of emotional inventory. Technical manual. Canada: Multi-Health Systems.
Baron, L. & Morin, L. (2010). The impact of executive coaching on self-efficacy related to management soft-skills. Leadership & Organization Development Journal, 31 (1), pp. 18-38.
Bisquerra, R. (2015). Universo de emociones. Valencia: PalauGea.
Boyatzis, R. E.; Goleman, D. e Rhee, K. (2000). Clustering competence in emotional intelligence: Insights from the Emotional Competence Inventory (ECI). En R. Bar-On, R. e Parker J. D. (Eds.), Handbook of Emotional Intelligence. San Francisco: Jossey-Bass, pp. 343-362.
Caruana, A. (coord.) (2005). Programa de educación emocional para la prevención de la violencia. 2º ciclo de ESO. Consultado el 16 de marzo de 2018 ( http://www.apoex.net/encuentro/textos/Educacion_emocional.pdf)
Colás, P. e Rebollo, M. A. (1993). Evaluación de programas. Una guía práctica. Sevilla: Kronos.
Correa, S.; Puerta, A. e Restrepo, B. (2002). Investigación evaluativa. Consultado el 16 de marzo de 2018 (http://200.26.134.109:8080/endeporte/hermesoft/portal/home_1/rec/arc_135...)
De la Orden, A. (1985). Investigación evaluativa. En De la Orden, A. (ed.). Investigación educativa. Diccionario de Ciencias de la Educación. Madrid: Anaya.
De Miguel, M. (2000). La evaluación de programas sociales: fundamentos y enfoques teóricos. RIE, 18 (2), pp. 289-318.
Escudero, T. (2006). Claves identificativas de la investigación evaluativa. Revista Contextos Educativos, 8-9, pp. 179-199.
Evers, W.; Brouwers, A. & Tomic, W. (2006). A quasi-experimental study on management coaching effectiveness. Consulting Psychology Journal: Practice and Research, 58 (3), pp. 174-182.
Gilis, A.; Clement, M.; Laga, L. e Pauwels, P. (2008). Establishing a competence profile for the role of student-centred teachers in Higher Education in Belgium. Research in Higher Education, 49 (6), pp. 531-554.
Goetz, T.; Frenkel, A. C.; Pekrun, N. e Hall, R. (2005). Emotional intelligence in the Context of Learning and Achievement. En Schulze, R. e Roberts, R. D. (eds.), Internacional handbook of emotional intelligence. Cambridge, M. A.: Hogrefe & Huber, pp. 233-253.
González, J. e Wagenaar, R. (2003). Tuning Educational Structures in Europe. Final Report. Phase One. Madrid: Universidad de Deusto.
Iglesias-Cortizas, M. J. (2009a). Elaboración y validación de un instrumento diagnóstico para la percepción de las competencias emocionales en estudiantes universitarios. REOP, 20, 3, pp. 300-311.
Iglesias-Cortizas, M. J. (2009b). Diagnóstico de las competencias emocionales: estudio empírico en la Facultad de Ciencias de la Educación de A Coruña. RIE, 27, 2, pp. 451-467.
Martínez, R. A. (2009). Programa-guía para el desarrollo de competencias emocionales, educativas y parentales. Madrid: Ministerio de Sanidad e Política Social.
Martínez, C. (1996). Evaluación de programas educativos. Investigación evaluativa. Modelo de evaluación de programas. Madrid: UNED.
Medrano, L. A.; Moretti, L. e Ortiz, A. (2015). Medición del engagement académico en estudiantes universitarios. Revista Iberoamericana de Diagnóstico y Evaluación - e Avaliação Psicológica. RIDEP, 40(2), pp. 114-123. Recuperado de http://www.redalyc.org/articulo.oa?id=459645432012
Muñoz de Morales, M. (2005). Diseño, desarrollo y evaluación de un programa de educación emocional para la prevención del estrés psicosocial. Tese de doutoramento. Universidade do País Vasco.
Muñoz de Morales, M. (2006). PECERA: Un programa de educación emocional para prevenir el estrés psicosocial en el aula mediante el desarrollo de competencias emocionales en profesorado y alumnado. Consultado el 16 de marzo de 2018 (http://www.jornadeseducacioemocional.com/mat_anterior/ii_jornades/un_pro...).
Muñoz, M. e Bisquerra, R. (2009). Evaluación de la implementación de un programa de educación emocional con profesorado y alumnado de la ESO. Consultado el 10 de marzo de 2018 (http://www.jornadeseducacioemocional.com/mat_anterior/iv_jornades/poster...).
Pérez, N. e Ribera, A. (2009). Las competencias emocionales en los procesos de inserción laboral. REOP, 20 (3), pp. 251-256.
Pérez-González, J. C. (2008). Propuesta para la evaluación de programas de educación socio-emocional. Revista Electrónica de Investigación Psicoeducativa, 15, 6 (2), pp. 523-546.
Popham, W. J. (1980). Problemas y técnicas de la evaluación educativa. Madrid: Anaya.
Reinoso, M. (2008). Desarrollo de competencias emocionales en los directivos de una organización a través del outdoor training. Consultado el 15 de marzo de 2018 (http://www.losrecursoshumanos.com/phpscript/descargar_pdf.php?id=2283).
Repetto, E. et al. (2006). Validación del Inventario de competencias socioemocionales, importancia y presencia- (ICS-I; ICS-P) en estudiantes de ciclos formativos y de universidad. REOP, 17(2), pp. 213-223.
Riggio, R. E. & Lee, J. (2007), Emotional and interpersonal competencies and leader development. Human Resource Management Review, 17 (4), pp. 418-426.
Rodicio-García, M. L. (2009). La función tutorial y la formación profesional en las instituciones laborales. En Sobrado, L. & Cortés, A. Orientación profesional. Madrid: Biblioteca Nueva, pp. 323-340.
Roberts, R. D.; Zeidner, M. e Mattews, G. (2007). Emotional intelligence. Knowns and unKnowns. En Mattews, Zeidner & Roberts. The science of emotional intelligence: Knowns and unknowns. Oxford/New York: Oxford University Press, pp. 419-474.
Romasz, T. E.; Cantor, J. H. e Elias, M. J. (2004). Implementation and evaluation of urban school-wide social-emocional learning programs. Evaluation and program planning, 27, pp. 89-103.
Sánchez, M. F. (coord.) (2008). Situación actual de los servicios de orientación universitaria: estudio descriptivo. Revista de Educación, 345, pp. 329-352.
Soldevila, A. (2009). Diseño, desarrollo y evaluación de un programa de educación emocional para personas mayores. Consultado el 14 de abril de 2018 (http://www.jornadeseducacioemocional.com/mat_anterior/iv_jornades/poster...).
Stevens, M. e Campion, M. (1994). The knowledge, skill, and ability requirements for teamwork: implications for human resource management. Journal of Management, 20 (2), pp. 503-530.
Stufflebeam, D. L. e Shinkfield, A. J. (1987). Evaluación sistemática. Guía teórica y práctica. Barcelona: Centro de Publicaciones del MEC y Paidós Ibérica.
Stufflebeam, D. L. (2000). The CIPP model for evaluation. En Stufflebeam, D. L.; Madaus, G. F. e Kellaghan, T. (eds.). Evaluation Models (2.ª ed.). Boston: Kluwer Academic Publishers.
Stufflebeam, D. L. (2003). The CIPP model for evaluation. En Kellaghan, T. & Stufflebeam, D. L. (eds.). International handbook of educational evaluation. Doortrech: Kluwer Academic Publishers, pp. 31-62.