La Evaluación -Miguel Ángel Santos Guerra
Antes de iniciar el camino quiero hacer unos breves ejercicios de calentamiento que permitan luego recorrerlo de forma segura y satisfactoria. Se trata de varias cuestiones preliminares que facilitarán la comprensión de todo lo que sigue porque subyacen al contenido de todo el discurso.
Para qué la evaluación
La evaluación está de moda. Llevamos unos años insistiendo en que hay que evaluar las escuelas, los Institutos, las Universidades. Lo cual no es motivo inexcusable de alegría. Cuando un fenómeno pedagógico se pone de moda hay que estar prevenidos. Nada es inocente.
Es importante, eso sí, que se rompa la exclusividad de la evaluación del alumno dentro del sistema educativo. Pero no hay que frotarse las manos de satisfacción por el solo hecho de que se multipliquen las evaluaciones institucionales. Porque no se trata de empezar a realizar evaluaciones sin ton ni son (Santos Guerra, 1998a). Evaluar la Universidad no es una señal infalible de que se están mejorando los procesos de enseñanza/aprendizaje en ella. Y mucho menos de que se esté desarrollando un avance cualitativo en la transformación ética de la institución y de la sociedad.
Por eso he dicho alguna vez que más importante que hacer evaluaciones e, incluso, más importante que hacerlo bien, es saber a qué personas sirven y qué valores promueven. La evaluación, más que un hecho técnico es un fenómeno moral. Si le conferimos un mero carácter instrumental, podemos ponerla al servicio del poder, del dinero, de la injusticia, de la desigualdad. Sería preocupante que la evaluación fuese un instrumento de dominación, de control o de sometimiento, por ejemplo.
Existe la posibilidad de utilizar la evaluación para diversas y muy diferentes funciones: Diagnóstico, comparación, clasificación, jerarquización, control, mejora, comprensión, amenaza, comprobación, aprendizaje, emulación, diálogo, clasificación, pasatiempo, etc. Salta a la vista que no todas tienen la misma naturaleza e importancia. Unas son abiertamente desechables; otras, sin duda deseables. Es difícil, por otra parte, que se puedan aislar de forma precisa e indiscutible. De esta simple enumeración se deriva que hay funciones que deberían garantizarse y otras que habría que evitar desde el planteamiento inicial. Vroeijenstijn y Acherman (1991) expresan esta idea en el título de su trabajo sobre la evaluación de las universidades: «Evaluación de la calidad basada en el control frente a la evaluación de la calidad basada en la mejora». Es decir, se puede poner el énfasis teleológico en unas funciones o en otras. Ya desde esta breve introducción quiero hacer hincapié en los posibles (y probables) abusos de la evaluación (Santos Guerra, 1993).
Qué evaluación
Otra cuestión preliminar que deseo plantear es la delimitación conceptual. Todos los que hemos acudido a las Jornadas hemos conocido el doble título que las identifica: Evaluación de la Universidad y formación psicopedagógica de los profesores. Estoy seguro de que cada uno ha tenido en su mente una acepción peculiar del concepto de evaluación. Bajo un mismo término se esconden múltiples contenidos semánticos. No hablo de la forma de hacer la evaluación, sino de la manera de concebirla. ¿A qué evaluación nos estamos refiriendo?
Los ingleses utilizan diferentes palabras para designar los contenidos que nosotros incluimos en el término evaluación: accountability, assessment, appraisal, self-evaluation, self-assessment, research... Resulta imprescindible, pues, aclarar a qué tipo de evaluación nos estamos refiriendo. Este es uno de los problemas más graves del debate pedagógico: creer que nos estamos entendiendo. Cuando tenemos conciencia de que no: hablamos de lo mismo, podremos avanzar en el conocimiento. Cuando creemos que nos estamos entendiendo daremos por concluido el debate (Marina, 1998).
Me decantaré por un modelo de evaluación y por un enfoque que se centra en la comprensión y en la mejora. Hay otros modelos y enfoques (Westerheijden, 1991; Van Vught, 1991; Villar, 1998; Posada, 1998; Cardona, 1998), pero resultaría inapropiado pretender abarcarlos en este trabajo.
Dimensión institucional
Resulta positivo que se rompa la exclusividad del alumno como objeto de la evaluación. El alumno es la pieza última de la escala jerárquica y sobre ella cae todo el peso de la evaluación. Si consigue o no aprender, si obtiene buenos o malos resultados, si alcanza éxito o fracaso parece fruto de su exclusiva capacidad, trabajo e interés. Esto no es así. Hay muchos factores que dependen de la institución, de los profesores de los gestores, de los medios, de las estructuras, del funcionamiento...
Esta dimensión institucional no tiene que ver sólo con el objeto de la evaluación (Hopkins 1989; Satterly, 1989). Se refiere también al agente que ha de administrar el conocimiento de la evaluación para conseguir la mejora posterior. Cuando se evalúa exclusivamente al alumno, a él se le pide que cambie lo que no ha ido bien para que en el futuro consiga el éxito. Pero nada tiene que modificar la institución. No sucede así desde esta perspectiva, con tal de que esté impregnada de concepciones democráticas. Es decir, que quien controla la evaluación no es el poder sino la comunidad. Y la comunidad podrá exigir al poder que ponga en marcha aquellas exigencias de cambio que ha descubierto la evaluación
La evaluación no es un proceso de naturaleza descendente que consiste en controlar y en exigir al evaluado, sino que es un proceso de reflexión que nos exige a todos el compromiso con el conocimiento y con la mejora.
Para que la Universidad sea una institución que aprende y no sólo una institución que enseña, necesita abrirse a las preguntas de la evaluación, recibir la información rigurosa a que da lugar comprometerse con un cambio consecuente.
Las trampas del discurso sobre la calidad
Una cuestión extrínseca, pero imprescindible. Se refiere al momento cultural en que nos encontramos. La "Sociedad neoliberal" está marcando unos presupuestos hegemónicos que condicionan muchas prácticas educativas, también las universitarias. La cultura neoliberal llega a la institución educativa y ejerce sobre ella unas influencias inevitables (Angulo Rasco, 1999; Pérez Gómez 1998, 1999; Santos Guerra, 1996a, 1999). La obsesión por la eficiencia, la competitividad extrema, el individualismo profesional y personal, el conformismo social, la reedificación del conocimiento... constituyen el caldo de cultivo para unas teorías y formas de concebir la evaluación asentadas en mediciones, en comparaciones, en resultados, pero menos atentas a otras cuestiones que considero sustantivas, como la igualdad de oportunidades, la justicia, la equidad de las prácticas institucionales y de sus consecuencias (House, 1997).
Los discursos sobre la calidad total, sobre el control de la calidad, sobre las escuelas eficaces están, a mi juicio, llenos de trampas (Santos Guerra, 1998b). Parecen incontestables desde la argumentación positivista, pero dan por contestadas cuestiones de gran calado que no se resuelven. ¿A qué llamamos enseñanza de calidad? ¿Se parte de las mismas situaciones personales y contextuales? ¿Esa evaluación repercute favorablemente en quienes tienen una más apremiante y evidente necesidad de ayuda?
Complejidad de la evaluación
La evaluación permite poner sobre el tapete todas nuestras concepciones. Podríamos decir: Dime qué piensas de la evaluación y te diré qué tipo de profesional eres. Es más, qué tipo de persona. Digo esto porque la forma de pensar sobre la evaluación desvela los planteamientos sobre la finalidad de la Universidad, sobre la naturaleza de la tarea que ha de realizar, sobre las responsabilidad de sus respectivos miembros
No sólo eso. La concepción de lo que ha de ser la evaluación y la finalidad a la que debe servir tiene que ver con el modelo de sociedad, con el papel de la educación dentro de ella, con las posiciones que se mantienen ante la enseñanza privada, la enseñanza pública...
No es, pues, una cuestión baladí ni la forma de entenderla ni la forma de realizarla. Cuando se simplifica un fenómeno educativo, ordinariamente se incurre en dos graves problemas: El primero es el de la tergiversación del fenómeno. No se le puede comprender profundamente porque se ha fragmentado y simplificado en exceso. El segundo es, si cabe, más grave: Se pervierte el uso de esa simplificación, es decir, se pone al servicio de quien maneja las concepciones.
Decir que la evaluación consiste en medir los resultados obtenidos por los alumnos y concluir que cuando son malos esos resultados, los alumnos deben estudiar más, es una burda perversión.
¿POR QUÉ EVALUAR LA UNIVERSIDAD?
Siempre que me planteo esta pregunta invariablemente se me viene a la mente otra interrogación: ¿Por qué no se evalúa la Universidad, siendo tan lógico y necesario el hacerlo?
Plantearé cinco razones o principios, entre los mil existentes, de los que se deriva la exigencia de hacer la evaluación:
a. Principio de racionalidad: Si entendemos la evaluación como un proceso de comprensión de lo que sucede, no se entiende que la Institución siga funcionando un año tras otro sin que nos preguntemos qué está pasando con las pretensiones, con las actuaciones, con las repercusiones. Resulta irracional pretender algo y no saber nunca si eso que se pretende se ha realmente alcanzado. Queremos formar. Bien. Pero, ¿lo conseguimos? ¿Por qué? Queremos enseñar. Bien. Pero, ¿aprenden? ¿Por qué?
Es de suma racionalidad tratar de responderse a preguntas como éstas: ¿Se está alcanzando lo que con esfuerzo, tiempo y dinero se pretende conseguir? Las preguntas se multiplican y a todas ellas ha de responder la evaluación: ¿Por qué no se consigue? ¿Se alcanzan otras finalidades que no se pretendían? ¿Es razonable este costo, para la consecución de los logros? ¿Cómo se puede mejorar lo que se pretende?
b. Principio de responsabilidad: Lo que hacemos en la Universidad no es intrascendente, banal o aséptico. De todo lo que sucede dentro de ella hay quien se beneficia y hay quien se perjudica. No da igual cómo se hacen las cosas. No sólo por lo que se aprende, sino por la forma en que se hace. Y por todo aquello que lleva implícito el currículum que se desarrolla en ella.
Las cuestiones sobre la responsabilidad institucional se afrontan desde la evaluación porque ésta nos ofrece un diagnóstico de lo que sucede y nos abre pistas sobre la forma en que puede mejorarse.
No sería admisible que los profesionales de un Hospital fallasen reiteradamente en los diagnósticos, errasen en la aplicación de los tratamientos, fracasasen en las operaciones... sin que nadie se preguntase por lo que sucede. Parece que ahí sí existen repercusiones visibles e importantes. Las que se dan en las Universidades, por ser de distinta naturaleza, no se consideran importantes, no son tan visibles o parecen siempre responsabilidad de los «pacientes».
c. Principio de colegialidad: La balcanización en las instituciones (Hargreaves, 1996) impide que los enfoques colegiados prosperen. En la Universidad el individualismo se ve acentuado por una estructura de fragmentación de las asignaturas, de la división del espacio, de la articulación del tiempo... ¿Quién se hace o se responde la pregunta clave de cómo acaban formados los alumnos en la Universidad? Parece que la única aspiración es responderse a la pregunta: ¿Dominan mi asignatura? Pero los aspectos globales, lo que realmente sucede con un alumno, con todos los alumnos, ¿de quién es responsabilidad?
La evaluación institucional (De Miguel, 1991; Casanova, 1992-1997; Santos Guerra, 1990, 1998c) afronta esta cuestión de forma, directa. ¿Cómo funciona la Universidad? ¿Qué papel desempeña en la sociedad? ¿Qué tiene que mejorar? De donde se deduce que la evaluación es responsabilidad de todos, no sólo de los políticos o de los gestores. Nace de todos y a todos se dirige.
d. Principio de profesionalidad: ¿Cómo mejorar la práctica profesional en la Universidad? Existen muchos caminos. A mi juicio, uno de los más eficaces es el que se deriva del conocimiento que produce una reflexión sistemática y rigurosa sobre la práctica de los profesionales.
"Los profesionales responsables de por sí son aquellos que evalúan lo que hacen con respecto a normas críticas generadas por ellos mismos, investigan los efectos relativos a la enseñanza que imparten y a los resultados, responden a los cambios de contexto y de clientela, experimentan, evalúan y desarrollan nuevos programas para resolver los problemas que descubren" . (Simons, 1995).
El aprendizaje que se deriva de la evaluación está destinado no tanto a producir información para el almacenamiento en anaqueles, cuanto a la comprensión que perfeccione a los profesionales.
La formación psicopedagógica del profesorado tiene vinculaciones fuertes con esta reflexión que debe focalizar su atención en los procesos de enseñanza y aprendizaje (Benedito y otros, 1991).
Ese aprendizaje será significativo en la medida que se desmonten las barreras del apriorismo, del dogmatismo y de la rutinización. Desde la clausura y el hermetismo personal e institucional sólo se producirán excusas, reticencias, descalificaciones tanto al proceso de evaluación como a los resultados.
e. Principio de perfectibilidad: Las instituciones pueden (deben) mejorar. Esa mejora tiene múltiples instancias. Depende de la voluntad, la inteligencia y el esfuerzo de los gestores. Del compromiso de los profesionales de la enseñanza. Y también de los estudiantes.
"Un sistema de evaluación educativa, debidamente diseñado y aplicado, es el recurso más eficaz de que puede disponer una institución universitaria para apreciar en qué medida ofrece unos servicios educativos de calidad y decidir las acciones de mejora que pudieran ser necesarias" (Balbas y otros, 1990).
Parece que la calidad de los aprendizajes en la Universidad sólo podrá mejorarse si los profesionales se convierten en mejores docentes. De hecho se habla de la "calidad de la enseñanza" como si ésta produjese automáticamente el aprendizaje. Unos excelentes alumnos, deseosos de aprender, capaces de aprender, apasionados por el saber, constituyen una de las piezas claves de la calidad.
También se puede detectar la necesidad de intervenir en aspectos relacionados con las estructuras, el funcionamiento de los procesos de selección, la organización del tiempo y del espacio, la formación de los profesionales... Es decir, la evaluación no llama solamente al corazón y a la mente de cada persona. Supone una interpelación a la dimensión organizativa y estructural de la institución (Cronbach, 1963; Westoby, 1988; Pfeffer, 1992, 1993; Santos Guerra, 1994, 1997; Etkin, 1993).
f. Principio de ejemplaridad: La Universidad puede y debe constituirse en un referencia de exigencias intelectuales, profesional, éticas. No es frecuente que el foco de la atención de la indagación de la investigación universitaria se centre sobre sus propios procesos de enseñanza y aprendizaje (Fernández Pérez, 1989; De la Cruz, 1991).
"La evaluación es una tarea propia de la actividad universitaria y como tal ha de instalarse en el devenir natural de la institución" (Rodríguez, 1991).
Cuando escucho críticas acerbas sobre una institución que debería ser un faro para la sociedad, no puedo por menos de inquietarme. No porque se formulen, sino porque tengan fundamento y base sólida.
Si la institución universitaria emprende evaluaciones que le permitan afrontar las opiniones, reflexionar con rigor y empeñarse en la mejora, servirá a otras instituciones y a la sociedad en general de referencia y de compromiso. No hay forma más bella de autoridad que el ejemplo.
¿DE QUÉ EVALUACIÓN SE TRATA?
Decía anteriormente que es imprescindible hacer referencia a la concepción de evaluación a la que nos estamos refiriendo. Casi de forma telegráfica enunciaré las características de la evaluación que defiendo:
a. Está atenta a los procesos y no sólo a los resultados: Obsérvese que digo "no sólo", es decir, que sí importan los resultados. Pero también son decisivos los procesos que permiten alcanzarlos. Porque a través de ellos se aprenden muchas cosas importantes.
b. Da voz a los participantes en condiciones de libertad: La opinión de los protagonistas es esencial para conocer y valorar el funcionamiento de la institución universitaria. Para que la opinión pueda ser tenida en cuenta con confiabilidad hace falta que sea libre y espontánea. Una de las formas de conseguirlo es garantizar el anonimato a los informantes.
c. Utiliza métodos diversos y sensibles para explorar la realidad: No se puede captar el funcionamiento de una institución compleja a través de métodos simples. La utilización de métodos diversos garantiza la validez de los conocimientos obtenidos en la evaluación. Por eso hay que hacer observaciones, entrevistas, debates, aplicación de cuestionarios, análisis de documentos, etc. Y luego hacer triangulación de las informaciones procedentes de la aplicación de dichos métodos.
d. Está encaminada a la mejora de la institución universitaria y, a través de ella, de la sociedad: No se evalúa por el hecho mismo de evaluar, sino para obtener un conocimiento que permita intervenir de forma enriquecedora. Hay formas de evaluación que sí producen mejora será a través de algún fenómeno milagroso, pero difícilmente porque se derive de su ejercicio.
e. Es educativa: En dos sentidos. Primero porque se preocupa por el valor educativo de las prácticas institucionales. Segundo, porque educa al hacerse, ya que respeta a las personas, cumple las promesas, intenta, ayudar a todos...
f. Tiene en cuenta los valores: No sólo los que están presentes en la institución, sino los valores de una sociedad democrática. Esto quiere decir que tiene en cuenta la igualdad de oportunidades, que se preocupa por los que no tienen acceso a la Universidad... No da la espalda a las preocupaciones de la justicia.
g. Es holística: Tiene en cuenta todos los elementos que intervienen en la institución ya que todo está relacionado con todo. No se fija sólo en la actuación de las personas, sino que fija su atención en las estructuras, en los medios, en la historia, en la legislación..,.
h. Nadie tiene el privilegio de la verdad: Ni grupos ni personas tienen la patente de la verdad. Por eso se conforma como una plataforma de discusión y de debate para la construcción de un conocimiento más profundo... Cuando digo «nadie» no estoy excluyendo a los evaluadores.
i. Es democrática: El control de la evaluación está en manos de los protagonistas. Tanto por lo que respecta a la decisión de hacerla como al procedimiento y a la negociación y difusión de los informes.
j. Constituye una ayuda y no una amenaza: La evaluación no ha de ser una amenaza sino un estímulo para los evaluados. Si éstos la perciben como una pistola que alguien les coloca en la sien, ¿no es lógico que traten de evitarla o de protegerse?
k. Está contextualizada: Cada Universidad, cada Facultad es única, diferente, irrepetible, dinámica, está cruzada por relaciones interpersonales, encierra disputas ideológicas, está transida de poder, tiene su propia cultura, su historia... No se puede estandarizar la evaluación porque no recoge fielmente la identidad de cada institución.
l. Utiliza el lenguaje natural de los protagonistas para expresarse: Se sirve del lenguaje natural de los protagonistas. Cuando utiliza números, éstos son interpretados y pasan por el tamiz del significado. Una evaluación que convierte el conocimiento de la realidad en un conjunto de símbolos crípticos, está quebrantando el derecho de los protagonistas a saber lo que está sucediendo, les está robando un conocimiento que les pertenece.
m. Es emergente: No tiene unas fases rígidas ni unos procedimientos que se aplican de forma inflexible. Del proceso de la evaluación van emergiendo situaciones, condicionantes, exigencias que modifican los planteamientos iniciales. Es necesario, eso sí, justificar los cambios que se realizan y dejar constancia de ellos.
¿QUIÉN TOMA LA INICIATIVA?
Las posibilidades son múltiples, aunque me voy a referir a cuatro de ellas. Las jerarquizaré según la conexión que, a mi juicio, tienen con la mejora de la práctica institucional, que es la principal pretensión de la evaluación de la Universidad.
"Toda política de evaluación institucional universitaria debe tener en cuenta que la evaluación es un acto de poder, un ejercicio que requiere legitimidad política" (Universidad Nacional del Litoral, 1995).
a. Iniciativa externa impuesta: Sitúo esta modalidad en el primer lugar de la escala porque es la menos potente para producir la mejora de la institución. En primer lugar, suele provocar resistencias en los evaluados, dificulta la colaboración, favorece la artificialización del comportamiento y hace más fácil la falsificación en las opiniones. Cuando se reciben los informes es probable que aparezcan descalificaciones sobre las limitaciones del proceso y/o sobre la falta de rigor de los resultados.
b. Iniciativa externa y propuesta: Esta alternativa encierra mayores posibilidades de éxito, ya que los protagonistas hacen suya la invitación o la sugerencia externa. Sugerencia que puede partir de una instancia jerárquica (léase Ministerio de Educación, Consejo de Educación, Consejo de Universidades...) o de otras ajenas a la institución universitaria. Lo que verdaderamente importa no es sólo que la iniciativa se haga propia, sino que la institución tenga en sus manos el control del proceso,
c. Iniciativa interna y autoconsumada: Esta forma de tomar la decisión es, hipotéticamente, más potente que las anteriores para que se produzca la mejora. La iniciativa es de la propia institución. Mientras más democratizada esté, más potencialidad tendrá. Quiero decir que no es igual que la decisión sea tomada por el Rector a que surja en un órgano colegiado de representación de toda la comunidad universitaria. Aquí hablamos de un proceso de autoevaluación (Elliott, 1983, Martín, 1988).
d. Iniciativa externa y facilitada: Esta es la modalidad más rica en posibilidades, ya que la iniciativa parte de la institución, pero cuenta con facilitadores externos. Cuando éstos hacen la evaluación no tratan de hacer un juicio sobre la institución, sino que hacen posible que los protagonistas formulen por sí mismos un juicio más riguroso. Por eso he utilizado (Santos Guerra, 1995) la metáfora del espejo para explicar que el informe que hacen los evaluadores externos permite a los protagonistas verse con más claridad y perfección.
¿Qué hacer para que estas iniciativas surjan de forma libre y espontánea en las instituciones? ¿Cómo se puede conseguir que estos procesos arraiguen en la dinámica organizativa de las Universidades?
En primer lugar, generando una cultura en la que esa reflexión rigurosa sobre la práctica se convierta en una exigencia que está inmersa en el mismo proceso de acción. La evaluación no es un adorno, un apéndice, sino una parte consustancial de la actividad. La parte que cierra el proceso y abre otros nuevos. En. segundo lugar, facilitando los medios para que sea posible llevar a cabo las experiencias. En tercer lugar, haciendo posible la difusión de informes que propicien un debate sobre la función de las Universidades en la vida social.
'Toda política de evaluación institucional universitaria debe proporcionar estímulos reales para la producción académica y el mejoramiento de la calidad de dicha producción, movilizando a los actores universitarios y respetando una relación adecuada entre producir calidad y evaluar calidad" (Universidad Nacional del Litoral, 1995).
Si quien decide hacer evaluación acaba siendo perjudicado por haber tomado la iniciativa, será difícil que sigan apareciendo experiencias similares.
¿QUÉ CONDICIONES EXIGE?
El tipo de evaluación que estoy defendiendo exige unas determinadas condiciones que afectan a todo el proceso y, en especial, a algunas de las partes del mismo.
a. Control democrático: Las evaluaciones deben estar al servicio de los protagonistas. Y llamo protagonistas no a los patrocinadores, ni los evaluadores sino a los miembros de la comunidad universitaria y a los ciudadanos en general.
Barry McDonald (1976) habla de la evaluación democrática, lo cual supone que el control está no en manos de los patrocinadores, sino de la sociedad.
"La evaluación democrática constituye un servicio de información a la comunidad sobre las características de un programa educativo. Reconoce el pluralismo de valores y trata de representar un conjunto de intereses al formular los problemas. El valor básico consiste en una ciudadanía informada y su evaluador actúa como intermediario en los intercambios de información entre distintos grupos. Sus técnicas de recogida y presentación de datos deben estar al alcance de personas no especializadas..."
¿Cómo garantizar el control democrático? Hemos hablado ya de la iniciativa. Pero, cuando ésta sea externa, es condición imprescindible que los protagonistas (e incluso los ciudadanos) tengan el informe íntegro. De esta forma, cuándo el poder quiera apoyarse en la evaluación para tomar decisiones arbitrarias siempre podrán éstos decir: «No, eso no se deduce del informe».
b. Proceso de negociación: La negociación inicial es imprescindible. Debe ser una negociación escrita, clara, sustantiva, reposada, real, sincera y auténticamente democrática. Hay muchas negociaciones falsificadas: Se negocia lo que no es sustancial, es meramente formal, sólo sirve cuando las conclusiones coinciden con las del poder...
Una negociación inicial, puede ser modificada por exigencias que surjan del proceso. En ese caso, también, tiene que ser consensuada.
c. Reglas de juego: Estas reglas deben estar presentes en ella y ha de garantizar el anonimato, a los documento de negociación inicial. De informantes, se ha de explicar cuándo y cómo se va a entregar el informe, ha de saber el evaluado que si bien no tiene derecho al veto sí puede expresar por escrito sus discrepancias... La transparencia ha de estar presente en todo el proceso de evaluación para que los protagonistas sientan y entiendan que se trata de una ayuda y no de un juicio sumarísimo.
"Toda política de evaluación institucional debe sustentarse en la transparencia, la precisión, la comunicabilidad, el rigor y la actualidad de la información, apelando a formas múltiples y avanzadas de transmisión de la misma" (Universidad Nacional del Litoral, 1995).
Si la evaluación está gobernada por la arbitrariedad, el secretismo, la jerarquización de la información, la contradicción o el capricho, es imposible que produzca los frutos deseables.
d. Negociación de informes: La negociación de los informes es la piedra angular de las evaluaciones (Santos Guerra, 1996b). No tiene sentido pasarse meses enteros recogiendo información y luego no dedicar más que unos minutos a leer el informe.
La negociación puede tener muchas modalidades. En primer lugar puede haber diversos informes para destinatarios distintos. Lo cual no quiere decir que se sustraiga información relevante a algunos de ellos sino que se adaptará en extensión y en forma a los destinatarios.
La negociación puede realizarse mediante reuniones, por escrito, de manera individual o grupal, respecto a todo el contenido del informe o respecto a dimensiones monográficas del mismo...
Lo más importante es conectar la lectura y discusión del informe con los procesos de cambio que de ellas se deriven. Ya hemos dicho que se evalúa fundamentalmente para mejorar la realidad no para producir conocimiento.
e. Difusión de informes: Es muy positivo que la evaluación dé lugar a informes que se puedan difundir y que permitan conocer qué es lo que sucede con el funcionamiento de la institución universitaria.
La difusión de informes permite establecer un proceso de retroalimentación que revierte sobre los promotores, evaluadores y actores de la evaluación de la Universidad.
Hay que compatibilizar el derecho de la sociedad a conocer cómo funciona un servicio público (sufragado con dinero de todos) con el derecho de los profesionales a la privacidad en el ejercicio de su profesión. Lo cual no siempre resulta fácil.
f. Sentido ascendente del discurso crítico: Si la evaluación se convierte en un mecanismo que utiliza el poder y que administra para establecer el control de los profesionales, resulta lógico que éstos se defiendan de ella. Además, ¿qué sucede si los principales responsables del mal funcionamiento de la Universidad fuesen los políticos que la gobiernan? ¿Quién les exigiría a ellos los cambios necesarios para la mejora?
El compromiso con la mejora de la Universidad es de todos. La evaluación tiene, pues, una dimensión ascendente de gran trascendencia. La evaluación, si es democrática (McDonald, 1976, 1997) facilita el compromiso de todos, ya que a todos brinda información, a todos exige una transformación para mejorar el servicio que ofrece.
METAEVALUACIÓN: CONTENIDO Y EXIGENCIAS
Como un metalenguaje, que es un lenguaje que se usa para hablar del lenguaje mismo, la metaevaluación consiste en analizar el proceso de evaluación. Digamos, sacrificando el estilo a la claridad, que metaevaluación es la evaluación de las evaluaciones. Aunque el prefijo «meta» puede tener connotaciones temporales (después de), no necesariamente se realiza la metaevaluación una vez finalizado el proceso de evaluación. Puede ser paralelo a la misma.
Existe una función retroalimentadora de la evaluación que ha sido frecuentemente olvidada. Por eso se han repetido evaluaciones escasamente aprovechables para generar conocimiento y mejora. Por eso se han repetido errores de forma extrañamente irracional. Cuando se evalúa mucho y se mejora poco, algo está fallando en el proceso.
"La función retroalimentadora hace de los procesos evaluadores algo sumamente útil para conocer el valor del camino que se sigue y la calidad de la educación que se pretende" (Casanova, 1992).
Las ideas que se aplican a la evaluación son trasladables a la metaevaluación.
No es, pues, un proceso esencialmente técnico sino que tiene naturaleza política y ética. Desde la primera y exclusiva acepción, se trataría de un proceso mecánico, aparentemente riguroso, consistente en aplicar esquemas o principios y criterios de rigor. Lo cual supondría despojar a la evaluación de sus componentes esenciales: a quién sirve, a quién trata de beneficiar.
Muchas preguntas que se formulan respecto a la evaluación han de ser planteadas en un metaanálisis coherente, concienzudo y fundamentado. Se puede aplicar un tipo de metaevaluación a una evaluación que se ha basado en criterios radicalmente diferentes. Así se verán reflejados los abusos, las contradicciones, los problemas y los desajustes.
"Principalmente, una evaluación es un proceso social de aprendizaje, no sólo para las audiencias diversas del informe, sino también para los evaluadores. Por ello, metaevaluador de un proceso social de aprendizaje no puede ser menos, a su vez, que el intento de aprendizaje quizás no tan complejo como el anterior pero no menos rico e importante. Para ello se necesita algo más que un conjunto bien estructurado. O una lista de criterios, se necesita que el metaevaluador, al menos, plantee interrogaciones, sugerencias y perspectivas que alimenten la comprensión misma de los evaluadores y de la audiencia" (Angulo Rasco, 1993).
No se trata, pues, de concluir, al estilo de las investigaciones experimentales, si existe validez o no existe, sino de avivar la reflexión para generar comprensión rica y relevante sobre los programas evaluados. Esto convierte a la metaevaluación no tanto en una tarea de expertos cuanto en un proceso democrático de discusión.
No basta interrogarse sobre la calidad de los datos que se recogen en el informe o sobre el rigor de los métodos que se han aplicado para extraer información, sino que es preciso preguntarse por la naturaleza de la iniciativa, por la finalidad del proceso, por las reglas éticas que lo han inspirado, por la utilización que se ha hecho de la información, por el control democrático de los informes, por las secuelas que la evaluación ha dejado...
"Quizás uno de los puntos más controvertidos y, por ello, más sujetos a discusión, e incluso a confusión, se encuentra, para cualquier perspectiva científica, en la presentación, clara y racional, de sus criterios de veracidad, es decir, de la profundidad con la que es capaz de demostrar el rigor de sus explicaciones, construcciones y conocimientos" (Angulo Rasco, 1990).
La metaevaluación es una plataforma (de discusión que une a los patrocinadores, a los evaluadores, a las diversas audiencias y a la sociedad en general, que debe conocer no sólo los resultados de las evaluaciones realizadas en la Universidad sino la metaevaluación que se realiza sobre ellas. La metaevaluación funciona como la garantía de la calidad de la evaluación.
La metaevaluación tiene que ver con diferentes cuestiones. Entre otras, las siguientes:
a. El rigor: La finalidad esencial de la metaevaluación es conocer el rigor de la misma. Esa cuestión tiene que ver no sólo con los métodos de exploración sino con todo el proceso que se ha desarrollado: Cómo se inicia, qué negociación se realiza, qué condiciones la regulan, qué clima se genera...
"La validez hay que encontrarla en la relación entre la interpretación y la certeza, y el proceso de justificación se caracteriza por apelar a la razonabilidad de la interpretación basada en formas de evidencia que sean públicamente accesibles" (Kushner y Norris, 1990).
En otro lugar (Santos Guerra, 1998C) planteó cinco formas de preguntarse por el rigor: la aplicación de criterios (Guba, 1981; Guba y Lincoln, 1985, 1989), el juicio crítico de expertos, opinión de los protagonistas, la utilización de indicadores (De Miguel,1995) y el control democrático.
El rigor (exigencia sobre la que no me extenderé por ser la más conocida, aunque esté insuficientemente trabajada) tiene dos dimensiones: una interna, que se refiere a la credibilidad de la evaluación en sí misma; otra externa, que tiene que ver con la transferibilidad o posibilidad, de aplicar los resultados de una evaluación a otros contextos.
b. La mejora: La metaevaluación se pregunta por el resultado de la evaluación, por la capacidad de transformación de la práctica evaluada. Se pregunta por el enlace entre la evaluación y la mejora de la práctica, no sólo al final del proceso sino durante el desarrollo del mismo.
¿Para qué se realiza la evaluación en la Universidad? Creo que la respuesta a esta pregunta ha de situarse en la producción de conocimiento relevante que permita mejorar la bondad de las prácticas. No se evalúa por el mero hecho de evaluar. De ser así, estaríamos ante un fenómeno de inequívoca inmoralidad. ¿Por qué desperdiciar esfuerzos, tiempo y dinero en una tarea estéril?
Lo curioso es que siendo tan importante la finalidad, pocas veces se compruebe si realmente la evaluación ha facilitado y conseguido la producción de cambios importantes.
¿Quién ha de impulsar estos cambios? En primer lugar los protagonistas de la acción que, al conocer lo que sucede, pueden efectuar cambios en lo que están haciendo. También ha de trabajar en la producción de cambios el patrocinador de la evaluación. Algunos pueden referirse directamente a su modo de actuar, otros se conseguirán con las ayudas que deben prestar a los protagonistas.
Este carácter ascendente del cambio rompe la línea jerárquica de la evaluación, que fácilmente podría convertirse en un ejercicio de puro control. Si se promueve una evaluación y se descubre a través de ella que existen deficiencias en la forma de dirigir la Universidad, no sería bueno olvidarse de esas exigencias y subrayar solamente las exigencias respecto al profesorado.
Una evaluación de este tipo se convertiría en un instrumento de dominio, en un mecanismo de poder que, en buena lógica, rechazarían los protagonistas de la acción. La evaluación, así planteada, interesaría a quienes gobiernan, pero sería vista como una amenaza por los profesionales.
No es fácil conocer qué cambios se producen a través de la evaluación, pero es imprescindible preocuparse por una cuestión tan básica. Los cambios pueden plantearse en diversos niveles:
-En las prácticas profesionales: La estructura, las condiciones, los medios, las actuaciones pueden modificarse a la luz de lo que ha descubierto la evaluación.
-En las actitudes: El proceso de evaluación, realizado de forma respetuosa, puede poner a los protagonistas ante preguntas y cuestiones que les ayuden a cambiar su disposición hacia sí mismos, hacia la tarea y hacia las personas.
-En las concepciones: La forma de entender la práctica puede ser puesta en cuestión a través del contraste de opiniones. que se alcanza con la triangulación.
-Las situaciones y las estructuras que las albergan: No sólo han de cambiar las concepciones, actitudes y prácticas de los protagonistas (la educación es una práctica moral), deben mejorarse también las situaciones en que éstas se desarrollan y las estructuras organizativas que las albergan (la educación es también una práctica social y política).
Hay cambios que pueden exigirse de inmediato y otros que necesitan un tiempo considerable. No se producen los cambios de manera automática sino que requieren un clima y unos medios. La forma en que se negocia, se realiza y se trabajan los informes de evaluación facilitará o dificultará el cambio deseado.
El poder de la evaluación radica en último término «en la movilización de las energías individuales» (Patton, 1978). No se evalúa por el mero hecho de evaluar. La pretensión fundamental es la transformación de las prácticas. Una de las preguntas que puede plantearse la metaevaluación se centra, precisamente, en la potencialidad que ha tenido para promover cambios.
Los cambios no dependen exclusivamente de los evaluados. Algunos están supeditados a decisiones de los políticos y de los administradores.
'Todos los políticos a los que preocupa que las estructuras organizativas de las escuelas apoyen la autoevaluación deliberativa y la toma de decisiones a cargo de los docentes, tienen que arbitrar procedimientos mediante los que el profesorado en conjunto pueda examinar colectivamente las relaciones entre las estructuras organizativas y sus actividades como individuos. Si se oponen a apoyar este enfoque de «abajo arriba» del cambio educativo, podemos concluir que lo que en realidad pretende la política es el control técnico de «arriba abajo»? (Elliott, 1982).
Sería interesante realizar este tipo de metaevaluación tiempo después de haber finalizado la evaluación. ¿Qué efectos ha producido? ¿Qué consecuencias ha tenido? ¿Qué cambios ha promovido? ¿Qué rastro ha dejado?
Una parte de estas preguntas se puede centrar en los efectos que ha tenido la evaluación para realizar nuevas evaluaciones. Algunas se realizan de tal manera que dejan el terreno completamente arrasado para que allí se vuelva a plantar una semilla semejante.
c. La ética: La metaevaluación también ha de plantear las condiciones éticas en que se desarrolla 1a evaluación, la finalidad que se le atribuye, las aplicaciones que se desprenden, los posibles abusos que la pervierten...
La metaevaluación no es un proceso exclusivamente técnico. Como la misma evaluación (lo decíamos al comienzo), tiene una dimensión sustancialmente ética. Por eso, la metaevaluación no se centra exclusivamente en la búsqueda de criterios de carácter metodológico o algorítmico sino que se ha de centrar en su vertiente moral.
El quebrantamiento de la ética puede darse en el fenómeno mismo de la evaluación, en su globalidad o en algunas de sus partes específicas. Se puede poner en marcha una evaluación al servicio del poder, del dinero o del prestigio de los patrocinadores, por ejemplo. Y se puede obtener información de forma fraudulenta realizando entrevistas que están falsamente planteadas.
Kenneth Strike (1997), en una obra que data de 1990, plantea algunos principios generales sobre la ética de la evaluación educativa.
-Principio de la maximización del beneficio: sostiene que la mejor decisión es la resultante del mayor beneficio para la mayoría de las personas. De este modo, juzga la moralidad de nuestras acciones por sus consecuencias. ¿Quiénes son los beneficiarios de la evaluación? ¿Salen favorecidos de ella quienes ya lo han sido por el azar, la herencia o la cultura?
-El principio de igual respeto: requiere que respetemos el igual valor de los agentes morales. Este principio implica tres ideas subsidiarias: Primero, el principio de igual respeto requiere que tratemos a la gente como fines en vez de como medios. No debemos tratar a los demás como si fueran simples medios para conseguir nuestros objetivos. Segundo, un hecho vital con respecto a los agentes morales es que son libres y racionales. Así pues, debemos respetar sus elecciones. Las personas libres tienen derecho a tener su propio criterio respecto de lo que es bueno para ellas. Tercero, como agentes morales, las personas tienen igual valor. Que las personas sean de igual valor significa que tienen los mismos derechos básicos y que sus intereses son de igual valor.
-El principio de la intimidad: La intimidad implica el derecho a controlar la información sobre uno mismo y protege a la gente de interferencias en sus asuntos. En la evaluación se requiere que los procedimientos no sean excesivamente intrusivos y que se centre en aquellos aspectos que se refieren al contenido de la exploración.
Como se dice en el informe de la Evaluación de la Reforma del Ciclo Superior de EGB en Andalucía (Pérez Gómez y Gimeno Sacristán, 1994), en cuya elaboración participé con otros evaluadores:
«Se concibe como prioritaria la exigencia de garantizar la confidencialidad de los datos, mediante el anonimato más escrupuloso, de modo que deben eliminarse o camuflarse cuantos datos y elementos puedan llevar a la identificación de personas o instituciones concretas».
No siempre es posible salvaguardar el anonimato sin quebrantar el derecho a conocer la verdad. Si solamente existe una persona que desempeña el papel de Decano o Rector, será difícil escarnotear la identificación del mismo aunque se omita el nombre. Siempre es posible encubrir a los protagonistas bajo el disfraz de los pseudónimos, pero no siempre es posible renunciar a la identificación del papel institucional de modo que se mantenga una comprensión auténtica de la realidad.
-Principio de transparencia: Requiere estar abierto a las personas que tienen relación con los procedimientos, los propósitos y los resultados de la evaluación. El principio de transparencia protege de la jerarquización, del secretismo y de la manipulación de la información.
-Principio de humanidad: Exige que se muestre consideración por los sentimientos y los individuos en contextos evaluativos. Lo decían Taylor y Bogdan de forma lapidaria: En la evaluación hemos de ser honestos, no crueles.
-Principio de no discriminación: La igualdad, en el contexto de la evaluación, puede entenderse mejor como una prohibición contra la toma de decisiones basada en datos irrelevantes. Características como la raza, la religión, el sexo o el grupo étnico al que se pertenece se considerarán irrelevantes.
-Principio del respeto a la autonomía: Los profesionales tienen derecho a una libertad razonable en el ejercicio de su trabajo. Los evaluadores no deberían limitar ni la libertad ni el juicio.
La ética no sólo preside la forma de llevar a cabo el proceso sino que se preocupa por el respeto a los valores en el contenido de la evaluación. No sólo de los valores de la Universidad o facultad que se evalúa, sino de los valores de una sociedad democrática. Lo diré con un ejemplo: Si hacemos la evaluación de un Hospital y encontramos en él magníficos planteamientos en el trato a los pacientes, extraordinaria eficacia en los diagnósticos y en las intervenciones terapéuticas, una buena estructura de espacios y una excelente coordinación y funcionamiento de los profesionales, ¿no deberíamos decir nada sobre el hecho de que solamente pueden acceder a ese Hospital los ciudadanos con altísimo nivel económico mientras a pocos metros enferma y mueren las personas que no tienen medios económicos?
La autoridad legítima sobre el proceso de evaluación proviene del modelo normativo de la organización de la enseñanza en la sociedad. El modelo condiciona la institucionalización de la enseñanza y promueve (o admite) un modelo de evaluación coherente, que no la contradiga. Por eso es necesaria la reflexión ética, ya que la evaluación puede convertirse en un elemento de transformación y de mejora. La evaluación ha de poner de manifiesto las limitaciones éticas de los modelos imperantes para hacerlos avanzar hacia otras fórmulas más positivas.
La ética que se exige a la evaluación ha de presidir también la metaevaluación. ¿Hasta dónde ha de llegar esta exigencia? ¿Quién evalúa a los metaevaluadores? Si se establecieran Comisiones de Garantía de la Ética, ¿quién ejercería el control democrático sobre ellas?
En su excelente y clásica obra Evaluation with validity, traducida al castellano con el título Evaluación, ética y poder, Ernest House (1980) exige a la evaluación veracidad, belleza y justicia.
«Una evaluación una actividad política por naturaleza. Presta sus servicios a los responsables de las decisiones, se traduce en redistribuciones de recursos, justifica que unos reciban ciertas cosas y otros otras. Está íntimamente vinculada con la distribución de los bienes básicos en la sociedad. Es algo más que un enunciado de ideas, se trata de un mecanismo social para la distribución, que aspira a adquirir una categoría institucional. La evaluación no sólo debe ser veraz sino también justa». (Flouse, 1997).
No siempre se plantea la evaluación siguiendo estos criterios. Cuando se pretende medir los resultados de las Universidades a través de pruebas estandarizadas con el fin de hacer una clasificación según la posición en la escala y se conceden luego recursos siguiendo esa clasificación, se está utilizando la evaluación al servicio de la injusticia y de la desigualdad. Por muy rigurosas y precisas que sean las pruebas, no se evita el desajuste moral. Se está dando a los que más tienen (cultura, dinero, poder...) todavía más a través de un instrumento que parece neutral y aséptico. Es una trampa terrible que algunos defienden, de forma ingenua y muchos de manera interesada.
d. El aprendizaje: Hacer una metaevaluación permite aprender de los aciertos y de los errores. Reflexionar con rigor sobre la evaluación ayuda a comprender el fenómeno y permite elaborar pautas de intervención en situaciones nuevas.
La metaevaluación «implica que comprendamos cómo aprenden las personas a partir de la actividad de la actividad de evaluación. Después de todo, sólo en el acto del aprendizaje se garantiza el valor de la evaluación» (Mc Cormick y James, 1995).
La metaevaluación es una vertiente de la evaluación que cierra el proceso lógico de la reflexión sobre las prácticas profesionales. ¿Se podría hacer un nuevo bucle para evaluar la metaevaluación? Obviamente, sí. ¿Cómo saber si la metaevaluación se ha realizado con rigor?... Lo mismo sucede con el metalenguaje.
La evaluación permite construir un conocimiento que se cimenta en los datos recogidos durante la exploración y en trabajo que los evaluadores realizan con los mismos. Aunque la finalidad fundamental sea la mejora, lo cierto es que la evaluación aporta un caudal de nuevos conocimientos al acervo de saber sobre la educación.
«La evaluación del sistema educativo debería tener como fin el aprendizaje social y el compromiso de los ciudadanos. Una evaluación nos ilustra cuando nos permite pensar y cuando nutre de modo creativo e inteligente nuestras argumentaciones y reflexiones... (Angulo, 1992).
Una fuente de información y de conocimiento es el proceso mismo de la evaluación. Se aprende, a través de la evaluación, cómo se debe plantear, negociar, explorar, redactar informes, aplicar resultados, etc. Resulta sorprendente la facilidad con que se repiten errores o dejan de utilizarse conocimientos ya contrastados sobre cómo se ha de proceder al impulsar la política de evaluación o al desarrollar las evaluaciones concretas.
¿Quién puede realizar el aprendizaje?
-Los patrocinadores: la metaevaluación puede ayudar a descubrir a los patrocinadores las limitaciones y los errores del planteamiento que han hecho. El aprendizaje puede referirse al lanzamiento de la evaluación, a las personas a quienes se ha encargado la misma, a la utilización que se ha hecho de los informes, a la difusión de los mismos, etc.
-Los evaluados: además de lo que pueden aprender en el proceso a través de las preguntas, de los debates con los evaluadores, de las actitudes de los colegas, pueden aprender del contenido de los informes y de la negociación de los mismos. También puede ser fuente de aprendizaje el proceso de, transformación de la práctica a que ha dado lugar la evaluación.
-Los evaluadores: en su relación con los patrocinadores y los evaluados, con las audiencias de la evaluación, con otros evaluadores y metaevaluadores pueden aprender mucho, tanto respecto al contenido como a la metodología y a la validez de las evaluaciones. La experiencia no produce automáticamente el aprendizaje. Pero sí se puede convertir la experiencia en sabiduría cuando se reflexiona rigurosamente.
-Los ciudadanos en general: La evaluación no es una cuestión que monopolizan los expertos. Tampoco afecta solamente a los evaluados cuando el objeto de la evaluación es un fenómeno tan decisivo para la sociedad como la educación.
-Los teóricos: La realización de evaluación en la universidad y su multiplicación ha de convertirse en una plataforma de discusión para los especialistas. La metaevaluación ayudará a profundizar el conocimiento sobre la validez, la ética y la utilidad de la evaluación.
¿Cómo puede realizarse este aprendizaje? En primer lugar, es necesaria una actitud de curiosidad y de incertidumbre que mantenga despierto el deseo de aprender. La certeza condena a la esterilidad. En segundo lugar es precisó que se tenga acceso a la información, no sólo a los contenidos de los informes sino a los análisis de proceso.
El capítulo XI de la obra Evaluación del currículum en los centros escolares, de McCormick y James (1995) se titula Aprender de la evaluación. En dicho capítulo, estos autores (o, mejor dicho, autor y autora), hacen hincapié en la importancia del aprendizaje durante el proceso de evaluación y no solamente en el momento final de la misma:
«Queremos considerar cómo puede producirse el aprendizaje a través del proceso evaluador. Al hacerlo así, pretendemos romper la pauta lineal impuesta por la palabra escrita y, a la vez, hacer hincapié en que la evaluación curricular queda mejor conceptuada- como proceso cíclico (o espiral) que como un acontecimiento dividido en fases».
La espiral de la comprensión se va construyendo a medida que avanza el proceso y no sólo se apoya en la documentación escrita. Es más, no sólo parte de los aciertos y de los descubrimientos, sino que también puede surgir de los errores y de las limitaciones.
. LAS PRINCIPALES DIFICULTADES
¿Qué dificultades más importantes frenan la puesta en marcha de estos procesos evaluadores encaminados a la mejora de la institución?
a. El individualismo de los profesionales, asentados en prácticas de escaso nivel participativo. La evaluación institucional es, necesariamente, un proceso compartido.
b. La rutinización de las prácticas tiene componentes institucionales (dimensión nomotética) en la Universidad como entidad escasamente flexible para la introducción de cambios y tiene también vertientes personales (dimensión idiográfica) que generan miedos, que alimentan mitos y que propician errores ante la presencia de un fenómeno nuevo que exige una actitud abierta.
c. El tiempo que se necesita y que no se tiene o que, si se tiene, interesa más dedicar a otros menesteres. Hay tiempos para la planificación, para la acción, para la investigación, pero no hay tiempos institucionales para la evaluación de la acción.
d. La desmotivación constituye una dificultad determinante. ¿Por qué poner en marcha una evaluación en la Universidad pudiendo no hacerlo?
e. El desenfoque de la meritocracia es otra de las dificultades que hay que superar. Si se hace méritos por unos caminos que no conducen a la mejora será muy difícil de traer tiempos para dedicarse a actividades que teóricamente permiten mejorar pero que no van a reportar beneficios pragmáticos personales. Un cierto fatalismo que hace pensar que no es posible cambiar, que no es fácil mejorar lo que se está haciendo dificulta el compromiso con iniciativas de esta naturaleza.
f. Hay también falta de medios, ya que las necesidades apremiantes de la atención a las dinámicas del Sula, de la tutoría y de la investigación acaparan todos los recursos.
g. El desconocimiento o la desinformación (en ellos hay un componente de mitos y errores acerca de la evaluación) o el peso de malas experiencias que se hayan vivido dificultan las iniciativas que podrían surgir de personas o estamentos.
Detectar algunas dificultades no significa que haya que abordar con recelo o pesimismo el proceso de evaluación, sino que hay que afrontarlo con el suficiente coraje e inteligencia para superarlas.
