Lic. Ana Maria Navarro de Gottifredi – Prof. Lucila Angela Elliott de Campagna

El presente trabajo de investigación surge como preocupación conjunta de personas provenientes del Ambito Educativo Provincial y de la Universidad Nacional de Salta, las cuales ante el desafío que implica la resolución de los temas evaluativos, buscan esbozar la historia de la evaluación de proyectos educativos implementados en la Provincia de Salta en los niveles medio y terciario, de dependencia oficial, en el período comprendido entre los años 1980-1994.*

La práctica extendida de tomar decisiones que determinan el cierre, la continuación, la modificación y la extensión de experiencias innovadoras, sean estas positivas o negativas, o bien hayan presentado logros o dificultades, nos llevó a interesarnos en el tema y a preguntarnos si eran los procesos evaluativos los que generaban esas decisiones.

Nuestra preocupación radicaba entonces en conocer si los proyectos educativos sobre los cuales se tomaron las decisiones de continuarlos, extenderlos, modificarlos o cerrarlos, habían sido previamente evaluados; en uno u otro caso, si había habido intencionalidad; si no habían sido sometidos a procesos evaluativos nos interesaba conocer los motivos de esas decisiones y si fueron evaluados queríamos saber cuáles fueron los aspectos considerados y las metodologías empleadas.

Si bien uno de los temas más relevantes en el ámbito educativo, es el de la evaluación de las acciones y experiencias que integran su accionar, parecería, sin embargo, que esta práctica no está generalizada al campo de la evaluación de proyectos educativos.

Cuando Gimeno Sacristán (1; 1992; pág. 334) dice que “la evaluación es una práctica muy extendida en el sistema educativo” obviamente se refiere al ámbito del aula y de la medición y constatación de los aprendizajes de los alumnos, pero cuando ampliamos nuestro análisis a otros aspectos de la situación educativa, por ejemplo, esto que particularmente nos ocupa, es decir el campo de los proyectos educativos institucionales con sus experiencias innovadoras, vemos que la evaluación de proyectos aparece como una “práctica ausente”, ya que no se evalúan la mayoría de las experiencias que se ponen en marcha.

Profundizando estas reflexiones, podríamos afirmar, en un juego de palabras, que la evaluación de proyectos educativos es en realidad una “práctica – presente – ausente”, ya que tiene una fuerte presencia a nivel de los discursos y en la perspectiva teórica. Así, todos coinciden en la necesidad de su realización, o en las características que la misma debe tener aludiendo principalmente a su carácter de permanente o en los aportes que puede realizar para la adecuación al proponer reajustes a los proyectos. Sin embargo, también es una práctica ausente porque en el plano de la acción por lo general no se realiza.

Y no se realiza al punto tal que no se producen cuestionamientos con respecto al estado de desarrollo de los proyectos, al alcance de los objetivos, al avance y al nivel de logro, a la detección de los puntos débiles y a la rectificación de rumbos.

Sólo se discuten distintas posturas teóricas con respecto a ejes de debate que giran sobre:

. Si la evaluación es necesaria o se puede relativizar;

. Es prescriptiva o permite el aporte de los distintos actores;

. Es manejada autoritariamente o permite las decisiones democráticamente;

. Si se evalúa por encargo, para imponer medidas políticas, para producir un bien general o porqué la gente lo pide y lo necesita;

. Si se evalúa para el gobierno, para los administradores, para los funcionarios o para los beneficiarios de los proyectos;

. Es una traba para el normal desarrollo de los proyectos al impedir el flujo natural del mismo, o por el contrario, este se desarrolla más eficazmente al tener la posibilidad de evitar los errores que retardan su desenvolvimiento;

. Es un trabajo de técnicos que la desarrollan en forma mecánica o es una labor realizada por los distintos actores comprometidos e involucrados en la gestión exitosa de un proyecto.

El poner el acento en el debate teórico, parecería que hizo dejar de lado la aplicación práctica de los conocimientos, de forma tal que son pocos los proyectos educativos implementados o en ejecución que han tenido un proceso evaluativo. La excepción estaría dada por los proyectos patrocinados por los organismos internacionales que exigen la instancia de evaluación.

Lo realmente grave de esta situación es que existen proyectos educativos que han sido extendidos a otras experiencias, propagando resultados aparentemente exitosos o lo que es igualmente grave, proyectos que han sido dados por finalizados sin haberse realizado una evaluación previa a la toma de decisiones. Desprendiéndose de esto, el hecho que los impactos positivos de los proyectos no han sido canalizados convenientemente y las experiencias fallidas no han servido como aprendizaje para evitar cometer los mismos errores.

Al respecto, se puede tomar la recomendación que hace la UNESCO (2; 1986; pág. 9) para los países de América Latina y El Caribe con respecto a este tema: “… Solo investigaciones apropiadas de evaluación pueden proveer la retroalimentación de información necesaria para realizar los ajustes… Por otro lado, nuestros países, con sus recursos siempre muy escasos no están en condiciones de despilfarrar sus esfuerzos en marchas, contramarchas y, peor, improvisaciones …”.

Aparentemente, en la historia de la ejecución de proyectos educativos provinciales, que no es distinto a lo que sucede en otros sectores, u otros ámbitos, no se visualiza la importancia de contar con una evaluación, previa a tomar la decisión de modificar, continuar o suprimir un proyecto.

Pareciera que no se considera a la evaluación de proyectos como necesaria para la decisión política, para la gestión o para la revisión de acciones educativas.

El retomar a Gimeno Sacristán (3; 1992; pág. 336) cuando dice, siempre refiriéndose al plano de la enseñanza, que el origen de la evaluación no es educativo o científico, sino consecuencia de necesidades sociales e institucionales, nos lleva a plantearnos el interrogante de porque estas necesidades no surgen en relación a la evaluación de proyectos.

Esta inquietud ha llevado a nuestro grupo de trabajo a procurar esbozar la “historia” de la evaluación de proyectos educativos implementados en la provincia en los niveles medio y terciario de régimen oficial, en el período comprendido entre los años 1980-1994, hayan sido estos evaluados o no, y en cualquiera de los dos casos, explicitar las causas que motivaron esa situación, el contexto imperante y determinante de esas realidades y los condicionantes que incidían e inciden en el ejercicio de la evaluación de proyectos.

Adhiriendo a la conceptualización de evaluación de proyectos que realizan Cohen y Franco (4; 1988; pág. 64) cuando expresan:  “Proceso encaminado a determinar sistemáticamente y objetivamente la pertinencia, eficacia. eficiencia e impacto de todas las actividades a la luz de sus objetivos. Se trata de un proceso organizativo para mejorar las actividades todavía en marcha y ayudar  a la administración en la planificación, programación, y toma de decisiones futuras”, consideramos a la evaluación como un proceso de suma importancia si se quiere establecer y probar lo siguiente: el real cumplimiento de los objetivos; la correcta utilización de los recursos; el buen empleo del tiempo; la relevancia  que  tiene  un proyecto para el medio y para el grupo social al que está destinado; la pertinencia e importancia del proyecto en términos educativos y/o sociales; y si además se desea detectar los errores, problemas, dificultades, trabas, cuellos de botella y necesidades específicas.

Hacemos nuestros también los criterios de evaluación que desarrolla Benno Sanders (5; 1990; pág. 210) con respecto a la eficacia, eficiencia, efectividad y relevancia o pertinencia que debe tener un proyecto que sirva a los fines para los cuales fue creado y que tenga un verdadero impacto para el grupo destinatario.

Stufflebeam (6; 1993; pág. 72, 91, 92), por un lado, y House (7; 1994; pág. 28, 29) por otro, acordarían en ubicar este trabajo en enfoques de evaluación por objetivos y por toma de decisiones. Desde esta perspectiva es que estamos trabajando en un proyecto de investigación que tiende en primera instancia a realizar un relevamiento sobre la evaluación de los proyectos educativos implementados o en vías de implementación, en un segundo momento, a realizar el análisis de cada uno de los proyectos considerando los siguientes aspectos:

. La concepción de evaluación subyacente.

. El tipo de diseño empleado.

. El momento en que se realiza la evaluación (antes, durante, después).

. La amplitud otorgada a la evaluación (global, parcial. reducida).

. Las dimensiones o aspectos evaluados (finalidades, procesos, acciones, resultados e impacto).

. Los actores que cumplieron la función de evaluación (interna, externa, mixta o participativa).

. Las distintas viabilidades tenidas en cuenta (política, económica, técnica, legal o normativa, institucional o administrativa).

. La coherencia entre objetivos, recursos y resultados.

. Las metodologías, técnicas y estrategias empleadas.

. Los factores de éxito y fracaso.

En un tercer momento a aplicar distintos instrumentos de recolección de información: encuestas, observaciones, entrevistas abiertas y en profundidad, entre otros, que nos llevaran a comprobar lo detectado a través del análisis de proyectos y a corroborar lo establecido con respecto a los niveles de evaluación de proyectos, las causas que inciden en ese nivel, los factores de contexto que determinan las distintas realidades y los condicionantes que influyen en esa situación.

En cuarto lugar, se intenta efectuar el análisis del proceso de evaluación de los proyectos que fueron evaluados, complementándose con triangulaciones de instrumentos, de fuentes y de actores.

Por último, al trabajar con el periodo 80-94, esto es tres años previos a la instancia democrática y los dos períodos constitucionales consecutivos, se pretende comprobar si los estilos de gestión influyeron en la práctica de la evaluación de proyectos en la provincia.

House (8; 1994; pág. 46) afirma que todos los modelos de evaluación vigente se derivan de la filosofía del liberalismo y las diferencias existentes entre ellos se deben a sus respectivas desviaciones de la corriente principal.

En síntesis, al intentar esbozar la “tendencia histórica” de la evaluación de proyectos en la Provincia de Salta, con respecto a los niveles medio y terciario de régimen oficial, se busca detectar las causas de la no correspondencia entre proyecto educativo y evaluación; entre extensión de experiencias y evaluación; entre cierre de innovaciones y evaluación. Al mismo tiempo que se procurara revalorizar la evaluación como factor fundamental para la toma de decisiones y rescatar su importancia como parte esencial y constitutiva del proceso de planificación.

Finalmente, en la medida que podamos proponer diseños alternativos de evaluación adecuados al contexto y a las distintas situaciones, hacerla accesible y desmitificar su ejercicio.

Características metodológicas de la investigación

Este trabajo posee las características de una investigación evaluativa que procura una explicación de los hechos y tiene la  intensionalidad de llegar a la comprensión de los mismos. Su metodología es de carácter cuali-cuantitativo, adaptándose el mismo a las circunstancias y problemas presentados. Se parte de la premisa que distintas situaciones requieren variados métodos de trabajo, por lo tanto, no nos encerramos en una metodología particular, sino que dejamos la apertura suficiente como para adoptar aquel enfoque que sea más conveniente en una situación específica.

Por consiguiente, tanto podemos emplear métodos pertenecientes al campo cuantitativo, esto es registros, análisis e interpretaciones estadísticas, como así también podemos usar metodologías, técnicas e instrumentos   propios   del   marco cualitativo. Al respecto, estamos en un todo de acuerdo con Casanova (9; 1992; pág. 57) cuando manifiesta “… El modelo cualitativo … Se adapta mejor a la comprensión de la conducta humana, se orienta hacia el estudio de procesos y es capaz de captar la compleja dinámica de la realidad social. Sus procedimientos de trabajo (observación, entrevista, exploración, descripción, etc.) son más adecuados para proporcionar explicaciones de los hechos y, en definitiva, sus datos son válidos, reales y profundos cuando se trata de la valoración de lo humano”

Algunos avances a modo de reflexión

Con respecto al procesamiento de la información hasta ahora obtenida, tenemos:

Hasta el presente se ha realizado el relevamiento, análisis documental y comparación de los proyectos educativos provinciales para los niveles medio y terciario y se han aplicado encuestas y entrevistas a informantes calificados para recabar opiniones sobre el tema que nos ocupa.

Análisis documental comparativo de proyectos educativos provinciales – oficiales para los niveles medio y terciario

Con respecto a este trabajo, a posteriori de efectuado el relevamiento y análisis de proyectos, se procedió primeramente a detectar los aspectos, fundamentales en la conformación de proyectos, que estaban presentes y aquellos que estaban ausentes para proceder inmediatamente a efectuar una categorización que sirviera como base para la comparación.

Se analizaron 12 proyectos implementados en la provincia en los niveles en estudio, esto es, 8 (58 %) pertenecientes al nivel medio y 4 (42 %) del nivel superior. No se detectaron, otros que pudieran ser relevados para el período de tiempo considerado.

Entre los aspectos dimensionados, se pueden señalar:

. Tipo de proyecto, es decir si el mismo es institucional (17 %), curricular (50 %), o de base (8 %), entre los más característicos.

. Origen del mismo: refiriéndose a si surgió de grupos particulares (0 %), de instituciones particulares (33 %), de organizaciones provinciales (42 %), de organizaciones nacionales (17 %) u organismos internacionales (8 %). Y si fueron impuestos por los organismos (67 %) o como resultados de intereses particulares (33 %).

.  Si estos proyectos contaron con financiamiento (74 %) o no fueron financiados (25 %). Y el carácter del financiamiento, ya sea provincial (33 %), nacional (33 %) o de préstamos internacionales (8 %).

. Presencia o ausencia de la instancia de evaluación: nominada pero no explicitada (58 %), no incluida explícitamente (25 %) y explicitada (17 %).

Si el proyecto incluía el diseño de evaluación: si (17 %), no (75 %) y no contesta (8 %).

. Momentos del proceso de planificación en que se plantea la evaluación: diagnóstico (42 %), final (33 %) y procesual, secuencial (25 %).

. Instancias de evaluación: permanente y sistemática (8 %), instancias y aspectos especiales (25 %), no sistemática, esporádica, circunstancial (67 %).

Así, del análisis comparativo de los proyectos estudiados podemos aproximar algunas cuestiones que podrán ser confirmadas o modificadas a medida que avancemos en nuestro trabajo.

1. a) Podríamos suponer que los modelos de evaluación no aportaban elementos válidos para la evaluación de la complejidad de algunos proyectos, es decir que ante la problemática de la multiplicidad de variables que abarca un proyecto educativo, los enfoques eran insuficientes. Sin embargo, nos encontramos que proyectos que incluyen solo la modificación de algún aspecto, por ejemplo, el contenido curricular, o la metodología de trabajo, etc., tampoco fueron evaluados.

Parecería que la no evaluación de los proyectos educativos, no es un problema de metodología sino más bien de complejidad en su realización.

1. b) Tampoco podemos encontrar diferencias significativas desde la tendencia evaluativa de los proyectos según los distintos niveles del sistema educativo (medio o superior).

La evaluación de proyectos está ausente en la mayoría de los proyectos educativos implementados en el nivel medio y terciario, de dependencia oficial.

Desde el punto de vista del origen del proyecto, (entendiendo por tal, quienes son los que lo generaron) solamente los que cuentan con un financiamiento externo y propio, para la ejecución del mismo, incluyen en su programación un explicitación de la evaluación del proyecto y fueron objeto de la misma. Se trata de los proyectos con fondos nacionales o internacionales.

La tendencia evaluativa aparece como condición en la programación para el otorgamiento de préstamos específicos y también como un aspecto significativo para el control del gasto y ejecución de los cronogramas de acción previstos.

1. d) Otro elemento a señalar es la diferencia en la estructura u organización de los proyectos (diseño). Los que cuentan con financiación, como dijimos anteriormente, poseen una descripción analítica del proyecto e incluyen la evaluación como un componente explícito.

Por el contrario, nos encontramos con que los que carecen de esa fuente de financiamiento al que hacíamos referencia, no cuentan con una estructura orgánica. En muchos casos la única fuente documental para el análisis es el instrumento legal que autoriza su funcionamiento. Debiendo en estos casos recomponer la programación original y su alcance a través de contenidos o informes de comisiones técnicas o entrevistas a los planificadores o ejecutores de los proyectos. Es coincidente que estos proyectos no explicitan o incluyen la instancia de evaluación y tampoco fueron evaluados.

La falta de una programación explícita, dificulta la evaluación de los proyectos.

1. e) La evaluación aparece incluida en la etapa inicial del proyecto, como una evaluación diagnóstica, que sirve para justificar la puesta en marcha del mismo.
2. f) La evaluación aparece a nivel del discurso, así entre las argumentaciones más citadas, encontramos frases tales como:

. ” La evaluación será permanente”

. “La continuidad o supresión del proyecto quedará supeditada a los resultados del seguimiento y la evaluación”

. “El proyecto mantiene el carácter de experiencia piloto, hasta que se realice la evaluación del mismo”, etc.

Interpretación de entrevistas y encuestas a personas que tienen una opinión formada sobre el tema de  “evaluación de proyectos”

Con respecto a   la segunda tarea realizada, esto es aplicación de encuestas y entrevistas a funcionarios, investigadores, técnicos y docentes para saber su opinión sobre: a) la presencia o no de la etapa de evaluación en los proyectos educativos en los que habían participado y b) la mejor forma de generalizar su práctica.

Se procedió a la aplicación de instrumentos de recolección de información a Funcionarios de Educación (5 encuestas y 4 entrevistas); a Investigadores (7 encuestas y 2 entrevistas); a Técnicos y Docentes (20 encuestas). En total, 32 encuestas y 6 entrevistas.

Al no tener todavía la totalidad de las respuestas, se procedió a hacer un análisis e interpretación de carácter cualitativo, dejando para una etapa posterior el trabajo de tipo cuantitativo.

Por consiguiente, hasta el momento, se ha recogido consensos en los siguientes aspectos:

Con respecto a el item a):  presencia o ausencia de la etapa de evaluación, desarrollo de una cultura de evaluación de proyectos:

. No existe una “cultura de evaluación de proyectos” en la provincia, con las temáticas y características de aquellas que nos ocupan.

Entre las causas señaladas figuran:

. Errónea formulación del diseño de los proyectos.

. Renuencia a la evaluación, manifestada por actitudes hostiles y de rechazo, por concebirla controladora, fiscalizadora y punitoria.

.  Inclinación a visualizarla como descubridora de errores, como sancionadora y no como un elemento útil para tomar decisiones que impliquen la modificación, cierre, extensión o apertura de proyectos innovadores.

. Incidencia de los aspectos políticos que en ciertas circunstancias inciden en la no evaluación de proyectos educativos. A veces parece preferible que no se conozcan ciertos resultados.

.  Tendencia a efectuar tomas de decisiones sin comprobar si los proyectos arrojan resultados positivos, negativos o neutros.

. Desarrollo de    procesos   evaluativos   impuestos   por exigencias de organismos nacionales o internacionales con resultados puntuales y que no sirven para favorecer el establecimiento de una cultura evaluativa, justamente por su carácter de obligatoriedad.

. Inexistencia del convencimiento que la necesidad de evaluar debería partir del propio proyecto, que la tendría que valorar como un proceso que beneficia al mismo, ya que trata de buscar lo que sucede y sus causas, sus problemas, sus desviaciones, etc., tendiendo a lograr una mejora de la situación, y no surgir desde afuera como una decisión tomada por actores ajenos a la experiencia.

. Aparición de grandes temores para someterse a evaluación, ya que hay una imagen distorsionada de las funciones de la misma, no se es consciente de que por más que la evitemos la necesidad de su práctica ya está instalada. El peligro radica en que la efectúen otras personas por imposiciones externas, ya que cuando se realiza de esta manera, no están dadas las condiciones de objetividad, de   participación   de actores, de adecuación metodológica y técnica.

Con respecto al item b): la mejor forma de generalizar su práctica:

En referencia a las condiciones que debería reunir la evaluación de proyectos para que su práctica se generalice, hay acuerdo en los siguientes aspectos:

. La evaluación de proyectos tendría que ser visualizada como un compromiso previo que debería asumir la gestión con la sociedad, ya que a través de la evaluación se podrá explicar el que, el cómo,  el dónde  y  el  porqué  de  una   experiencia determinada, y además demostrar que el esfuerzo emprendido vale la pena, pues está dando los resultados esperados, y si así no fuera se debería estar preparado para modificar en una parte o en un todo la programación.

. No pensar que existe la “receta para evaluar proyectos” y que a partir de allí se puede trabajar de la misma manera para cualquier tipo de situación. Esta es la mejor manera de fracasar. No se puede generalizar, cada proyecto presenta una realidad distinta, por lo tanto, merece un tratamiento diferente.

. Hay que desarrollar la “conciencia evaluativa”, valorar la práctica de la evalución, desmitificar su ejercicio y colocar a la evaluación de proyectos en posición de elegibilidad y de reconocimiento cierto como proceso imprescindible para conocer, interpretar, comprender, mejorar y enriquecer.

A MODO DE CONCLUSION

Estos son algunos de los primeros resultados de nuestro trabajo, parecería que no está muy desarrollada   la “cultura de la evaluación de proyectos educativos en nuestra provincia”, al menos en lo que se refiere al ámbito de los niveles medio y terciario de dependencia  oficial.

Esta reticencia tiene que ver, por un lado, con la distorsión del concepto y fines de la evaluación, que es vista como descubridora de errores y sancionadora y no como una herramienta útil para tomar decisiones que contribuyan a modificar, mejorar, rectificar los procesos de implementación de innovaciones educativas a través de la generación de proyectos. Por otro lado, con la escasa importancia que se le da al hecho de conocer la realidad de un proyecto y su contexto. Y, por último, con la baja valoración que tiene el hecho de adoptar resoluciones basadas en datos y argumentaciones validadas científicamente.

El encontrarnos con esta realidad, nos hace pensar que parecería que no se ha tomado conciencia que ya no podemos volver atrás, la práctica evaluadora se ha instalado en nuestra sociedad, no podemos utilizar recursos escasos en proyectos que al menos no tengan la posibilidad cierta de ser exitosos y eficientes.  Agregado a esto el hecho que   si no evaluamos nosotros otros lo harán, a lo mejor sin tomar los recaudos necesarios para encarar un proceso tan delicado como este y con objetivos distintos a los que se podrían tener si la evaluación estuviera contemplada desde el inicio del proceso.

No es que estamos cabalgando en una corriente evaluadora, es que estamos convencidas que este es uno de los caminos posibles para emprender con buenas perspectivas proyectos educativos que tiendan al cambio y a la transformación y de evitar experiencias de fracaso que no solamente inciden negativamente en el sector educación, sino en la sociedad en su conjunto.

Bibligrafía:

(1).- Gimeno Sacristán y Perez Gomez:  “Comprender y Transformar la Enseñanza”. Morata.       Madrid. 1992.

(2).- UNESCO: “Evaluación  en  América  Latina y  El Caribe: experiencias concretas”. UNESCO. Francia. 1986.

(3).- Gimeno Sacristán y Perez Gomez: op. cit.

(4).- Cohen y Franco: “Evaluación de Proyectos Sociales”. Grupo Editor Latinoamericano. Buenos Aires. 1988.

(5).- Sander Benno:  “Educación, Administración y Calidad de Vida. Caminos alternativos del consenso y del conflicto”. Santillana. Buenos Aires. 1990.

(6).- Stufflebeam D.: “Evaluación Sistemática”. Paidós. Barcelona. 1993.

(7).- House E.: “Evaluación, Etica y Poder”. Morata. Madrid. 1994.

(8).-  House E.: op. cit.

(9).- Casanova M.: “La evaluación, garantía de calidad para el Centro Educativo”. Edelvives. España. 1992.

Resumen:

El presente trabajo busca esbozar la historia de la evaluación de proyectos educativos implementados en la Provincia de Salta en los niveles medio y terciario, de dependencia oficial, en el período comprendido entre los años 1980 – 1994.

A través del mismo, se intenta establecer una verdadera representación de la realidad en el campo de la evaluación de proyectos educativos,  tendiendo a realizar, primeramente, una descripción del estado de situación; en segundo lugar, pretendiendo plantearse “ideas fuerza” que lleven a resignificar conceptos, metodologías y estrategias evaluativas que tengan una incidncia real en la evaluación de proyectos, y por último, procurando plantear diseños adecuados a los contextos y a las situaciones, con el objeto de desmitificar la evaluación y valorarla como factor fundamental para el logro de la calidad de las acciones educartivas.