La evaluación final del UNSDCF 2020-2025 en Uruguay persigue como propósito generar evidencia sobre la contribución del UNCT al desarrollo del país mediante la implementación de este acuerdo de cooperación y, en particular, sobre el cumplimiento de los objetivos y los resultados establecidos en el Marco de Cooperación, así como sobre su implementación (permitiendo identificar buenas prácticas y extraer lecciones aprendidas). Esta evidencia constituirá un valioso insumo para la formulación del próximo UNSDCF (2026-2030). Objetivos específicos: a)Valorar la contribución que el UNCT ha realizado, mediante la implementación del UNSDCF 2021-2025, en las cuatro áreas de intervención priorizadas en el acuerdo. b)Determinar el grado de cumplimiento de los resultados c)Identificar los factores que han afectado a la contribución del UNCT al logro de los resultados del UNSDCF 2021-2025, buscando describir y explicar el desempeño del UNCT. d)Generar una serie de recomendaciones generales y operativas que ayuden a mejorar la contribución del UNCT buscando contribuir a la formulación del próximo UNSDCF. Estas recomendaciones deben basarse en las conclusiones y los hallazgos de la evaluación y, en particular, de las lecciones aprendidas y buenas prácticas identificadas. Debe tener alcance nacional, no obstante, considerando el carácter unitario del Estado uruguayo y la concentración de las contrapartes del UNCT en el departamento de Montevideo, la mayor parte del relevamiento de información se realizará en este departamento. De todas formas, será necesario realizar algunas visitas de campo a un máximo de cuatro departamentos del país (uno por cada una de las cuatro regiones del país) para la cooperación del UNCT, de acuerdo con la disponibilidad de las Agencias. Debe cubrir exclusivamente el período comprendido entre el 1 de enero de 2021 y el 30 de junio de 2024, es decir, el 70% del tiempo de implementación del acuerdo. Además de valorar los resultados del UNSDCF 2021-2025 alcanzados por, o con la contribución de, las Agencias que conforman el UNCT (la cadena o matriz de resultados), la evaluación final deberá valorar la aplicación de enfoques transversales y del trabajo normativo, los “principios rectores” del UNSDCF 2021-2025: LNOB (incluyendo, la evaluación sobre la transversalización del enfoque de la inclusión de la discapacidad), HRBA, GEWE, sostenibilidad, resiliencia y rendición de cuentas. La evaluación se desarrollará en base a la información y los datos disponibles contenidos en el informe final de Revisión de Medio Término del UNSDCF 2021-2025, los tres Informes Anuales de Resultados del UNCT publicados entre marzo de 2022 y marzo de 2024 , los informes anuales de las Agencias, los CPD de las Agencias PNUD, UNFPA y UNICEF, los documentos de proyectos, los informes de evaluación, revisión intermedia o anuales de proyectos, así como otros documentos que se estimen pertinentes para este ejercicio, y de la información primaria o secundaria, cualitativa y cuantitativa, a la que el evaluador pueda acceder a partir de las entrevistas a informantes calificados o visitas a terreno. La evaluación final del UNSDCF 2021-2025 estará basada en la aplicación de los siguientes criterios: a)Pertinencia y adaptabilidad: grado en el que una iniciativa de desarrollo y los resultados (productos) y efectos que se esperan de su implementación concuerdan con las prioridades nacionales y locales de desarrollo y con las políticas públicas que de ellas se derivan, así como con la protección de los derechos de los destinatarios de estas iniciativas. Asimismo, la aplicación de este criterio busca determinar en qué medida esta iniciativa de desarrollo responde y se adapta a las necesidades emergentes del país. Por último, al basarse en este criterio la evaluación final del UNSDCF 2021-2025 deberá incluir los principios rectores del acuerdo, en particular, los normativos (LNOB, HRBA y GEWE). b)Coherencia: grado en el que el UNSDCF 2021-2025 está alineado a los mandatos de las Agencias para contribuir a la credibilidad en el UNCT y a la confiabilidad en su trabajo, así como a su posicionamiento como un aliado clave para el desarrollo del país. Asimismo, la aplicación de este criterio busca determinar el grado de complementariedad, sinergias y armonización entre las Agencias signatarias del UNSDCF. c)Eficacia: grado en el que la implementación del UNSDCF ha permitido al UNCT avanzar hacia el logro de los resultados planificados: los Productos/outputs por los que son responsables y los Efectos Directos / outcomes a los que contribuyen. d)Eficiencia: este criterio busca determinar si los insumos y recursos que han sido utilizados para la implementación de las iniciativas orientadas al logro de los resultados, han sido empleados maximizando la relación entre costos y resultados. Asimismo, la aplicación de este criterio debe permitir determinar en qué medida los recursos han sido utilizados contemplando el enfoque de equidad de género y empoderamiento de las mujeres (GEWE), la priorización de los grupos más vulnerables para “no dejar a nadie atrás” (LNOB), la inclusión de la discapacidad, el enfoque de derechos humanos (HRBA) y en forma transparente (rendición de cuentas). e)Sostenibilidad: la aplicación de este criterio implica revisar los mecanismos ambientales, económicos, sociales, políticos e institucionales del UNSDCF 2021-2025, con el fin de determinar en qué medida están presentes las condiciones necesarias para asegurar la continuidad de los resultados y los beneficios para los grupos de población a los que se dirigen sus intervenciones, una vez que haya cesado la cooperación. A continuación, se presentan algunos ejemplos de preguntas que se podrían utilizar con relación a cada uno de los criterios a aplicar. Estas preguntas pueden ser complementadas con otros interrogantes que el evaluador considere pertinentes. El set de preguntas a utilizar deberá ser decido en la fase inicial de la evaluación en un proceso consultivo con el Comité de Evaluación. Criterio: Pertinencia y adaptabilidad: ¿El UNSDCF 2021-2025 cumplió las prioridades nacionales y los objetivos de política pública que de ellas se desprenden, y fue capaz de adaptarse a las necesidades emergentes? Ejemplos de preguntas de evaluación: *¿En qué grado las prioridades estratégicas, los objetivos y los resultados del UNSDCF 2021-2025 están alineados con las prioridades nacionales de desarrollo y con los objetivos de política pública que de ellas se derivan, incluyendo los ODS, y sus respectivas Metas, a los que adhiere el país y las estrategias y planes nacionales diseñados para alcanzarlos? *¿En qué medida el UNSDCF 2021-2025 ha sido capaz de adaptarse a necesidades emergentes e imprevistas? Criterio: Coherencia: ¿La implementación del UNSDCF 2021-2025 facilitó el trabajo conjunto y coherente entre las Agencias? Ejemplos de preguntas de evaluación: *¿En qué medida el UNSDC 2021-2025 ha contribuido a aumentar la coordinación del equipo de las Naciones Unidas (entre agencias) y entre el UNCT y sus aliados, contrapartes y socios en la implementación? *¿Hasta qué punto los programas y planes de trabajo específicos de las Agencias, Fondos y Programas de las Naciones Unidas en el país se han derivado en forma eficaz y de modo significativo del UNSDCF 2021-2025, tanto en lo que refiere a su diseño como a su implementación? Criterio: Eficacia ¿La implementación del UNSDCF durante el periodo sujeto a la evaluación (desde el inicio de su implementación hasta mitad de 2024) ha permitido alcanzar sus resultados o avanzar hacia su logro al término del ciclo programático? Ejemplos de preguntas de evaluación: *¿En qué medida la implementación del UNSDCF 2021-2025 en el período sujeto a la evaluación ha permitido alcanzar los resultados acordados o avanzar hacia su logro al término del ciclo programático? *¿En qué medida los resultados alcanzados o en vías de ser logrados (Productos / outputs) y las transformaciones o cambios a los que contribuye la implementación del UNSDCF 2021-2025 (Efectos Directos / outcomes) han tenido como foco principal la mejora del bienestar de los grupos de población más vulnerables y excluidos (LNOB)? Criterio: Eficiencia ¿En qué medida los recursos han sido utilizados en forma eficiente, maximizando la relación costo/beneficio? Ejemplos de preguntas de evaluación: *¿En qué medida el Marco de Financiación Integral & Multianual u otros instrumentos de planificación financiera utilizados por el UNCT han apoyado la implementación del UNSDCF 2021-2025 y han permitido mejorar la eficiencia en el uso de los recursos? *¿En qué medida la implementación del UNSDCF 2021-2025 ha permitido desarrollar estrategias de movilización conjunta de recursos? Criterio: Sostenibilidad ¿Los resultados alcanzados por el UNSDCF 2021-2025 y los impactos positivos en el bienestar de los grupos de población beneficiarios se podrán sostener en el tiempo, más allá de la acción del Marco? Ejemplos de preguntas de evaluación: *¿Las intervenciones desarrolladas a partir del UNSDCF 2021-2025 han previsto mecanismos para garantizar la sostenibilidad de sus resultados, y en tal caso qué tipo de mecanismos? *¿El país cuenta con mecanismos y condiciones (ambientales, económicas, sociales, institucionales y financieras) que garanticen la sostenibilidad en el tiempo de los resultados que se han logrado o se pueden lograr a partir de la implementación del UNSDCF 2021-2025 una vez que haya finalizado su ejecución? Enfoque y metodología previstos para la evaluación: La evaluación del UNSDCF 2021-2025 será guiada por las Normas y Estándares para la Evaluación del Grupo de Evaluación de las Naciones Unidas (UNEG – Guidelines for the Evaluation of the United Nations Sustainable Development Cooperation Framework https://www.unevaluation.org/document/detail/2972). En este sentido, el enfoque y la metodología de la evaluación debe asegurar que sus resultados sean creíbles y estén basados en la independencia, la imparcialidad y la aplicación de una metodología rigurosa. El proceso debe ser transparente e inclusivo (involucrar a las partes interesadas relevantes), con un sólido aseguramiento de la calidad. Los resultados y las recomendaciones de las evaluaciones derivan del uso atento, explícito y sensato de los mejores datos objetivos, fiables y válidos, así como del análisis preciso de la evidencia. La evaluación debe ser realizada de manera ética y administrada por un evaluador independiente que muestre competencia profesional y cultural. La evaluación utilizará una combinación de metodologías, incluyendo revisiones de documentos, análisis de datos primarios y secundarios cuantitativos, entrevistas individuales con informantes clave y grupos focales, encuestas y visitas de campo para recopilar datos, así como evaluaciones de los programas de las Agencias. El evaluador propondrá la metodología de evaluación de acuerdo con el enfoque de la evaluación y las herramientas de diseño para recopilar los datos e información apropiados como respuestas sólidas y basadas en evidencia para responder a las preguntas de la evaluación. El diseño metodológico incluirá: un marco analítico; una estrategia para la recolección y el análisis de datos; herramientas especialmente diseñadas; una matriz de evaluación; y un plan de trabajo detallado. Tipo de muestreo: Si bien la evaluación examinará una única macro unidad de análisis (el UNSDCF 2021-2025) para poder responder a las preguntas planteadas será necesario examinar documentos y recabar información que permita construir datos primarios, así como sistematizar datos secundarios, que corresponden a unidades de observación, por ejemplo: a) Panes de Trabajo Conjunto del UNSDCF 2021-2025; b) los Programas de País que se derivan del UNSDCF 2021-2025 (los CPD de PNUD, UNFPA y UNICEF); c) los planes o estrategias de cooperación con el país de agencias u organismos especializados de las NN.UU.; d) los proyectos conjuntos o individuales de las agencias. Con relación a estas posibles unidades de observación, el alcance de la evaluación no implica un relevamiento de información en todo el universo ni exhaustivo con relación a las dimensiones de análisis y variables. En consecuencia, la evaluación deberá aplicar alguna modalidad de muestreo que le permita capturar información de algunas unidades de observación que le permita construir datos generalizables y, por lo tanto, realizar inferencias válidas sobre la unidad de análisis o de estudio macro que es el objeto de la evaluación: el UNSDCF 2021-2025. Considerando la magnitud y la complejidad de algunas de estas unidades (los programas de país y proyectos conjuntos o específicos de las agencias), y teniendo en cuenta que algunas agencias tienen previsto desarrollar durante 2024 evaluaciones finales de sus propios programas de cooperación con Uruguay, el relevamiento de información que se realice para la evaluación del UNSDCF 2021-2025 debería estar exclusivamente dirigido a generar los datos que permitan responder sus preguntas, en base a los cinco criterios de evaluación. El evaluador del UNSDCF 2021-2025 utilizará un enfoque de muestreo intencional para seleccionar programas y proyectos. El enfoque de muestreo intencional también se utilizará para seleccionar los grupos y las partes interesadas a ser consultadas. Se espera que la lista de grupos objetivo asegure una representación adecuada de las y los beneficiarios, incluidas las organizaciones de la sociedad civil con énfasis en los grupos en condición de vulnerabilidad. La selección se basará en el análisis de la cartera y el mapeo de las partes interesadas realizado durante la fase de inicio de la evaluación. Este análisis arrojará información sobre las iniciativas y las partes asociadas relevantes que formarán parte de la evaluación. El evaluador debe describir claramente los criterios y el proceso de selección del muestreo e identificar cualquier sesgo y limitaciones potenciales, incluidos los pasos para abordar las limitaciones. La técnica de muestreo debe asegurar que las muestras seleccionadas reflejen adecuadamente la diversidad de las partes interesadas de la intervención, y prestar especial atención a la inclusión, participación y no discriminación de las partes interesadas más vulnerables. Este proceso mejorará la credibilidad y la adecuación técnica de la información recopilada. Recolección de información y producción de datos: La evaluación podrá emplear técnicas de recolección cuantitativas y cualitativas para la recolección de información primaria o sistematización de información o datos secundarios: a) revisión de la literatura; b) revisión de documentos; c) revisión de estadísticas económicas, demográficas y sociales (datos secundarios), tanto a nivel nacional como local, intentando desagregar los datos para reflejar brechas y desigualdades entre grupos de población y, en particular, para conocer la situación de las personas más vulnerables, desfavorecidas y excluidas; d) revisión de datos de encuestas sociodemográficas y de opinión pública pertinentes para los objetivos de la evaluación; d) entrevistas semiestructuradas a informantes calificados (del UNCT y las agencias, y de sus contrapartes); e) talleres / reuniones con grupos. Aseguramiento de la calidad de los datos: Los datos recopilados deben someterse a un control de calidad riguroso para fines de validación, utilizando una variedad de herramientas que incluyen la triangulación de fuentes de información y el intercambio permanente con las entidades de implementación del UNSDCF 2021-2025. Matriz de Evaluación: La evaluación utilizará la plantilla de la matriz de evaluación proporcionada por la persona responsable de la evaluación (ver Anexo D) para estructurar y consolidar sistemáticamente los datos recolectados para cada una de las preguntas de evaluación. Esta matriz permitirá, entre otras cosas, identificar los datos que faltan y así llenar estos vacíos antes de que finalice la recolección. Esta matriz también ayudará a garantizar la validez de los datos recolectados. Participación e inclusión: La evaluación debe llevarse a cabo utilizando un enfoque participativo e inclusivo , con el involucramiento de una amplia gama de partes asociadas y partes interesadas. Se llevará a cabo un mapeo de las partes interesadas para identificar a las partes asociadas directas e indirectas del UNSDCF 2021-2025, apuntando específicamente a las Agencias y a los representantes del gobierno nacional y otras contrapartes, según corresponda. El mapeo de partes interesadas puede incluir organizaciones de la sociedad civil, el sector privado, organizaciones sociales de base, organizaciones de personas trabajadoras, otros organismos de cooperación multilateral y bilateral y beneficiarios diversos del programa, e instituciones académicas. Análisis de la contribución del UNSDCF 2021-2025 al desarrollo sostenible del país con base en su “teoría general de cambio”: jugará un papel central en el diseño de la evaluación, en el análisis de los datos recolectados a lo largo de la evaluación, en la comunicación de resultados y en el desarrollo de conclusiones y recomendaciones prácticas y relevantes. Finalización de las preguntas y los supuestos de la evaluación: El evaluador revisará y retroalimentará las preguntas de evaluación después de consultar con el comité de evaluación y los grupos temáticos. Las preguntas de evaluación finales deben ser un número razonable, generalmente no superior a quince. Deben reflejar claramente los criterios de evaluación, así como las preguntas de evaluación indicativas listadas en estos Términos de Referencia. También deben aprovechar los resultados de la reconstrucción de la lógica de intervención del marco de cooperación. Las preguntas de evaluación se incluirán en la matriz de evaluación y deben complementarse con conjuntos de hipótesis que capturen los aspectos clave de la lógica de intervención asociada con el alcance de la pregunta. La recolección de datos para cada uno de los supuestos se guiará por indicadores cuantitativos y cualitativos claramente formulados, también indicados en la matriz. Se elaborará el diseño muestral para mantener las proporciones de las personas consultadas y definir las áreas prioritarias del marco de cooperación para garantizar la inclusión de todas las partes interesadas relevantes de gobierno, sector privado y sociedad civil. Acuerdos de gestión: Los principios éticos que guiarán la evaluación son los de independencia, imparcialidad, credibilidad, responsabilidad, honestidad e integridad. Asimismo, es fundamental que el evaluador mantenga respeto por la dignidad y diversidad de las personas que sean entrevistadas y que considere en todo el proceso de evaluación el respeto a los derechos humanos, equidad e igualdad de género. Se deberá preservar la confidencialidad de la información y datos de las personas involucradas respetando los derechos de proveer información de forma confidencial. En este punto es fundamental que se obtenga el consentimiento informado cuando se recolecte la información. En su propuesta metodológica, el evaluador deberá indicar claramente las posibles cuestiones éticas y especificar los procesos de supervisión y examen ético aplicables al proceso de evaluación. Fase de la evaluación: *Diseño de la evaluación: Revisión documental; desarrollo de la metodología; evaluación de la teoría de cambio y reconstitución (si es necesario) para adherir mejor al MC implementado; identificar a los socios a entrevistar; planificación de campo. Elaboración del informe inicial. Setiembre 2024. Participan: OCR, CE, UNCT, Evaluador *Recolección de datos: Recolección de datos cualitativos y cuantitativos en campo; y validación de la información obtenida del examen documental. Octubre 2024. Participan: Evaluador *Elaboración del Informe; Reunión y presentación de hallazgos preliminares y retroalimentación por parte del Comité de Evaluación. Gestión de datos, análisis y redacción de informes; validación de informes; presentación del borrador del informe para el análisis de calidad de la evaluación, desarrollo del registro de comentarios, elaboración del informe preliminar (noviembre), presentación de informe final. Octubre- Diciembre 2024. Participan: CE, UNCT, M&E, Evaluador *Respuesta gerencial: El comité de la evaluación hace borrador de respuesta gerencial para revisión y aprobación del UNCT. Diciembre 2024. Participan: CE, M&E, UNCT *Difusión: Compartir los resultados con los socios entrevistados, los grupos de resultados y grupos temáticos del marco de cooperación y contraparte gubernamental principal-cancillería para detonar el inicio de la redacción del nuevo marco de cooperación. Diciembre 2024. Participan: UNCT, UNCG y OCR *Uso y seguimiento: Desarrollo del nuevo marco de cooperación: Enero-Marzo 2025. Participan: UNCT y OCR Responsabilidades: Oficina del Coordinador Residente de las Naciones Unidas en Uruguay (OCR): *Encarga la evaluación del UNSDCF 2021-2025 en coordinación con el UNCT. *Designa a la persona responsable de supervisar la evaluación. *Apoya el establecimiento de un Comité Directivo de Evaluación. *Difunde ampliamente la convocatoria de evaluadores externos. *Apoya a la persona Responsable de supervisar la evaluación en la compilación de una lista preliminar de información y documentación de referencia, una lista de todas las intervenciones implementadas durante el período de evaluación y el mapeo de las partes interesadas. *Participa en el proceso de consulta de la evaluación. *Proporciona comentarios a los productos de evaluación clave. *Lidera la preparación del documento de respuesta gerencial. Responsable de supervisar la Evaluación: *Supervisa todo el proceso de la evaluación, desde su elaboración hasta la difusión y uso del informe final de evaluación. El/ella: *Supervisa técnicamente la evaluación e informa periódicamente al comité de la evaluación. La persona Responsable de supervisar la Evaluación trabaja en estrecha colaboración con el punto focal asignado por el UNEG-LAC para asegurar la calidad y el soporte técnico. *En consulta con la OCR y el UNCT, y con su apoyo, establece un Comité de Evaluación como un subconjunto técnico de la ONU. *Asegura la realización de consultas con todas las entidades de la ONU en el país (según el plan de evaluación), para alinear su calendario de evaluaciones potenciales e identificar posibles sinergias en el proceso y el contenido. *Elabora los Términos de Referencia (TdR) de la evaluación final de manera consultiva. *Con el apoyo de la OCR, compila una lista preliminar de información y documentación de referencia tanto del contexto del país como del UNSDCF 2021-2025 y los incluye en un Anexo de los TdR. *En colaboración con el punto focal de UNEG-LAC, identifica candidatos independientes potenciales para realizar la evaluación, garantizando la ausencia de cualquier tipo de conflicto de interés y asegurando un evaluador con equilibrio de género. *Solicita un primer mapeo de los principales socios para la evaluación del UNSDCF 2021-2025 de los organismos relevantes. *Gestiona las interacciones y actúa como interlocutor entre el evaluador y el Comité de Evaluación. *Organiza reuniones durante la fase de trabajo de campo y organiza reuniones o sesiones informativas entre el evaluador y los usuarios de la evaluación. *Organiza talleres sobre la teoría del cambio y talleres con las partes interesadas según sea necesario. *Coordina los comentarios y garantiza el control de calidad de los entregables presentados por el evaluador a lo largo del proceso de evaluación, asegurando que se cumplan las Normas y estándares, el Código de conducta y las Directrices éticas para las evaluaciones del UNEG, así como la orientación sobre la integración de los derechos humanos y la igualdad de género en la evaluación. *Envía todos los productos de evaluación para control de calidad del UNEG-LAC. *Envía todos los productos de evaluación para revisión por parte del comité de Evaluación. *Envía todos los productos de evaluación para aprobación del equipo de país. *Asegura que el Informe de Evaluación se envíe para su publicación y difusión, y apoya las actividades de difusión del Comité de Evaluación: *Garantiza que la respuesta gerencial de la evaluación sea proporcionada por las unidades/agencias/organismos interesados. *Autoriza el pago del evaluador una vez que los asuntos pendientes se han abordado satisfactoriamente. *Se conforma por los miembros del grupo interagencial de Monitoreo y Evaluación y los puntos focales adicionales designados mediante el UNCT. *Apoya el proceso de evaluación, orienta al Evaluador y facilita el acceso a las partes interesadas y la información. *Brinda información para los TdR de la evaluación y la selección de cuestiones y preguntas de la evaluación. *Facilita la identificación y las consultas de las partes interesadas, y brinda acceso a las fuentes de información (documentos y entrevistados) para respaldar la recolección de datos. *Proporciona comentarios generales sobre los principales entregables de la evaluación, incluidos el informe de inicio y el borrador del informe de evaluación. *Prepara una respuesta gerencial de la evaluación, en consulta con los miembros del equipo de país, dentro de los dos meses siguientes a la recepción del informe de evaluación final. *Garantiza que el informe de evaluación y sus resultados se difundan y compartan con las partes interesadas clave, promoviendo el uso de la evaluación y de las lecciones. Equipo de pa&