Transparencia y Mejoramiento de los procedimientos para la discusión presupuestaria
1.3 Evaluación de programas gubernamentales
1.3.1 Puesta en marcha y desarrollo del programa
a) Objetivos y requisitos Con el objeto de disponer de información que apoye la gestión de los programas públicos y el análisis de resultados en el proceso de asignación de recursos públicos, a partir del año 1997 el Gobierno de Chile incorporó la evaluación ex - post de programas públicos a través de la Evaluación de Programas Gubernamentales (EPG). La creación de la iniciativa formó parte de un Protocolo de Acuerdo firmado entre el Congreso Nacional y el Ministerio de Hacienda con motivo de la aprobación de la Ley de Presupuestos de ese año, dejándose la responsabilidad por su ejecución en esta última institución. Desde entonces se han evaluado 120 programas públicos. El diseño del programa fue definido sobre la base de seis requisitos o principios que deben cumplir las evaluaciones: que sean independientes, públicas, confiables, pertinentes, oportunas, y eficientes. Para responder al carácter de independiente se ha optado por una modalidad de ejecución de las evaluaciones externa al sector público, a través de paneles de expertos, con una administración del proceso también externa a la institución responsable del programa. El carácter público de la información se concreta, formalmente, a través del envío de los informes finales de cada evaluación al Congreso Nacional y a las instituciones públicas con responsabilidades sobre la toma de decisiones que afecten al programa respectivo, estando dichos informes siempre disponibles a quien lo solicite. Las evaluaciones realizadas por paneles de expertos no sólo buscan independencia en los juicios evaluativos, sino también que sus resultados sean técnicamente confiables. Para esto último, la conformación de los paneles se efectúa a través de un proceso de concurso público que garantiza la selección de los mejores profesionales. La pertinencia de las
evaluaciones se aborda en la definición de los ámbitos de evaluación
incorporados en un diseño metodológico y en la exigencia de que, considerando
los resultados de dichas evaluaciones, se formulen recomendaciones para mejorar
el desempeño. Finalmente, el requisito de eficiencia dice de una relación con la necesidad de que las evaluaciones se realicen a costos posibles de solventar, lo que, unido a los requisitos anteriores busca lograr, en plazos y costos razonables, juicios evaluativos de los principales aspectos del desempeño de los programas.
b) Focos de la evaluación y elementos metodológicos La evaluación se distingue del monitoreo por ser un proceso analítico más global e integrado. Teniendo en consideración lo anterior y los objetivos y requisitos de las evaluaciones, éstas se han basado en la metodología de marco lógico utilizada por organismos multilaterales de desarrollo, como el Banco Mundial y el BID. Dicha metodología se centra en identificar los objetivos de los programas y luego determinar la consistencia de su diseño y resultados con esos objetivos. La metodología utilizada permite que, sobre la base de los antecedentes e información existente14, se concluya, en un plazo razonable, en juicios evaluativos de los principales aspectos del desempeño de los programas. La evaluación se inicia con la elaboración de la matriz de marco lógico, que comprende los diferentes niveles de objetivos del programa a través de la identificación de su fin y propósito (objetivo general), los objetivos específicos de cada uno de sus componentes, sus principales actividades y sus correspondientes indicadores de desempeño y supuestos tal como se presenta a continuación.
Teniendo como base estos antecedentes se desarrolla la evaluación considerando los focos o ámbitos que a continuación se señalan:
El concepto de eficacia comprende el grado de cumplimiento de los objetivos planteados, tanto en términos de producción de bienes y servicios como de los resultados en la población objetivo. Se incluye en este concepto la dimensión de calidad de los bienes o servicios o atributos de éstos, medidos a través de factores tales como oportunidad y accesibilidad, y la sustentabilidad de los resultados. Incluye, por lo tanto, indicadores a nivel de producto, resultados intermedios y finales. El concepto de eficiencia comprende la relación entre recursos y productos, centrándose en los costos unitarios de producción, uso de insumos y niveles de actividad, y gastos de administración. Incluye también la identificación de actividades prescindibles o posibles de externalizar y el grado de competencia de estos procesos, entre otros aspectos. Por su parte, el concepto de economía se refiere a la capacidad del programa para generar y movilizar adecuadamente sus recursos financieros, observándose aspectos tales como la capacidad de ejecución presupuestaria, la capacidad de recuperación de préstamos y la capacidad de generar ingresos cuando estos no interfieren con el objetivo del programa. Sobre la base del análisis del diseño, organización y gestión, y resultados o desempeño del programa, la evaluación también incorpora un juicio respecto de la sostenibilidad del programa en términos de capacidades institucionales, la continuidad del programa considerando la evolución del diagnóstico inicial, y un conjunto de recomendaciones para corregir problemas detectados y/o mejorar sus resultados.
c) Marco institucional y actores involucrados Desde la creación de la iniciativa ésta forma parte de un Protocolo de Acuerdo firmado entre el Congreso Nacional y el Ministerio de Hacienda con motivo de la aprobación de la Ley de Presupuestos de cada año. La Evaluación de Programas Gubernamentales (EPG) cuenta con un Comité Interministerial, el que tiene por objeto asegurar que el desarrollo de las evaluaciones sea consistente con las políticas gubernamentales, que las conclusiones que surjan de este proceso sean conocidas por las instituciones que conforman el comité y que se disponga de los apoyos técnicos y coordinaciones necesarias para el buen desarrollo del mismo. Este Comité está conformado por un representante del Ministerio Secretaría General de la Presidencia, del Ministerio de Planificación y Cooperación (MIDEPLAN) y del Ministerio de Hacienda, a través de la Dirección de Presupuestos, siendo presidido por esta última cartera. La Dirección de Presupuestos del Ministerio de Hacienda tiene la responsabilidad de la ejecución y funcionamiento de la EPG. Corresponde a esta institución definir el diseño metodológico y operativo del programa, la provisión de recursos para su funcionamiento, la administración de su operación, la recepción y envío de los informes de evaluación a las instancias respectivas (Ejecutivo y Congreso Nacional) y su integración al ciclo presupuestario. Los paneles evaluadores, constituidos por tres profesionales seleccionados por concurso público, tienen la responsabilidad de efectuar las evaluaciones técnicas de acuerdo a los procedimientos definidos por el Ministerio de Hacienda. Las instituciones responsables de los programas evaluados se incorporan al proceso a través de las siguientes actividades:
d) Recomendaciones y seguimiento Como ya se señalara, la evaluación de cada programa incorpora como etapa final la presentación de recomendaciones como respuesta a las debilidades o insuficiencias identificadas en el proceso de evaluación. Estas recomendaciones pueden tomar las siguientes formas:
En la práctica, desde el punto de vista de los recursos, las recomendaciones pueden ser incorporadas en el marco de los recursos disponibles en el programa, en algunos casos sustituyendo componentes y/o actividades, en otros con ahorros derivados de ganancia de eficiencia en la ejecución de algunos de ellos. En este caso se busca mejorar el desempeño de los recursos ya asignados al programa. Si las situaciones señaladas no son posibles considerando el funcionamiento del programa y el carácter de las recomendaciones, entonces su incorporación estará supeditada a la disponibilidad de recursos adicionales. No obstante lo anterior, es necesario tener en cuenta que las recomendaciones también pueden ser incorporadas con recursos asignados a la institución o Ministerio, más allá de los recursos asignados directamente al programa. En estos casos se requiere de una revisión más amplia de disponibilidades financieras y uso de recursos, análisis que está fuera de las posibilidades de un panel evaluador de un programa. Así, lo que señale la evaluación en esta materia no es conclusivo sino una propuesta inicial para su análisis. A partir del año 2000, las recomendaciones formuladas por los evaluadores son analizadas en el Ministerio de Hacienda en conjunto con la institución responsable del programa, con el objeto de precisar cómo serán incorporadas y su oportunidad, identificar los espacios institucionales involucrados (institución, ministerio, otras instituciones públicas), y posibles restricciones legales y de recursos15. El producto final es establecer, formalmente, compromisos institucionales de incorporación de recomendaciones en cada uno de los programas de evaluación. Dichos compromisos constituyen la base del seguimiento del desempeño de los programas. El seguimiento es una etapa que busca recoger información acerca de cómo las recomendaciones han sido efectivamente incorporadas y cómo ha evolucionado el desempeño del programa, antecedentes que deben enriquecer el análisis de asignación de recursos públicos. Atendiendo a lo anterior, el programa se ha propuesto que el seguimiento no sea una actividad burocrático-administrativa, sino un espacio de reflexión y análisis en torno a la relación resultados-recursos. Para estos efectos se han definido dos momentos de seguimiento, oportunos al ciclo presupuestario. El primero, que comprende hasta el 31 de diciembre de cada año, cuyos antecedentes son incorporados por la institución en el BGI, y el segundo junto con la presentación de la propuesta de presupuesto por parte de cada Servicio, lo que ocurre en el mes de julio. Paralelamente, desde el año 2001 se está avanzando en perfeccionar los indicadores de desempeño de los programas evaluados, con el objeto de analizar su evolución a través de un seguimiento más permanente e incorporación de dichos indicadores en la preparación y discusión del Proyecto de Ley de Presupuestos.
e) Diseño operativo El diseño operativo comprende ocho etapas, las que se presentan en el Recuadro N° 9 y se describen a continuación.
f) Integración al ciclo presupuestario El objetivo del programa con relación a la asignación de recursos no necesariamente implica una relación mecánica e inmediata de más o menos recursos dependiendo de los resultados de la evaluación en el período. En algunos casos de programas con resultados insuficientes, con el fin de no perjudicar a los beneficiarios con reducciones significativas del presupuesto, es más recomendable fijar condiciones que propicien o exijan un mejor desempeño, condiciones que pueden ser establecidas en la propia Ley de Presupuestos o en el proceso de definición de compromisos institucionales de mejoramiento ya descrito. De este modo, con posterioridad se podrá revisar la decisión en base al desempeño que presente el programa con las modificaciones introducidas. En otros casos, programas bien evaluados pueden no requerir de recursos adicionales si su oferta cubre adecuadamente las necesidades. Por estas razones los resultados deben ser utilizados con prudencia, ya sea que estos constituyan fundamento o condicionantes de decisiones financieras. La integración al ciclo presupuestario, como se presenta en la figura N° 3, se concreta principalmente a través de los procesos de análisis de los resultados en el proceso de formulación del presupuesto; presentación de los resultados a las comisiones de Hacienda y subcomisiones de Presupuestos del Congreso; e incorporación de la información de seguimiento de las recomendaciones en la etapa de evaluación interna del proceso presupuestario de la Dirección de Presupuestos del Ministerio de Hacienda.
En relación al primer proceso, a partir del año 2000 los resultados finales de las evaluaciones son analizados en reuniones con el Director de Presupuestos del Ministerio de Hacienda, en las que participan los analistas correspondientes de la División de Control de Gestión y de los Sectores Presupuestarios de la Dirección. Tales antecedentes sirven de base para las definiciones de los marcos presupuestarios y la formulación del presupuesto, en algunos casos afectando directamente estas asignaciones o dando lugar a condiciones para la ejecución del gasto (glosas presupuestarias). Además, los informes finales de las evaluaciones son enviados al Congreso Nacional en forma previa al envío del Proyecto de Ley de Presupuestos de cada año, acompañados de los comentarios a los resultados de la evaluación por parte de las instituciones responsables de los programas. Este último documento cumple con permitir que la institución exprese, formalmente, sus acuerdos o discrepancias con los juicios evaluativos finales que emite el panel evaluador, en su carácter de instancia de evaluación externa. A partir del año 2000, los informes de síntesis16 de las evaluaciones y comentarios de las instituciones responsables de los programas también forman parte de los anexos con información que acompañan al Proyecto de Ley de Presupuestos, información que es presentada en las Subcomisiones de Presupuestos. Estos anexos incluyen, además, indicadores de desempeño, información sobre personal y gastos efectivos, entre otros antecedentes. Finalmente, a partir del año 2001 la información de resultados de las evaluaciones y del seguimiento de los compromisos institucionales con el avance de la incorporación de las recomendaciones también constituye información que es utilizada en el ciclo presupuestario, específicamente en la etapa de evaluación de cada servicio al inicio de este proceso. Como se señala en el recuadro N° 4, ésta se efectúa en forma previa y es la base para las definiciones de los marcos presupuestarios que más tarde el Ministerio de Hacienda envía a cada una de las instituciones, junto con las instrucciones para la preparación de sus propuestas de presupuestos.
1.3.2. Balance de la experiencia. Principales avances La evaluaciones de programas tienen ya cinco años de existencia; incluyendo el ciclo 2001 se han evaluado un total de 120 programas públicos. A partir de la experiencia del equipo técnico que lo dirige, así como también sobre la base de antecedentes de diferentes procesos evaluativos del mismo programa, durante este período se han incorporado modificaciones en diferentes aspectos con el objeto de perfeccionarlo. A continuación se señalan los principales avances.
a) Sistematicidad de la experiencia Durante los cinco años de aplicación del programa se han mantenido los principios básicos sobre los cuales fue creado, constituyéndose éstos en ejes orientadores de las revisiones y análisis efectuados y de los cambios introducidos para su mejoramiento. Lo anterior ha permitido dar estabilidad al programa y a su propósito, fortaleciendo su desarrollo.
b) Efectividad Se han evaluado 120 programas públicos. Los recursos anuales invertidos en estos programas alcanzan alrededor de 1.514 millones de pesos; de ellos, un 90% está destinado a programas de carácter social como se observa en cuadro N° 4.
c) Desarrollo institucional Se ha mantenido la Comisión Interministerial, se ha fortalecido la función de contraparte del Ministerio de Hacienda y se ha avanzado en consolidar el trabajo con las instituciones involucradas. Por otra parte, con el objeto de resguardar la objetividad de los resultados, la constitución de los paneles de evaluación evolucionó, desde una con participación de evaluadores institucionales17, a otra conformada exclusivamente por consultores externos al sector público.
d) Calidad d.1) Consolidación de la metodología En general la metodología es considerada apropiada, y elementos esenciales de ésta han sido incorporados en un formato estándar para la presentación a financiamiento de iniciativas nuevas, ampliaciones o reformulaciones sustantivas de programas existentes. En los sucesivos procesos de ejecución del programa se han introducido cambios, precisando ámbitos y alcances de la evaluación, los que se han traducido en modificaciones de los formatos y orientaciones técnicas a los paneles de evaluación. Entre estos se destacan:
Adicionalmente se ha mejorado la elaboración de los indicadores. Esto, con posterioridad al término de las evaluaciones, permitirá efectuar un mejor seguimiento al desempeño de los programas, así como también impulsar un trabajo con las instituciones para orientar y avanzar en el desarrollo de sistemas de información para mejorar y obtener nuevas mediciones. d.2 Generación de competencias en evaluación Un número importante de
consultores ha participado en los paneles de evaluación, desarrollándose con
ello recursos profesionales especializados en programas públicos y en el
proceso de evaluación. Cincuenta panelistas han participado en dos o más de
estos procesos desde la creación del programa. Por otra parte, se ha capacitado
a más de 160 profesionales de las instituciones y Ministerios responsables de
las iniciativas evaluadas, profesionales que con posterioridad han participado
en el proceso de evaluación, lo que les ha permitido un espacio de reflexión y
análisis del programa del que son responsables.
e) Retroalimentación a la toma de decisiones e.1 Calidad de las recomendaciones El mejor desarrollo del proceso de evaluación ha permitido también contar con recomendaciones más pertinentes, consistentes con los problemas y resultados obtenidos, identificando con más precisión los principales elementos técnicos a considerar en los cambios que deba incorporar el programa. Esto permite un mejor análisis en el proceso de definición de los compromisos institucionales. A continuación se presenta recuadro con las implicancias de los resultados y recomendaciones para los programas evaluados en el año 2001.
Actualmente se dispone de información de los resultados de las evaluaciones y ésta se ha incorporado en el proceso presupuestario. Tal como fue señalado, a partir del año 2000 los resultados de las evaluaciones efectuadas en el año fueron analizados en reuniones con el Director de Presupuestos del Ministerio de Hacienda, en forma previa a la formulación del Proyecto de Ley de Presupuestos, en las que participaron profesionales de la Divisiones de Control de Gestión y Sectores Presupuestarios de la institución. Lo anterior ha permitido que tales antecedentes se utilicen en la preparación de los presupuestos, en algunos casos afectando directamente estas asignaciones o dando lugar a condiciones para la ejecución del gasto (glosas presupuestarias). Como se señalara, a partir del año 2000 la información también forma parte de los anexos con información que acompañan al Proyecto de Ley de Presupuestos, información que es presentada y discutida en las Subcomisiones de Presupuestos. e.3 Incorporación de un proceso regular de definición de compromisos y seguimiento El principal objetivo de las evaluaciones es mejorar el desempeño de los programas públicos en un trabajo colaborativo entre las instituciones y Ministerios involucrados y el Ministerio de Hacienda, a través de la Dirección de Presupuestos. Es por esto que, a partir del año 2000, las recomendaciones surgidas en las evaluaciones fueron analizadas por profesionales responsables de los programas evaluados, contrapartes asignadas en cada Ministerio, y profesionales del Ministerio de Hacienda. La incorporación de este proceso ha tenido por objeto definir compromisos entre cada institución y este Ministerio con relación a la incorporación de modificaciones en los programas. Tales compromisos señalan la forma particular en que se dará respuesta a los problemas o insuficiencias detectadas y sus plazos. Este trabajo constituye la base de un proceso de seguimiento más riguroso, pertinente y regular, con el fin de impulsar la incorporación de los cambios necesarios en los programas. En el año 2001 la información resultante del seguimiento ha pasado a formar parte de un modo más preciso en el proceso de trabajo del Ministerio de Hacienda durante el ciclo presupuestario. Complementariamente, se perfeccionó la elaboración de los marcos lógicos y sus indicadores de desempeño en cada uno de los programas evaluados en el año 2001, con el objeto de avanzar en más y mejores mediciones que a su vez permitan un seguimiento más permanente del desempeño futuro de los programas. e.4 Diseño de programas y disponibilidad de información para la evaluación Considerando que el período de evaluación está planificado para cuatro meses, en algunos casos insuficiencias en las definiciones iniciales de los objetivos de los programas y de sus componentes debido a la ausencia de un marco lógico inicial, así como también problemas de información, han dificultado su desarrollo impidiendo concluir juicios evaluativos más precisos. En particular, puesto que un
aspecto importante del trabajo de los paneles es reconstruir el marco lógico
del programa, como una forma de ir superando estos problemas, a partir de la
preparación del presupuesto 2001 se incorporó un nuevo procedimiento para los
casos de programas nuevos, reformulaciones o ampliaciones sustantivas. Dicho
procedimiento exige que las iniciativas sean presentadas a un Fondo Concursable
en un formato estándar, el que incluye un conjunto de antecedentes básicos de
los programas que corresponden, en su mayoría, al formato del marco lógico
utilizado en la Evaluación de Programas Gubernamentales. De esta forma se busca
que los programas dispongan de un mejor ordenamiento e información para su
monitoreo y evaluación. f) Aspectos pendientes y soluciones No obstante los avances logrados, aún se observan algunos problemas de implantación y utilización de la información no resueltos completamente, en relación con:
Con el objeto de superar estas dificultades se considera necesario continuar reforzando actividades y procedimientos ya iniciados con este fin, pero que, debido a su aún corto período de implementación, no alcanzan su total consolidación y efectos esperados. f.1) Diseño de programas y disponibilidad de información para la evaluación Como ya se señalara, puesto que un aspecto importante del trabajo de los paneles es reconstruir el marco lógico del programa, se continuará reforzando el procedimiento de presentación a financiamiento en el presupuesto en formato estándar en base al marco lógico utilizado en la Evaluación de Programas Gubernamentales, para todos aquellos programas nuevos o con reformulaciones o ampliaciones sustantivas. f.2) Mediciones de indicadores de desempeño Se continuará perfeccionando la elaboración de indicadores y sus mediciones con el objeto de que, una vez finalizadas las evaluaciones, los programas cuenten con su matriz de marco lógico e indicadores de desempeño que permitan un monitoreo y seguimiento permanente, tanto en la propia institución, en sus procesos de gestión interna, como en el Ministerio de Hacienda. f.3) Integración a la discusión legislativa Como se señalara en punto 2, a partir del año 2001, con el objeto de mejorar los procedimientos para la discusión presupuestaria, se creó una instancia de evaluación de la ejecución presupuestaria que antecede a la presentación del Proyecto de Ley de Presupuestos. Al igual que, como se mencionara para el caso de los indicadores de desempeño, hacia esta instancia pre-presupuestaria se deberán canalizar los resultados de las evaluaciones.
14 En algunos casos, ecuando se ha considerado necesario y compatible con los plazos, se han efectuado estudios complementarios principalmente orientados a recoger nueva información o sistematizar la existente. 15 El proceso de análisis de recomendaciones con las instituciones se inició en el año 1999; no obstante, este fue parcial y no estableció compromisos formales con las instituciones. 16 Los informes de síntesis pueden ser encontrados en la siguiente dirección de página web: http://www.dipres.cl, en la sección Control de Gestión, Programa de Evaluación, Evaluación de Programas Gubernamentales. 17 Profesionales de las instituciones Ministerio de Planificación y Cooperación, Ministerio Secretaría General de la Presidencia y Ministerio de Hacienda, todos ellos externos a las instituciones responsables de los programas evaluados.
|
