Miembros externos del Grupo Técnico Ampliado INEGI-CONEVAL

1. Introducción

El Instituto Nacional de Geografía y Estadística (INEGI) es una institución de gran valor público para México porque genera información económica, geográfica y sociodemográfica confiable con gran capacidad técnica y autonomía. Entre esta información se encuentra el Módulo de Condiciones Socioeconómicas (MCS) de la Encuesta Nacional de Ingresos y Gastos de los Hogares (ENIGH). Ésta es una fuente primaria de información que el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) utiliza para la medición de la pobreza en México.

En 2015, el INEGI acordó con CONEVAL que el levantamiento del MCS correspondiente a ese año se realizaría, por primera vez, como una encuesta independiente. El día 15 de julio de 2016 el INEGI dio a conocer los resultados del MCS 2015. Éstos indicaron un aumento del ingreso promedio de los hogares de 11.9% entre 2014 y 2015, mucho mayor respecto de la tendencia histórica observada. Este incremento fue mayor en la población de menores ingresos del país; mientras que las personas más pobres registraron un incremento de 33%, las de mayores ingresos lo hicieron en 7.5%.

Junto con la publicación de estos resultados, el INEGI explicó en su boletín de prensa 286/16 del 15 de julio de 2016, que “…las acciones instrumentadas para mejorar la captación del ingreso en campo hacen que el Módulo de este año no sea comparable con los ejercicios estadísticos previos”. Por su parte, el CONEVAL, en su comunicado No.003 de la misma fecha, estableció que una de las consecuencias de esto es la “…ruptura en la evolución histórica de las mediciones de pobreza que CONEVAL ha presentado desde 2008”. En consecuencia, el CONEVAL no publicó estimaciones oficiales de la pobreza para 2015, que son un insumo para presupuestar y distribuir gasto social.

Debido a que el CONEVAL sostuvo que desconocía la totalidad de las acciones instrumentadas para mejorar la captación del ingreso en campo antes referidas, que derivaron en una pérdida de la comparabilidad, el INEGI y el CONEVAL crearon un Grupo Técnico de Trabajo (GTT) para que “…revise los detalles del…MCS-2015… incluidos los cambios operativos para la captación del ingreso adoptados por el INEGI. Este grupo evaluará la posibilidad de poner a disposición de CONEVAL un instrumento comparable entre 2015 y los años anteriores” (boletín del CONEVAL 294/16 del 26 de julio de 2016).

Asimismo, el 27 de octubre de 2016 fue anunciada la creación del Grupo Técnico Ampliado (GTA), que suma al GTT al Centro de Estudios Espinosa Yglesias (CEEY), al Instituto de Estudios de la Transición Democrática (IETD), a Oxfam-México, así como a algunos investigadores del Centro de Investigación y Docencia Económicas (CIDE), de El Colegio de México (Colmex) y del Programa Universitario de Estudios del Desarrollo de la Universidad Nacional Autónoma de México (PUED-UNAM).

El propósito del GTA es “…que desahogue públicamente una agenda de trabajo para la mejora de la medición del ingreso en el corto y mediano plazos”. Para ello, la primera tarea del grupo “…será examinar la medición del ingreso del Módulo de Condiciones Socioeconómicas 2015 del INEGI y su comparabilidad histórica”. Debe enfatizarse que el GTA “…es de carácter consultivo, por lo que sus valoraciones y sugerencias no son de carácter vinculatorio” (Boletines del CEEY del 27 y 31 de octubre de 2016).

Para alcanzar los objetivos del GTA, sus miembros externos examinaron los planteamientos del INEGI, realizaron diversas investigaciones y asistieron a reuniones de discusión sobre estos elementos. En ello, contaron con la mejor disposición del Instituto al intercambio de ideas en un clima de transparencia, rigor técnico y apertura a escuchar las preocupaciones y comentarios de académicos y organizaciones de la sociedad civil en lo que ha sido un ejercicio inédito de colaboración. Los miembros externos del GTA también celebran el trabajo conjunto del INEGI y del CONEVAL para buscar soluciones y plantear propuestas. A continuación se informa sobre las primeras conclusiones de los trabajos realizados por los miembros externos del GTA que suscribimos este documento.

2. Síntesis del análisis del INEGI del MCS 2015

El 10 de enero de 2017 el INEGI presentó al CONEVAL el documento “Análisis y conclusiones de los resultados del Módulo de Condiciones Socioeconómicas 2015” llevado a cabo por el INEGI en el contexto del GTT. En este documento se explican las diferencias en los ingresos de los hogares entre 2014 y 2015.

El documento establece que el ingreso corriente total estimado en el MCS-2015 presenta diferencias notables respecto al de la ENIGH 2014 debido a:

• el incremento registrado en el número de hogares,

• el incremento en el número de perceptores por hogar y

• el incremento del ingreso por perceptor.

  El INEGI reporta que las diferencias en el ingreso se observan, principalmente, en los rubros sueldos, estimación del alquiler, jubilaciones, remesas, los ingresos por negocios en hogares, y las transferencias de hogares y donativos de otros hogares. También se observa un cambio en la distribución del ingreso corriente total y en la composición de los hogares.

  En el documento del INEGI destacan los siguientes elementos:

1. Respecto a 2014, hubo un aumento en la declaración de los apoyos gubernamentales asociados con servicios de salud y reparto de televisores. Se encuentra un mayor gasto vinculado con las elecciones de ayuntamientos, aunque estas acciones no impactan de forma sustantiva el ingreso corriente total.

2. Comparado con 2014, el personal encargado del MCS 2015 declara haber percibido un incremento en la tasa de respuesta en estratos bajos por informantes sensibilizados por el gobierno respecto a la importancia de reportar los apoyos y un mayor reporte de los salarios de otros integrantes del hogar.

3. La reforma a la Ley del Impuesto Sobre la Renta explicaría de manera parcial los incrementos de ingreso del trabajo independiente que registra el MCS 2015, así como en la renta de la propiedad, pero que no basta para explicar los crecimientos del ingreso del trabajo subordinado.

4. El incremento en las utilidades puede atribuirse a una diferente captación de la información respecto al año previo. En el caso del aumento de las jubilaciones y/o pensiones originadas dentro del país, el MCS 2015 difiere de lo captado por la Encuesta Nacional de Ocupación y Empleo, lo que define un factor propio del MCS (no especificado) que puede ser la causa del incremento registrado.

5. La instrucción de indagar más acerca de la subsistencia del hogar no fue entendida de la misma forma por todos los entrevistadores. Esto resultó en procedimientos diferenciados, aunque con pocos retornos a campo para verificar el ingreso.

6. El porcentaje de informantes directos (quienes reportan información propia) disminuyó de forma significativa de 2014 a 2015 para trabajadores subordinados, mientras que para los trabajadores independientes se presentó un aumento significativo de este porcentaje, lo que explicaría parcialmente las diferencias de ingreso.

   Ante estos elementos, el INEGI concluyó que no existe una sola causal de los cambios

registrados entre 2014 y 2015. Tanto factores exógenos al INEGI como acciones propias del operativo de campo influyeron sobre los resultados de los ingresos del MCS 2015 y no es posible saber el efecto de cada elemento. Por lo anterior y de acuerdo con el INEGI, aún se debe profundizar en torno a las líneas de investigación y enriquecerlas.

3. Evaluación del análisis del INEGI por parte del GTA

Para los miembros externos del Grupo Técnico Ampliado, lo anterior significa que, pese al profesionalismo y despliegue técnico del INEGI, el documento antes mencionado no es concluyente respecto a lo sucedido con la evolución de los ingresos entre 2014 y 2015. Es decir, no se conoce el efecto que tuvo cada factor, ni se sabe si todos los factores que condujeron a la no comparabilidad de los datos de ingreso de los hogares de 2015 con los previos se identificaron.

Por otra parte, el INEGI no encontró evidencia de que las variables de carencias se hayan visto seriamente afectadas por el nuevo operativo de campo. Sin embargo, para los miembros externos del GTA, el análisis de INEGI abrió varias interrogantes para explorar con respecto a los datos de 2015, por ejemplo:

1. 1)  Instar a los entrevistadores a ser más acuciosos en la captura del ingreso, y de no haberlo sido, lidiar con un posible regreso a campo que pudo haber afectado su conducta y la de los entrevistados, y condujo así a captar información incomparable, que requiere de investigación.

2. 2)  Acciones gubernamentales, como la sensibilización de los beneficiarios de los programas sociales a la importancia de reportar sus ingresos y los apoyos recibidos, puede tener un efecto a determinar sobre la comparabilidad de los datos que se registren.

3. Responder estas y otras interrogantes es clave para generar información de los ingresos que sea, al menos, consistente e idealmente comparable y que permita la medición de la pobreza.

4. Investigaciones complementarias de los miembros externos del GTA

El análisis del problema de comparabilidad tiene como base el documento de Miranda y Sainz (2017), además, se complementa con los de Vargas y Valdés (2017) y CEES (2017). Estos documentos fueron examinados y discutidos en diversas reuniones internas. El primero examina la naturaleza general del problema de comparabilidad y se presentó en reunión del GTA para los comentarios de INEGI. El segundo propone una metodología para reestimar el ingreso de los deciles inferiores. El tercero explora la construcción de modelos estadísticos, sus ventajas, sus limitaciones y sus consecuencias.

El argumento central de los miembros externos del GTA es que el INEGI instrumentó cambios en el operativo de campo los cuales probablemente afectaron el comportamiento del encuestador y del entrevistado, y que, de forma inadvertida e involuntaria, rompieron la tendencia de la medición del ingreso e introdujeron sesgos a toda la muestra del MCS 2015. El resultado final fue que las mediciones de ingreso y pobreza basadas en dicho instrumento no son comparables con las basadas en sus levantamientos anteriores, tal como reportó el INEGI en la publicación del MCS 2015.

Los esfuerzos por conciliar el ingreso en el MCS 2015 con el de la ENIGH 2014, y levantamientos similares anteriores, enfrentan grandes retos. Una forma posible de identificar los factores tras los problemas de comparabilidad de la información habría sido a través de un experimento. Otra consiste en construir, mediante información similar a la del MCS y modelos que explotan relaciones sistemáticas entre variables, estimaciones consistentes de los datos de los deciles inferiores del ingreso.

4.1 ¿Qué cambió en 2015 respecto de versiones anteriores del MCS?

El MCS 2015 tiene el mismo diseño conceptual y estadístico de los años previos. Sin embargo, el INEGI realizó cambios al operativo de campo en un intento por mejorar la calidad y veracidad de la información sobre el ingreso. El operativo de campo incluyó adiciones al manual del entrevistador (apartado 10.2 y criterio C14) donde se insta a ser más acucioso en las observaciones, a aclarar información en caso de duda, a realizar preguntas adicionales, y advierte que si la información no está bien justificada se podría tener que regresar a campo para verificar su veracidad y exactitud. Al parecer, en la búsqueda de una mayor precisión en la recolección de datos, el Instituto no consideró que el encuestador podría modificar su conducta de forma importante. Por ejemplo, realizar más preguntas en hogares respecto a lo que hubiera preguntado con otras indicaciones. Asimismo, tampoco consideró que los entrevistados podrían cambiar su conducta, y revelar más (o menos) información y con mayor (menor) precisión, al enfrentarse a un encuestador inquisitivo.

4.2 ¿Qué problema trataba de resolverse con los cambios al operativo de campo?

Existe una literatura amplia (identificada en Miranda y Sainz, 2017) que documenta que en la mayoría de las encuestas alrededor del mundo existen errores de medición del ingreso, especialmente entre los hogares con ingresos muy bajos o muy altos, cuyas entradas son irregulares; que los informantes no recuerdan con precisión; o que prefieren no declarar por razones de seguridad o para evitar estigma por su origen informal o ilegal. Esto genera sesgos y pérdida de información que terminan por subestimar el ingreso y posiblemente sobreestimar la pobreza.

INEGI ha reportado que la ENIGH 2014, y sus versiones anteriores, subestiman el ingreso porque los hogares más pobres y más ricos no lo declaran, declaran cero, o declaran ingresos muy bajos. En 2015, el INEGI decidió que era buen momento para mejorar la validez y precisión con que el MCS capta la información de ingreso. Sin embargo, no anticipó que los cambios podrían tener un efecto mayor y, por lo tanto, no consideró necesario consultas ni estudios previos al levantamiento final para establecer cuál era el alcance de los cambios en el operativo de campo, en el error de medición y en la distribución del ingreso, ni tomó medidas para mantener la comparabilidad de las cifras.

4.3 ¿Cuáles son las consecuencias de los cambios en la captación del ingreso?

Una hipótesis es que el cambio de comportamiento, de entrevistadores y entrevistados, ante un protocolo más estricto para verificar la consistencia y veracidad de la información del ingreso, introdujo sesgos sistemáticos –y diferentes a los ya presentes en ejercicios anteriores– en la información captada (INEGI 2017, Miranda y Sainz 2017):

1. (i)  Habría inducido cambios en la medición del ingreso, especialmente en los estratos de menores ingresos;

2. (ii)  Los cambios en el error de medición diferirían sistemáticamente en distintas partes de la distribución del ingreso y entre hogares con diferentes características demográficas;

3. (iii)  Esto se habría manifestado en la disminución de los casos con ingresos no declarados, cero, o bajos, particularmente en los estratos de menores ingresos.

Si la medición del ingreso mejoró o no con respecto a la del pasado resulta por demás incierto. En particular, no se sabe cuál es el efecto atribuible al cambio en el levantamiento en cuanto a factores externos, en qué magnitud disminuyó el error de medición ni entre qué grupos socioeconómicos, lo cual, en efecto, termina por romper con la comparabilidad de la información del MCS 2015 con las encuestas anteriores. Es posible que haya mejorado el proceso de captación de la información en 2015, pero no sabemos en que grado esta mejoría se traduce en resultados que reflejen con mayor precisión la realidad del país. Sin embargo, es posible realizar algunos ejercicios que mediante estimaciones restituyen consistencia a la trayectoria del ingreso.

4. ¿Cómo entender los cambios y recuperar la comparabilidad de las series?

Una de las conclusiones centrales del GTA es que es extremadamente complejo recuperar con certidumbre la distribución del ingreso para 2015 de manera que sea comparable con la serie histórica. Sin embargo, es posible realizar ejercicios estadísticos que aproximen la comparabilidad de la serie histórica (proyecciones mediante modelos, simulaciones o imputaciones) bajo supuestos específicos de los cuales dependen las estimaciones de ingreso y, en consecuencia, las de pobreza. En los últimos meses, el INEGI se abocó en realizar una serie de ejercicios estadísticos con este fin, al que se sumó uno más realizado por un miembro externo del GTA (Vargas y Valdés, 2017). Sus resultados generales fueron presentados al GTA en una sesión en el INEGI, con la solicitud expresa de mantener dicha información en reserva hasta que el INEGI la haga pública. Con el objetivo de transparentar el efecto de los supuestos sobre las estimaciones, es indispensable que el Instituto publique de manera abierta y accesible toda la información necesaria para replicar todos los ejercicios inicialmente considerados.

5. Conclusiones

En relación con los problemas de comparabilidad entre los datos de ingreso de los hogares de 2014 y 2015, los miembros externos del GTA concluyen lo siguiente:

1. Si bien las modificaciones que hizo el INEGI al levantamiento de campo con el fin de mejorar la captación del ingreso tienen lógica operativa y preservan el diseño conceptual y estadístico de los ejercicios anteriores, en la práctica son equivalentes a cambios metodológicos en un sentido más amplio. Asimismo, se destaca que no se cuenta con una estimación del impacto cuantitativo de las modificaciones al operativo e campo sobre el ingreso captado.

2. La hipótesis principal es que al instrumentarse cambios en el operativo de campo, se afectó el comportamiento del entrevistador y del entrevistado lo cual impidió la comparabilidad histórica en la medición del ingreso e introdujo sesgos incuantificables en la muestra del MCS 2015.

3. La sensibilización de los beneficiarios de los programas sociales sobre la importancia de que reporten la información de sus ingresos y los apoyos recibidos puede tener un efecto en la captación de los datos que debe considerarse en su ajuste.

4. Para conocer los errores de medición, se sugiere realizar una serie de ejercicios estadísticos, por ejemplo, someter a una muestra representativa de personas a una entrevista del MCS bajo las condiciones de 2014 y a una entrevista de seguimiento bajo las condiciones e instrumentos del MCS 2015. También es posible realizar diferentes aproximaciones de los ingresos de los estratos más pobres usando la información de años previos, por ejemplo de 2014. Esto permitirá mantener la consistencia entre las estimaciones para 2015 y los datos anteriores sobre un segmento de la población.

5. Los grandes esfuerzos del INEGI y los trabajos complementarios del GTA han arrojado luz sobre la probable explicación de lo sucedido en torno al MCS 2015. Sin embargo, dadas las limitaciones de la información con que se cuenta hasta la fecha (en particular la ausencia de un experimento de control), no existe una estimación que cuantifique con precisión las diferencias entre la información de la ENIGH 2014 y el MCS 2015.

De estos elementos puede obtenerse un valioso aprendizaje para el futuro:

1. A)  Los cambios en los procedimientos de levantamiento de la información del INEGI, así como cualquier modificación metodológica, deben ser sujetos a consulta, anunciados públicamente, y acompañados por esquemas de control y validación tanto internos como externos.

2. B)  El INEGI requiere revisar y fortalecer sus procesos de producción estadística para asegurar que los protocolos de levantamiento mejoren la calidad de la información y procuren mantener su comparabilidad. También se exhorta al INEGI a reforzar sus canales de comunicación con la comunidad académica y con la sociedad civil en general, con el propósito de mantener un acompañamiento cercano de las modificaciones metodológicas y de operativos de campo.

3. C)  Para medir mejor el ingreso en el futuro, recomendamos revisar los métodos y operativos para captarlo. Esto deberá incluir la incorporación de datos de corte longitudinal y registros administrativos, tales como información fiscal (SAT), salarial (IMSS) y sobre transferencias de programas sociales una vez creado un padrón único de beneficiarios adecuado.

   Para la ENIGH 2016, dado que hasta la fecha todavía no se cuenta con toda la

información necesaria, también se requerirá un diagnóstico y una evaluación de la idoneidad de sus datos antes de comparar las series históricas del ingreso. En tanto esto no suceda, deberán considerarse ejercicios estadísticos complementarios que mantengan consistencia en las mediciones del ingreso a través del tiempo.

En general, el diagnóstico y evaluación de los datos de ingreso de los hogares deben insertarse dentro del marco de una agenda de largo plazo de revisión de la información del ingreso que garantice claras mejoras con base en la planeación, consulta pública, y el establecimiento de procedimientos de control y validación.

El INEGI es la base de las estadísticas oficiales en México y, como tal, tiene una gran responsabilidad para generar confianza ciudadana en tal información al procurar su veracidad y comparabilidad. El presente documento rinde cuentas a la sociedad mexicana en cuanto al primer punto de la agenda que dio origen a la formación del GTA en 2016.

REFERENCIAS

INEGI (2017) “Análisis y conclusiones de los resultados del Módulo de Condiciones Socioeconómicas 2015”. Versión de enero10 de 2017, Mimeo.

Miranda Alfonso y Sainz Santamaría, Jaime (2017). «Incentivos, error de medición y estimación de la pobreza en México», Mimeo.

Vargas, Delfino y Valdés, Servando (2017) “Corrección de la distribución del ingreso en el MCS 2015”, Mimeo.

Centro de Estudios Educativos y Sociales (2017) «Evaluación de la propuesta de ajuste del ingreso del MCS 2015 del INEGI», Mimeo.

Suscriben

Instituciones:

Centro de Estudios Espinosa Yglesias, Instituto de Estudios para la Transición Democrática, Oxfam-México

Investigadores:

Alfonso Miranda, Jaime Sainz-Santamaría, Delfino Vargas, Iliana Y aschine