La Provincia dictó un Decreto fechado el 3 de noviembre de 2025 por el que aprueba el “Protocolo para la adopción y uso de tecnologías de inteligencia artificial generativa en el ámbito de la Administración Pública”. El instrumento se presenta como un paso hacia la modernización del Estado, con postulados de transparencia, explicabilidad y auditabilidad. Sin embargo, una lectura detenida del Anexo, Protocolo, revela una tensión normativa: el propio texto condiciona la explicabilidad a modalidades funcionales o contextuales y, a la vez, excluye de manera expresa la divulgación del código fuente, la arquitectura del modelo y los datos de entrenamiento del proveedor.
Esta arquitectura regulatoria produce un efecto práctico: desplaza la auditabilidad desde el núcleo técnico del sistema hacia el comportamiento del usuario humano. Dicho en lenguaje llano: podemos auditar qué hizo el agente público, prompts, archivos y decisiones, pero no cómo llega el sistema a la salida que condiciona esa actuación. Si el mecanismo interno queda fuera de alcance, la supuesta auditabilidad se vuelve predominantemente formal: se controla el procedimiento humano, no la lógica efectiva del sistema que lo influye.
Desde el punto de vista técnico, la auditoría sustantiva de IA generativa, enfrenta límites estructurales, que hoy la vuelven extraordinariamente difícil en ausencia de acceso proporcional a evidencias del sistema. Los modelos de propósito general aprenden en millones, o miles de millones, de parámetros distribuidos: no existe un camino causal único y legible que permita seguir la razón de cada salida. La generación de respuestas incluye un componente de azar controlado, por ejemplo, temperatura o top-p. Esto significa que, aun ingresando lo mismo, el sistema puede devolver respuestas distintas; por eso no es posible reconstruir paso a paso cómo llegó a un resultado concreto. Además, si no hay acceso verificable al código, al diseño del modelo, a la versión utilizada y a los datos de entrenamiento, lo único revisable es el procedimiento de la persona usuaria; no la lógica de inferencia del sistema. Y cuando se usa generación aumentada por recuperación, RAG, la salida depende también de qué documentos cargó un tercero, cómo se indexaron y cuáles se recuperaron: en la auditoría terminamos mirando esa selección documental, no el razonamiento interno. Finalmente, una auditoría de influencia exigiría seguir toda la conversación, prompts, iteraciones y reescrituras, y atribuir cambios sutiles de tono o contenido al sistema, algo no verificable con la tecnología y los accesos disponibles. En suma, sin apertura técnica proporcional, la auditabilidad que promete el Protocolo se reduce a un trámite: vemos al usuario, pero no vemos el sistema que condiciona la decisión.
¿Por qué esto es relevante? Porque la Constitución de la Provincia de Santa Fe, en su artículo 29, establece: “La Provincia o los terceros que presten servicios de interés público deben adoptar sistemas algorítmicos transparentes y auditables y promover mecanismos de evaluación de impacto y resguardo frente a sesgos o discriminación”. Esa cláusula impone un estándar normativo sobre sistemas algorítmicos, no meramente sobre procedimientos administrativos. Si la normativa subalterna admite que la explicabilidad sea solo funcional o contextual, y exime de la apertura del diseño y de los datos necesarios para una verificación independiente, la auditabilidad queda confinada a lo periférico. El resultado es una disonancia: el Protocolo invoca el art. 29 para justificar su propósito, pero debilita el modo en que ese mismo artículo exige transparencia y auditabilidad de los sistemas.
Desde una perspectiva técnico-jurídica, el punto neurálgico no es si la Administración Pública puede o no usar IA; el problema es cómo se satisface el mandato constitucional de sistemas transparentes y auditables cuando los modelos contemporáneos de aprendizaje profundo se desarrollan y entrenan fuera del control estatal y bajo acuerdos de confidencialidad que impiden acceder al código, a la arquitectura y a los datasets. El Protocolo reconoce este límite y, por eso, apela a la explicabilidad funcional o contextual; pero con ello traslada el centro de gravedad de la auditoría desde la caja algorítmica hacia la gestión documental del usuario. Así, la trazabilidad que se garantiza es la del uso, bitácoras, registros, prompts, archivos, no la del proceso interno de inferencia del modelo.
En términos de control público, esta distinción importa. Una auditoría sustantiva exige, al menos en los casos de alto impacto, acceder a evidencias técnicas que permitan reproducir, explicar y contrastar el comportamiento del sistema. La auditoría formal, centrada en el agente, es necesaria, pero insuficiente: mitiga errores humanos, sin aportar criterios para atribuir o refutar la lógica de salida del modelo en un caso individual, ni para detectar y corregir sesgos que pueden emerger de la interacción entre datos, arquitectura y criterios de entrenamiento. El art. 29 agrega, además, un componente sustantivo de justicia algorítmica: evaluaciones de impacto y resguardo frente a sesgos o discriminación. Para que esos mandatos sean operativos, se requiere algo más que buenas prácticas de uso: se necesitan capacidades y derechos de auditoría técnica sobre los sistemas. En la medida en que el Protocolo excluye esa apertura mínima y se limita a pedir explicaciones funcionales por parte del usuario, el riesgo es conformar la exigencia constitucional con una trazabilidad de superficie que no penetra el núcleo tecnológico donde, justamente, puede materializarse el sesgo.
Una innovación responsable exige condiciones de verificabilidad acordes al riesgo público. Si no se accede a evidencias técnicas mínimas, la transparencia queda reducida a un discurso y la auditabilidad se encierra en el expediente, sin tocar la fuente algorítmica que guía el resultado.
El estándar del artículo 29 es operativo: sistemas transparentes y sistemas auditables. Un decreto que sustituye verificación técnica por descripción funcional desconoce ese estándar. La adecuación es concreta: apertura técnica proporcional, evaluación de impacto con control independiente y trazabilidad algorítmica. Sin eso, auditar se vuelve archivar, y el artículo 29 exige exactamente lo contrario: asegurar comprensión, contraste y corrección efectiva del sistema que incide en la decisión público.
El mandato de los convencionales fue claro: no alcanza con documentar el procedimiento; hay que poder verificar el sistema. Si el Estado adopta IA para decidir sobre derechos, la transparencia no puede ser declarativa, ni la auditoría un formulario. Cumplir el artículo 29 implica disponer de evidencia técnica suficiente para entender, poner a prueba y, si corresponde, corregir el sistema. Eso es control público efectivo. Todo lo demás es apariencia de control.
Notas :
Provincia de Santa Fe. (2025, 3 de noviembre). Decreto N.º DEC-2025-00002726-APPSF-PE: Protocolo para la adopción y uso de tecnologías de inteligencia artificial generativa en el ámbito de la Administración Pública. Santa Fe: Poder Ejecutivo.
Provincia de Santa Fe. (2025, 3 de noviembre). Anexo. Protocolo para la Adopción y Uso de Tecnologías de Inteligencia Artificial Generativa en el ámbito de la Administración Pública (Doc. N.º DO-2025-00037779-APPSF-PE#MGeIP; referencia al Decreto DEC-2025-00002726-APPSF-PE). Santa Fe: Poder Ejecutivo.
Provincia de Santa Fe. (2025, 10 de septiembre). Constitución de la Provincia de Santa Fe. Reforma 2025 (art. 29). Santa Fe: Convención Reformadora. Disponible en el sitio oficial de la Provincia.