El uso de IA en el sistema judicial colombiano: una investigación sobre el Fiscal Watson

Laura Mantilla-León
Socióloga con una maestría en Estudios Sociales de Ciencia y Tecnología
Analista de políticas públicas en la organización Derechos Digitales

La implementación de inteligencia artificial (IA) en el sector público de los países latinoamericanos ha ido en aumento en los últimos años. A través de estrategias nacionales y planes de desarrollo, los Estados de la región han fomentado el uso de IA para alcanzar una mayor eficiencia y precisión en diversos sectores, como el judicial.

En el caso colombiano, la acumulación de procesos en los despachos, la impunidad, la tipificación errónea de los delitos, los reprocesos en las investigaciones, entre otros, han hecho del sector judicial uno atractivo para el uso de IA, lo que trae posibles impactos en derechos fundamentales, como el debido proceso, un juicio justo, la privacidad y protección de datos. Desde 2018, la Fiscalía General de la Nación usa el sistema “Fiscal Watson”, desarrollado por IBM. Se trata de una IA que, a través del procesamiento de lenguaje natural (PNL) avanzado y machine learning (ML), permite asociar denuncias registradas en el sistema penal oral acusatorio (SPOA) con características cuantitativas, cualitativas y territoriales similares, para agilizar la fase de indagación.

En otras palabras, es un sistema que permite vincular ciertas características o patrones comunes en casos judiciales y cuya relación no es evidente o fácilmente reconocible para la persona investigadora a cargo, en buena medida por la carga de trabajo con la que lidia a diario.

Ahora, ¿qué consecuencias puede tener esta herramienta sobre los derechos de las personas vinculadas a procesos judiciales? Desde Derechos Digitales, impulsamos una investigación que profundizó en este caso y encontró que el uso de Watson plantea preocupaciones en un contexto en el que las implicaciones legales, regulatorias y éticas de la aplicación de IA en el sistema judicial no están definidas en su totalidad.

Veamos.

En primer lugar, para su funcionamiento, el Fiscal Watson relaciona un conjunto extenso de datos para la asociación de procesos judiciales, entre datos personales y no personales, hasta los más sensibles y revictimizantes. Aunque en el país existe una regulación para la protección de datos personales, en materia de IA y su explotación con herramientas privativas en el sector público, aún se cuenta con marcos imprecisos que brindan recomendaciones generales no vinculantes, como el Marco Ético para la Inteligencia Artificial de 2021.

Más aún, por la opacidad de Fiscal Watson, se desconocen las fuentes de datos que indexa la herramienta, lo que deja sin responder preguntas sobre la calidad de la información que procesa. Además, Watson por sí mismo no evalúa ni califica “si los datos disponibles en los sistemas de información han sido tratados de manera legal y garantista, lo que puede dar lugar a decisiones erróneas y sesgadas que produzcan consecuencias jurídicas o fácticas adversas para las personas”, según la investigación.

Al respecto, la Circular Externa 002 de 2024 de la Superintendencia de Industria y Comercio, sobre el tratamiento de datos personales en la IA, advierte que se requiere la realización previa de análisis de idoneidad, necesidad, razonabilidad y proporcionalidad; por lo que, en casos en donde no haya dicha evaluación de riesgos o no haya certeza respecto a la capacidad de prevenir daños, los responsables o usuarios de los sistemas de IA (como la Fiscalía) deben abstenerse de su uso.

En segundo lugar, la investigación en cuestión encontró que, aun cuando el uso del Fiscal Watson apoya la fase de indagación, la labor de las personas investigadoras no puede agotarse en filtrar las búsquedas en la herramienta tecnológica, pues la información debe ser verificada y deben agotarse los demás medios investigativos. Tal y como lo establece la sentencia de la Corte Constitucional que fijó lineamientos para el uso de la IA en la justicia, el uso de estas tecnologías debe hacerse con fines de gestión administrativa y documental, para “el apoyo a la función judicial en actividades que no suponen una labor de creación de contenido, interpretación de hechos o textos, ni solución de casos”.

El caso de estudio fue analizado por Fundación Karisma en colaboración con Derechos Digitales y recomienda que, en experiencias como la del sistema Watson, en primer lugar, exista una plena y efectiva implementación de los principios de veracidad, libertad, integridad, acceso y circulación restringida en el tratamiento de datos por sistemas de IA.

En segundo lugar, sugiere que se ofrezca de manera activa información pública, abierta e histórica sobre el funcionamiento del sistema permitiendo a la ciudadanía entender las finalidades y el impacto de su uso. La transparencia algorítmica y del código fuente, así como la garantía del derecho fundamental de acceso a la información pública, son consideraciones imperativas en el uso de IA por parte del Estado, como lo establece un fallo reciente de la Corte Constitucional para el caso de CoronApp.

Y, en tercer lugar, propone que se fijen mecanismos de monitoreo y evaluación del sistema, así como de indicadores que midan sus niveles de uso y porcentajes de éxito; y, por último, que se desplieguen análisis de riesgos, y de impacto en derechos humanos, en las diferentes fases de desarrollo del sistema de IA.

El caso Watson es un ejemplo más de cómo el uso amplio de IA por las entidades gubernamentales todavía tiene que alinearse con la discusión local y regional sobre la gobernanza de la IA, que aboga por mayor transparencia de la información (incluida la transparencia algorítmica de las herramientas privativas usadas por el Estado), y una mayor participación social en el uso y escrutinio de estas herramientas desplegadas en sectores críticos para la ciudadanía. 

Gracias por leernos. Si le gusta estar informado, suscríbase y acceda a todas nuestras noticias, los datos identificadores y los documentos sin límites