Ingeniería de Datos, Algoritmos y Habeas Data
Especificación técnica detallada sobre el tratamiento de datos masivos en tiempo real desde SECOP II, los modelos de auditoría estadística y la estricta protección de personas naturales bajo la Ley 1581.
Pipeline de Ingesta Profesional: SECOP II & SODA API con API Key
VeedurIA opera sobre los datasets de la Agencia Nacional de Contratación Pública (Colombia Compra Eficiente) en datos.gov.co mediante el protocolo SODA (Socrata Open Data API) endpoint jbjy-vk9h.json. A diferencia de scrapers convencionales no autenticados, nuestra arquitectura utiliza extracción profesional autenticada mediante App Token / API Key.
Límite estricto de 1.000 peticiones/hora por IP pública compartida. Respuestas frecuentes con HTTP 429 Too Many Requests y throttling gubernamental durante horas pico.
Cuota garantizada de 50.000 peticiones/hora con cabecera autenticada X-App-Token, latencia promedio de 120ms y bypass de límites para auditoría continua.
-H "X-App-Token: ${SOCRATA_APP_TOKEN}" \
-H "Accept: application/json"
Estrategia Híbrida de Ingesta (Fast Path & Cold Path)
Para maximizar la eficiencia y no saturar la infraestructura estatal de datos.gov.co, VeedurIA desacopla el procesamiento en dos vías deterministas:
- Fast Path (Tiempo Real / Streaming): Consultas directas vía SODA API con App Token para contratos firmados en las últimas 24 horas, aceleradas por Cloudflare Workers y caché en memoria Edge KV.
- Cold Path (Datalake Masivo Parquet): Sincronización diaria hacia Hugging Face (
iberi22/secop-datalake) en archivos Apache Parquet particionados por departamento, permitiendo auditorías históricas y machine learning a gran escala con costo cero sobre el servidor gubernamental.
Detección Matemática de Anomalías: Ley de Benford
La Ley de Benford predice la distribución frecuencial del primer dígito significativo (d de 1 a 9) en magnitudes numéricas naturales y de libre mercado:
Cuando una entidad pública o un proceso licitatorio presenta fraccionamiento de contratos, sobrecostos forzados o valores artificialmente ajustados para evadir topes legales de licitación pública, la distribución discrepa radicalmente. VeedurIA calcula la desviación absoluta y el estadístico Chi-Cuadrado (χ²) para clasificar el riesgo de manipulación de forma completamente objetiva.
Motor de Scoring y Red Flags de Contratación
El sistema evalúa cada contrato con un algoritmo multicriterio que analiza 6 factores críticos:
Detección de contratación directa atípica en cuantías mayores a 1.000 millones COP.
Identificación de pliegos sastre donde se presenta un oferente único recurrente.
Periodos exprés anormales entre publicación de pre-pliegos y firma definitiva.
Correlación entre el valor adjudicado y la capacidad en SMMLV del adjudicatario.
Cumplimiento Estricto de Habeas Data (Ley 1581)
En Colombia, la Ley Estatutaria 1581 de 2012 protege los datos personales. VeedurIA aplica un cortafuegos algorítmico anonymizer.ts que distingue estrictamente entre:
Nombres propios y cédulas de ciudadanía (CC) son anonimizados y enmascarados automáticamente (ej. J*** C***** P****, CC ***789) protegiendo el derecho fundamental a la intimidad y la seguridad personal.
Sociedades Comerciales (S.A.S., S.A., LTDA), Uniones Temporales y Consorcios que compiten por recursos públicos permanecen 100% VISIBLES, PÚBLICAS Y AUDITABLES, cumpliendo con el principio constitucional de publicidad y control social del presupuesto de la Nación.
Memoria Agéntica Xavier y Maloca Analytics
Mientras la auditoría ciudadana de VeedurIA es libre y pública, la capa empresarial Maloca Analytics permite a empresas privadas interconectar sus bases de datos internas, perfiles de capacidad y contratos anteriores con el Data Lake de SECOP II.
Utiliza a Xavier como motor de memoria agéntica genérica descentralizada para mapear oportunidades, calcular probabilidades de adjudicación y generar dossiers de postulación técnica automatizados en formato PDF.
Datalake Abierto en Hugging Face (Apache Parquet)
VeedurIA sincroniza diariamente los datos procesados de contratación pública al repositorio público de Hugging Face:iberi22/secop-datalake.
La partición se estructura en formato Hive por departamento={Nombre}/fecha={YYYY-MM-DD}/contratos.json, cubriendo los 32 departamentos y el Distrito Capital, permitiendo consultas analíticas selectivas sin descargar la totalidad del historial nacional.
Especificación OpenAPI & Endpoints de la Plataforma
Todas las APIs operan en el Edge de Cloudflare (V8 runtime), con compresión automática y headers de auditoría CORS:
Búsqueda en tiempo real sobre SECOP II con cálculo de Ley de Benford, riesgo e indexación. Query params: q, sector, departamento, min_val, limit.
Estado de salud del nodo Edge, conexión con SECOP II (jbjy-vk9h) y enlaces del Datalake Hugging Face.
Emisión de enlaces mágicos sin contraseña. Body: { "email": "usuario@ejemplo.com" }. Control de waitlist automático.
Manifiesto estándar para consumo autónomo por LLMs, herramientas de Big Data y agentes de IA.
Roadmap Nacional: Checklist de Implementación & Integración de Datos Libres
VeedurIA opera bajo el estándar internacional OCDS (Open Contracting Data Standard) para unificar la totalidad del ecosistema de contratación pública, hacienda y control fiscal en Colombia. A continuación se presenta el estado auditado y el porcentaje de avance de cada dataset.
Avance Técnico de Fuentes Estatales
Ingesta en tiempo real vía SODA API con X-App-Token (50k req/h), motor Benford Chi-square, clasificación de Red Flags y réplica en D1 SQLite Edge.
Módulo secop1-client.ts implementado: normalizador de cuantías colombianas complejas, sanitización SoQL contra inyecciones y caché de 5 minutos.
Módulo cce-catalog.ts y price-benchmark.ts: benchmarking de precios unitarios con cálculo Z-score, desviación porcentual y detección de sobrecostos en PAE, cómputo y combustible.
Módulo pliego-tipo-matcher.ts: validación estricta de pliegos obligatorios de obra pública e interventoría para alertar requisitos sastre no autorizados.
Conector en desarrollo: cruce entre compromisos contractuales y la disponibilidad presupuestal real de los 1.123 municipios para auditar déficit fiscal encubierto.
Conector en desarrollo: verificación automática de inhabilidades de proponentes y miembros de consorcios antes de emitir alertas o informes cívicos.
Modelado de grafos de vinculación accionaria, matrices de parentesco y verificación de capacidad residual K-RUT para detección de colusión entre oferentes.
Protocolo Técnico: ¿Cómo se integra una nueva base de datos libre?
Configuración del endpoint en datos.gov.co con cabecera de autenticación X-App-Token, timeout estricto de 8s y fallback ante HTTP 429.
Transformación al esquema unificado TypeScript con enmascaramiento estricto de Habeas Data para personas naturales (anonymizer.ts).
Indexación en base de datos Cloudflare D1 Edge y exposición como herramienta MCP para que agentes autónomos (Xavier/Hermes) auditen y contrasten en tiempo real.