Esta web incorpora un agente que responde preguntas sobre mi trayectoria. Podría haber sido el chat decorativo de rigor, que saluda y poco más. El interés estaba en usarlo como banco de pruebas de las decisiones que defiendo cuando el dinero y el riesgo son de otro.
La primera es que no puede inventar. Responde únicamente con un conjunto de documentos escritos y revisados por mí, y cuando le preguntan algo que no está ahí, lo dice. Resulta obvio hasta que se observa cuántos asistentes corporativos prefieren rellenar el hueco con algo plausible antes que reconocer un límite. Aquí una respuesta inventada sobre mi propia experiencia no es un fallo simpático: es una afirmación falsa con mi nombre encima.
La segunda es que tiene el gasto acotado por arriba. Hay un tope de mensajes por minuto, por hora y por día para cada visitante, un tope global diario para el conjunto y un límite de facturación en el proveedor que corta el servicio pase lo que pase. Un asistente público sin freno es una factura esperando a que alguien con tiempo libre la descubra.
La tercera salió de intentar romperlo. En una sesión dedicada a atacar el propio asistente aparecieron cuatro fallos. Uno era un filtro que no detectaba una palabra escrita correctamente con tilde. Otro dejaba pasar peticiones sin apariencia de ataque que desviaban al asistente de su función. El tercero permitía sortear los límites de uso falseando el origen de la petición. El cuarto era que los documentos adjuntos por un visitante no pasaban por el mismo filtro que su mensaje.
Ninguno de los cuatro habría aparecido leyendo el código. Aparecieron atacándolo.
Los cuatro están cerrados, y de esa sesión salió un criterio que aplico ya en el trabajo: revisar un sistema con IA leyendo su código encuentra los errores que sabías buscar; atacarlo encuentra los que no. Cada conversación queda registrada, porque un asistente que habla en mi nombre exige poder auditar después qué dijo exactamente.