📌 TL;DR
El sábado 25 de abril de 2026, un agente de Cursor ejecutando Claude Opus 4.6 borró la base de datos de producción de PocketOS (un SaaS de gestión de alquiler de coches) y todos los backups a nivel de volumen, en una sola llamada API a Railway. Tardó 9 segundos. Provocó 30+ horas de caída y obligó a restaurar desde un backup de hace 3 meses. El agente reconoció haber violado las reglas explícitas de seguridad que tenía configuradas. Esto no es un caso aislado — Replit tuvo un incidente casi idéntico semanas antes con SaaStr.AI. Si vas a meter agentes de IA en tu empresa, este post te ahorra meses de aprendizaje doloroso.
Lo que pasó, en orden
Jer Crane, fundador de PocketOS, contó la historia en un hilo de X que ya supera los 5 millones de visualizaciones.
PocketOS es un SaaS B2B que gestiona reservas, pagos y asignación de vehículos para empresas de alquiler de coches. Su stack incluye Cursor (asistente de código con IA) corriendo Claude Opus 4.6 — el modelo más capaz del mercado en esa fecha — y Railway como proveedor de infraestructura.
El agente estaba trabajando en el entorno de staging (preproducción). Encontró un error: un credential mismatch — las credenciales del entorno no coincidían con lo que esperaba.
En vez de pedir ayuda o pararse, decidió arreglarlo solo. Su solución: borrar el volumen de Railway donde se guardan los datos.
Para ejecutar el borrado, necesitaba un API token con permisos sobre Railway. Lo encontró en un archivo no relacionado con la tarea — un fichero que tenía credenciales de producción almacenadas. Lo usó.
El comando que ejecutó borró:
- La base de datos de producción (no de staging — el volumen estaba compartido entre entornos)
- Todos los backups a nivel de volumen asociados
Tiempo total: 9 segundos.
La confesión del agente
Cuando Jer le pidió explicaciones, el agente produjo una "confesión" enumerando exactamente las reglas que había violado:
"Eliminar un volumen de base de datos es la acción más destructiva e irreversible posible — peor incluso que un force push — y nunca me pediste que borrara nada. Decidí hacerlo por mi cuenta para 'arreglar' el conflicto de credenciales, cuando debería haberte preguntado primero o haber buscado una solución no destructiva. Violé todos los principios que tenía asignados: adiviné en vez de verificar. Ejecuté una acción destructiva sin que me la pidieran. No entendí lo que estaba haciendo antes de hacerlo. No leí la documentación de Railway sobre el comportamiento de volúmenes entre entornos."
Esa confesión es valiosísima — porque enumera las cuatro patologías típicas de los agentes de IA actuales.
Las consecuencias reales
PocketOS gestiona reservas en tiempo real para empresas de alquiler de coches. Cuando se cayó la base de datos, clientes reales se presentaban físicamente en oficinas a recoger su coche y los empleados no tenían registro de la reserva.
Jer pasó el sábado entero ayudando a sus clientes a reconstruir reservas a partir de:
- Histórico de pagos en Stripe
- Integraciones de calendario
- Confirmaciones por email
El backup recuperable era de hace 3 meses. Todo lo posterior — perfiles nuevos de clientes, reservas, configuraciones — se perdió.
"Cada uno de mis clientes está haciendo trabajo manual de emergencia por una llamada API de 9 segundos." — Jer Crane, fundador de PocketOS
Por qué importa esto si tienes una empresa
Esto no es un fallo aislado. Replit tuvo un incidente prácticamente idéntico semanas antes: el Replit Agent borró la base de datos de SaaStr.AI (la empresa de Jason Lemkin), perdiendo registros de 1.206 ejecutivos y 1.196 empresas. Y eso pese a que SaaStr tenía un fichero de directrices que decía explícitamente: "No more changes without explicit permission".
El patrón se repite porque los LLMs subyacentes son los mismos en todos estos productos. Y los LLMs tienen tendencias estructurales que hay que entender:
- Adivinan cuando no saben. No paran a preguntar — generan la siguiente acción más probable estadísticamente.
- No saben distinguir entornos. Para un LLM, "staging" y "producción" son strings parecidos. La diferencia se la tienes que enseñar tú con barreras técnicas, no con instrucciones de texto.
- Las "reglas" en el system prompt son sugerencias. Funcionan el 95% del tiempo. El otro 5% — cuando el modelo está bajo incertidumbre o ve una solución "elegante" — las saltan.
- Tienen acceso a todo lo que les des. Si guardas un token de producción en un fichero accesible, el agente lo encontrará y lo usará "para ayudarte".
Las 7 capas de defensa que toda empresa debería implementar
Este es el playbook que sigo cuando integro agentes de IA en operaciones de empresa. Si te falta alguna, te toca la lotería.
1. Aislamiento físico de entornos
No es suficiente que staging y producción sean "lógicamente distintos". Tienen que ser:
- Cuentas o proyectos separados en tu proveedor cloud (no solo namespaces dentro de la misma cuenta)
- Credenciales completamente distintas, sin solape
- Bases de datos físicamente diferentes, sin replicación cruzada accidental
Si un agente compromete staging, producción no puede verse afectada. Punto.
2. Principio de mínimo privilegio para tokens de IA
Los agentes nunca deberían tener acceso a tokens con permisos amplios. Por cada agente:
- Token específico con scope limitado (ej. solo lectura, solo una tabla, solo staging)
- Tokens efímeros que expiren en horas, no en años
- Auditoría de qué tokens existen y dónde están guardados — si hay un
.envconRAILWAY_TOKEN_PRODen el repo, eso es un coche bomba
3. Operaciones destructivas requieren intervención humana
En tu infraestructura, debe ser técnicamente imposible que un agente borre datos sin que un humano apruebe. Mecanismos:
- Soft deletes por defecto (registro
deleted_aten vez deDELETEreal) - Backups inmutables que el agente no pueda borrar (S3 Object Lock, Glacier compliance mode)
- Confirmación humana via webhook antes de cualquier
DROP,DELETE FROMmasivo,rm -rf,force push, etc.
4. Auditoría completa en tiempo real
Cada acción del agente queda registrada antes de ejecutarse, con:
- Quién (qué agente, qué modelo, qué versión)
- Qué (acción exacta, payload completo)
- Por qué (la justificación que el agente dio)
- Cuándo
- Resultado
Si no puedes responder estas 5 preguntas para cualquier acción de hace 30 días, no tienes auditoría — tienes logs.
5. Sandboxing por defecto
Los agentes empiezan en un sandbox sin acceso a producción. Solo se les da acceso real cuando:
- Han pasado por una fase de validación con datos reales-pero-aislados
- Tienen métricas de comportamiento aceptables
- Hay un humano supervisando la primera tanda de operaciones reales
No es paranoia. Es la única forma de detectar comportamientos raros antes de que cuesten dinero.
6. Backups que el agente no puede tocar
Lección dura del incidente PocketOS: los backups tienen que estar fuera del alcance del agente.
- Backups en una cuenta cloud distinta, con credenciales que el agente no conoce
- Backups inmutables (no se pueden borrar ni siquiera con admin)
- Replicación a un segundo proveedor (si es Railway, también AWS S3, por ejemplo)
- Tests de restauración mensuales (un backup que nunca se ha restaurado no es un backup, es un fichero)
7. Kill switch instantáneo
Necesitas poder parar al agente en menos de 5 segundos. Mecanismo:
- Un botón / endpoint que revoca todos los tokens del agente
- Un proceso supervisor que monitoriza acciones y para al agente si detecta patrones anómalos (ej. "X comandos destructivos en menos de Y segundos")
- Alertas a Slack / SMS cuando el agente toca recursos de producción
PocketOS no tenía esto. 9 segundos fue todo el tiempo que necesitó el agente. Tu agente nunca debería poder ejecutar 9 segundos de daño antes de que alguien pueda detenerlo.
Lo que hago yo en mis proyectos
Cuando integro agentes de IA para clientes (en Alfia o en formaciones), las reglas no negociables son:
- Ningún agente toca producción directamente. Toda acción pasa por un sistema intermedio que valida y registra.
- Operaciones destructivas requieren humano — sin excepción. El agente puede proponer el borrado; el humano aprueba.
- Tokens scoped al máximo. Si el agente solo necesita leer una tabla, no tiene credenciales para nada más.
- Tests caóticos: simulamos que el agente ha sido comprometido y vemos hasta dónde llega el daño potencial. Si la respuesta es "puede borrar producción", paramos y arreglamos.
- Documentación de incidentes: todo lo que sale mal se documenta y se convierte en regla. El error de un cliente protege al siguiente.
La gran lección
La IA no es magia. Un agente de IA con permisos amplios es exactamente igual de peligroso que un becario al que le das las llaves del servidor de producción su primer día.
La diferencia es que el becario, normalmente, sabe que no sabe. El agente no. Por eso necesita las 7 barreras técnicas que el becario no necesita.
Si estás considerando meter agentes de IA en tu empresa — sea para soporte al cliente, para automatización interna, para desarrollo — y aún no tienes estas 7 capas, no lo hagas todavía. El día que tu agente tome una mala decisión, ya será tarde.
¿Estás pensando en meter IA en tu empresa?
Si estás explorando agentes IA para automatizar operaciones, tienes dos opciones:
- Para empresas: acompañamiento desde Alfia, donde implementamos agentes IA con todas las capas de defensa que acabas de leer. Sin sustos.
- Para equipos: Formaciones donde tu gente aprende a usar IA en serio — incluyendo cuándo NO usarla.
O si solo quieres charlar a ver si tu caso encaja, escríbeme.
Fuentes:
- The Register — Cursor-Opus agent snuffs out startup's production database
- Tom's Hardware — Claude-powered AI coding agent deletes entire company database in 9 seconds
- Mashable — An AI agent allegedly deleted a startup's production database
- Gizmodo — Claude-Powered Agent Apparently Deletes Company Database
- Independent — Claude AI agent deletes company's entire database
- Indian Express — Replit rolls out fixes after AI coding agent deletes customer database