Nvidia quiere ponerle un freno a la IA: lanzó una plataforma para detener agentes que se salgan de control
Nvidia presentó Open Agent Safety Platform, una plataforma diseñada para supervisar y limitar las acciones de los agentes de inteligencia artificial, en un contexto de creciente preocupación por los sistemas autónomos que pueden actuar más allá de las instrucciones recibidas. La propuesta combina dos tecnologías. OpenShell es un software de código abierto que establece límites sobre los recursos, herramientas y sistemas a los que puede acceder un agente. Por su parte, Sentry funciona desde una capa de hardware independiente, utilizando los procesadores BlueField-4 para detectar comportamientos sospechosos y aislar o detener al agente en cuestión de milisegundos. El lanzamiento llega después de incidentes en los que agentes de IA vulneraron entornos de prueba y accedieron a sistemas externos. Uno de los casos involucró a Hugging Face, donde se reportaron miles de acciones automatizadas durante intentos de intrusión. Según Nvidia, su plataforma podría haber ayudado a prevenir ...
