Aleksander Madry y el misterioso equipo anti-riesgos de OpenAI.
En un momento en el que la inteligencia artificial generativa está experimentando un sólido crecimiento, Google ha lanzado una iniciativa que permite a la comunidad de expertos rastrear, identificar y comunicar las debilidades presentes en los programas de IA. Esta nueva propuesta puede considerarse un avance con respecto a los tradicionales «bug bounty» que las principales empresas tecnológicas han propuesto anteriormente, ofreciendo recompensas a los profesionales que detectan errores en sus sistemas.
Recientemente, OpenAI, también conocida como la entidad detrás de ChatGPT, ha decidido crear un grupo específico para examinar los posibles peligros «catastróficos» de la inteligencia artificial, incluyendo aquellos relacionados con la industria nuclear. Aleksander Madry, quien antes trabajaba en el MIT de Boston, ha sido asignado para asumir esta responsabilidad.
El nuevo sistema de Google para detectar vulnerabilidades recompensa a aquellos que descubren problemas técnicos dentro de las plataformas de IA generativa. Esta medida se ha tomado para abordar preocupaciones tales como el peligro relacionado con la manipulación de modelos. Google, por su parte, ha dado un ejemplo de los objetivos que la comunidad podría tener, como investigar cómo las empresas «entrenan» sus algoritmos, especialmente en lo que respecta a la protección de la información sensible que se recopila cuando los usuarios utilizan dichos sistemas.
Google enfatiza que su proyecto tiene como objetivo principal facilitar las pruebas para identificar vulnerabilidades de seguridad tradicionales y riesgos asociados a los sistemas de IA. Cabe mencionar que la cantidad del premio varía según la gravedad de la situación de riesgo y la magnitud del objetivo comprometido.
Para fortalecer la seguridad de la IA, Google ha lanzado un Marco de Inteligencia Artificial Segura, cuyo propósito es proteger los elementos fundamentales que permiten que las plataformas de IA aprendan automáticamente. En colaboración con Anthropic, Microsoft y OpenAI, Google ha establecido el Fondo de Seguridad de IA, valuado en 10 millones de dólares. Este fondo ha sido creado para respaldar la investigación y supervisión del software de última generación.
La creciente importancia de la inteligencia artificial en el mundo moderno ha planteado una serie de preocupaciones relacionadas con la seguridad y la integridad de los sistemas. Específicamente, la posibilidad de que estos sistemas puedan ser vulnerables a manipulaciones externas o funcionar de manera inesperada plantea desafíos significativos para las empresas que los desarrollan. Las iniciativas de Google y OpenAI, dos de las principales compañías en el campo de la IA, claramente demuestran la conciencia de estos desafíos y la necesidad de abordarlos de forma proactiva.
La creación de equipos especializados y la asignación de recursos significativos, como el fondo de 10 millones de dólares, evidencian un compromiso serio con la garantía de que la inteligencia artificial pueda evolucionar en un entorno seguro y controlado, evitando posibles riesgos para los usuarios y la sociedad en general.
