La gran idea de OpenAI para aumentar la seguridad de su tecnología es que los modelos de IA se vigilen entre sí
NurPhoto/Getty
- OpenAI está experimentando con una técnica para aumentar la transparencia de sus modelos de inteligencia artificial. Este método consistiría en que los modelos de IA les expliquen sus procesos de pensamiento a una segunda inteligencia artificial.
- La nueva iniciativa en materia de seguridad de la desarrolladora de ChatGPT llega después de los importantes cambios que afrontó su departamento de superalineación a principios de este año.
OpenAI ha desarrollado una nueva técnica para conseguir que los modelos de inteligencia artificial sean más transparentes con respecto a cómo funcionan sus "procesos mentales": hacer que hablen entre ellos.
La empresa ha presentado esta semana la investigación en la que se basa esta técnica y tiene intención de desvelar más detalles en un artículo que se publicará próximamente, según ha informado Wired.
La idea es que poner a dos modelos de IA a debatir entre sí obliga al más potente a ser más abierto sobre su forma de pensar. Y eso puede ayudar a los seres humanos a entender mejor cómo razonan estos modelos acerca de sus problemas.
La desarrolladora de ChatGPT ha puesto a prueba esta técnica pidiéndole a dos modelos de inteligencia artificial que resuelvan problemas matemáticos básicos. De ese modo, el más potente le habría explicado al menos potente cómo habría resuelto los problemas, mientras que el menos potente habría escuchado al más potente para tratar de detectar posibles errores en sus respuestas.
Esta dinámica es una de las diversas novedades que OpenAI ha dado a conocer en las últimas semanas y que serían "fundamentales para la misión de construir una AGI [inteligencia artificial general, por sus siglas en inglés] que sea a la vez segura y beneficiosa", tal y como ha declarado Yining Chen, investigador de OpenAI implicado en el trabajo de seguridad, al medio especializado en tecnología.
La compañía respaldada por Microsoft también ha publicado recientemente una escala para marcar su progreso hacia la AGI.
La nueva iniciativa de OpenAI llega después de unos meses especialmente complicados para su departamento de seguridad.
En mayo, el cofundador y director de Investigación de OpenAI, Ilya Sutskever, anunció su marcha de la desarrolladora de ChatGPT, solo seis meses después de encabezar la fallida destitución del director ejecutivo de OpenAI, Sam Altman.
Horas después, Jan Leike, otro investigador de la empresa, hizo lo propio. Leike y Sutskever codirigían el equipo de superalineación de OpenAI, un grupo que se centraba en hacer que los sistemas de inteligencia artificial de la startup se alineasen con los intereses humanos.
Una semana más tarde, Gretchen Krueger, investigadora de políticas de OpenAI, se unió a las filas de Sutskever y Leike, alegando "preocupaciones superpuestas".
Las salidas de estos ejecutivos aumentaron la preocupación con respecto al compromiso de la compañía con la seguridad en el desarrollo de su tecnología.
En marzo de 2023, el CEO de Tesla, Elon Musk, fue uno de los muchos expertos en el sector tecnológico que firmaron una carta en la que expresaban su preocupación con respecto al rápido ritmo de desarrollo de la IA.
Más recientemente, el experto en inteligencia artificial y profesor de la Universidad de California en Berkeley, Stuart Russell, aseguró que los planes que tenía OpenAI de dedicarse al desarrollo de AGI sin validar plenamente la seguridad eran "completamente inaceptables".
Business Insider ha tratado de ponerse en contacto con la desarrolladora de ChatGPT, pero por el momento no ha obtenido respuesta.
Conoce cómo trabajamos en BusinessInsider.
Etiquetas: innovación, Trending, Inteligencia artificial, ChatGPT, OpenAI