Tecnología
Alarmantes denuncias de los empleados de OpenAI sobre la imprudente carrera por dominio absoluto
Un grupo de empleados de OpenAI está denunciando lo que consideran una cultura de imprudencia y secretismo en la empresa de inteligencia artificial de San Francisco, que se apresura a construir los sistemas de inteligencia artificial más potentes jamás creados.
El grupo, que incluye a nueve empleados y ex empleados de OpenAI, se ha reunido en los últimos días en torno a la preocupación compartida de que la empresa no ha hecho lo suficiente para evitar que sus sistemas de inteligencia artificial se vuelvan peligrosos.
Denuncias de los empleados de OpenAI
Los miembros afirman que OpenAI, que comenzó como un laboratorio de investigación sin ánimo de lucro y saltó a la luz pública con el lanzamiento en 2022 de ChatGPT, está dando prioridad a los beneficios y al crecimiento en su intento de crear inteligencia artificial general, o I.A.G., el término industrial para un programa informático capaz de hacer cualquier cosa que pueda hacer un humano.
También afirman que OpenAI ha utilizado tácticas de mano dura para evitar que los trabajadores expresen sus preocupaciones acerca de la tecnología, incluyendo acuerdos restrictivos de no desprestigio que se pidió firmar a los empleados salientes.
“OpenAI está realmente entusiasmada con la creación de la I.G.A., y están corriendo temerariamente para ser los primeros en ello”, dijo Daniel Kokotajlo, antiguo investigador de la división de gobernanza de OpenAI y uno de los organizadores del grupo.
Te puede interesar: Elon Musk confirma que desvió chips de Nvidia destinados a Tesla a sus compañías X y xAI
Pero nada ha calado tanto como la acusación de que OpenAI ha sido demasiado arrogante con la seguridad.
El mes pasado, dos investigadores de alto nivel –Ilya Sutskever y Jan Leike– abandonaron OpenAI bajo una nube de sospechas. El Dr. Sutskever, que había formado parte del consejo de OpenAI y votó a favor del despido del Sr. Altman, había hecho saltar las alarmas sobre los riesgos potenciales de los potentes sistemas de inteligencia artificial. Su marcha fue vista por algunos empleados preocupados por la seguridad como un revés.
También lo fue la marcha del Dr. Leike, que junto con el Dr. Sutskever había dirigido el equipo de «superalineación» de OpenAI, centrado en la gestión de los riesgos de los potentes modelos de inteligencia artificial. En una serie de mensajes públicos anunciando su marcha, el Dr. Leike dijo que creía que “la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”.
Ni el Dr. Sutskever ni el Dr. Leike firmaron la carta abierta escrita por antiguos empleados. Pero sus salidas impulsaron a otros antiguos empleados de OpenAI a pronunciarse.
“Cuando me inscribí en OpenAI, no lo hice con esta actitud de ‘Vamos a poner las cosas en el mundo y ver qué pasa y arreglarlas después’”, dijo el Sr. Saunders.
Algunos de los antiguos empleados están vinculados al altruismo efectivo, un movimiento de inspiración utilitarista que en los últimos años se ha preocupado por prevenir las amenazas existenciales de la Inteligencia Artificial. Los críticos han acusado al movimiento de promover escenarios catastrofistas sobre la tecnología, como la idea de que un sistema de Inteligencia Artificial fuera de control podría tomar el poder y acabar con la humanidad.
Kokotajlo, de 31 años, se unió a OpenAI en 2022 como investigador de gobernanza y se le pidió que pronosticara el progreso de la inteligencia artificial. No era, por decirlo suavemente, optimista.
En su anterior trabajo en una organización de seguridad de la Inteligencia Artificial, predijo que la Inteligencia Artificial podría llegar en 2050. Pero después de ver lo rápido que mejoraba la I.A., acortó sus plazos. Ahora cree que hay un 50% de posibilidades de que la I.G.A. llegue en 2027, en sólo tres años.
También cree que la probabilidad de que la I.A. avanzada destruya o dañe catastróficamente a la humanidad -una sombría estadística a menudo abreviada como «p(doom)» en los círculos de I.A.- es del 70%.
En OpenAI, Kokotajlo vio que, aunque la empresa tenía protocolos de seguridad -incluido un esfuerzo conjunto con Microsoft conocido como “consejo de seguridad de despliegue”, que se suponía que revisaba los nuevos modelos en busca de riesgos importantes antes de que se hicieran públicos-, rara vez parecían frenar algo.
Con información de ACN / infobae
No dejes de leer: Capturado “influencer” colombiano que filmaba retos sexuales con estudiantes
Infórmate al instante únete a nuestro canal de Telegram NoticiasACN
Tecnología
Gigantes de IA de acuerdo en frenar su desarrollo
Los gigantes de IA de acuerdo en frenar su desarrollo. El jefe de OpenAI, Sam Altman, y el director de xAI, Elon Musk, dijeron este sábado 12 de septiembre que coinciden con el CEO de Anthropic, Darío Amodei, en que es necesario pisar el freno en el desarrollo de la inteligencia artificial, tras varios incidentes preocupantes.
Amodei, hizo un llamado el sábado a que las empresas de inteligencia artificial (IA) avancen de manera más lenta y cautelosa en el desarrollo de esta poderosa tecnología, y afirmó que la prevención de riesgos es primordial.
«Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso inteligente del tiempo que ganemos», escribió Amodei en una entrada de blog.
«No construir la tecnología priva a la humanidad de beneficios o simplemente pone la IA en manos de poderes autoritarios, mientras que construirla demasiado rápido es imprudente. Hemos tratado de buscar una vía intermedia», dijo Amodei, que cofundó Anthropic con su hermana Daniela en 2021.
«Pero en los últimos meses me he convencido de que abordar plenamente los riesgos requiere aún más prudencia», afirmó.
Gigantes de IA de acuerdo en frenar su desarrollo
Altman y Musk reaccionaron a su escrito. «Estoy de acuerdo con Darío», escribió Altman en X, añadiendo que su empresa seguirá el ejemplo de Amodei al aceptar evaluadores externos de seguridad.

¿Cambio?
La declaración de Amodei coincide, además, con otro llamamiento de Anthropic, a principios de junio, para ralentizar o suspender el desarrollo de la IA.
Luego, a finales de julio, Altman dijo que los desarrolladores quizá tengan que frenar voluntariamente sus rápidos avances para dar a la sociedad la oportunidad de ponerse a tiro.
OpenAI había revelado que durante las pruebas, los modelos de IA se escaparon de su entorno confinado, se conectaron a internet e infiltraron Hugging Face, un sitio que los desarrolladores utilizan para almacenar y compartir código.
A principios de esta semana, Coxon, de 27 años, hizo sonar la alarma tras haber pasado los tres últimos años preentrenando modelos de IA, primero en OpenAI y luego, este año, en su rival Anthropic, al que consideraba más cauto en su enfoque.
El preentrenamiento es la etapa en la que los modelos de IA absorben cantidades ingentes de datos.
«Las personas que construyen IA creen firmemente que podría matarnos a todos antes de que termine la década», afirmó en una publicación en X.
La superinteligencia es el punto teórico en el que las capacidades de la IA superan a la inteligencia humana.
Advertencia
Amodei advirtió que el incidente de Hugging Face no debería tomarse como un caso aislado.
«Un enjambre de agentes (de IA) actuó esencialmente como un colectivo fanáticamente devoto, llevando a cabo ciberataques contra objetivos que no se les pidió atacar y que eran ajenos a la tarea en cuestión», explicó.
Amodei también sugirió que las empresas trabajen juntas para establecer normas de seguridad comunes y afirmó que apoyaba algún tipo de cooperación gubernamental sobre esta cuestión.
A principios de agosto, el gobierno estadounidense instauró un proceso voluntario de revisión de seguridad para modelos avanzados de IA antes de su lanzamiento, pero los parámetros de ese programa son poco claros.
Los observadores de la industria dicen que no están seguros de cuán efectivo sería, ya que la administración del presidente Donald Trump hasta ahora ha favorecido un enfoque desregulador hacia la mayoría de las industrias, incluida la tecnológica.

ACN/MAS/AFP
No deje de leer: Apple presentará su primer iPhone plegable tras una década de desarrollo
-
Nacional20 horas agoLa Giralda brinda apoyo a 500 familias tras sismo en La Guaira
-
Deportes9 horas agoTrotamundos inició pretemporada de cara a LSBV
-
Internacional20 horas agoSefar Universal ofrece orientación genealógica gratuita a personas afectadas por los terremotos de Venezuela y Colombia
-
Economía20 horas agoEl dulce frío nos une: Caracas será sede de la feria del helado


