Evan Hubinger, responsable de ciencia de alineación en Anthropic, situó su propia estimación en más de un 10% para la próxima década.
Un investigador sénior que lidera los esfuerzos de alineación en Anthropic declaró que muchos miembros de la empresa creen que la IA podría acabar con la humanidad, tras la renuncia de otro investigador que acusó a la compañía de no actuar de manera responsable.
Datos clave
Evan Hubinger, responsable de ciencia de alineación en Anthropic, escribió en X que tanto él como sus colegas “creen sinceramente que la IA podría acabar con todos los seres humanos”, y situó su propia estimación en más de un 10% para la próxima década.
Además: Michael Dell supera a Jeff Bezos en lista de multimillonarios
Hubinger afirmó que la empresa estaba “haciendo todo lo posible”, pero que aún no cuenta con un plan para resolver el problema de la “alineación de la superinteligencia” ni está “claramente encaminada” a lograrlo.
La publicación de Hubinger respondía a un hilo en X de otro investigador de Anthropic, Jacob Coxon, quien anunció su dimisión de la compañía debido a preocupaciones sobre la seguridad de la IA.
Coxon, que trabajó en investigación de preentrenamiento tanto en OpenAI como en Anthropic, advirtió que estas empresas rivales no estaban actuando de manera responsable al “precipitarse hacia una superinteligencia capaz de automejorarse y jugar con nuestras vidas”.
El investigador saliente señaló que quienes desarrollan la IA creen que esta podría “acabar con todos nosotros para finales de la década”, y aseguró que esto no se trataba de una “estrategia de marketing”.
Cita crucial
En una publicación posterior a su advertencia, Hubinger citó el informe de riesgos más reciente de Anthropic y señaló que la amenaza que plantean los modelos actuales es baja: “Lo que me preocupa es la superinteligencia surgida de la automejora recursiva, ya que, como hemos dicho, esto está ocurriendo más rápido de lo que pensábamos”.
¿Qué sabemos sobre la renuncia del investigador de Anthropic?
The Wall Street Journal fue el primer medio en informar sobre la salida de Coxon de Anthropic, motivada por la preocupación ante el impulso de crear sistemas de IA capaces de automejorarse, los cuales podrían representar una amenaza para la humanidad.
Coxon declaró al periódico que, a su juicio, el mundo se encamina hacia “muchos de los escenarios más extremos, en los que para finales del próximo año la situación podría haberse descontrolado ya”.
En sus publicaciones en X, Coxon comparó la experiencia de trabajar en OpenAI y en Anthropic, señalando que el personal de la empresa creadora de ChatGPT no “interioriza profundamente lo que está en juego para la civilización”. Afirmó que, si bien en Anthropic se comprendía perfectamente la magnitud de lo que estaba en juego, la compañía estaba “inmersa en una carrera por llegar primero”, ya que consideraban que “nadie más actuaría con responsabilidad, por lo que debían hacerlo ellos mismos, a pesar de los riesgos”.
Contexto clave
Esta advertencia y la dimisión se producen en un momento en que destacados investigadores y ejecutivos del sector de la IA abogan por ralentizar el desarrollo de la IA avanzada. En julio, varias figuras prominentes del ámbito de la IA —entre ellas los cofundadores de Anthropic, Dario Amodei y Jared Kaplan; el jefe de investigación científica de OpenAI, Jakub Pachocki; y el jefe de investigación científica de Meta AI, Shengjia Zhao, entre otros— firmaron un comunicado titulado “Pacing the Frontier” (“Marcar el ritmo en la frontera tecnológica”).
El texto señalaba que, para “materializar el potencial de la IA, es posible que la industria, el gobierno y la sociedad en su conjunto necesiten ganar tiempo para abordar los riesgos emergentes, desarrollar medidas de seguridad y reforzar la supervisión”; no obstante, advertía que las empresas se enfrentan a una intensa presión competitiva que dificulta adoptar estas medidas de forma unilateral.
El comunicado instaba al gobierno de Estados Unidos a apoyar un “esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para regular deliberadamente el ritmo de avance en la frontera del desarrollo automatizado de la IA”.
El domingo, en una publicación de blog, Pachocki se hizo eco de estas advertencias al afirmar que, a su juicio, “ningún laboratorio ha resuelto los problemas de alineación y supervisión en un grado suficiente como para seguir escalando de manera responsable y a máxima velocidad durante mucho más tiempo”.