Dentro de la lucha Meta para ponerse al día con la IA

A medida que el verano de 2022 llega a su fin, el CEO de Meta, Mark Zuckerberg, reunió a sus principales ayudantes para una disección de cinco horas sobre el poder informático de la empresa, centrándose en su capacidad para realizar trabajos de IA de vanguardia, según el memorando de septiembre de la empresa. 20 Comprobado por Reuters.

Tenían un problema espinoso: a pesar de las inversiones de alto perfil en investigación de IA, el gigante de las redes sociales ha tardado en adoptar costosos hardware y software amigables con la IA para su negocio principal, lo que obstaculiza su capacidad para mantenerse al día con la innovación a gran escala incluso en el mientras tanto. Depende cada vez más de la inteligencia artificial para impulsar su crecimiento, según el memorando, declaraciones de la empresa y entrevistas con 12 personas familiarizadas con los cambios, que hablaron bajo condición de anonimato para discutir asuntos internos de la empresa.

Escrito por el nuevo jefe de infraestructura, Santosh Janardhan, que se publicó en el tablero de mensajes interno de Meta en septiembre y ahora se informa por primera vez, dice el memorando.

Puede requerir apoyo para el trabajo de inteligencia artificial meta Fundamentalmente para “transformar el diseño de nuestra infraestructura física, nuestros sistemas de software y nuestro enfoque para proporcionar una plataforma consistente”.

Durante más de un año, Meta ha estado involucrada en un proyecto masivo de personalización de infraestructura de IA. Si bien la compañía ha reconocido públicamente “ponerse al día un poco” en las tendencias de hardware de IA, los detalles de la solución no se han informado previamente, incluida una crisis de capacidad, cambios en el liderazgo y un proyecto de chip de IA cancelado.

Cuando se le preguntó sobre el memorando y la reestructuración, el portavoz de Meta, Jon Carvill, dijo que la compañía “tiene un historial comprobado de creación e implementación de infraestructura de vanguardia a escala, así como una gran experiencia en investigación e ingeniería de inteligencia artificial”.

“Confiamos en nuestra capacidad para continuar expandiendo las capacidades de nuestra infraestructura para satisfacer nuestras necesidades a corto y largo plazo a medida que brindamos nuevas experiencias impulsadas por IA a nuestra cartera de aplicaciones y productos de consumo”, dijo Carville. Se negó a comentar si Meta ha abandonado su chip de IA.

Janardan y otros ejecutivos no aceptaron solicitudes de entrevistas que se realizaron en toda la empresa.

La revisión aumentó los gastos de capital de Meta en casi $4 mil millones en el trimestre, según las divulgaciones de la compañía, casi el doble de sus gastos a partir de 2021, y provocó la detención o cancelación de construcciones de centros de datos previamente planificadas en cuatro sitios.

Esas inversiones coincidieron con un período de estrés financiero severo para Meta, que ha estado despidiendo empleados desde noviembre en una escala que no se veía desde la caída de las puntocom.

Mientras tanto, ChatGPT de OpenAI, respaldado por Microsoft, se convirtió en la aplicación de consumo de más rápido crecimiento en la historia después de su debut el 30 de noviembre, desencadenando una carrera armamentista entre los gigantes tecnológicos para lanzar productos con la llamada IA ​​generativa, que va más allá del reconocimiento de patrones. datos como otra IA, crea contenido escrito y visual similar al humano en respuesta a las indicaciones.

Cinco de las fuentes dijeron que la IA generativa obstaculiza una gran cantidad de poder de cómputo, lo que amplifica la urgencia de la lucha de habilidades del Meta.

Una de las principales fuentes del problema, dijeron esas cinco fuentes, se remonta a la adopción tardía de Meta de la unidad de procesamiento de gráficos, o GPU, para el trabajo de IA.

Los chips de GPU son especialmente adecuados para el procesamiento de IA porque pueden realizar una gran cantidad de tareas simultáneamente, lo que reduce el tiempo necesario para transferir miles de millones de bits de datos.

Sin embargo, las GPU también son más caras que otros chips con el fabricante de chips. nvidia Controlando el 80% del mercado y manteniendo el liderazgo en programas de acompañamiento, según fuentes.

Nvidia no respondió a una solicitud de comentarios para esta historia.

En cambio, hasta el año pasado, Meta ejecutó sus cargas de trabajo de IA en gran medida utilizando la flota de CPU de productos básicos de la compañía, el caballo de batalla del mundo de la computación, que ha llenado los centros de datos durante décadas, pero la IA funciona principalmente mal.

Según dos de esas fuentes, la compañía también comenzó a usar su propio chip personalizado que diseñó internamente para la inferencia, un proceso de inteligencia artificial en el que los algoritmos se entrenan con cantidades masivas de datos para emitir juicios y generar respuestas a las indicaciones.

Para 2021, ese enfoque doble estaba demostrando ser más lento y menos eficiente que uno basado en GPU, que también era más flexible para ejecutar diferentes tipos de modelos que el chip Meta, dijeron las dos personas.

Meta se negó a comentar sobre el rendimiento de su chip AI.

A medida que Zuckerberg dirige a la empresa hacia el metaverso, una colección de mundos digitales habilitados por la realidad virtual y aumentada, su crisis de capacidad ha ralentizado su capacidad para implementar IA para responder a amenazas, como el auge del competidor de redes sociales TikTok y la publicidad liderada por Apple. cambios en la privacidad, dijeron cuatro de las fuentes.

Las conmociones llamaron la atención del exmiembro de la junta de Meta, Peter Thiel, quien renunció a principios de 2022, sin explicación.

En una reunión de la junta antes de irse, Thiel le dijo a Zuckerberg y a sus ejecutivos que estaban satisfechos con el negocio principal de las redes sociales de Meta mientras se enfocaban demasiado en el metaverso, lo que dijo que dejaba a la compañía vulnerable a un desafío de TikTok, según dos personas familiarizadas. con el asunto intercambio.

Meta se negó a comentar sobre la conversación.

Después de desconectar un lanzamiento a gran escala del chip de inferencia personalizado de Meta, que estaba planeado para 2022, los ejecutivos cambiaron de rumbo y realizaron pedidos por miles de millones de dólares en GPU Nvidia, dijo una de las fuentes.

Meta se negó a comentar sobre el asunto.

Para entonces, Meta ya estaba rezagada con respecto a sus pares como Google, que comenzó a publicar su propia versión de GPU diseñada a medida, llamada TPU, en 2015.

Los ejecutivos de esa primavera también se propusieron reorganizar las unidades de Meta AI, nombrando a dos nuevos jefes de ingeniería en el proceso, incluido Janardan, autor del memorando de septiembre.

Más de una docena de ejecutivos abandonaron el Meta durante los meses de agitación, según sus perfiles de LinkedIn y una fuente familiarizada con las salidas, una reorganización casi total del liderazgo en infraestructura de IA.

Luego, Meta comenzó a remodelar sus centros de datos para acomodar las GPU entrantes, que consumen más energía y producen más calor que las CPU, y que deben agruparse estrechamente con redes especializadas entre ellas.

Las instalaciones requerían entre 24 y 32 veces la capacidad de la red y nuevos sistemas de refrigeración líquida para gestionar el calor de los grupos, lo que requería un “rediseño completo”, según el memorando de Janardan y cuatro fuentes familiarizadas con el proyecto, cuyos detalles no se conocieron previamente. revelado. una declaración.

Con el trabajo en marcha, Meta hizo planes internos para comenzar a desarrollar un nuevo chip interno más ambicioso que, al igual que la GPU, sería capaz de entrenar modelos de IA y realizar inferencias. Dos fuentes dijeron que el proyecto, del que no se ha informado anteriormente, está programado para completarse alrededor de 2025.

Carville, un vocero de Meta, dijo que la construcción del centro de datos que se detuvo durante la transición a los nuevos diseños se reanudará más adelante este año. Se negó a comentar sobre el proyecto de diapositivas.

Si bien aumenta la capacidad de la GPU, Meta, por ahora, no tiene mucho que mostrar, ya que competidores como Microsoft y Google están promocionando el lanzamiento público de productos comerciales de IA.

La directora financiera, Susan Lee, admitió en febrero que Meta no ha dedicado gran parte de sus cuentas actuales al trabajo generativo y dijo que “todas nuestras capacidades de IA se destinan a anuncios, feeds y carretes”, un formato de video corto similar a TikTok que es popular entre los usuarios más jóvenes.

Según cuatro de las fuentes, Meta no priorizó la creación de productos de inteligencia artificial generativa hasta después del lanzamiento de ChatGPT en noviembre. Aunque FAIR Research Lab, o Facebook AI Research, ha estado publicando prototipos de la tecnología desde finales de 2021, la empresa no se ha centrado en convertir su respetada investigación en productos.

Con el creciente interés de los inversores, eso está cambiando. Zuckerberg anunció un nuevo equipo de inteligencia artificial de alto perfil en febrero que, según dijo, “sobrealimentaría” el trabajo de la compañía en la región.

De manera similar, el CTO Andrew Bosworth dijo este mes que la IA generativa es el área en la que él y Zuckerberg pasan más tiempo, y esperan que Meta lance un producto este año.

Dos personas familiarizadas con el nuevo equipo dijeron que su trabajo estaba en sus inicios y se centró en construir un modelo base, que es un software básico que luego se puede modificar y adaptar a diferentes productos.

Carvill, un vocero de Meta, dijo que la compañía ha estado construyendo productos de inteligencia artificial generativa en varios equipos durante más de un año. Confirmó que el trabajo se aceleró en los meses posteriores a la llegada de ChatGPT.