El software Nvidia NeMo Guardrails evita que los chatbots inteligentes ‘alucinen’

nvidia El nuevo software anunciado el martes ayudará a los fabricantes de software a evitar que los modelos de inteligencia artificial indiquen hechos incorrectos, hablen sobre temas maliciosos o abran brechas de seguridad.

El software, llamado NeMo Guardrails, es un ejemplo de cómo la industria de la IA está luchando para abordar el problema de las “alucinaciones” con la última generación de modelos de lenguaje grande, que son un punto de bloqueo importante para las empresas.

Modelos de idiomas grandes, como GPT de microsoftSoporta OpenAI y LaMDA GoogleEstán capacitados en terabytes de datos para crear programas que pueden escupir bloques de texto que se leen como los escribiría un humano. Pero también tienden a inventar cosas, lo que los practicantes a menudo llaman “alucinaciones”. Las primeras aplicaciones de la tecnología, como resumir documentos o responder preguntas básicas, necesitaban reducir las alucinaciones para ser útiles.

El nuevo software de Nvidia puede hacer esto agregando firewalls para evitar que el software procese problemas que no debería. NeMo Guardrails puede obligar a los chatbots LLM a hablar sobre un tema específico, evitar contenido tóxico y puede evitar que los sistemas LLM ejecuten comandos maliciosos en la computadora.

“Puedes escribir un guión que diga: ‘Si alguien habla sobre este tema, no importa qué, responda de esa manera'”, dijo Jonathan Cohen, vicepresidente de investigación aplicada de Nvidia. “No tiene que confiar en que el modelo de lenguaje seguirá una directiva o seguirá sus instrucciones. En realidad, está codificado en la lógica de implementación del sistema de barandas lo que sucederá”.

El anuncio también destaca la estrategia de Nvidia para mantener su liderazgo en el mercado de chips de IA mediante el desarrollo simultáneo de un importante software de aprendizaje automático.

Nvidia proporciona los procesadores de gráficos que miles necesitan para entrenar e implementar programas como ChatGPT. Nvidia tiene más del 95% del mercado de chips de IA, según los analistas, pero la competencia se está calentando.

NeMo Guardrails es una capa de software que se encuentra entre el usuario y el modelo de lenguaje grande u otras herramientas de IA. Evita malos resultados o malos reclamos antes de que el formulario los escupa.

Nvidia ha sugerido un chatbot de servicio al cliente como un posible caso de uso. Los desarrolladores pueden usar el software de Nvidia para evitar que hable sobre temas fuera de tema o “se salga del camino”, lo que aumenta la posibilidad de una respuesta irracional o incluso tóxica.

“Si tiene un chatbot de servicio al cliente, diseñado para hablar sobre sus productos, probablemente no quiera que responda preguntas sobre nuestros competidores”, dijo Cohen de Nvidia. “Quieres monitorear la conversación. Y si eso sucede, diriges la conversación a los temas que más te gustan”.

Nvidia proporcionó otro ejemplo de un chatbot que respondió a las preguntas internas de recursos humanos de la empresa. En este ejemplo, Nvidia pudo agregar “cortafuegos” para que el bot basado en ChatGPT no respondiera preguntas sobre el desempeño financiero típico de la empresa ni accediera a datos privados sobre otros empleados.

El programa también puede usar un LLM para detectar alucinaciones al pedirle a otro LLM que verifique la respuesta del primer LLM. Luego devuelve “No sé” si el formulario no devuelve respuestas idénticas.

Nvidia también dijo el lunes que el software de barandilla ayuda con la seguridad y puede obligar a los modelos LLM a interactuar solo con software de terceros en una lista permitida.

NeMo Guardrails es de código abierto y lo ofrece Nvidia Services y puede usarse en aplicaciones comerciales. Nvidia dijo que los programadores usarán el lenguaje de programación Golang para escribir reglas personalizadas para el modelo de IA.

Otras empresas de inteligencia artificial, incluidas Google y OpenAI, han utilizado un método llamado aprendizaje reforzado a partir de comentarios humanos para evitar resultados maliciosos de las aplicaciones LLM. Este método utiliza evaluadores humanos que generan datos sobre respuestas aceptables o inaceptables y luego entrenan un modelo de IA utilizando esos datos.

Nvidia está prestando cada vez más atención a la IA, ya que actualmente domina los chips utilizados para crear la tecnología. Montar la ola de la inteligencia artificial lo ha convertido en el mayor ganador en el S&P 500 en lo que va de 2023, con un aumento del 85% en las acciones hasta el lunes.