El modelo de “razonamiento” más reciente de OpenAI en errores básicos

Un vídeo de demostración de OpenAI sugiere que el modelo es propenso a errores

Según un vídeo publicado por OpenAI para mostrar los puntos fuertes del modelo, un usuario sube una imagen de una pajarera de madera y luego le pide al modelo algunos consejos sobre cómo construir una similar. El modelo de “razonamiento” parece “pensar” por un momento antes de dar lo que parece ser un conjunto de instrucciones.

Si lo miramos más de cerca , las instrucciones parecen ser una pérdida de tiempo. El modelo mide el material necesario para la tarea, como pintura, pegamento y sellador, pero sólo proporciona las dimensiones del panel frontal de la pajarera.

El modelo sugiere cortar un trozo de papel de lija a otro conjunto de dimensiones que no son necesarias. Además, el modelo afirma que proporciona “las dimensiones exactas”, pero no proporciona dimensiones exactas, contrariamente a sus afirmaciones anteriores.

James Filus, director del Instituto de Carpinteros, un organismo comercial con sede en el Reino Unido, también expuso los errores del modelo, como herramientas necesarias pero que faltan en la lista de o1, por ejemplo un martillo.

"Sabrías tanto sobre cómo construir la pajarera a partir de la imagen como del texto, lo que en cierto modo frustra el propósito de la herramienta de inteligencia artificial".

Filus.

Además, Filus también reveló que el costo de construir la misma pajarera estaría “ni cerca” de los $ 20 a $ 50 que estima el modelo.

El modelo OpenAI hace lo contrario del uso previsto

El caso o1 se suma a otros ejemplos de demostraciones de productos de modelos de IA en las que hacen lo contrario del propósito previsto. En 2023, un anuncio de Google sobre una herramienta de búsqueda asistida por IA indicaba erróneamente que el telescopio James Webb había hecho un descubrimiento que no había hecho. Este error provocó la caída del precio de las acciones de la empresa.

Esto no fue todo por parte del gigante de los motores de búsqueda, ya que recientemente una versión actualizada de una herramienta similar de Google les dijo a los usuarios que era seguro comer piedras . También afirmó que los usuarios podrían usar pegamento para pegar queso a su pizza.

A pesar de los errores, el modelo o1, según los puntos de referencia públicos, sigue siendo el modelo OpenAI más capaz hasta la fecha. También adopta un enfoque diferente al de ChatGPT al responder preguntas.

Según Time, o1 sigue siendo un predictor de la siguiente palabra muy avanzado, ya que fue entrenado mediante aprendizaje automático en miles de millones de palabras de texto de Internet y más allá.

El modelo utiliza una técnica conocida como razonamiento en “cadena de pensamiento” para “pensar” en una respuesta por un momento detrás de escena y da su respuesta solo después de eso. Esto es diferente a simplemente dar palabras en respuesta a una indicación.

Esto ayuda al modelo a dar respuestas más precisas en lugar de un caso en el que simplemente escupe palabras en respuesta a las consultas de los usuarios.

Un sistema paso a paso para iniciar su carrera en Web3 y conseguir trabajos criptográficos bien remunerados en 90 días.