Google concibe un sistema de consulta similar a GPT-3, sin resultados de búsqueda

Un nuevo artículo de investigación de cuatro investigadores de Google propone un sistema ‘experto’ capaz de responder autoritativamente a las preguntas de los usuarios sin presentar una lista de resultados de búsqueda posibles, similar al paradigma de preguntas y respuestas que ha llegado a la atención del público a través del advenimiento de GPT-3 en el último año.

El artículo, titulado Rethinking Search: Making Experts out of Dilettantes, sugiere que el estándar actual de presentar al usuario con una lista de resultados de búsqueda en respuesta a una consulta es una ‘carga cognitiva’, y propone mejoras en la capacidad de un sistema de procesamiento de lenguaje natural (NLP) para proporcionar una respuesta autoritativa y definitiva.

Bajo el modelo propuesto de un ‘experto’, oráculo de dominio cruzado, las miles de fuentes de resultados de búsqueda posibles se integrarán en un modelo de lenguaje en lugar de estar disponibles explícitamente como un recurso exploratorio para que los usuarios los evalúen y naveguen por sí mismos. Fuente: https://arxiv.org/pdf/2105.02274.pdf

El artículo, liderado por Donald Metzler en Google Research, propone mejoras en el tipo de respuestas de oráculo de dominio múltiple que actualmente se pueden obtener de modelos de lenguaje autoregresivos de aprendizaje profundo como GPT-3. Las principales mejoras previstas son a) que el modelo sería capaz de citar con precisión las fuentes que informaron la respuesta, y b) que el modelo se impediría ‘hallucinar‘ respuestas o inventar material de fuente no existente, lo que actualmente es un problema con estas arquitecturas.

Capacidades y entrenamiento de dominio múltiple

Además, el modelo de lenguaje propuesto, caracterizado en el artículo como ‘Un solo modelo para todas las tareas de recuperación de información’, se entrenaría en una variedad de dominios, incluyendo imágenes y texto. También necesitaría una comprensión sobre la procedencia del conocimiento, que falta en arquitecturas de estilo GPT-3.

‘Para reemplazar los índices con un solo modelo unificado, debe ser posible que el modelo en sí tenga conocimiento sobre el universo de identificadores de documentos, de la misma manera que los índices tradicionales. Una forma de lograr esto es alejarse de los modelos de lenguaje tradicionales y hacia modelos de corpus que modelen conjuntamente las relaciones entre términos, términos y documentos, y documentos y documentos.’

En la imagen de arriba, del artículo, tres enfoques en respuesta a una consulta del usuario: izquierda, los modelos de lenguaje implícitos en los resultados de búsqueda algorítmica de Google han elegido y priorizado una ‘mejor respuesta’, pero la han dejado como el resultado superior de muchos. Centro, una respuesta conversacional de estilo GPT-3, que habla con autoridad, pero no justifica sus afirmaciones ni cita fuentes. Derecha, el sistema de experto propuesto incorpora la ‘mejor respuesta’ de los resultados de búsqueda clasificados directamente en una respuesta didáctica, con citas de estilo académico (no representadas en la imagen original) que indican las fuentes que informan la respuesta.

Eliminación de resultados engañosos e inexactos

Los investigadores observan que la naturaleza dinámica y constantemente actualizada de los índices de búsqueda es un desafío para replicar completamente en un modelo de aprendizaje automático de este tipo. Por ejemplo, donde una fuente de confianza una vez se ha entrenado directamente en la comprensión del modelo del mundo, eliminar su influencia (por ejemplo, después de que sea desacreditada) puede ser más difícil que simplemente eliminar una URL de los resultados de búsqueda, ya que los conceptos de datos pueden volverse abstractos y ampliamente representados durante la asimilación en el entrenamiento.

Además, dicho modelo necesitaría ser entrenado continuamente para proporcionar el mismo nivel de respuesta a nuevos artículos y publicaciones como lo proporciona actualmente la búsqueda constante de fuentes de Google. Efectivamente, esto significa un despliegue continuo y automatizado, en contraste con el régimen actual, donde se realizan modificaciones menores en los pesos y la configuración del algoritmo de búsqueda libre, pero el algoritmo en sí generalmente se actualiza con poca frecuencia.

Superficies de ataque para un oráculo de experto centralizado

Un modelo centralizado que asimila y generaliza constantemente nuevos datos podría transformar la superficie de ataque para las consultas de búsqueda.

Actualmente, un atacante puede obtener beneficio al lograr un alto ranking para dominios o páginas que contienen información errónea o código malicioso. Bajo el auspicio de un oráculo ‘experto’ más opaco, la oportunidad de redirigir a los usuarios a dominios de ataque se reduce en gran medida, pero la posibilidad de inyectar ataques de datos venenosos aumenta en gran medida.

Esto se debe a que el sistema propuesto no elimina el algoritmo de clasificación de búsqueda, sino que lo oculta al usuario, efectivamente automatizando la prioridad del resultado superior, y horneándolo (o a ellos) en una declaración didáctica. Los usuarios maliciosos han podido orquestar ataques contra el algoritmo de búsqueda de Google durante mucho tiempo, para vender productos de antivirus falsos, dirigir a los usuarios a dominios que distribuyen malware, o para fines de manipulación política, entre muchos otros casos de uso.

No es AGI

Los investigadores enfatizan que dicho sistema sería poco probable que califique como Inteligencia Artificial General (AGI), y colocan la perspectiva de un respondedor de experto universal en el contexto del procesamiento de lenguaje natural, sujeto a todos los desafíos que estos modelos enfrentan actualmente.

El artículo describe cinco requisitos para una respuesta de ‘alta calidad’:

1: Autoridad
Al igual que con los algoritmos de clasificación actuales, la ‘autoridad’ parece derivarse de la citación de dominios de alta calidad que se consideran autorizados en sí mismos. Los investigadores observan:

‘Las respuestas deben generar contenido extrayendo de fuentes muy autorizadas. Esta es otra razón por la que establecer conexiones más explícitas entre secuencias de términos y metadatos de documentos es tan crucial. Si todos los documentos en un corpus están anotados con una puntuación de autoridad, esa puntuación debe tenerse en cuenta al entrenar el modelo, generar respuestas o ambos.’

Aunque los investigadores no sugieren que los resultados de búsqueda tradicionales se vuelvan indisponibles si un oráculo de experto de este tipo se encuentra performante y popular, todo el artículo presenta el sistema de clasificación tradicional y las listas de resultados de búsqueda, a la luz de un sistema de recuperación de información ‘obsoleto’ de décadas.

‘El hecho de que la clasificación sea un componente crítico de este paradigma es un síntoma del sistema de recuperación que proporciona a los usuarios una selección de posibles respuestas, lo que induce una carga cognitiva bastante significativa en el usuario. El deseo de devolver respuestas en lugar de listas clasificadas de resultados fue uno de los factores motivadores para desarrollar sistemas de respuesta a preguntas. ‘

2: Transparencia
Los investigadores comentan:

‘Siempre que sea posible, la procedencia de la información presentada al usuario debe hacerse disponible para ellos. ¿Es esta la fuente principal de información? Si no, ¿cuál es la fuente principal?’

3: Manejo de sesgo
El artículo señala que los modelos de lenguaje preentrenados están diseñados para no evaluar la verdad empírica, sino para generalizar y priorizar las tendencias dominantes en los datos. Admite que esta directiva abre el modelo a ataques (como ocurrió con el chatbot racista involuntario de Microsoft en 2016), y que se necesitarán sistemas auxiliares para salvaguardar contra tales respuestas sesgadas del sistema.

4: Habilitación de puntos de vista diversos
El artículo también propone mecanismos para garantizar una pluralidad de puntos de vista:

‘Las respuestas generadas deben representar una gama de perspectivas diversas, pero no deben ser polarizantes. Por ejemplo, para consultas sobre temas controvertidos, ambos lados del tema deben cubrirse de manera justa y equilibrada. Esto obviamente tiene una estrecha relación con el sesgo del modelo.’

5: Lenguaje accesible
Además de proporcionar traducciones precisas en casos donde la respuesta autorizada considerada está en un idioma diferente, el artículo sugiere que las respuestas encapsuladas deben estar ‘escritas en términos lo más sencillos posible’.