¿Puede la nueva función de Anthropic resolver el problema de confianza de la IA?

La verificación por IA ha sido un problema serio desde hace un tiempo. modelos de lenguaje grande (LLM) han avanzado a un ritmo increíble, el desafío de demostrar su precisión sigue sin resolverse.

Antrópico está tratando de resolver este problema y, de todas las grandes empresas de IA, creo que son las que tienen más posibilidades.

La empresa ha lanzado Citaciones, una nueva función API para su Modelos de claude Esto cambia la forma en que los sistemas de IA verifican sus respuestas. Esta tecnología divide automáticamente los documentos fuente en fragmentos digeribles y vincula cada declaración generada por IA con su fuente original, de manera similar a cómo los artículos académicos citan sus referencias.

Citations intenta resolver uno de los desafíos más persistentes de la IA: demostrar que el contenido generado es preciso y fiable. En lugar de requerir ingeniería rápida y compleja o verificación manual, el sistema procesa automáticamente los documentos y proporciona verificación de la fuente a nivel de oración para cada afirmación que realiza.

Los datos muestran resultados prometedores: una mejora del 15% en la precisión de las citas en comparación con los métodos tradicionales.

Por qué esto es importante ahora mismo

La confianza en la IA se ha convertido en una barrera crítica para la adopción empresarial (así como para la adopción individual). A medida que las organizaciones van más allá del uso experimental de la IA y pasan a las operaciones centrales, la incapacidad de verificar los resultados de la IA de manera eficiente ha creado un importante cuello de botella.

Los sistemas de verificación actuales revelan un problema claro: las organizaciones se ven obligadas a elegir entre velocidad y precisión. Los procesos de verificación manual no son escalables, mientras que los resultados de IA no verificados conllevan demasiado riesgo. Este desafío es particularmente agudo en las industrias reguladas donde la precisión no solo es preferible, sino que es necesaria.

El momento de las citas llega en un momento crucial en el desarrollo de la IA. A medida que los modelos de lenguaje se vuelven más sofisticados, la necesidad de una verificación integrada ha crecido proporcionalmente. Necesitamos construir sistemas que se puedan implementar con confianza en entornos profesionales donde la precisión no es negociable.

Desglosando la arquitectura técnica

La magia de Citations reside en su método de procesamiento de documentos. Citations no es como otros sistemas de inteligencia artificial tradicionales, que suelen tratar los documentos como simples bloques de texto. Con Citations, la herramienta divide los materiales de origen en lo que Anthropic llama "fragmentos". Estos pueden ser oraciones individuales o secciones definidas por el usuario, que crean una base granular para la verificación.

Aquí está el desglose técnico:

Procesamiento y manejo de documentos

Citations procesa los documentos de forma diferente según su formato. En el caso de los archivos de texto, no existe prácticamente ningún límite más allá del límite estándar de 200,000 XNUMX tokens para las solicitudes totales. Esto incluye el contexto, las indicaciones y los documentos en sí.

El manejo de archivos PDF es más complejo. El sistema procesa los archivos PDF visualmente, no solo como texto, lo que genera algunas limitaciones clave:

• Límite de tamaño de archivo de 32 MB
• Máximo 100 páginas por documento
• Cada página consume entre 1,500 y 3,000 tokens

Gestión de tokens

Ahora, pasemos al aspecto práctico de estos límites. Cuando trabaje con citas, debe considerar cuidadosamente su presupuesto de tokens. A continuación, se muestra cómo se desglosa:

Para texto estándar:

• Límite de solicitud completo: 200,000 fichas
• Incluye: Contexto + indicaciones + documentos
• No hay ningún cargo por separado para las salidas de citas

Para archivos PDF:

• Mayor consumo de tokens por página
• Procesamiento visual por encima de la cabeza
• Se necesita un cálculo de token más complejo

Citas vs. RAG: Diferencias clave

Las citas no son una Recuperación de Generación Aumentada (RAG) Sistema – y esta distinción es importante. Mientras que los sistemas RAG se centran en encontrar información relevante de una base de conocimientos, Citations trabaja con información que ya ha seleccionado.

Piénsalo de esta manera: RAG decide qué información utilizar, mientras que Citations garantiza que la información se utilice con precisión. Esto significa:

• TRAPO: Maneja la recuperación de información
• Citas: Gestiona la verificación de la información
• Potencial combinado: Ambos sistemas pueden trabajar juntos

Esta elección de arquitectura significa que Citations se destaca por su precisión dentro de los contextos proporcionados, mientras deja las estrategias de recuperación a sistemas complementarios.

Rutas de integración y desempeño

La configuración es sencilla: Las citas se ejecutan a través de API estándar de Anthropic, lo que significa que si ya usa Claude, ya está a medio camino de lograrlo. El sistema se integra directamente con la API de mensajes, lo que elimina la necesidad de almacenamiento de archivos por separado o cambios complejos en la infraestructura.

La estructura de precios sigue el modelo de tokens de Anthropic, con una ventaja clave: si bien se paga por los tokens de entrada de los documentos fuente, no hay ningún cargo adicional por las citas generadas. Esto crea una estructura de costos predecible que se adapta al uso.

Las métricas de rendimiento cuentan una historia convincente:

• Mejora del 15% en la precisión general de las citas
• Eliminación completa de las alucinaciones fuente (de una incidencia del 10% a cero)
• Verificación a nivel de oración para cada afirmación

Las organizaciones (y los individuos) que utilizan sistemas de IA no verificados se encuentran en desventaja, especialmente en industrias reguladas o entornos de alto riesgo donde la precisión es crucial.

De cara al futuro, es probable que veamos:

• La integración de características similares a las de Citations se está convirtiendo en un estándar
• Evolución de los sistemas de verificación más allá del texto hacia otros medios
• Desarrollo de estándares de verificación específicos de la industria

Toda la industria necesita repensar la confiabilidad y verificación de la IA. Los usuarios necesitan llegar a un punto en el que puedan verificar cada afirmación con facilidad.