Citaciones: ¿Puede la nueva función de Anthropic resolver el problema de confianza de la IA?

La verificación de la IA ha sido un problema grave durante un tiempo. Mientras que los grandes modelos de lenguaje (LLM) han avanzado a un ritmo increíble, el desafío de probar su precisión ha permanecido sin resolver.

Anthropic está tratando de resolver este problema, y de todas las grandes empresas de IA, creo que tienen la mejor oportunidad.

La empresa ha lanzado Citations, una nueva función de API para sus modelos Claude que cambia la forma en que los sistemas de IA verifican sus respuestas. Esta tecnología divide automáticamente los documentos de origen en fragmentos digeribles y enlaza cada afirmación generada por la IA con su fuente original, similar a cómo los artículos académicos citan sus referencias.

Citations está tratando de resolver uno de los desafíos más persistentes de la IA: probar que el contenido generado es preciso y confiable. En lugar de requerir ingeniería de prompts compleja o verificación manual, el sistema procesa automáticamente los documentos y proporciona verificación de fuente a nivel de oración para cada afirmación que hace.

Los datos muestran resultados prometedores: una mejora del 15% en la precisión de las citaciones en comparación con los métodos tradicionales.

Por qué esto es importante ahora

La confianza en la IA se ha convertido en la barrera crítica para la adopción empresarial (así como para la adopción individual). A medida que las organizaciones se mueven más allá del uso experimental de la IA hacia operaciones centrales, la incapacidad para verificar las salidas de la IA de manera eficiente ha creado un cuello de botella significativo.

Los sistemas de verificación actuales revelan un problema claro: las organizaciones se ven obligadas a elegir entre velocidad y precisión. Los procesos de verificación manual no se escalan, mientras que las salidas de la IA no verificadas conllevan demasiado riesgo. Este desafío es particularmente agudo en industrias reguladas donde la precisión no es solo preferida, sino requerida.

El momento de Citations llega en un momento crucial del desarrollo de la IA. A medida que los modelos de lenguaje se vuelven más sofisticados, la necesidad de verificación integrada ha crecido proporcionalmente. Necesitamos construir sistemas que puedan ser desplegados con confianza en entornos profesionales donde la precisión es innegociable.

Desglose de la arquitectura técnica

La magia de Citations radica en su enfoque de procesamiento de documentos. Citations no es como otros sistemas de IA tradicionales. Estos suelen tratar los documentos como simples bloques de texto. Con Citations, la herramienta divide los materiales de origen en lo que Anthropic llama “fragmentos”. Estos pueden ser oraciones individuales o secciones definidas por el usuario, lo que crea una base granular para la verificación.

Aquí está el desglose técnico:

Procesamiento y manejo de documentos

Citations procesa los documentos de manera diferente según su formato. Para archivos de texto, no hay límite efectivo más allá del límite estándar de 200,000 tokens para solicitudes totales. Esto incluye su contexto, prompts y los documentos en sí.

El manejo de PDF es más complejo. El sistema procesa los PDF visualmente, no solo como texto, lo que lleva a algunas limitaciones clave:

• Límite de tamaño de archivo de 32MB
• Máximo 100 páginas por documento
• Cada página consume 1,500-3,000 tokens

Gestión de tokens

Ahora, pasando al lado práctico de estos límites. Cuando trabaja con Citations, debe considerar su presupuesto de tokens con cuidado. Aquí está cómo se desglosa:

Para texto estándar:

• Límite de solicitud completa: 200,000 tokens
• Incluye: Contexto + prompts + documentos
• No hay cargo adicional por las salidas de citaciones

Para PDF:

• Mayor consumo de tokens por página
• Sobrecarga de procesamiento visual
• Cálculo de tokens más complejo necesario

Citations vs RAG: Diferencias clave

Citations no es un sistema de Generación aumentada de recuperación (RAG) – y esta distinción es importante. Mientras que los sistemas RAG se centran en encontrar información relevante desde una base de conocimientos, Citations trabaja con la información que ya ha seleccionado.

Piénselo de esta manera: RAG decide qué información utilizar, mientras que Citations garantiza que la información se utilice con precisión. Esto significa:

• RAG: Maneja la recuperación de información
• Citations: Gestiona la verificación de información
• Potencial combinado: Ambos sistemas pueden trabajar juntos

Esta elección de arquitectura significa que Citations sobresale en precisión dentro de los contextos proporcionados, mientras deja las estrategias de recuperación a sistemas complementarios.

Vías de integración y rendimiento

La configuración es sencilla: Citations se ejecuta a través de la API estándar de Anthropic, lo que significa que si ya está utilizando Claude, está a medio camino. El sistema se integra directamente con la API de Mensajes, eliminando la necesidad de almacenamiento de archivos separado o cambios de infraestructura complejos.

La estructura de precios sigue el modelo basado en tokens de Anthropic con una ventaja clave: mientras paga por tokens de entrada de documentos de origen, no hay cargo adicional por las salidas de citaciones en sí. Esto crea una estructura de costos predecible que se escala con el uso.

Las métricas de rendimiento cuentan una historia convincente:

• Mejora del 15% en la precisión general de las citaciones
• Eliminación completa de alucinaciones de fuente (de 10% de ocurrencia a cero)
• Verificación a nivel de oración para cada afirmación

Las organizaciones (y los individuos) que utilizan sistemas de IA no verificados se encuentran en desventaja, especialmente en industrias reguladas o entornos de alto riesgo donde la precisión es crucial.

Mirando hacia adelante, es probable que veamos:

• Integración de características similares a Citations como estándar
• Evolución de los sistemas de verificación más allá del texto a otros medios
• Desarrollo de estándares de verificación específicos de la industria

La industria en su conjunto realmente necesita replantear la confiabilidad y verificación de la IA. Los usuarios necesitan llegar a un punto en el que puedan verificar cada afirmación con facilidad.