Cómo está construido DerridAI

DerridAI separa los archivos fuente, las revisiones de registros y las decisiones de revisión de los índices y modelos que los usan. Puedes reconstruir un índice o cambiar de modelo y conservar el registro de investigación.

Un corpus, dos recorridos

Sigue los registros hasta su publicación o descubre cómo sustentan una respuesta de investigación.

Corpus y publicación

  1. Material de origen

    Documentos y grabaciones con referencias a páginas, pasajes o intervalos de tiempo.

  2. Registros con historial

    SQLite conserva las revisiones de registros, las aserciones de metadatos y las decisiones de revisión.

  3. Corpus publicado

    Se puede exportar una instantánea inmutable como JSONL o como sitio de investigación.

Los índices de búsqueda se pueden reconstruir a partir del historial de registros.

Flujo de investigación

  1. Índice de búsqueda

    Los índices léxicos y semánticos ayudan a encontrar pasajes pertinentes.

  2. Conjunto de evidencias

    Los pasajes seleccionados conservan los datos de sus fuentes y citas.

  3. Respuesta con citas

    Un modelo sintetiza la evidencia. La vinculación de citas resuelve las referencias a las fuentes.

El navegador y el servidor

Docker Compose inicia una interfaz Vue 3 servida por nginx y un backend FastAPI. La API gestiona la autenticación, el estado del corpus y las tareas en segundo plano. Los proveedores de modelos y un servidor Chroma externo se pueden configurar por separado.

REST gestiona los comandos.

Las cargas, los cambios de revisión, el control de tareas y la publicación pasan por servicios REST autenticados. El servidor comprueba los permisos antes de modificar los datos.

GraphQL ofrece lecturas con tipos definidos.

El servicio GraphQL de solo lectura compone consultas cELF sobre servicios compartidos del servidor. Expone objetos de investigación sin añadir una vía para modificarlos.

WebSocket notifica los cambios.

Los eventos en tiempo real informan sobre las tareas y la actividad del corpus. Los clientes usan REST o GraphQL para actualizar el estado de referencia después de un cambio o una reconexión.

Cómo se almacenan los datos del corpus

El creador de corpus registra fuentes, las extrae o transcribe y vincula los registros con páginas, tramos de texto o intervalos de audio. El enriquecimiento de metadatos propone afirmaciones. Las decisiones de revisión conservan su origen y la evidencia que las respalda.

Estado canónico del corpus

Los archivos fuente y los bloques extraídos conservan su identidad documental. Los registros editables se guardan en una base SQLite por compilación. La publicación y la exportación generan proyecciones JSONL del estado del corpus.

Estado persistente de la aplicación

Bases SQLite separadas guardan la autenticación y los datos operativos, como el historial de tareas, los perfiles de proveedores, las anotaciones y la procedencia. La identidad del registro y los vínculos con la evidencia se mantienen separados del historial de ejecuciones.

Proyecciones reconstruibles

Chroma guarda índices de búsqueda y proyecciones semánticas. Los precedentes de metadatos revisados pueden orientar futuros enriquecimientos. Las respuestas en caché y la memoria de investigación cumplen funciones distintas y se mantienen separadas de los registros de referencia del corpus.

De la recuperación a la cita

Pipeline Studio muestra las etapas de una ejecución y la configuración de cada una. La búsqueda ordena los pasajes por relevancia. Después se puede comprobar si esos pasajes respaldan la interpretación.

Reunir la evidencia.

Combina búsqueda densa y léxica, selección por diversidad, deduplicación y reclasificación opcional. También puedes seleccionar pasajes directamente. El conjunto de evidencia conserva la identidad de las fuentes y los metadatos de las citas durante la generación.

Resolver las citas mediante código.

Cuando los identificadores y las ubicaciones guardados se resuelven con exactitud, el código determinista vincula las citas. El modelo sintetiza el conjunto de evidencia. Se puede comprobar el sustento de la afirmación en el pasaje y en la revisión del registro.

Evaluar la ejecución.

Mantén visibles los ajustes de recuperación y generación para comparar ejecuciones. Comprueba la atribución y la fidelidad a la evidencia junto con la latencia. Una comprobación estructural o de procedencia solo establece la condición que evaluó.

Qué se puede configurar

Los esquemas de metadatos, los flujos con control de versiones y los perfiles de proveedores permiten adaptar el trabajo. Los registros conservan identidades estables cuando cambian las opciones de procesamiento.

Proveedores y análisis

Usa un servicio local de Ollama o uno compatible con OpenAI. Las herramientas opcionales de inteligencia documental aportan anotaciones lingüísticas derivadas, como entidades y atribución de citas. Estas anotaciones pueden orientar el análisis sin cambiar la autoridad de la fuente.

Publicación e integración

Exporta una instantánea portátil del corpus con el SDK para navegador o usa la API de lectura tipada desde un cliente propio. La instantánea publicada representa un estado concreto del corpus y se puede servir por separado de la aplicación principal.

Límite de despliegue

Las tareas en segundo plano se ejecutan en un proceso de la API. Su historial es persistente, mientras que las notificaciones en tiempo real y la ejecución en curso son locales al proceso. La arquitectura actual no coordina tareas activas entre varios procesos de la API.