Skip to content

Latest commit

 

History

History
546 lines (432 loc) · 25.3 KB

README.md

File metadata and controls

546 lines (432 loc) · 25.3 KB

ThemisDB Dokumentations-Index

📝 Hinweis zur Dokumentationssprache
Dies ist die maßgebliche und aktuellste Dokumentation von ThemisDB.
Übersetzungen sind in anderen Sprachen verfügbar: English | Français | Español | 日本語

Stand: 5. Januar 2026
Version: 1.4.0-alpha (Erweiterte LLM-Features)
Typ: Dokumentations-Index
Sprache: Deutsch (Hauptdokumentation)

🚀 NEU in v1.4.0-alpha: Erweiterte LLM-Funktionen ✅

AI direkt in der Datenbank mit erweiterten Fähigkeiten - ohne externe API-Kosten!

Neue Features in v1.4.0-alpha

  • 📝 Grammatik-gesteuerte Generierung - EBNF/GBNF-Unterstützung für garantiert valide Ausgaben (95-99% Zuverlässigkeit vs. 60-70%)
    • Eingebaute Grammatiken: JSON, XML, CSV, ReAct Agent
    • Thread-sicherer Grammar-Cache mit LRU-Verdrängung
    • Keine Nachbearbeitung erforderlich
  • 🔭 RoPE Scaling - Erweitertes Kontextfenster von 4K → 32K Tokens (8-fache Vergrößerung)
    • Skalierungsmethoden: Linear, NTK-aware, YaRN
    • Verarbeitung ganzer Forschungspapiere und Codebases
  • 🖼️ Vision Support - Multi-modale LLMs mit CLIP-basierter Bildcodierung
    • LLaVA-Integration für Bildanalyse
    • Unterstützung für einzelne und mehrere Bilder
  • ⚡ Flash Attention - CUDA-Kernel für 15-25% Geschwindigkeitssteigerung, 30% Speicherreduktion
    • Optimierter Attention-Mechanismus
    • Backward Pass für Training-Unterstützung
  • 🎯 Speculative Decoding - 2-3x schnellere Inferenz mit Draft+Target-Modellen
  • 🔄 Continuous Batching - 2x+ Durchsatz mit dynamischem Request-Batching

Dokumentation (v1.4.0-alpha)

🚀 LLM-Integration (Optionales Feature) - v1.3.0 Basis

Wichtig: LLM-Integration ist ein optionales Feature in v1.3.0+:

  • Erfordert Build-Flag: -DTHEMIS_ENABLE_LLM=ON
  • Benötigt externe Abhängigkeit: llama.cpp (separat klonen)
  • Siehe Build Guide für Setup-Anweisungen

ThemisDB kann als erste Multi-Model-Datenbank mit eingebetteter LLM-Engine erweitert werden:

Kernfunktionen (v1.3.0)

  • 🧠 Embedded llama.cpp - SLMs/LLMs (1B-70B Parameter) direkt auf GPU ✅
  • ⚡ GPU Acceleration - Signifikanter Speedup mit NVIDIA CUDA support ✅
  • 💾 PagedAttention - Optimierte Memory-Verwaltung ✅
  • 🎯 Continuous Batching - Mehrere concurrent requests ✅
  • 🔧 Kernel Fusion - CUDA kernels für zusätzlichen Speedup ✅
  • 📊 Production Monitoring - Grafana/Prometheus Integration ✅
  • 🔌 Plugin Architecture - Extensible LLM backend system ✅
  • 🌐 RPC Framework - Inter-Shard Communication für distributed LLM ops ✅
  • 🖼️ Image Analysis Plugins - Multi-backend AI (llama.cpp Vision, ONNX CLIP, OpenCV DNN) ✅

Network Protocol Enhancements (v1.3.0)

  • 🌐 HTTP/2 with Server Push - CDC/Changefeed mit proaktiver Event-Delivery (~0ms Latenz) ✅
  • 🔌 WebSocket Support - CDC streaming mit bidirektionaler Echtzeit-Kommunikation ✅
  • 📡 MQTT Broker - WebSocket transport, Rate limiting, Monitoring-Metriken ✅
  • 🚀 HTTP/3 Base - QUIC-basierte Implementierung (ngtcp2 + nghttp3) 🚧
  • 🐘 PostgreSQL Wire Protocol - SQL-to-Cypher Translation für BI-Tool Kompatibilität ✅
  • 🤖 MCP Server - Model Context Protocol mit cross-platform Support ✅

Performance Metrics (mit GPU)

  • Signifikanter Speedup mit GPU vs CPU-only
  • Memory-Ersparnis mit PagedAttention
  • Zusätzliche Optimierung mit Kernel Fusion
  • Umfassende Test Coverage mit Unit Tests

GPU-Tier Empfehlungen

GPU-Tier Hardware Model Use Case Kosten/1M Tokens vs. GPT-4
Entry RTX 4060 Ti (16GB) Phi-3-Mini (3.8B) FAQ, einfache RAG €0.02 1500x günstiger
Mid-Range RTX 4090 (24GB) Mistral-7B Production RAG €0.05 600x günstiger
High-End A100 (80GB) Llama-3-70B Enterprise Scale €0.15 200x günstiger

Break-Even vs. Hyperscaler: 2-7 Monate je nach Hardware-Tier

Dokumentation (v1.3.0)

📁 Dokumentations-Struktur (Neu Organisiert)

Die Dokumentation wurde neu strukturiert für bessere Übersichtlichkeit:

Root-Dokumente (nur essentials):

  • README.md - Hauptdokumentation
  • index.md - Dokumentations-Index
  • glossary.md - Terminologie

Organisierte Ordner:

  • aql/ - AQL Grammatik (EBNF) ⭐ v1.3.0
  • reports/ - Build & Code Reviews - Build-Reports, Code-Reviews, Analyse-Berichte ⭐ NEU
  • guides/ - Setup & Build-Guides - Quickstart, Docker, Windows, VS Code Setup ⭐ NEU
  • releases/ - Release-Planung - RC-Checklisten, Roadmaps ⭐ NEU
  • performance/ - Performance-Optimierung - Cache, Query, Library Optimizations ⭐ NEU
  • implementation/ - Implementierungs-Summaries - Feature-Implementierungen (AQL, LoRA, etc.) ⭐ NEU
  • features/ - Feature-Dokumentation - Cloud Storage, CRON, gRPC, TLS, etc. ⭐ NEU
  • phase_reports/ - Projekt-Phasen - Phase 3-6 Zusammenfassungen ⭐ NEU
  • security/ - Security Hardening - Security Summaries & Analysen ⭐ NEU
  • lora/ - LoRA-Stabilisierung - LoRA-spezifische Analysen & Pläne ⭐ NEU
  • architecture/ - Architektur-Dokumentation - Vector Indexing, etc. ⭐ NEU
  • reference/ - Referenz-Dokumentation - Dependencies, Sources ⭐ NEU
  • build/ - Build-System-Dokumentation (BUILD-SYSTEM.md, BUILDGUIDE.md, etc.)
  • development/ - Entwicklungs-Dokumentation (IMPLEMENTATION-.md, CODE_REVIEW-.md)
  • stakeholder/ - Stakeholder-Dokumentation
  • llm/ - LLM & AI Integration ⭐ v1.3.0 RELEASED
  • plugins/ - RPC Framework ⭐ v1.3.0
  • archive/ - Alte/historische Dokumentation

🔮 COMING SOON - v1.1.0 Optimization Release (Q1 2026):

Fokus: Bestehende Libraries besser nutzen + vLLM Co-Location
Highlights:

  • ✅ RocksDB TTL, Incremental Backup, Stats (keine neue Lib!)
  • ✅ TBB Parallel Sort, Concurrent Containers (keine neue Lib!)
  • ✅ Arrow Parquet Export (keine neue Lib!)
  • ✅ CUDA als Kernbestand (wenn GPU verfügbar, NICHT Enterprise!)
  • ✅ 🆕 ThemisDB + vLLM Synergie (optimierte CPU/GPU/RAM Koordination)
  • ✅ mimalloc (einzige neue Dependency, 20-40% Memory Boost)

Engineering: 9-11 Wochen | Impact: 3-10x Performance
Details: v1.1.0 Variant Strategy

🚀 PLANNED - v1.2.0 Enterprise Features (Q2 2026):

Fokus: vLLM AI Support (LoRA), Geo-Spatial (PostGIS), IoT/Timescale
Highlights:

  • ✅ LoRA Manager - Multi-Tenant LoRA Serving (HuggingFace PEFT)
  • ✅ FAISS Advanced - IVF+PQ Vector Search (bereits integriert, erweitern!)
  • ✅ GEOS + PROJ - PostGIS Compatibility (Topology + Geography)
  • ✅ Hypertables - TimescaleDB-kompatibel via RocksDB CF (nur Code!)
  • ✅ cuSpatial - GPU Geo Ops (optional, nutzt Arrow + CUDA)

Engineering: 12-16 Wochen | Impact: PostGIS + LoRA + TimescaleDB Compatibility
Details: Enterprise Features Strategy

📚 Haupt-Dokumentation

Übersichtsdokumente

🎯 Nach Zielgruppe

Für Stakeholder & Management

Für Entwickler

Für DevOps & Operations

Für Security & Compliance

🏗️ Nach Architektur-Ebene

Query & Analytics Layer

Storage & Index Layer

Distribution & Scaling Layer

Acceleration Layer

  • GPU Acceleration Plan - 10 GPU Backends (173K LOC)
    • CUDA, Vulkan, FAISS, DirectX, HIP, OpenCL, OneAPI, ZLUDA

Content & Data Processing

Server & API Layer

Security & Governance Layer

🚀 Quick Start Guides

Installation & Deployment

Getting Started

📖 Referenz-Dokumentation

Client SDKs

Data Import/Export

Plugin Development

🔧 Administration & Operations

Admin Tools

Operations Guides

Performance & Monitoring

📊 Reports & Status

Development Reports

Status Reports

Roadmap & Planning

📦 Integration & Ingestion

Data Ingestion

Enterprise Integration

🔍 Source Code Dokumentation

Gesamtstatus Produktionsbereitschaft

ThemisDB verfügt über 42 produktionsreife Module, 1 Release-Candidate-Modul und 1 Beta-Modul im gesamten Quellcode-Baum. Der gesamte Core-Datenpfad und alle KI/LLM-Ebenen sind produktionsbereit.

Stufe Anzahl Module
Produktionsreif 42 42 von 44 Modulen — alle außer security und sharding
Release-Candidate 1 security
Beta 1 sharding

Module Documentation (src/)

Alle 44 ThemisDB-Module mit vollständiger Dokumentation direkt in den Source-Verzeichnissen:

Dokumentation pro Modul in ../../src/<module>/:

  • README.md - Modul-Übersicht, Architektur, APIs
  • FUTURE_ENHANCEMENTS.md - Geplante Features & Verbesserungen (falls vorhanden)

Header-Dokumentation in ../../include/<module>/:

  • README.md - Header-Dokumentation und API-Referenz

Module nach Kategorie:

  • acceleration 🟢 - GPU/CPU Backends (CUDA, Vulkan)
  • analytics 🟢 - OLAP, CEP, Process Mining (57K LOC)
  • api 🟢 - GraphQL, Geo Hooks, HTTP API
  • aql 🟢 - AQL-Sprachengine, Multi-Paradigma-Abfragen
  • auth 🟢 - JWT, RBAC, Enterprise SSO/MFA
  • base 🟢 - Grundlegende Abstraktionen
  • cache 🟢 - Semantischer Cache, Abfrageergebnis-Cache
  • cdc 🟢 - Change Data Capture, Changefeeds
  • chimera 🟢 - Hybride Multi-Modell-Schicht
  • config 🟢 - Konfigurationsverwaltung
  • content 🟢 - 15 Dateiformat-Prozessoren (256K LOC)
  • core 🟢 - Core-Datenbank-Runtime
  • exporters 🟢 - Datenexport (JSONL, LLM-Formate)
  • geo 🟢 - Geospatiale Abfragen und Indizierung
  • governance 🟢 - Policy Engine, Compliance-Governance
  • gpu 🟢 - GPU-Compute-Integration
  • graph 🟢 - Property-Graph-Abfragen und -Traversal
  • importers 🟢 - Datenimport (PostgreSQL u. a.)
  • index 🟢 - HNSW, R-Baum, adaptive Indizierung (400K LOC)
  • ingestion 🟢 - Datenaufnahme-Pipeline
  • llm 🟢 - LLM-Interaktionsspeicher, Chain-of-Thought
  • metadata 🟢 - Metadatenverwaltung und -katalog
  • network 🟢 - Netzwerkschicht und Peer-Kommunikation
  • observability 🟢 - Metriken, Tracing und Logging
  • performance 🟢 - Benchmarking und Leistungsoptimierung
  • plugins 🟢 - Plugin-System-Infrastruktur
  • prompt_engineering 🟢 - LLM-Prompt-Verwaltung
  • query 🟢 - AQL-Optimierer, kostenbasierter Planer, Ausführungsengine (240K LOC)
  • rag 🟢 - Retrieval-Augmented Generation Pipeline
  • replication 🟢 - Raft-basierte Replikation (12K LOC)
  • scheduler 🟢 - Aufgaben- und Job-Planung
  • search 🟢 - Volltext- und Hybrid-Suche
  • security 🟡 RC - Verschlüsselung, Schlüsselverwaltung, PKI-Integration (187K LOC)
  • server 🟢 - HTTP-Server, API-Handler (164K LOC)
  • sharding 🟡 Beta - Horizontale Skalierung, VCC-URN, Gossip (300K LOC)
  • storage 🟢 - RocksDB-Wrapper, MVCC, Backup/Recovery (76K LOC)
  • temporal 🟢 - Temporale und bitemporale Datenverwaltung
  • themis 🟢 - Core ThemisDB-Orchestrierungsschicht
  • timeseries 🟢 - Zeitreihendatenverwaltung, Gorilla-Kompression (39K LOC)
  • training 🟢 - ML-Modell-Training-Integration
  • transaction 🟢 - SAGA-Muster, verteilte Transaktionen (42K LOC)
  • updates 🟢 - Schema- und Daten-Update-Verwaltung
  • utils 🟢 - Gemeinsame Hilfsfunktionen (120K LOC)
  • voice 🟢 - Sprach-Abfrage-Schnittstelle

🎓 Weitere Ressourcen

External Links

Benchmarking & Performance

Release Documentation

📝 Dokumentations-Standards

Format & Struktur

  • Format: Markdown (.md)
  • Encoding: UTF-8
  • Line Endings: LF (Unix-style)
  • Code Blocks: Sprache immer angeben
  • Links: Relative Pfade verwenden

Contributing

  1. Struktur folgen - Docs im passenden Unterverzeichnis platzieren
  2. Proper verlinken - Relative Links zu anderen Dokumenten
  3. README updaten - Relevante README.md-Dateien aktualisieren
  4. Markdown-Style - Style Guide befolgen
  5. Aktuell halten - Docs bei Feature-Änderungen updaten

Build-Prozess

# Dependencies installieren
pip install -r requirements-docs.txt

# Dokumentation bauen
.\build-docs.ps1

# Lokal testen
mkdocs serve

Dokumentation wird automatisch zu GitHub Pages deployt bei Merge zu main.

📞 Support & Community

📊 Dokumentations-Statistiken

Metrik Wert
Dokumentationsdateien 887+
Dokumentationsordner 71+
Source-Code LOC 90.829+
Source Files 191+ (.cpp)
Header Files 132+ (.h)
Module 44
Produktionsreife Module 42 🟢
Release-Candidate Module 1 🟡
Beta Module 1 🟡

Version: 1.5.0
Last Updated: 8. März 2026
License: See LICENSE