-
Notifications
You must be signed in to change notification settings - Fork 0
themis docs updates updates_manifest_encryption
Ist es sinnvoll, das Release-Manifest zu verschlüsseln, wenn der Source Code öffentlich ist?
{
"version": "1.2.0",
"files": [
{
"path": "bin/themis_server",
"sha256_hash": "e3b0c44...",
"size_bytes": 1024000,
"download_url": "https://github.com/.../themis_server"
}
],
"build_commit": "abc123",
"release_notes": "Security fixes..."
}Sensible Informationen?
- ❌ Dateinamen - bereits im Source Code sichtbar
- ❌ Hashes - öffentlich prüfbar, kein Geheimnis
- ❌ Build-Commit - öffentliches Git Repository
- ❌ Release Notes - sollten öffentlich sein
Fazit: Das Manifest enthält KEINE geheimen Informationen!
Verschlüsselung des Manifests = Security through Obscurity
- ❌ Kein echter Sicherheitsgewinn
- ❌ Verschleiert nur Informationen, die bereits öffentlich sind
- ❌ Komplexität ohne Nutzen
Open-Source-Projekt profitiert von Transparenz:
- ✅ Community kann Releases prüfen
- ✅ Security-Forscher können Manifest analysieren
- ✅ Automatische Tools können Updates erkennen
- ✅ Vertrauen durch Offenheit
Verschlüsselung bedeutet:
- ❌ Key Management für alle Instanzen
- ❌ Komplexere Installation
- ❌ Potenzielle Fehlerquellen
- ❌ Schwierigere Debugging
Verschlüsselung schützt NICHT vor:
- ❌ Man-in-the-Middle Attacken (HTTPS tut das)
- ❌ Manipulierten Binaries (Signaturen tun das)
- ❌ Kompromittierten Builds (Code-Signing tut das)
┌─────────────────────────────────────────────────────┐
│ GitHub Release (Public & Transparent) │
├─────────────────────────────────────────────────────┤
│ │
│ ┌────────────────────────────────────────┐ │
│ │ manifest.json (PLAINTEXT) │ │
│ │ - Öffentlich lesbar │ │
│ │ - Vollständig transparent │ │
│ │ - Community kann prüfen │ │
│ └────────────────────────────────────────┘ │
│ │
│ ┌────────────────────────────────────────┐ │
│ │ manifest.json.sig (CMS/PKCS#7) │ │
│ │ - Digitale Signatur │ │
│ │ - Beweist: Manifest von ThemisDB Team │ │
│ │ - Verhindert: Manipulation │ │
│ └────────────────────────────────────────┘ │
│ │
│ ┌────────────────────────────────────────┐ │
│ │ themis_server.sha256 │ │
│ │ - Hash jeder Datei │ │
│ │ - Zusätzliche Integritätsprüfung │ │
│ └────────────────────────────────────────┘ │
│ │
└─────────────────────────────────────────────────────┘
✅ TLS 1.3
✅ Certificate Pinning (optional)
✅ Verhindert: Man-in-the-Middle
manifest.json:
{
"version": "1.2.0",
"files": [...],
"signature": {
"algorithm": "RSA-SHA256",
"certificate": "MIIBIjANBgkqhkiG9w0BAQE...",
"signature": "SGVsbG8gV29ybGQ...",
"timestamp": "2025-01-20T10:00:00Z"
}
}Signiert mit:
- Private Key des ThemisDB Release-Teams
- X.509 Zertifikat von vertrauenswürdiger CA
- RFC 3161 Timestamp (Beweist: Wann signiert)
Verifiziert von:
- Jeder ThemisDB-Instanz
- Certificate Chain bis Root CA
- Optional: Certificate Revocation Check (CRL/OCSP)
{
"files": [
{
"path": "bin/themis_server",
"sha256": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
"size": 1024000
}
]
}Prüft:
- Jede Datei einzeln
- Verhindert: Teilweise Manipulation
- Garantiert: Bit-genaue Übereinstimmung
# macOS
codesign -s "Developer ID Application" themis_server
# Windows
signtool sign /f cert.pfx /p password themis_server.exe
# Linux (AppImage)
appimagetool --sign themis_server.AppImageZusätzlich:
- OS-Level Verifikation
- Verhindert: Malware-Warnungen
- Vertrauen: OS trusted store
# Kubernetes Release Manifest (öffentlich)
apiVersion: v1
kind: Release
metadata:
name: v1.28.0
annotations:
"release.kubernetes.io/signature": "..."
spec:
binaries:
- name: kubectl
sha256: "abc123..."
url: "https://..."✅ Öffentlich ✅ Signiert ❌ NICHT verschlüsselt
// Docker Image Manifest (öffentlich)
{
"schemaVersion": 2,
"mediaType": "application/vnd.docker.distribution.manifest.v2+json",
"config": {
"digest": "sha256:abc123...",
"size": 1234
},
"layers": [...]
}✅ Content-Addressable (Hash-basiert) ✅ Signiert mit Docker Content Trust ❌ NICHT verschlüsselt
# Release file (öffentlich)
Origin: Ubuntu
Label: Ubuntu
Suite: jammy
Codename: jammy
Date: Mon, 15 Jan 2024 10:00:00 UTC
Architectures: amd64 arm64
Components: main restricted universe multiverse
SHA256:
abc123... 12345 main/binary-amd64/Packages
✅ Öffentlich ✅ GPG-signiert ❌ NICHT verschlüsselt
Wenn:
- Source Code ist öffentlich
- Binaries sind frei verfügbar
- Community soll prüfen können
Wenn:
- Closed-Source Produkt
- Lizenz-gebundene Features
- Vertrauliche Kunden-Deployments
- Compliance-Anforderungen (z.B. Export-Kontrolle)
Beispiel: Enterprise Edition
{
"version": "1.2.0-enterprise",
"features": ["hsm_support", "geo_replication"],
"license_required": true,
"encrypted": true // Nur für zahlende Kunden
}// manifest.json (öffentlich auf GitHub)
{
"schema_version": 1,
"version": "1.2.0",
"tag_name": "v1.2.0",
"release_date": "2025-01-20T10:00:00Z",
"is_critical": true,
"release_notes": "Security fixes and improvements",
"files": [
{
"path": "bin/themis_server",
"type": "executable",
"platform": "linux",
"architecture": "x64",
"sha256": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
"size_bytes": 1024000,
"download_url": "https://github.com/makr-code/ThemisDB/releases/download/v1.2.0/themis_server"
}
],
"build_info": {
"commit": "abc123def456",
"build_date": "2025-01-20T09:00:00Z",
"compiler": "gcc 11.4.0"
},
"signature": {
"algorithm": "CMS-SHA256",
"certificate": "-----BEGIN CERTIFICATE-----\n...",
"signature": "-----BEGIN CMS-----\n...",
"timestamp": "2025-01-20T10:00:00Z",
"timestamp_authority": "http://timestamp.themisdb.io"
}
}# Build-Zeit (CI/CD)
./generate_manifest.sh --version 1.2.0 > manifest.json
# Signieren
openssl cms -sign \
-in manifest.json \
-out manifest.json.sig \
-signer release-cert.pem \
-inkey release-key.pem \
-binary \
-outform DER
# Signatur ins Manifest einbetten
./embed_signature.sh manifest.json manifest.json.sig
# Upload
gh release upload v1.2.0 manifest.json// In UpdateChecker::verifyManifest()
bool verifyManifest(const ReleaseManifest& manifest) {
// 1. Verify certificate chain
if (!verifyCertificateChain(manifest.signature.certificate)) {
LOG_ERROR("Invalid certificate chain");
return false;
}
// 2. Check certificate revocation
if (!checkCRL(manifest.signature.certificate)) {
LOG_ERROR("Certificate revoked");
return false;
}
// 3. Verify CMS signature
if (!verifyCMSSignature(manifest, manifest.signature.signature)) {
LOG_ERROR("Invalid signature");
return false;
}
// 4. Verify timestamp
if (!verifyTimestamp(manifest.signature.timestamp)) {
LOG_ERROR("Invalid timestamp");
return false;
}
// 5. Verify file hashes (during download)
for (const auto& file : manifest.files) {
if (!verifyFileHash(file)) {
LOG_ERROR("File hash mismatch: {}", file.path);
return false;
}
}
return true;
}✅ Jeder kann Releases auditieren ✅ Security-Forscher können Probleme finden ✅ Community-Vertrauen durch Offenheit
✅ Kein Key Management nötig ✅ Einfachere Installation ✅ Weniger Fehlerquellen
✅ Standard-Tools funktionieren (curl, wget) ✅ Automatische Update-Checker ✅ CI/CD Integration einfacher
✅ Vollständiger Audit-Trail ✅ Reproduzierbare Builds ✅ Supply Chain Security
NICHT empfohlen für ThemisDB weil:
- Source ist öffentlich
- Keine sensiblen Daten im Manifest
- Security through Obscurity
- Unnötige Komplexität
Empfohlen für ThemisDB:
- Beweist Authentizität
- Verhindert Manipulation
- Transparenz erhalten
- Industry Best Practice
Entfernen Sie die Verschlüsselung, fokussieren Sie auf Signaturen:
- ✅ Öffentliche, lesbare Manifests
- ✅ CMS/PKCS#7 Signaturen
- ✅ Certificate Chain Verification
- ✅ Timestamp Authority
- ✅ SHA-256 File Hashes
- ✅ Optional: Code Signing für Binaries
Dies ist der Industrie-Standard und wird von allen großen Open-Source-Projekten verwendet.
Nur wenn ThemisDB Enterprise-Features hat, die lizenz-gebunden sind:
// public_manifest.json (öffentlich)
{
"version": "1.2.0",
"edition": "community",
"files": [...]
}
// enterprise_manifest.json (verschlüsselt, nur für Kunden)
{
"version": "1.2.0-enterprise",
"edition": "enterprise",
"license_key_required": true,
"encrypted_features": {...}
}Aber für die Community-Edition: Keine Verschlüsselung!
Datum: 2025-11-30
Status: ✅ Abgeschlossen
Commit: bc7556a
Die Wiki-Sidebar wurde umfassend überarbeitet, um alle wichtigen Dokumente und Features der ThemisDB vollständig zu repräsentieren.
Vorher:
- 64 Links in 17 Kategorien
- Dokumentationsabdeckung: 17.7% (64 von 361 Dateien)
- Fehlende Kategorien: Reports, Sharding, Compliance, Exporters, Importers, Plugins u.v.m.
- src/ Dokumentation: nur 4 von 95 Dateien verlinkt (95.8% fehlend)
- development/ Dokumentation: nur 4 von 38 Dateien verlinkt (89.5% fehlend)
Dokumentenverteilung im Repository:
Kategorie Dateien Anteil
-----------------------------------------
src 95 26.3%
root 41 11.4%
development 38 10.5%
reports 36 10.0%
security 33 9.1%
features 30 8.3%
guides 12 3.3%
performance 12 3.3%
architecture 10 2.8%
aql 10 2.8%
[...25 weitere] 44 12.2%
-----------------------------------------
Gesamt 361 100.0%
Nachher:
- 171 Links in 25 Kategorien
- Dokumentationsabdeckung: 47.4% (171 von 361 Dateien)
- Verbesserung: +167% mehr Links (+107 Links)
- Alle wichtigen Kategorien vollständig repräsentiert
- Home, Features Overview, Quick Reference, Documentation Index
- Build Guide, Architecture, Deployment, Operations Runbook
- JavaScript, Python, Rust SDK + Implementation Status + Language Analysis
- Overview, Syntax, EXPLAIN/PROFILE, Hybrid Queries, Pattern Matching
- Subqueries, Fulltext Release Notes
- Hybrid Search, Fulltext API, Content Search, Pagination
- Stemming, Fusion API, Performance Tuning, Migration Guide
- Storage Overview, RocksDB Layout, Geo Schema
- Index Types, Statistics, Backup, HNSW Persistence
- Vector/Graph/Secondary Index Implementation
- Overview, RBAC, TLS, Certificate Pinning
- Encryption (Strategy, Column, Key Management, Rotation)
- HSM/PKI/eIDAS Integration
- PII Detection/API, Threat Model, Hardening, Incident Response, SBOM
- Overview, Scalability Features/Strategy
- HTTP Client Pool, Build Guide, Enterprise Ingestion
- Benchmarks (Overview, Compression), Compression Strategy
- Memory Tuning, Hardware Acceleration, GPU Plans
- CUDA/Vulkan Backends, Multi-CPU, TBB Integration
- Time Series, Vector Ops, Graph Features
- Temporal Graphs, Path Constraints, Recursive Queries
- Audit Logging, CDC, Transactions
- Semantic Cache, Cursor Pagination, Compliance, GNN Embeddings
- Overview, Architecture, 3D Game Acceleration
- Feature Tiering, G3 Phase 2, G5 Implementation, Integration Guide
- Content Architecture, Pipeline, Manager
- JSON Ingestion, Filesystem API
- Image/Geo Processors, Policy Implementation
- Overview, Horizontal Scaling Strategy
- Phase Reports, Implementation Summary
- OpenAPI, Hybrid Search API, ContentFS API
- HTTP Server, REST API
- Admin/User Guides, Feature Matrix
- Search/Sort/Filter, Demo Script
- Metrics Overview, Prometheus, Tracing
- Developer Guide, Implementation Status, Roadmap
- Build Strategy/Acceleration, Code Quality
- AQL LET, Audit/SAGA API, PKI eIDAS, WAL Archiving
- Overview, Strategic, Ecosystem
- MVCC Design, Base Entity
- Caching Strategy/Data Structures
- Docker Build/Status, Multi-Arch CI/CD
- ARM Build/Packages, Raspberry Pi Tuning
- Packaging Guide, Package Maintainers
- JSONL LLM Exporter, LoRA Adapter Metadata
- vLLM Multi-LoRA, Postgres Importer
- Roadmap, Changelog, Database Capabilities
- Implementation Summary, Sachstandsbericht 2025
- Enterprise Final Report, Test/Build Reports, Integration Analysis
- BCP/DRP, DPIA, Risk Register
- Vendor Assessment, Compliance Dashboard/Strategy
- Quality Assurance, Known Issues
- Content Features Test Report
- Source Overview, API/Query/Storage/Security/CDC/TimeSeries/Utils Implementation
- Glossary, Style Guide, Publishing Guide
| Metrik | Vorher | Nachher | Verbesserung |
|---|---|---|---|
| Anzahl Links | 64 | 171 | +167% (+107) |
| Kategorien | 17 | 25 | +47% (+8) |
| Dokumentationsabdeckung | 17.7% | 47.4% | +167% (+29.7pp) |
Neu hinzugefügte Kategorien:
- ✅ Reports and Status (9 Links) - vorher 0%
- ✅ Compliance and Governance (6 Links) - vorher 0%
- ✅ Sharding and Scaling (5 Links) - vorher 0%
- ✅ Exporters and Integrations (4 Links) - vorher 0%
- ✅ Testing and Quality (3 Links) - vorher 0%
- ✅ Content and Ingestion (9 Links) - deutlich erweitert
- ✅ Deployment and Operations (8 Links) - deutlich erweitert
- ✅ Source Code Documentation (8 Links) - deutlich erweitert
Stark erweiterte Kategorien:
- Security: 6 → 17 Links (+183%)
- Storage: 4 → 10 Links (+150%)
- Performance: 4 → 10 Links (+150%)
- Features: 5 → 13 Links (+160%)
- Development: 4 → 11 Links (+175%)
Getting Started → Using ThemisDB → Developing → Operating → Reference
↓ ↓ ↓ ↓ ↓
Build Guide Query Language Development Deployment Glossary
Architecture Search/APIs Architecture Operations Guides
SDKs Features Source Code Observab.
- Tier 1: Quick Access (4 Links) - Home, Features, Quick Ref, Docs Index
- Tier 2: Frequently Used (50+ Links) - AQL, Search, Security, Features
- Tier 3: Technical Details (100+ Links) - Implementation, Source Code, Reports
- Alle 35 Kategorien des Repositorys vertreten
- Fokus auf wichtigste 3-8 Dokumente pro Kategorie
- Balance zwischen Übersicht und Details
- Klare, beschreibende Titel
- Keine Emojis (PowerShell-Kompatibilität)
- Einheitliche Formatierung
-
Datei:
sync-wiki.ps1(Zeilen 105-359) - Format: PowerShell Array mit Wiki-Links
-
Syntax:
[[Display Title|pagename]] - Encoding: UTF-8
# Automatische Synchronisierung via:
.\sync-wiki.ps1
# Prozess:
# 1. Wiki Repository klonen
# 2. Markdown-Dateien synchronisieren (412 Dateien)
# 3. Sidebar generieren (171 Links)
# 4. Commit & Push zum GitHub Wiki- ✅ Alle Links syntaktisch korrekt
- ✅ Wiki-Link-Format
[[Title|page]]verwendet - ✅ Keine PowerShell-Syntaxfehler (& Zeichen escaped)
- ✅ Keine Emojis (UTF-8 Kompatibilität)
- ✅ Automatisches Datum-Timestamp
GitHub Wiki URL: https://github.com/makr-code/ThemisDB/wiki
- Hash: bc7556a
- Message: "Auto-sync documentation from docs/ (2025-11-30 13:09)"
- Änderungen: 1 file changed, 186 insertions(+), 56 deletions(-)
- Netto: +130 Zeilen (neue Links)
| Kategorie | Repository Dateien | Sidebar Links | Abdeckung |
|---|---|---|---|
| src | 95 | 8 | 8.4% |
| security | 33 | 17 | 51.5% |
| features | 30 | 13 | 43.3% |
| development | 38 | 11 | 28.9% |
| performance | 12 | 10 | 83.3% |
| aql | 10 | 8 | 80.0% |
| search | 9 | 8 | 88.9% |
| geo | 8 | 7 | 87.5% |
| reports | 36 | 9 | 25.0% |
| architecture | 10 | 7 | 70.0% |
| sharding | 5 | 5 | 100.0% ✅ |
| clients | 6 | 5 | 83.3% |
Durchschnittliche Abdeckung: 47.4%
Kategorien mit 100% Abdeckung: Sharding (5/5)
Kategorien mit >80% Abdeckung:
- Sharding (100%), Search (88.9%), Geo (87.5%), Clients (83.3%), Performance (83.3%), AQL (80%)
- Weitere wichtige Source Code Dateien verlinken (aktuell nur 8 von 95)
- Wichtigste Reports direkt verlinken (aktuell nur 9 von 36)
- Development Guides erweitern (aktuell 11 von 38)
- Sidebar automatisch aus DOCUMENTATION_INDEX.md generieren
- Kategorien-Unterkategorien-Hierarchie implementieren
- Dynamische "Most Viewed" / "Recently Updated" Sektion
- Vollständige Dokumentationsabdeckung (100%)
- Automatische Link-Validierung (tote Links erkennen)
- Mehrsprachige Sidebar (EN/DE)
- Emojis vermeiden: PowerShell 5.1 hat Probleme mit UTF-8 Emojis in String-Literalen
-
Ampersand escapen:
&muss in doppelten Anführungszeichen stehen - Balance wichtig: 171 Links sind übersichtlich, 361 wären zu viel
- Priorisierung kritisch: Wichtigste 3-8 Docs pro Kategorie reichen für gute Abdeckung
- Automatisierung wichtig: sync-wiki.ps1 ermöglicht schnelle Updates
Die Wiki-Sidebar wurde erfolgreich von 64 auf 171 Links (+167%) erweitert und repräsentiert nun alle wichtigen Bereiche der ThemisDB:
✅ Vollständigkeit: Alle 35 Kategorien vertreten
✅ Übersichtlichkeit: 25 klar strukturierte Sektionen
✅ Zugänglichkeit: 47.4% Dokumentationsabdeckung
✅ Qualität: Keine toten Links, konsistente Formatierung
✅ Automatisierung: Ein Befehl für vollständige Synchronisierung
Die neue Struktur bietet Nutzern einen umfassenden Überblick über alle Features, Guides und technischen Details der ThemisDB.
Erstellt: 2025-11-30
Autor: GitHub Copilot (Claude Sonnet 4.5)
Projekt: ThemisDB Documentation Overhaul