Konfiguracja

Wszystkie ustawienia znajdują się w pliku config.toml. Nie ma wartości domyślnych zapisanych na stałe — każdą wartość trzeba jawnie skonfigurować.

Ścieżkę pliku konfiguracji można zmienić za pomocą zmiennej środowiskowej LOOMEM_CONFIG.

Uwierzytelnianie konfiguruje się przez [server].auth_token_env (zobacz [server]) — nie ma osobnej sekcji [auth].

[storage]

[storage]
data_dir = "./data"
vector_enabled = true

[storage.rocksdb]

[storage.rocksdb]
max_open_files = 1000
compression = "lz4"
write_buffer_size = 67108864
max_write_buffer_number = 3

[storage.tantivy]

[storage.tantivy]
enabled = true
heap_size_mb = 128

[storage.intent_log]

Dziennik zapisu z wyprzedzeniem zapewniający spójność między magazynami.

[storage.intent_log]
enabled = true
dir = "wal"
max_size_mb = 10
sync_on_write = false

[search]

[search]
top_k = 10
max_request_top_k = 1000      # HTTP top_k musi mieścić się w zakresie 1..ten limit; MCP ma osobne limity
surprise_boost = 1.5
synonyms_file = "synonyms.toml"
entities_file = "entities.toml"
rerank_enabled = false
rerank_candidates = 20
rerank_model_dir = "models/reranker"
multi_query_enabled = false
stem_polish = true
evidence_fields = false

[search.cache]

[search.cache]
enabled = true
max_entries = 500
ttl_secs = 300

Semantyczna pamięć podręczna zapytań. Identyczne zapytania w czasie TTL zwracają zapisane wyniki.

[search.graph]

[search.graph]
enabled = true
max_hops = 1
boost_factor = 0.3
max_graph_additions = 3

[search.hybrid_weights]

[search.hybrid_weights]
vector = 0.6
bm25 = 0.4

Steruje proporcją łączenia wyników. Suma musi wynosić 1.0.

[search.decay]

[search.decay]
l0_lambda = 0.05
l1_lambda = 0.03

Wykładnicze tempo zanikania dla każdego poziomu. Większa wartość = szybsze zanikanie. Okres półtrwania ≈ ln(2) / lambda dni.

[search.complexity]

[search.complexity]
enabled = false
simple_top_k = 3
medium_top_k = 10
complex_top_k = 20

Routing uwzględniający złożoność. Po włączeniu dostosowuje top_k do klasyfikacji złożoności zapytania. Obecnie wyłączony — wszystkie zapytania korzystają z pełnego procesu.

[worker]

[worker.consolidation]

[worker.consolidation]
interval_secs = 300
batch_size = 200
concurrency = 2
timeout_secs = 300
min_chunks_to_consolidate = 3
min_age_secs = 60
prompt_version = 1
consolidation_style = "structured"
similarity_threshold = 0.20

[worker.decay_worker]

[worker.decay_worker]
interval_secs = 3600
factor = 0.995
l0_factor = 0.990
l1_factor = 0.995
dormant_threshold = 0.01
access_boost = true
adaptive_enabled = true
adaptive_dampening = 0.5
adaptive_cap = 200

[worker.compaction]

[worker.compaction]
interval_secs = 3600
timeout_secs = 300

Wyzwalanie kompakcji RocksDB w tle.

[worker.clustering]

[worker.clustering]
interval_secs = 21600
max_iterations = 1000
timeout_secs = 600

Proces grupowania uruchamia k-means na embeddingach L1, aby grupować powiązane wspomnienia.

[scheduler]

[scheduler]
enabled = true

Główny przełącznik wszystkich procesów w tle.

[llm]

[llm]
provider = "openai"                  # generowanie odpowiedzi (konsolidacja / reflect)
api_key_env = "OPENAI_API_KEY"
embedding_provider = "local"         # "local" (ONNX na urządzeniu) lub "openai"
embedding_model = "text-embedding-3-small"   # używany, gdy embedding_provider = "openai"
# embedding_model_path = "/abs/path"  # katalog modelu lokalnego; domyślnie ~/.loomem/models/multilingual-e5-small
embedding_dim = 384                  # MUSI odpowiadać aktywnemu modelowi embeddingów
compression_model = "gpt-4.1-mini"
timeout_secs = 10
fallback_to_regex = true

Lokalne embeddingi (domyślnie)

Nowe instalacje korzystają z embedding_provider = "local": embeddingi są obliczane na urządzeniu przez model ONNX bez kwantyzacji (domyślnie multilingual-e5-small, 384 wymiary, dobra skuteczność wyszukiwania wielojęzycznego i polskiego) przy użyciu środowiska tract napisanego w Rust. Klucz API nie jest wymagany, a tekst nie opuszcza urządzenia. Obsługa modelu jest w domyślnej kompilacji; pliki modelu pobierzesz poleceniem:

./scripts/fetch-embedding-model.sh         # → ~/.loomem/models/multilingual-e5-small

LLM generujący tekst (konsolidacja, ekstrakcja faktów, dream) działa niezależnie. Przy domyślnej konfiguracji (te podsystemy są włączone) i bez OPENAI_API_KEY serwer nie uruchomi się, o ile nie ustawisz LOOMEM_ALLOW_KEYLESS=1. Wtedy memory_ingest może zapisać tekst źródłowy, ale zwraca błąd braku klucza i nie wyodrębnia faktów. Ekstrakcja encji przez LLM jest wyłączona, a dream i konsolidacja kończą się błędem; memory_store i wyszukiwanie semantyczne działają całkowicie lokalnie. Wyłączenie tych podsystemów w config.toml usuwa kontrolę przy starcie, a przy knowledge_extraction.enabled = false memory_ingest zapisuje surową transkrypcję. Aby używać lokalnego LLM do generowania tekstu, skieruj provider do punktu końcowego zgodnego z OpenAI (przyszły etap).

Wymiar embeddingów i ponowne obliczanie

embedding_dim musi odpowiadać aktywnemu modelowi embeddingów (multilingual-e5-small = 384, OpenAI text-embedding-3-small = 1536). Wymiar użyty przy tworzeniu bazy jest zapisany w jej metadanych; w razie niezgodności serwer odmawia uruchomienia, zamiast po cichu mieszać wymiary wektorów. Aby zmienić dostawcę lub model istniejącej bazy, przelicz embeddingi:

loomem-server --reembed   # przelicz wektory skonfigurowanym dostawcą (uruchom po zatrzymaniu serwera)

Aby korzystać z API zamiast lokalnych embeddingów, ustaw embedding_provider = "openai" i embedding_dim = 1536, wyeksportuj OPENAI_API_KEY i przelicz embeddingi.

[server]

[server]
host = "127.0.0.1"
port = 3030
auth_token_env = "LOOMEM_AUTH_TOKEN"

[resource_guards]

[resource_guards]
max_cpu_cores = 1.0
max_memory_mb = 512
min_disk_space_mb = 1024
llm_timeout_secs = 30
worker_timeout_secs = 120

Kontrole przy uruchamianiu. Serwer odmówi startu, jeśli zasoby są poniżej progów.

[streams] i [namespaces]

[streams]
shared = "001"

[streams.agents]
assistant = { raw = "100", compressed = "101" }

[namespaces]
personal = "100"
work = "110"

streams — identyfikatory surowych i skompresowanych strumieni przypisane agentom. namespaces — mapowanie czytelnej nazwy na ID strumienia, zwracane przez memory_namespaces.

Dane zapisane bez wskazania strumienia trafiają do wbudowanego strumienia domyślnego __user_default__.

[pii]

[pii]
enabled = true
redact_phones = true
redact_emails = true
redact_ids = true
blocklist_file = "pii_blocklist.txt"
audit_log = true

Dane osobowe są usuwane przed każdym wywołaniem API LLM (konsolidacja, ekstrakcja, dream). Oryginalna treść w RocksDB pozostaje bez zmian.

[cost]

[cost]
daily_cap_usd = 15.00
alert_threshold_usd = 10.00
anomaly_multiplier = 3.0
persist = true

[knowledge_extraction]

[knowledge_extraction]
enabled = true
model = "gpt-4.1-mini"
max_transcript_tokens = 20000
dedup_cosine_threshold = 0.92
contradiction_check = true
contradiction_cosine_min = 0.5
max_facts_per_transcript = 20
max_tokens = 2000
input_chunk_tokens = 0
split_on_truncation = false

Steruje procesem LLM memory_ingest.

Te trzy klucze są dodatkowymi ustawieniami: z powyższymi wartościami domyślnymi ekstrakcja wykonuje te same wywołania co przed ich wprowadzeniem. Obcięta odpowiedź nie jest przyjmowana w żadnym trybie.

[fragments]

Eksperymentalne, wymaga włączenia. Domyślnie wyłączone; istniejące wdrożenia i klienci zachowują działanie identyczne bajt po bajcie.

[fragments]
enabled = false
max_fragment_tokens = 400
prefix_reserve_tokens = 16
provenance_role = "claim"
token_counter = "embedder"

Po włączeniu memory_ingest zapisuje, zaraz po źródle całej rozmowy i przed ekstrakcją, jeden fragment na turę rozmowy (długie tury są dalej dzielone na granicach akapitów, zdań i białych znaków). Każdy fragment zawiera rolę autora, datę rozmowy i dokładny zakres bajtów w zapisanym źródle. Fragmenty mają od początku status consolidated (nigdy nie są wejściem konsolidacji ani dream), są wykluczone z sekcji recent w memory_context, nie mają własnej daty zdarzenia (wiersz memory_search pokazuje datę źródła observed:/recorded:) i są usuwane wraz ze źródłem. Do wyniku narzędzia dodawane jest zdanie Stored N fragments. (zobacz narzędzia MCP). Zapisy fragmentów są dodatkowe i nigdy nie blokują ekstrakcji faktów.

Walidacja przy uruchomieniu: max_fragment_tokens musi być dodatnie, a przy embedding_provider = "local" suma max_fragment_tokens + prefix_reserve_tokens nie może przekraczać okna lokalnego modelu embeddingów wynoszącego 512 tokenów. enabled = true z token_counter = "embedder" (domyślnie) wymaga embedding_provider = "local" — przy innym dostawcy ustaw jawnie token_counter = "approx" albo "tiktoken", w przeciwnym razie wczytanie konfiguracji zawiedzie. Przy token_counter = "embedder" bez załadowanego modelu lokalnego segmentacja kończy się błędem i tekst memory_ingest o tym informuje (nie ma cichego przejścia na przybliżenie).

provenance_role wpływa na ranking tylko przy wyszukiwaniu łączonym (z włączonymi wektorami, dla zapytań nieprostych). Ścieżka wyłącznie BM25 nie stosuje mnożnika pochodzenia, dlatego dla krótkich zapytań fragmenty claim i evidence otrzymują ten sam wynik.

[entity_extraction]

[entity_extraction]
enabled = true
model = "gpt-4.1-mini"
batch_size = 20
flush_interval_secs = 3
queue_capacity = 200
confidence_threshold = 0.7
max_tokens_per_batch = 2000

Asynchroniczne rozpoznawanie encji przez LLM dla encji spoza słownika.

[contradiction]

[contradiction]
enabled = true
similarity_threshold = 0.70
max_candidates = 5
model = "gpt-4.1-mini"

Gdy pojawia się nowy fakt, LLM sprawdza najlepsze max_candidates podobnych istniejących faktów pod kątem sprzeczności. Wynik: updates (zastępuje), extends (zachowuje oba), none (brak relacji).

[conversation_extraction]

[conversation_extraction]
enabled = true
model = "gpt-4.1-mini"
max_tokens = 2000
confidence_threshold = 0.7
dedup_threshold = 0.80
max_extractions_per_request = 30

[profile]

[profile]
enabled = true
model = "gpt-4.1-mini"
max_chunks = 100
cache_ttl_secs = 3600
max_static_facts = 30
max_recent_items = 15

Synteza profilu użytkownika. Przechowywana w pamięci podręcznej przez cache_ttl_secs.

[retention]

[retention]
soft_delete_days = 30
hard_purge_interval_secs = 86400

Proces trwałego usuwania usuwa przeterminowane, miękko usunięte fragmenty z RocksDB, Tantivy i grafu.

[associator]

[associator]
enabled = true
k_clusters = 0
max_clusters = 50
max_iterations = 100
min_serendipity = 0.1
max_associations = 3

[dream]

[dream]
enabled = true
batch_size = 50
min_group_size = 2
model = "gpt-4.1-mini"
cost_cap_usd_per_run = 0.10

[memory_generator]

[memory_generator]
enabled = true
max_chunks = 200
max_sections = 20
model = "gpt-4.1-mini"

Steruje wynikiem punktu końcowego generate-memory-md.

Zmienne środowiskowe

Informacje o szyfrowaniu danych w spoczynku: SECURITY.md — dane w spoczynku.