RAG Chatbot
für die Uni Erfurt

Technik: Der Inkrementelle Crawler

• Problem: Wir wollen nicht jedes Mal 15.000 Seiten neu laden.
• Lösung: Nutzung der sitemap.xml und des lastmod Datums.
• Feature: Cleanup-Logik für gelöschte Seiten.

# crawler.py - Logic Snippet
def run_crawler():
    # 1. Alle URLs aus der Sitemap holen
    all_urls = _get_all_page_urls_from_sitemap(SITEMAP_INDEX_URL)
    
    # 2. Aufräumen: Gelöschte Seiten entfernen
    _cleanup_deleted_pages(list(all_urls.keys()), CRAWLER_OUTPUT_DIR)

    # 3. Nur Neues crawlen
    for url, lastmod_str in all_urls.items():
        if lastmod_dt > last_run_time:
            # Download & Save
            _crawl_and_save_page_as_json(url, lastmod, ...)

Technik: Custom Embeddings Cache

• Problem: Embeddings kosten Geld (API) und Zeit.
• Lösung: Ein lokaler Cache-Wrapper um die LangChain Embeddings.
• Berechnet Hash des Text-Chunks -> Speichert Vektor lokal.

# build_db.py - Custom Class
class CachedMistralEmbeddings(Embeddings):
    def embed_documents(self, texts: List[str]) -> List[List[float]]:
        # 1. Cache prüfen (Hash des Textes)
        text_hash = hashlib.md5(text.encode('utf-8')).hexdigest()
        cache_path = os.path.join(self.cache_folder, f"{text_hash}.pkl")

        # 2. Wenn da: Laden
        if os.path.exists(cache_path):
            results[i] = pickle.load(f)
        
        # 3. Wenn weg: API rufen & speichern
        else:
            new_embeddings = self.wrapped.embed_documents(texts_to_fetch)
            # ... save pickle ...

Learning 1: "Wann beginnt das Semester?"

Aktuelle Inhalte müssen technisch priorisiert werden, da die Vektor-Ähnlichkeit allein das Datum oft ignoriert.

# app.py - Re-Ranking Logic
def re_rank_docs(docs):
    # Sortiere Suchergebnisse nach Datum (Neueste zuerst)
    # und nimm nur die Top 5
    return sorted(
        docs, 
        key=lambda d: d.metadata.get('publication_date', '1970-01-01'), 
        reverse=True
    )[:5]