Mit ca. 300 Teilnehmern — 200 vor Ort, 100 remote — ist die Münchner ML Con die größte der vielerorts stattfindenden Konferenz-Reihe (Berlin, New York etc.). Kurator Pieter Buteneers von structize stellte ein interessantes, stark LLM-lastiges Programm zusammen: „Ich nehme das auf, was in der Community passiert“, meinte er dazu.
Don’t use vectors!
Gleich in mehreren Vorträgen ging es darum, dass der Hype um Embeddings, Vektor DBs und semantische Suche die Sicht darauf verstellt, dass die gute alte lexikalische Suche nicht nur ihre Berechtigung hat, sondern oft besser ist. (Mich erinnerte das an ein kleines RAG-Hobbyprojekt von mir, in dem die RegEx-Suche besser war als die semantische, das war mir so peinlich, dass ich nichts dazu veröffentlich habe, weil ich dachte, ich hätte abgelust ;).
John Bratseth, CEO von vespa.ai, unterstrich in seinem Vortrage „Building something real with RAG“, dass z.B. die gute alte Methode BM25 für die Relevanz von Suchergebnissen oft tauglicher sei als semantische Suche. „Don’t use vectors“ war seine Botschaft (unless you know what your doing). [hier das Slide Deck]
Auch Roman Grebennikov von Delivery Hero zeigte, dass eine Kombination von semantischer und lexikalischer Suche zu deutlich besseren Ergebnissen führt, ein dichter, sehr guter Vortrag: „Practical LLM Fine-Tuning for Semantic Search“. [hier das Slide Deck]
Das Kuriositäten-Kabinett des Doktor Henkelmann
Cool war die Keynote von Christoph Henkelmann von divisio (die nicht von LLMs handelte, crazy), in der er verrückte Ergebnisse aus dem Projektalltag berichtete, etwa als ein Classifier ANN für die Regression besser funktionierte als Best-Practice-Ansätze mit Regressionen und andere paradoxe Ergebnisse. Die Gründe? Weiß keiner, so ist das bei neuronalen Netzen. Das Fazit: Ausprobieren, testen, experimentieren, außerhalb der Box denken.
RAG is eating the world
Von den Anwendungsbeispielen stand Retrieval Augmented Generation (RAG) im Vordergrund, so mein Eindruck. Die Arbeit mit LLMs führt zwangsläufig zu entweder Finetuning oder RAG mit eigenen Daten. Wie oben schon erwähnt: Dabei ist die Qualität des Retrieval-Schritts ausschlaggebend, denn mit falschen Infos kann auch das mächtigste LLM keine guten Ergebnisse liefern.
Die nächste ML Con in Deutschland ist im November in Berlin. Empfehlenswert!