Latent Semantic Memory dépasse le contexte complet sur FactKG avec 16 jetons et 108 fois moins de tokens
Un article déposé sur arXiv.org décrit Memorilla, une méthode qui encode une collection de documents une fois en représentations réutilisables, puis apprend à placer l'information utile à chaque requête dans 16 jetons insérés dans l'espace d'entrée d'un modèle gelé. D'après arXiv.org, la méthode devance Mem0, MemoRAG et d'autres références sur 5 des 8 benchmarks testés, avec 84,33 % contre 80,43 % sur FactKG, et fait passer la réussite moyenne d'un agent dans TextWorld de 18,6 % à 24,2 %.
Ce que ça change pour toi
Pour une petite équipe, l'intérêt pratique tient à la compression : si tu ramènes un corpus à quelques jetons par requête, tu réduis le coût de contexte sans réentraîner le modèle. Le point à tester chez toi reste la qualité de récupération sur tes propres documents, puisque les gains annoncés varient selon les benchmarks.
Ce que dit auteurs de Memorilla
Déclarations relevées dans les sources
- Memorilla encode les documents une fois en représentations réutilisables et écrit l'information pertinente dans 16 jetons mémoire.
- La méthode dépasse Mem0 et MemoRAG sur 5 des 8 benchmarks testés.
- Sur FactKG, elle atteint 84,33 % contre 80,43 % avec le contexte complet et 108 fois moins de jetons.
- Dans TextWorld, le taux de réussite passe de 18,6 % à 24,2 %.
Ce que rapportent d’autres sources
Non confirmé par auteurs de Memorilla
- Selon academy.dair.ai, les auteurs sont affiliés à Stanford, Toronto, Vector Institute, UPenn et Arc Institute.
Ce qui manque
À surveiller
- La conférence ou revue de publication n'est pas indiquée.
- L'article n'indique pas s'il a été évalué par des pairs.
- Le modèle de langage gelé utilisé n'est pas précisé.
- Les huit benchmarks ne sont pas tous nommés.
Un article de recherche décrit une méthode de mémoire sémantique latente pour les grands modèles de langage. Les documents sont encodés une fois en représentations réutilisables, puis un module entraîné extrait pour chaque requête l'information pertinente et l'écrit dans 16 jetons placés dans l'espace d'entrée d'un modèle gelé. Selon l'article, la méthode dépasse Mem0, MemoRAG et d'autres références sur 5 des 8 benchmarks testés, avec 84,33 % contre 80,43 % sur FactKG, et fait passer la réussite d'un agent dans TextWorld de 18,6 % à 24,2 %.
Le principe : déplacer la mémoire hors du contexte
Memorilla part d'une contrainte connue : un modèle gelé ne voit que ce qu'un système de mémoire place dans sa fenêtre de contexte. La méthode encode chaque document une seule fois en représentations réutilisables, puis un module entraîné sélectionne l'information propre à la requête et l'écrit sous forme de 16 jetons dans l'espace d'entrée du modèle. Le contexte reste court, la collection de documents reste entière, et le modèle reste gelé.
Les résultats annoncés
D'après arXiv.org, Memorilla obtient la meilleure performance face à Mem0, MemoRAG et d'autres références sur 5 des 8 benchmarks couvrant la personnalisation, les questions sur documents longs et les questions à forte densité de connaissances. Sur FactKG, la précision atteint 84,33 % contre 80,43 % pour l'inférence avec le contexte complet, avec 108 fois moins de jetons pour représenter les documents sources. Dans TextWorld, où la collection correspond à l'historique croissant de l'agent, la réussite moyenne passe de 18,6 % à 24,2 % et l'agent revient moins souvent dans des salles déjà explorées.
Ce que tu peux en réutiliser
Le cas agentique est le plus directement transposable : quand l'historique s'allonge au fil d'une trajectoire, une mémoire à nombre de jetons fixe évite la saturation du contexte et le retour en arrière coûteux. Si tu construis un assistant sur un corpus stable, l'article décrit un encodage unique des documents ; mesure sur ton propre corpus ce que cet encodage représente en temps et en ressources avant de reprendre les chiffres publiés, car les écarts varient selon les tâches et les références comparées.
Ce qui reste à vérifier
Les extraits ne mentionnent pas d'évaluation par les pairs, ni le modèle gelé employé, ni la liste complète des benchmarks, ni les conditions d'accès au code. Les auteurs sont identifiés sur la page arXiv.org, avec des affiliations Stanford, Toronto, Vector Institute, UPenn et Arc Institute selon la fiche de synthèse consultée. Garde donc les résultats comme des ordres de grandeur annoncés par les auteurs, à reproduire sur ton cas d'usage avant d'en tirer une décision d'architecture.