Des LLM statiques aux modèles génératifs contextualisés
Au départ, les modèles de type GPT-3 fonctionnaient de façon très « brute » : ils répondaient à la volée, sans mémoire, ni perspective. Leur sortie dépend uniquement de leur entraînement. Impossible de leur faire intégrer de nouveaux éléments après coup.
Pour pallier cela, on a construit autour. D’abord avec du RAG (Retrieval-Augmented Generation) : on enrichit le prompt avec des résultats de recherche — web, base documentaire, etc. Ensuite sont venus les scripts orchestrés, les appels API, la reformulation de question, le reranking des sources. Tout cela améliore les résultats, mais reste dépendant de pipelines externes.