Exemples de SLM connus : <\/p>\n\n\n\n
- \n
- Mistral 7B<\/strong><\/li>\n\n\n\n
- Phi-2<\/strong> de Microsoft (~2,7 milliards de param\u00e8tres)<\/li>\n\n\n\n
- TinyLLaMA<\/strong><\/li>\n\n\n\n
- Gemma 2B<\/strong> de Google<\/li>\n<\/ul>\n\n\n\n
Quantification des mod\u00e8les : r\u00e9duction des effectifs sans pr\u00e9cision de la mortalit\u00e9 <\/h2>\n\n\n\n
L'un des principaux obstacles \u00e0 l'entra\u00eenement des mod\u00e8les d'IA est leur taille et la puissance de traitement requise. La quantification joue ici un r\u00f4le cl\u00e9. Cette technique permet de r\u00e9duire la taille du mod\u00e8le en convertissant les poids de haute pr\u00e9cision (FP32, FP16) en poids de faible pr\u00e9cision (INT8, INT4) sans affecter de mani\u00e8re significative les performances du mod\u00e8le. Les avantages sont les suivants :<\/p>\n\n\n\n
- \n
- R\u00e9duction de l'utilisation de la m\u00e9moire<\/strong>Permet de stocker et de g\u00e9rer des mod\u00e8les sur des appareils \u00e0 capacit\u00e9 limit\u00e9e.<\/li>\n\n\n\n
- Efficacit\u00e9 accrue du GPU\/CPU :<\/strong> R\u00e9duit la charge du processeur en acc\u00e9l\u00e9rant les op\u00e9rations math\u00e9matiques.<\/li>\n\n\n\n
- Inf\u00e9rence acc\u00e9l\u00e9r\u00e9e :<\/strong> Les mod\u00e8les peuvent r\u00e9agir plus rapidement, ce qui r\u00e9duit la pr\u00e9cision des calculs.<\/li>\n<\/ul>\n\n\n\n
Comparaison entre SLM et LLM<\/h2>\n\n\n\n
Si la LLM s'est av\u00e9r\u00e9e \u00eatre un outil puissant, la SLM offre des avantages importants dans les situations o\u00f9 l'efficacit\u00e9 et la protection de la vie priv\u00e9e sont primordiales. Nous comparons ci-dessous les deux approches :<\/p>\n\n\n\n
![\"\"](\"https:\/\/exceltic.com\/wp-content\/uploads\/2025\/06\/tabla-comparacion-SLM-y-LLM.png\")
<\/figure>\n\n\n\nG\u00e9n\u00e9ration augment\u00e9e de r\u00e9cup\u00e9ration (RAG)<\/h2>\n\n\n\n
La technique Retrieval Augmented Generation (RAG) est utilis\u00e9e pour am\u00e9liorer la pr\u00e9cision et la contextualisation des mod\u00e8les. Cette m\u00e9thode maximise les r\u00e9ponses en obtenant des informations \u00e0 partir de sources suppl\u00e9mentaires et am\u00e9liore le contexte avant la g\u00e9n\u00e9ration du texte. Sa structure est la suivante<\/p>\n\n\n\n
- \n
- Chunking<\/strong>fragmentation des donn\u00e9es en parties g\u00e9rables.<\/li>\n\n\n\n
- Encastrements de documents<\/strong>: conversion d'un texte en un tableau num\u00e9rique.<\/li>\n\n\n\n
- Base de donn\u00e9es vectorielles (VectorDB)<\/strong>: )<\/strong>est une base de donn\u00e9es qui stocke et extrait des donn\u00e9es pertinentes.<\/li>\n\n\n\n
- Recherche d'informations<\/strong>Lorsqu'il est confront\u00e9 \u00e0 une requ\u00eate, il localise les \u00e9l\u00e9ments d'information les plus pertinents.<\/li>\n\n\n\n
- G\u00e9n\u00e9rer des r\u00e9ponses<\/strong>la synth\u00e8se d'informations contextualis\u00e9es afin d'am\u00e9liorer les r\u00e9sultats du mod\u00e8le.<\/li>\n<\/ol>\n\n\n\n
Mise en \u0153uvre de SLMs + RAG : un mod\u00e8le efficace et s\u00e9curis\u00e9<\/h2>\n\n\n\n
La combinaison des SLM et de la strat\u00e9gie RAG permet de cr\u00e9er des syst\u00e8mes d'IA g\u00e9n\u00e9rative hautement efficaces et contr\u00f4lables. Gr\u00e2ce \u00e0 cette architecture, les organisations peuvent utiliser des mod\u00e8les optimis\u00e9s qui garantissent une plus grande confidentialit\u00e9 tout en utilisant moins de ressources.<\/p>\n\n\n\n
Principaux avantages :<\/h3>\n\n\n\n
- \n
- Utilisation optimis\u00e9e des donn\u00e9es<\/strong>L'inclusion de la recherche d'informations permet d'obtenir des r\u00e9ponses plus pr\u00e9cises et mieux inform\u00e9es.<\/li>\n\n\n\n
- Contr\u00f4le total du mod\u00e8le :<\/strong> \u00e9vite le recours \u00e0 des services tiers et permet de personnaliser le comportement de l'IA.<\/li>\n\n\n\n
- Ex\u00e9cution dans des environnements restreints :<\/strong> En raison de leur caract\u00e8re quantifiable et de leur taille r\u00e9duite, les SLM peuvent \u00eatre d\u00e9ploy\u00e9s sur des dispositifs p\u00e9riph\u00e9riques ou des serveurs locaux.<\/li>\n<\/ul>\n\n\n\n
Architecture de base avec mod\u00e8le quantifi\u00e9, LangChain, RAG et FastAPI<\/h2>\n\n\n\n
L'architecture suivante peut \u00eatre utilis\u00e9e pour cr\u00e9er un environnement SML efficace :<\/p>\n\n\n\n
- \n
- Chargement du mod\u00e8le quantifi\u00e9 :<\/strong> un mod\u00e8le pr\u00e9alablement quantifi\u00e9 dans INT8 ou INT4 est utilis\u00e9 pour optimiser ses performances.<\/li>\n\n\n\n
- LangChain pour la gestion des invites<\/strong>LangChain : LangChain permet de structurer et d'\u00e9tendre les requ\u00eates du mod\u00e8le.<\/li>\n\n\n\n
- Utilisation de RAG pour une meilleure r\u00e9cup\u00e9ration<\/strong>a : utilise des bases de donn\u00e9es vectorielles pour am\u00e9liorer le contexte des r\u00e9ponses.<\/li>\n\n\n\n
- API REST avec FastAPI :<\/strong> ce mod\u00e8le explique comment utiliser une API pour faciliter l'int\u00e9gration avec d'autres applications.<\/li>\n<\/ol>\n\n\n\n
Exemple de code :<\/h3>\n\n\n\n
from fastapi import FastAPI, HTTPException<\/p>\n\n\n\n
from langchain.chains import RetrievalQA<\/p>\n\n\n\n
from langchain.vectorstores import FAISS<\/p>\n\n\n\n
from langchain.embeddings import HuggingFaceEmbeddings<\/p>\n\n\n\n
from langchain.llms import HuggingFacePipeline<\/p>\n\n\n\n
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline<\/p>\n\n\n\n
torche d'importation<\/p>\n\n\n\n
<\/p>\n\n\n\n
# Mod\u00e8le quantifi\u00e9 de la charge<\/p>\n\n\n\n
tokenizer = AutoTokenizer.from_pretrained(\"model-quantified\")<\/p>\n\n\n\n
model = AutoModelForCausalLM.from_pretrained(\"model-quantified\", torch_dtype=torch.int8)<\/p>\n\n\n\n
pipe = pipeline(\"text-generation\", model=model, tokenizer=tokenizer)<\/p>\n\n\n\n
llm = HuggingFacePipeline(pipeline=pipe)<\/p>\n\n\n\n
<\/p>\n\n\n\n
# Base de donn\u00e9es des vecteurs de charge pour RAG<\/p>\n\n\n\n
embeddings = HuggingFaceEmbeddings(\"sentence-transformers\/all-MiniLM-L6-v2\")<\/p>\n\n\n\n
db = FAISS.load_local(\"ruta_vector_db\", embeddings)<\/p>\n\n\n\n
retriever = db.as_retriever()<\/p>\n\n\n\n
qa_chain = RetrievalQA(llm=llm, retriever=retriever)<\/p>\n\n\n\n
app = FastAPI()<\/p>\n\n\n\n
@app.post(\"\/generate\")<\/p>\n\n\n\n
def generate_response(prompt : str, max_length : int = 100) :<\/p>\n\n\n\n
essayer :<\/p>\n\n\n\n
response = qa_chain.run(prompt)<\/p>\n\n\n\n
return {\"answer\" : answer}<\/p>\n\n\n\n
sauf Exception comme e :<\/p>\n\n\n\n
raise HTTPException(status_code=500, detail=str(e))<\/p>\n\n\n\n
si __name__ == \"__main__\" :<\/p>\n\n\n\n
import uvicorn<\/p>\n\n\n\n
uvicorn.run(app, host=\"0.0.0.0.0\u2033, port=8000)<\/p>\n\n\n\n
Explication<\/h2>\n\n\n\n
Chargement du mod\u00e8le quantifi\u00e9<\/h3>\n\n\n\n
tokenizer = AutoTokenizer.from_pretrained(\"model-quantified\")<\/em><\/p>\n\n\n\n
model = AutoModelForCausalLM.from_pretrained(\"model-quantified\", torch_dtype=torch.int8)<\/em><\/p>\n\n\n\n
pipe = pipeline(\"text-generation\", model=model, tokenizer=tokenizer)<\/em><\/p>\n\n\n\n
llm = HuggingFacePipeline(pipeline=pipe)<\/em><\/p>\n\n\n\n
- \n
- AutoTokenizer.from_pretrained(\"model-quantified\") : <\/strong>Charge le tokeniser du mod\u00e8le quantifi\u00e9.<\/li>\n\n\n\n
- AutoModelForCausalLM.from_pretrained(\"model-quantified\", torch_dtype=torch.int8) : <\/strong>Charge le mod\u00e8le quantifi\u00e9 en pr\u00e9cision int8, ce qui r\u00e9duit l'utilisation de la m\u00e9moire et acc\u00e9l\u00e8re l'inf\u00e9rence.<\/li>\n\n\n\n
- pipeline(\"text-generation\", model=model, tokenizer=tokenizer) :<\/strong> Cr\u00e9e un pipeline de g\u00e9n\u00e9ration de texte bas\u00e9 sur le mod\u00e8le quantifi\u00e9.<\/li>\n\n\n\n
- HuggingFacePipeline(pipeline=pipe) :<\/strong> Int\u00e9grer le pipeline dans LangChain pour une utilisation ult\u00e9rieure dans l'architecture RAG.<\/li>\n<\/ul>\n\n\n\n
2. Configuration RAG (Retrieval-Augmented Generation) :<\/h3>\n\n\n\n
embeddings = HuggingFaceEmbeddings(\"sentence-transformers\/all-MiniLM-L6-v2\")<\/em><\/p>\n\n\n\n
db = FAISS.load_local(\"ruta_vector_db\", embeddings)<\/em><\/p>\n\n\n\n
retriever = db.as_retriever()<\/em><\/p>\n\n\n\n
qa_chain = RetrievalQA(llm=llm, retriever=retriever)<\/strong><\/em><\/p>\n\n\n\n
- \n
- HuggingFaceEmbeddings(\"sentence-transformers\/all-MiniLM-L6-v2\") : <\/strong>Utilise un mod\u00e8le d'int\u00e9gration (MiniLM-L6-v2) pour convertir le texte en repr\u00e9sentations vectorielles.<\/li>\n\n\n\n
- FAISS.load_local(\"path_vector_db\", embeddings) : <\/strong>Charge une base de donn\u00e9es vectorielles FAISS avec les encastrements pr\u00e9c\u00e9demment g\u00e9n\u00e9r\u00e9s.<\/li>\n\n\n\n
- db.as_retriever() :<\/strong> Il transforme la base de donn\u00e9es en un moteur de recherche permettant d'extraire des informations pertinentes.<\/li>\n\n\n\n
- RetrievalQA(llm=llm, retriever=retriever)<\/strong>Combine la mod\u00e9lisation quantifi\u00e9e du langage avec la recherche d'informations pour am\u00e9liorer la g\u00e9n\u00e9ration de r\u00e9ponses.<\/li>\n<\/ul>\n\n\n\n
3. Cr\u00e9ation de l'API avec FastAPI :<\/h3>\n\n\n\n
app = FastAPI()<\/em><\/p>\n\n\n\n
@app.post(\"\/generate\")<\/em><\/p>\n\n\n\n
def generate_response(prompt : str, max_length : int = 100) :<\/em><\/p>\n\n\n\n
essayer :<\/em><\/p>\n\n\n\n
response = qa_chain.run(prompt)<\/em><\/p>\n\n\n\n
return {\"answer\" : answer}<\/em><\/p>\n\n\n\n
sauf Exception comme e :<\/em><\/p>\n\n\n\n
raise HTTPException(status_code=500, detail=str(e))<\/em><\/p>\n\n\n\n
- \n
- FastAPI() : <\/strong>Cr\u00e9er une API REST pour exposer le mod\u00e8le et la fonctionnalit\u00e9 RAG..<\/strong><\/li>\n\n\n\n
- @app.post(\"\/generate\") :<\/strong> D\u00e9finit un point de terminaison \/generate qui accepte les requ\u00eates POST avec une invite de saisie.<\/li>\n\n\n\n
- qa_chain.run(prompt) : <\/strong>Il utilise une combinaison de recherche d'informations (RAG) et de g\u00e9n\u00e9ration de texte pour r\u00e9pondre.<\/li>\n\n\n\n
- Gestion des exceptions :<\/strong> En cas d'erreur, un code HTTP 500 est renvoy\u00e9 avec le message d'erreur.<\/li>\n<\/ul>\n\n\n\n
4. Ex\u00e9cution du serveur :<\/h3>\n\n\n\n
si __name__ == \"__main__\" :<\/em><\/p>\n\n\n\n
import uvicorn<\/em><\/p>\n\n\n\n
uvicorn.run(app, host=\"0.0.0.0.0\u2033, port=8000)<\/em><\/p>\n\n\n\n
- \n
uvicorn.run(app, host=\"0.0.0.0\", port=8000)<\/strong><\/code>: d\u00e9marre le serveur sur le port 8000, ce qui permet d'acc\u00e9der \u00e0 l'API.<\/li>\n<\/ul>\n\n\n\nConclusion<\/h3>\n\n\n\n
Les entreprises et les d\u00e9veloppeurs peuvent d\u00e9sormais adopter des mod\u00e8les plus l\u00e9gers, plus rapides et plus priv\u00e9s gr\u00e2ce aux SLM (Small Language Models)<\/strong>une avanc\u00e9e majeure dans l'\u00e9volution de l'IA g\u00e9n\u00e9rative. Les quantification des mod\u00e8les<\/strong> -qui r\u00e9duit consid\u00e9rablement la taille et les besoins de calcul sans compromettre les performances de base - permet \u00e0 ces mod\u00e8les d'\u00eatre ex\u00e9cut\u00e9s dans des environnements sur place<\/strong> ou sur des appareils aux ressources limit\u00e9es, tout en conservant un contr\u00f4le total sur les donn\u00e9es et les processus.<\/p>\n\n\n\n
Cette approche est compl\u00e9t\u00e9e par l'architecture bas\u00e9e sur RAG (Retrieval-Augmented Generation)<\/strong>avec des outils tels que FastAPI et LangChain<\/strong>Ces strat\u00e9gies permettent de d\u00e9ployer des solutions d'IA qui sont gouvernables, contr\u00f4lables et adapt\u00e9es \u00e0 des besoins sp\u00e9cifiques. Ces strat\u00e9gies permettent de g\u00e9n\u00e9ration d'IA enti\u00e8rement contr\u00f4l\u00e9e<\/strong>ce qui en fait un choix r\u00e9aliste et efficace pour les secteurs exigeants tels que l'analyse de donn\u00e9es, la recherche scientifique ou le service \u00e0 la client\u00e8le.<\/p>\n\n\n\n
La combinaison de SLM quantifi\u00e9s, d'une architecture modulaire et d'un d\u00e9ploiement autonome repr\u00e9sente l'un des moyens les plus s\u00fbrs et les plus efficaces d'int\u00e9grer l'IA g\u00e9n\u00e9rative dans votre organisation.<\/p>\n\n\n\n
Vous voulez voir comment cela se traduit dans un cas concret ?<\/h3>\n\n\n\n
Acc\u00e9der \u00e0 l'article complet et en savoir plus.<\/p>\n\n\n
- @app.post(\"\/generate\") :<\/strong> D\u00e9finit un point de terminaison \/generate qui accepte les requ\u00eates POST avec une invite de saisie.<\/li>\n\n\n\n
- FAISS.load_local(\"path_vector_db\", embeddings) : <\/strong>Charge une base de donn\u00e9es vectorielles FAISS avec les encastrements pr\u00e9c\u00e9demment g\u00e9n\u00e9r\u00e9s.<\/li>\n\n\n\n
- AutoModelForCausalLM.from_pretrained(\"model-quantified\", torch_dtype=torch.int8) : <\/strong>Charge le mod\u00e8le quantifi\u00e9 en pr\u00e9cision int8, ce qui r\u00e9duit l'utilisation de la m\u00e9moire et acc\u00e9l\u00e8re l'inf\u00e9rence.<\/li>\n\n\n\n
- LangChain pour la gestion des invites<\/strong>LangChain : LangChain permet de structurer et d'\u00e9tendre les requ\u00eates du mod\u00e8le.<\/li>\n\n\n\n
- Contr\u00f4le total du mod\u00e8le :<\/strong> \u00e9vite le recours \u00e0 des services tiers et permet de personnaliser le comportement de l'IA.<\/li>\n\n\n\n
- Encastrements de documents<\/strong>: conversion d'un texte en un tableau num\u00e9rique.<\/li>\n\n\n\n
- Efficacit\u00e9 accrue du GPU\/CPU :<\/strong> R\u00e9duit la charge du processeur en acc\u00e9l\u00e9rant les op\u00e9rations math\u00e9matiques.<\/li>\n\n\n\n
- Phi-2<\/strong> de Microsoft (~2,7 milliards de param\u00e8tres)<\/li>\n\n\n\n