Ejemplos de SLMs conocidos: <\/p>\n\n\n\n
- \n
- Mistral 7B<\/strong><\/li>\n\n\n\n
- Phi-2<\/strong> de Microsoft (~2.7B par\u00e1metros)<\/li>\n\n\n\n
- TinyLLaMA<\/strong><\/li>\n\n\n\n
- Gemma 2B<\/strong> de Google<\/li>\n<\/ul>\n\n\n\n
Cuantizaci\u00f3n del Modelo: Reducci\u00f3n del Tama\u00f1o sin Mortalidad Precisa <\/h2>\n\n\n\n
Uno de los principales obst\u00e1culos para entrenar modelos de IA es su tama\u00f1o y la capacidad de procesamiento requerida. Aqu\u00ed, la cuantificaci\u00f3n desempe\u00f1a un papel fundamental. Esta t\u00e9cnica disminuye el tama\u00f1o del modelo convirtiendo pesos de alta precisi\u00f3n (FP32, FP16) en pesos de baja precisi\u00f3n (INT8, INT4) sin afectar significativamente al rendimiento del modelo. Entre sus ventajas se encuentran:<\/p>\n\n\n\n
- \n
- Reducci\u00f3n del uso de memoria<\/strong>: Permite almacenar y gestionar modelos en dispositivos con capacidad limitada.<\/li>\n\n\n\n
- Mayor eficiencia de la GPU\/CPU:<\/strong> Reduce la carga de la CPU acelerando las operaciones matem\u00e1ticas.<\/li>\n\n\n\n
- Inferencia acelerada:<\/strong> Los modelos pueden reaccionar m\u00e1s r\u00e1pidamente, disminuyendo la precisi\u00f3n de los c\u00e1lculos.<\/li>\n<\/ul>\n\n\n\n
Comparaci\u00f3n de SLM y LLM<\/h2>\n\n\n\n
Aunque LLM ha demostrado ser una herramienta potente, SLM ofrece importantes ventajas en situaciones en las que la eficiencia y la privacidad son fundamentales. A continuaci\u00f3n, comparamos los dos enfoques:<\/p>\n\n\n\n
![\"\"](\"https:\/\/exceltic.com\/wp-content\/uploads\/2025\/06\/tabla-comparacion-SLM-y-LLM.png\")
<\/figure>\n\n\n\nGeneraci\u00f3n Aumentada por Recuperaci\u00f3n (RAG)<\/h2>\n\n\n\n
La t\u00e9cnica de Generaci\u00f3n Aumentada por Recuperaci\u00f3n (RAG) se utiliza para mejorar la precisi\u00f3n y la contextualizaci\u00f3n de los modelos. Este m\u00e9todo maximiza las respuestas obteniendo informaci\u00f3n de fuentes adicionales y mejora el contexto antes de la generaci\u00f3n del texto. Su estructura consiste en:<\/p>\n\n\n\n
- \n
- Chunking<\/strong>: fragmentaci\u00f3n de los datos en partes manejables.<\/li>\n\n\n\n
- Embeddings de documentos<\/strong>: conversi\u00f3n de texto en vector num\u00e9rico.<\/li>\n\n\n\n
- Base de datos vectorial (VectorDB)<\/strong>: )<\/strong>: es una base de datos que almacena y recupera datos relevantes.<\/li>\n\n\n\n
- Recuperaci\u00f3n de la informaci\u00f3n<\/strong>: ante una consulta, localiza los fragmentos de informaci\u00f3n m\u00e1s relevantes.<\/li>\n\n\n\n
- Generaci\u00f3n de respuestas<\/strong>: s\u00edntesis de informaci\u00f3n contextualizada para mejorar la salida del modelo.<\/li>\n<\/ol>\n\n\n\n
Implementaci\u00f3n de SLMs + RAG: Un Modelo Eficiente y Seguro<\/h2>\n\n\n\n
La combinaci\u00f3n de SLMs con la estrategia RAG permite crear sistemas de IA generativa altamente eficaces y controlables. Con esta arquitectura, las organizaciones pueden utilizar modelos optimizados que garantizan una mayor privacidad a la vez que utilizan menos recursos.<\/p>\n\n\n\n
Beneficios Claves:<\/h3>\n\n\n\n
- \n
- Uso optimizado de los datos<\/strong>: la inclusi\u00f3n de la recuperaci\u00f3n de informaci\u00f3n permite respuestas m\u00e1s precisas y fundamentadas.<\/li>\n\n\n\n
- Control total sobre el modelo:<\/strong> evita la necesidad de servicios de terceros y permite personalizar el comportamiento de la IA.<\/li>\n\n\n\n
- Ejecuci\u00f3n en entornos restringidos:<\/strong> debido a su cuantificaci\u00f3n y menor tama\u00f1o, los SLM pueden implementarse en dispositivos edge o servidores locales.<\/li>\n<\/ul>\n\n\n\n
Arquitectura B\u00e1sica con Modelo Cuantizado, LangChain, RAG y FastAPI<\/h2>\n\n\n\n
Se puede utilizar la siguiente arquitectura para crear un entorno SML eficiente:<\/p>\n\n\n\n
- \n
- Carga del modelo cuantizado:<\/strong> para optimizar su rendimiento se utiliza un modelo que se ha cuantizado previamente en INT8 o INT4.<\/li>\n\n\n\n
- LangChain para una gesti\u00f3n de prompts<\/strong>: LangChain permite estructurar y ampliar las peticiones del modelo.<\/li>\n\n\n\n
- Utilizaci\u00f3n del RAG para recuperaci\u00f3n aumentad<\/strong>a: hace uso de bases de datos vectoriales para mejorar el contexto de las respuestas.<\/li>\n\n\n\n
- API REST con FastAPI:<\/strong> este modelo explica c\u00f3mo utilizar una API para facilitar la integraci\u00f3n con otras aplicaciones.<\/li>\n<\/ol>\n\n\n\n
C\u00f3digo de ejemplo:<\/h3>\n\n\n\n
from fastapi import FastAPI, HTTPException<\/p>\n\n\n\n
from langchain.chains import RetrievalQA<\/p>\n\n\n\n
from langchain.vectorstores import FAISS<\/p>\n\n\n\n
from langchain.embeddings import HuggingFaceEmbeddings<\/p>\n\n\n\n
from langchain.llms import HuggingFacePipeline<\/p>\n\n\n\n
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline<\/p>\n\n\n\n
import torch<\/p>\n\n\n\n
<\/p>\n\n\n\n
# Cargar modelo cuantizado<\/p>\n\n\n\n
tokenizer = AutoTokenizer.from_pretrained(\u00abmodelo-cuantizado\u00bb)<\/p>\n\n\n\n
model = AutoModelForCausalLM.from_pretrained(\u00abmodelo-cuantizado\u00bb, torch_dtype=torch.int8)<\/p>\n\n\n\n
pipe = pipeline(\u00abtext-generation\u00bb, model=model, tokenizer=tokenizer)<\/p>\n\n\n\n
llm = HuggingFacePipeline(pipeline=pipe)<\/p>\n\n\n\n
<\/p>\n\n\n\n
# Cargar base de datos vectorial para RAG<\/p>\n\n\n\n
embeddings = HuggingFaceEmbeddings(\u00absentence-transformers\/all-MiniLM-L6-v2\u00bb)<\/p>\n\n\n\n
db = FAISS.load_local(\u00abruta_vector_db\u00bb, embeddings)<\/p>\n\n\n\n
retriever = db.as_retriever()<\/p>\n\n\n\n
qa_chain = RetrievalQA(llm=llm, retriever=retriever)<\/p>\n\n\n\n
app = FastAPI()<\/p>\n\n\n\n
@app.post(\u00ab\/generar\u00bb)<\/p>\n\n\n\n
def generar_respuesta(prompt: str, max_length: int = 100):<\/p>\n\n\n\n
try:<\/p>\n\n\n\n
respuesta = qa_chain.run(prompt)<\/p>\n\n\n\n
return {\u00abrespuesta\u00bb: respuesta}<\/p>\n\n\n\n
except Exception as e:<\/p>\n\n\n\n
raise HTTPException(status_code=500, detail=str(e))<\/p>\n\n\n\n
if __name__ == \u00ab__main__\u00bb:<\/p>\n\n\n\n
import uvicorn<\/p>\n\n\n\n
uvicorn.run(app, host=\u00bb0.0.0.0″, port=8000)<\/p>\n\n\n\n
Explicaci\u00f3n<\/h2>\n\n\n\n
1. Carga del modelo cuantizado<\/h3>\n\n\n\n
tokenizer = AutoTokenizer.from_pretrained(\u00abmodelo-cuantizado\u00bb)<\/em><\/p>\n\n\n\n
model = AutoModelForCausalLM.from_pretrained(\u00abmodelo-cuantizado\u00bb, torch_dtype=torch.int8)<\/em><\/p>\n\n\n\n
pipe = pipeline(\u00abtext-generation\u00bb, model=model, tokenizer=tokenizer)<\/em><\/p>\n\n\n\n
llm = HuggingFacePipeline(pipeline=pipe)<\/em><\/p>\n\n\n\n
- \n
- AutoTokenizer.from_pretrained(\u00abmodelo-cuantizado\u00bb): <\/strong>Carga el tokenizador del modelo cuantizado.<\/li>\n\n\n\n
- AutoModelForCausalLM.from_pretrained(\u00abmodelo-cuantizado\u00bb, torch_dtype=torch.int8): <\/strong>Carga el modelo cuantizado en precisi\u00f3n int8, lo que reduce el uso de memoria y acelera la inferencia.<\/li>\n\n\n\n
- pipeline(\u00abtext-generation\u00bb, model=model, tokenizer=tokenizer):<\/strong> Crea un pipeline de generaci\u00f3n de texto basado en el modelo cuantizado.<\/li>\n\n\n\n
- HuggingFacePipeline(pipeline=pipe):<\/strong> Integra el pipeline en LangChain para su uso posterior en la arquitectura RAG.<\/li>\n<\/ul>\n\n\n\n
2. Configuraci\u00f3n de RAG (Retrieval-Augmented Generation):<\/h3>\n\n\n\n
embeddings = HuggingFaceEmbeddings(\u00absentence-transformers\/all-MiniLM-L6-v2\u00bb)<\/em><\/p>\n\n\n\n
db = FAISS.load_local(\u00abruta_vector_db\u00bb, embeddings)<\/em><\/p>\n\n\n\n
retriever = db.as_retriever()<\/em><\/p>\n\n\n\n
qa_chain = RetrievalQA(llm=llm, retriever=retriever)<\/strong><\/em><\/p>\n\n\n\n
- \n
- HuggingFaceEmbeddings(\u00absentence-transformers\/all-MiniLM-L6-v2\u00bb): <\/strong>Usa un modelo de embeddings (MiniLM-L6-v2) para convertir texto en representaciones vectoriales.<\/li>\n\n\n\n
- FAISS.load_local(\u00abruta_vector_db\u00bb, embeddings): <\/strong>Carga una base de datos vectorial FAISS con embeddings previamente generados.<\/li>\n\n\n\n
- db.as_retriever():<\/strong> Convierte la base de datos en un motor de b\u00fasqueda para recuperar informaci\u00f3n relevante.<\/li>\n\n\n\n
- RetrievalQA(llm=llm, retriever=retriever)<\/strong>: Combina el modelo de lenguaje cuantizado con la recuperaci\u00f3n de informaci\u00f3n para mejorar la generaci\u00f3n de respuestas.<\/li>\n<\/ul>\n\n\n\n
3. Creaci\u00f3n de la API con FastAPI:<\/h3>\n\n\n\n
app = FastAPI()<\/em><\/p>\n\n\n\n
@app.post(\u00ab\/generar\u00bb)<\/em><\/p>\n\n\n\n
def generar_respuesta(prompt: str, max_length: int = 100):<\/em><\/p>\n\n\n\n
try:<\/em><\/p>\n\n\n\n
respuesta = qa_chain.run(prompt)<\/em><\/p>\n\n\n\n
return {\u00abrespuesta\u00bb: respuesta}<\/em><\/p>\n\n\n\n
except Exception as e:<\/em><\/p>\n\n\n\n
raise HTTPException(status_code=500, detail=str(e))<\/em><\/p>\n\n\n\n
- \n
- FastAPI(): <\/strong>Crea una API REST para exponer el modelo y la funcionalidad RAG.<\/strong><\/li>\n\n\n\n
- @app.post(\u00ab\/generar\u00bb):<\/strong> Define un endpoint \/generar que acepta solicitudes POST con un prompt de entrada.<\/li>\n\n\n\n
- qa_chain.run(prompt): <\/strong>Usa la combinaci\u00f3n de recuperaci\u00f3n de informaci\u00f3n (RAG) y generaci\u00f3n de texto para responder.<\/li>\n\n\n\n
- Manejo de excepciones:<\/strong> Si ocurre un error, se devuelve un c\u00f3digo HTTP 500 con el mensaje de error.<\/li>\n<\/ul>\n\n\n\n
4. Ejecuci\u00f3n del servidor:<\/h3>\n\n\n\n
if __name__ == \u00ab__main__\u00bb:<\/em><\/p>\n\n\n\n
import uvicorn<\/em><\/p>\n\n\n\n
uvicorn.run(app, host=\u00bb0.0.0.0″, port=8000)<\/em><\/p>\n\n\n\n
- \n
uvicorn.run(app, host=\"0.0.0.0\", port=8000)<\/strong><\/code>: Inicia el servidor en el puerto 8000, permitiendo el acceso a la API.<\/li>\n<\/ul>\n\n\n\nConclusi\u00f3n<\/h3>\n\n\n\n
Las empresas y los desarrolladores pueden ahora adoptar modelos m\u00e1s ligeros, r\u00e1pidos y privados gracias a los SLM (Small Language Models)<\/strong>, un avance clave en la evoluci\u00f3n de la IA generativa. La cuantizaci\u00f3n de modelos<\/strong> \u2014que reduce significativamente el tama\u00f1o y los requisitos computacionales sin comprometer el rendimiento b\u00e1sico\u2014 permite ejecutar estos modelos en entornos on-premise<\/strong> o en dispositivos con recursos limitados, manteniendo el control total sobre los datos y procesos.<\/p>\n\n\n\n
A este enfoque se suma la arquitectura basada en RAG (Retrieval-Augmented Generation)<\/strong>, junto con herramientas como FastAPI y LangChain<\/strong>, que permiten desplegar soluciones de IA gobernables, auditables y adaptadas a requisitos espec\u00edficos. Estas estrategias hacen posible una generaci\u00f3n de IA totalmente controlada<\/strong>, convirti\u00e9ndola en una opci\u00f3n realista y eficaz para sectores exigentes como el an\u00e1lisis de datos, la investigaci\u00f3n cient\u00edfica o el servicio al cliente.<\/p>\n\n\n\n
La combinaci\u00f3n de SLMs cuantizados, arquitectura modular y despliegue aut\u00f3nomo representa una de las formas m\u00e1s seguras y eficientes de integrar IA generativa en su organizaci\u00f3n.<\/p>\n\n\n\n
\u00bfQuieres ver c\u00f3mo se traduce todo esto en un caso real?<\/h3>\n\n\n\n
Accede a la ponencia completa y desc\u00fabrelo.<\/p>\n\n\n
- @app.post(\u00ab\/generar\u00bb):<\/strong> Define un endpoint \/generar que acepta solicitudes POST con un prompt de entrada.<\/li>\n\n\n\n
- FAISS.load_local(\u00abruta_vector_db\u00bb, embeddings): <\/strong>Carga una base de datos vectorial FAISS con embeddings previamente generados.<\/li>\n\n\n\n
- AutoModelForCausalLM.from_pretrained(\u00abmodelo-cuantizado\u00bb, torch_dtype=torch.int8): <\/strong>Carga el modelo cuantizado en precisi\u00f3n int8, lo que reduce el uso de memoria y acelera la inferencia.<\/li>\n\n\n\n
- LangChain para una gesti\u00f3n de prompts<\/strong>: LangChain permite estructurar y ampliar las peticiones del modelo.<\/li>\n\n\n\n
- Control total sobre el modelo:<\/strong> evita la necesidad de servicios de terceros y permite personalizar el comportamiento de la IA.<\/li>\n\n\n\n
- Embeddings de documentos<\/strong>: conversi\u00f3n de texto en vector num\u00e9rico.<\/li>\n\n\n\n
- Mayor eficiencia de la GPU\/CPU:<\/strong> Reduce la carga de la CPU acelerando las operaciones matem\u00e1ticas.<\/li>\n\n\n\n
- Phi-2<\/strong> de Microsoft (~2.7B par\u00e1metros)<\/li>\n\n\n\n