Beispiele f\u00fcr bekannte SLMs: <\/p>\n\n\n\n
- \n
- Mistral 7B<\/strong><\/li>\n\n\n\n
- Phi-2<\/strong> von Microsoft (~2,7B Parameter)<\/li>\n\n\n\n
- TinyLLaMA<\/strong><\/li>\n\n\n\n
- Gemma 2B<\/strong> von Google<\/li>\n<\/ul>\n\n\n\n
Quantifizierung des Modells: Downsizing ohne genaue Sterblichkeit <\/h2>\n\n\n\n
Eines der Haupthindernisse beim Training von KI-Modellen ist ihre Gr\u00f6\u00dfe und die erforderliche Rechenleistung. Hier spielt die Quantisierung eine Schl\u00fcsselrolle. Diese Technik verringert die Gr\u00f6\u00dfe des Modells, indem hochpr\u00e4zise Gewichte (FP32, FP16) in niedrigpr\u00e4zise Gewichte (INT8, INT4) umgewandelt werden, ohne die Leistung des Modells wesentlich zu beeintr\u00e4chtigen. Zu den Vorteilen geh\u00f6ren:<\/p>\n\n\n\n
- \n
- Geringere Speichernutzung<\/strong>Erm\u00f6glicht die Speicherung und Verwaltung von Modellen auf Ger\u00e4ten mit begrenzter Kapazit\u00e4t.<\/li>\n\n\n\n
- Erh\u00f6hte GPU\/CPU-Effizienz:<\/strong> Reduziert die CPU-Belastung durch Beschleunigung der mathematischen Operationen.<\/li>\n\n\n\n
- Beschleunigte Inferenz:<\/strong> Die Modelle k\u00f6nnen schneller reagieren, wodurch die Genauigkeit der Berechnungen abnimmt.<\/li>\n<\/ul>\n\n\n\n
Vergleich von SLM und LLM<\/h2>\n\n\n\n
W\u00e4hrend sich LLM als leistungsf\u00e4higes Werkzeug erwiesen hat, bietet SLM in Situationen, in denen Effizienz und Datenschutz von gr\u00f6\u00dfter Bedeutung sind, wichtige Vorteile. Im Folgenden vergleichen wir die beiden Ans\u00e4tze:<\/p>\n\n\n\n
![\"\"](\"https:\/\/exceltic.com\/wp-content\/uploads\/2025\/06\/tabla-comparacion-SLM-y-LLM.png\")
<\/figure>\n\n\n\nRecovery Augmented Generation (RAG)<\/h2>\n\n\n\n
Die Retrieval Augmented Generation (RAG)-Technik wird eingesetzt, um die Genauigkeit und Kontextualisierung von Modellen zu verbessern. Diese Methode maximiert die Antworten durch den Erhalt von Informationen aus zus\u00e4tzlichen Quellen und verbessert den Kontext vor der Texterstellung. Ihre Struktur besteht aus:<\/p>\n\n\n\n
- \n
- Chunking<\/strong>Fragmentierung der Daten in handhabbare Teile.<\/li>\n\n\n\n
- Einbettung von Dokumenten<\/strong>Konvertierung von Text in einen numerischen Vektor.<\/li>\n\n\n\n
- Vektordatenbank (VectorDB)<\/strong>: )<\/strong>ist eine Datenbank, die relevante Daten speichert und abruft.<\/li>\n\n\n\n
- Informationsabfrage<\/strong>Bei einer Abfrage findet es die relevantesten Informationen.<\/li>\n\n\n\n
- Generierung von Antworten<\/strong>Synthese kontextbezogener Informationen zur Verbesserung der Ergebnisse des Modells.<\/li>\n<\/ol>\n\n\n\n
Implementierung von SLMs + RAG: Ein effizientes und sicheres Modell<\/h2>\n\n\n\n
Die Kombination von SLMs mit der RAG-Strategie erm\u00f6glicht die Schaffung hocheffizienter und kontrollierbarer generativer KI-Systeme. Mit dieser Architektur k\u00f6nnen Organisationen optimierte Modelle verwenden, die eine gr\u00f6\u00dfere Privatsph\u00e4re bei geringerem Ressourcenverbrauch gew\u00e4hrleisten.<\/p>\n\n\n\n
Wichtigste Vorteile:<\/h3>\n\n\n\n
- \n
- Optimierte Nutzung von Daten<\/strong>Die Einbeziehung der Informationsbeschaffung erm\u00f6glicht genauere und fundiertere Antworten.<\/li>\n\n\n\n
- Volle Kontrolle \u00fcber das Modell:<\/strong> macht die Dienste von Drittanbietern \u00fcberfl\u00fcssig und erm\u00f6glicht die Anpassung des KI-Verhaltens.<\/li>\n\n\n\n
- Ausf\u00fchrung in eingeschr\u00e4nkten Umgebungen:<\/strong> Aufgrund ihrer Quantifizierbarkeit und geringen Gr\u00f6\u00dfe k\u00f6nnen SLMs auf Endger\u00e4ten oder lokalen Servern eingesetzt werden.<\/li>\n<\/ul>\n\n\n\n
Basisarchitektur mit Quantified Model, LangChain, RAG und FastAPI<\/h2>\n\n\n\n
Die folgende Architektur kann verwendet werden, um eine effiziente SML-Umgebung zu schaffen:<\/p>\n\n\n\n
- \n
- Laden des quantisierten Modells:<\/strong> ein Modell, das zuvor in INT8 oder INT4 quantifiziert wurde, wird verwendet, um seine Leistung zu optimieren.<\/li>\n\n\n\n
- LangChain f\u00fcr die Verwaltung von Eingabeaufforderungen<\/strong>LangChain: LangChain erm\u00f6glicht es, die Anfragen des Modells zu strukturieren und zu erweitern.<\/li>\n\n\n\n
- Einsatz von RAG f\u00fcr eine verbesserte Einziehung<\/strong>a: nutzt Vektordatenbanken, um den Kontext der Antworten zu verbessern.<\/li>\n\n\n\n
- REST API mit FastAPI:<\/strong> Dieses Modell erkl\u00e4rt, wie man eine API verwendet, um die Integration mit anderen Anwendungen zu erleichtern.<\/li>\n<\/ol>\n\n\n\n
Beispiel-Code:<\/h3>\n\n\n\n
from fastapi import FastAPI, HTTPException<\/p>\n\n\n\n
from langchain.chains import RetrievalQA<\/p>\n\n\n\n
from langchain.vectorstores import FAISS<\/p>\n\n\n\n
from langchain.embeddings import HuggingFaceEmbeddings<\/p>\n\n\n\n
from langchain.llms import HuggingFacePipeline<\/p>\n\n\n\n
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline<\/p>\n\n\n\n
Importfackel<\/p>\n\n\n\n
<\/p>\n\n\n\n
# Lastquantisiertes Modell<\/p>\n\n\n\n
tokenizer = AutoTokenizer.from_pretrained(\"model-quantified\")<\/p>\n\n\n\n
model = AutoModelForCausalLM.from_pretrained(\"model-quantified\", torch_dtype=torch.int8)<\/p>\n\n\n\n
pipe = pipeline(\"text-generation\", model=model, tokenizer=tokenizer)<\/p>\n\n\n\n
llm = HuggingFacePipeline(pipeline=pipe)<\/p>\n\n\n\n
<\/p>\n\n\n\n
# Lastvektor-Datenbank f\u00fcr RAG<\/p>\n\n\n\n
Einbettungen = HuggingFaceEmbeddings(\"sentence-transformers\/all-MiniLM-L6-v2\")<\/p>\n\n\n\n
db = FAISS.load_local(\"ruta_vector_db\", Einbettungen)<\/p>\n\n\n\n
Retriever = db.as_retriever()<\/p>\n\n\n\n
qa_chain = RetrievalQA(llm=llm, retriever=retriever)<\/p>\n\n\n\n
app = FastAPI()<\/p>\n\n\n\n
@app.post(\"\/generate\")<\/p>\n\n\n\n
def generate_response(prompt: str, max_length: int = 100):<\/p>\n\n\n\n
versuchen:<\/p>\n\n\n\n
Antwort = qa_chain.run(prompt)<\/p>\n\n\n\n
return {\"Antwort\": Antwort}<\/p>\n\n\n\n
au\u00dfer Ausnahme wie e:<\/p>\n\n\n\n
raise HTTPException(status_code=500, detail=str(e))<\/p>\n\n\n\n
if __name__ == \"__main__\":<\/p>\n\n\n\n
importieren uvicorn<\/p>\n\n\n\n
uvicorn.run(app, host=\"0.0.0.0.0\u2033, port=8000)<\/p>\n\n\n\n
Erl\u00e4uterung<\/h2>\n\n\n\n
Laden des quantisierten Modells<\/h3>\n\n\n\n
tokenizer = AutoTokenizer.from_pretrained(\"model-quantified\")<\/em><\/p>\n\n\n\n
model = AutoModelForCausalLM.from_pretrained(\"model-quantified\", torch_dtype=torch.int8)<\/em><\/p>\n\n\n\n
pipe = pipeline(\"text-generation\", model=model, tokenizer=tokenizer)<\/em><\/p>\n\n\n\n
llm = HuggingFacePipeline(pipeline=pipe)<\/em><\/p>\n\n\n\n
- \n
- AutoTokenizer.from_pretrained(\"model-quantified\"): <\/strong>L\u00e4dt den Tokeniser des quantisierten Modells.<\/li>\n\n\n\n
- AutoModelForCausalLM.from_pretrained(\"model-quantified\", torch_dtype=torch.int8): <\/strong>L\u00e4dt das quantisierte Modell in int8-Pr\u00e4zision, was den Speicherverbrauch reduziert und die Inferenz beschleunigt.<\/li>\n\n\n\n
- pipeline(\"text-generation\", model=model, tokenizer=tokenizer):<\/strong> Erstellt eine Textgenerierungspipeline auf der Grundlage des quantifizierten Modells.<\/li>\n\n\n\n
- HuggingFacePipeline(pipeline=pipe):<\/strong> Integration der Pipeline in LangChain zur weiteren Verwendung in der RAG-Architektur.<\/li>\n<\/ul>\n\n\n\n
2. Retrieval-Augmented Generation (RAG)-Konfiguration:<\/h3>\n\n\n\n
Einbettungen = HuggingFaceEmbeddings(\"sentence-transformers\/all-MiniLM-L6-v2\")<\/em><\/p>\n\n\n\n
db = FAISS.load_local(\"ruta_vector_db\", Einbettungen)<\/em><\/p>\n\n\n\n
Retriever = db.as_retriever()<\/em><\/p>\n\n\n\n
qa_chain = RetrievalQA(llm=llm, retriever=retriever)<\/strong><\/em><\/p>\n\n\n\n
- \n
- HuggingFaceEmbeddings(\"sentence-transformers\/all-MiniLM-L6-v2\"): <\/strong>Verwendet ein Einbettungsmodell (MiniLM-L6-v2) zur Umwandlung von Text in Vektordarstellungen.<\/li>\n\n\n\n
- FAISS.load_local(\"path_vector_db\", Einbettungen): <\/strong>L\u00e4dt eine FAISS-Vektordatenbank mit zuvor generierten Einbettungen.<\/li>\n\n\n\n
- db.as_retriever():<\/strong> Sie verwandelt die Datenbank in eine Suchmaschine, um relevante Informationen zu finden.<\/li>\n\n\n\n
- RetrievalQA(llm=llm, retriever=retriever)<\/strong>Kombiniert quantifizierte Sprachmodellierung mit Informationsbeschaffung zur Verbesserung der Antwortgenerierung.<\/li>\n<\/ul>\n\n\n\n
3. Erstellen der API mit FastAPI:<\/h3>\n\n\n\n
app = FastAPI()<\/em><\/p>\n\n\n\n
@app.post(\"\/generate\")<\/em><\/p>\n\n\n\n
def generate_response(prompt: str, max_length: int = 100):<\/em><\/p>\n\n\n\n
versuchen:<\/em><\/p>\n\n\n\n
Antwort = qa_chain.run(prompt)<\/em><\/p>\n\n\n\n
return {\"Antwort\": Antwort}<\/em><\/p>\n\n\n\n
au\u00dfer Ausnahme wie e:<\/em><\/p>\n\n\n\n
raise HTTPException(status_code=500, detail=str(e))<\/em><\/p>\n\n\n\n
- \n
- FastAPI(): <\/strong>Erstellen Sie eine REST-API, um das RAG-Modell und die Funktionalit\u00e4t zug\u00e4nglich zu machen..<\/strong><\/li>\n\n\n\n
- @app.post(\"\/generate\"):<\/strong> Definiert einen \/generate-Endpunkt, der POST-Anfragen mit einer Eingabeaufforderung annimmt.<\/li>\n\n\n\n
- qa_chain.run(prompt): <\/strong>Es verwendet eine Kombination aus Informationsbeschaffung (RAG) und Textgenerierung, um zu antworten.<\/li>\n\n\n\n
- Behandlung von Ausnahmen:<\/strong> Wenn ein Fehler auftritt, wird ein HTTP 500-Code mit der Fehlermeldung zur\u00fcckgegeben.<\/li>\n<\/ul>\n\n\n\n
4. Server-Ausf\u00fchrung:<\/h3>\n\n\n\n
if __name__ == \"__main__\":<\/em><\/p>\n\n\n\n
importieren uvicorn<\/em><\/p>\n\n\n\n
uvicorn.run(app, host=\"0.0.0.0.0\u2033, port=8000)<\/em><\/p>\n\n\n\n
- \n
uvicorn.run(app, host=\"0.0.0.0\", port=8000)<\/strong><\/code>Startet den Server an Port 8000 und erm\u00f6glicht den Zugriff auf die API.<\/li>\n<\/ul>\n\n\n\nSchlussfolgerung<\/h3>\n\n\n\n
Unternehmen und Entwickler k\u00f6nnen jetzt die leichtere, schnellere und privatere Modelle dank der SLMs (Small Language Models)<\/strong>ein entscheidender Durchbruch in der Entwicklung der generativen KI. Die Quantisierung von Modellen<\/strong> -die die Gr\u00f6\u00dfe und den Rechenaufwand erheblich reduziert, ohne die grundlegende Leistung zu beeintr\u00e4chtigen, k\u00f6nnen diese Modelle in Umgebungen ausgef\u00fchrt werden Vor-Ort<\/strong> oder auf Ger\u00e4ten mit eingeschr\u00e4nkten Ressourcen, wobei die volle Kontrolle \u00fcber Daten und Prozesse erhalten bleibt.<\/p>\n\n\n\n
Erg\u00e4nzt wird dieser Ansatz durch die Architektur, die auf RAG (Retrieval-Augmented Generation)<\/strong>zusammen mit Tools wie FastAPI und LangChain<\/strong>Diese Strategien erm\u00f6glichen den Einsatz von KI-L\u00f6sungen, die steuerbar, \u00fcberpr\u00fcfbar und auf spezifische Anforderungen zugeschnitten sind. Diese Strategien machen es m\u00f6glich vollst\u00e4ndig kontrollierte KI-Generierung<\/strong>Das macht ihn zu einer realistischen und effektiven Wahl f\u00fcr anspruchsvolle Bereiche wie Datenanalyse, wissenschaftliche Forschung oder Kundendienst.<\/p>\n\n\n\n
Die Kombination aus quantifizierten SLMs, modularer Architektur und autonomer Bereitstellung stellt eine der sichersten und effizientesten M\u00f6glichkeiten dar, generative KI in Ihr Unternehmen zu integrieren.<\/p>\n\n\n\n
M\u00f6chten Sie sehen, wie sich dies in einem realen Fall auswirkt?<\/h3>\n\n\n\n
Lesen Sie das vollst\u00e4ndige Papier und erfahren Sie mehr.<\/p>\n\n\n
- @app.post(\"\/generate\"):<\/strong> Definiert einen \/generate-Endpunkt, der POST-Anfragen mit einer Eingabeaufforderung annimmt.<\/li>\n\n\n\n
- FAISS.load_local(\"path_vector_db\", Einbettungen): <\/strong>L\u00e4dt eine FAISS-Vektordatenbank mit zuvor generierten Einbettungen.<\/li>\n\n\n\n
- AutoModelForCausalLM.from_pretrained(\"model-quantified\", torch_dtype=torch.int8): <\/strong>L\u00e4dt das quantisierte Modell in int8-Pr\u00e4zision, was den Speicherverbrauch reduziert und die Inferenz beschleunigt.<\/li>\n\n\n\n
- LangChain f\u00fcr die Verwaltung von Eingabeaufforderungen<\/strong>LangChain: LangChain erm\u00f6glicht es, die Anfragen des Modells zu strukturieren und zu erweitern.<\/li>\n\n\n\n
- Volle Kontrolle \u00fcber das Modell:<\/strong> macht die Dienste von Drittanbietern \u00fcberfl\u00fcssig und erm\u00f6glicht die Anpassung des KI-Verhaltens.<\/li>\n\n\n\n
- Einbettung von Dokumenten<\/strong>Konvertierung von Text in einen numerischen Vektor.<\/li>\n\n\n\n
- Erh\u00f6hte GPU\/CPU-Effizienz:<\/strong> Reduziert die CPU-Belastung durch Beschleunigung der mathematischen Operationen.<\/li>\n\n\n\n
- Phi-2<\/strong> von Microsoft (~2,7B Parameter)<\/li>\n\n\n\n