KI-Agenten ohne Cloud: kleine Sprachmodelle und RAG lokal nutzen

Mit künstlicher Intelligenz lassen sich Aufgaben im Büroalltag automatisieren und Workflows effizienter gestalten. Durch den lokalen Betrieb kleiner Sprachmodelle verbleiben interne Daten auf eigener Hardware und die entstehenden Kosten lassen sich einfach und sicher steuern.

Nach der Teilnahme am zweitägigen Workshop können Sie:

• die Funktionsweise und Architektur kleiner Sprachmodelle verstehen

• kleine Sprachmodelle lokal installieren, konfigurieren sowie ihre Möglichkeiten und Grenzen für unterschiedliche Anwendungsfälle beurteilen

• Sprachmodelle für Textverarbeitung, Übersetzung und Dokumentenanalyse anwenden

• Routineaufgaben mit eignen KI-Agenten gezielt und effizient automatisieren

• lokale Systeme zur Dokumentenabfrage mittels Retrieval Augmented Generation aufbauen

Inhalte

Dieser Kompakt-Workshop vermittelt Ihnen das erforderliche Know-how, um ohne Programmierkenntnisse kleine Sprachmodelle auf eigener Hardware lokal zu betreiben. Dazu lernen Sie unterschiedliche Anwendungen zum Einsatz lokaler KI-Modelle kennen. Ebenfalls blicken Sie auf die Gemeinsamkeiten und Unterschiede bei Qualität, Leistung, Kosten und Datenschutz im Vergleich zu LLMs in der Cloud.

Im Fokus stehen konkrete Einsatzmöglichkeiten von KI-Agenten im Büroalltag. Sie erfahren, wie sich E-Mails automatisch zusammenfassen oder Antwortvorschläge erzeugen lassen, wie KI-Tools Besprechungsnotizen strukturieren und daraus Aufgabenlisten erstellen und wie sie Angebote oder Umsatzberichte aus Vorlagen automatisch generieren.

Ebenso können Sie Dokumente gezielt durchsuchen oder automatisiert analysieren, klassifizieren und komplexe Tabellen in verständliche Texte überführen. Nach Abschluss des Workshops verfügen Sie über eine umfassend eingerichtete, lokale KI-Umgebung. So sind Sie gleich startklar, um Aufgaben in Ihrem Büroalltag zu automatisieren.

Themen in der Übersicht

• 1. kleine Sprachmodelle kennenlernen

  • Unterschiede zwischen großen Sprachmodellen in der Cloud und kleinen, lokalen Modellen verstehen und Anwendungsbereiche kennenlernen

  • Funktionsweise von Transformern und Kontextfenster verstehen

  • Qualitäts- und Leistungsmerkmale von 3B- und 7B- Modellen in Echtzeit nachvollziehen: Genauigkeit, Speicherbedarf, Antwortgeschwindigkeit, Datenschutz

• 2. Sprachmodelle, Tools und Frameworks lokal installieren und verwenden

  • Tools zum Betrieb lokaler Sprachmodelle überblicken und einsetzen: Ollama, LM Studio

  • Modelle im GGUF-Format verwenden, z. B. LLaMA 3, Mistral, Gemma oder DeepSeek

  • Frameworks zum Aufbau einfacher KI-Agenten kennenlernen und nutzen, etwa AnythingLLM, LangFlow, Flowise und n8n

• 3. erste Anwendungsfälle praktisch umsetzen

  • Texte übersetzen, zusammenfassen und umformulieren, z. B. aus E-Mails oder Geschäftsberichten

• 4. Chatbot zur Abfrage von Inhalten aus Dokumenten entwickeln

  • Dokumente mit Retrieval Augmented Generation durchsuchbar machen

  • Fragen zu Dokumenten von lokalem KI-Agenten beantworten lassen

• 5. Workflows mit eigenen KI-Agenten automatisieren

  • Dokumente übersetzen und zusammenfassen lassen, etwa englische E-Mails oder Angebote für Kunden in fremdsprachigen Gebieten

  • Daten aus Tabellen strukturieren, zusammenfassen oder in verständliche Texte überführen, z. B. Rechnungen, Bilanzen oder Lagerbestände

  • KI-Agenten zur Automatisierung eigener Aufgaben verketten, etwa als persönlichen Büro-Assistenten, der E-Mails analysiert, Aufgaben erkennt oder Textvorlagen generiert

Zielgruppe

• IT-Verantwortliche in kleinen Unternehmen und Projektteams, die künstliche Intelligenz ohne Cloud-Infrastruktur einsetzen wollen

• Angestellte in Fachabteilungen, die KI für Übersetzungen, Zusammenfassungen oder Datenorganisation nutzen wollen

• Selbstständige und Mitarbeitende in Start-ups, die mit überschaubarem Aufwand KI-Funktionalitäten lokal ausprobieren und in ihre Arbeit integrieren wollen.

Voraussetzungen

Leistungen Ihres Workshoptickets

• Sie erhalten Ihre Schulungsunterlagen in digitaler Form. So können Sie selbst entscheiden, ob Sie diese elektronisch bearbeiten und archivieren oder lieber ausdrucken möchten. 

• Mit der Teilnahmebescheinigung unterstreichen Sie Ihr Weiterbildungsengagement und verbessern Ihre Perspektiven für interne Karriereschritte oder neue berufliche Wege.

Durchführung

• Um einen intensiven Austausch zwischen dem Trainer und den Teilnehmenden zu gewährleisten, erfolgt der Workshop in Gruppen von höchstens 20 Personen.

• Sollte die Durchführung der Veranstaltung aufgrund höherer Gewalt, der Verhinderung eines Referenten, von Störungen am Veranstaltungsort oder wegen zu geringer Teilnehmerzahl nicht möglich sein, werden die Teilnehmenden so früh wie möglich informiert.