Eigene Chatbots bauen

Es ist inzwischen nicht mehr schwer, Chatbots in eigener Regie herzustellen. Bis 2023/24 war dies ein Privileg der großen Anbieter, nur sie hatten das viele Geld und die erforderlichen Computer-Ower für das aufwändige Training. Das hat sich geändert, und zwar sehr gründlich. Die technischen Voraussetzungen sind eher minimal: eine Installation funktioniert schon für etwas besser ausgestattete Laptops (Macs mitM1-Prozessor, Windows-PC mit Intel i9-Prozessor) und natürlich gehörig RAM, an besten 64 GB.

Auswahl einiger Anbieter

Es gibt Tools, die eine Auswahl unterschiedlicher Large Language Models (LLM) anbieten. Man kann alles für den Aufbau einer Plattform und Modelle herunterladen (inzwischen eine beachtliche Anzahl, z.B. Nomic AI, Ollama, PrivateGPT, LocalGPT, LMStudio und eine Menge anderer, die den Entwicklern eines Unternehmens die Möglichkeit bieten, auf Basis von auswählbaren vortrainierten, meist open source-Sprachmodellen eine eigene KI selbst für komplexe firmeninterne Datenquellen aufzubauen.

Ebenfalls werden Möglichkeiten angeboten. wie Llama-2- oder Mistral-Modelle auf lokaler Ebene genutzt werden können.

Perspektiven

Es tut sich also schon Beachtliches für das Anliegen, sich aus der Abhängigkeit der großen Anbieter zuz lösen. Es ist nicht nur der nach US-amerikanischem mind set großzügig übersehene Datenschutz, der zu alternativen Lösungen drängt. Es geht auch darum, ein Gegengewicht zu der sich praktisch jeder Kontrolle entziehenden Machtkonzentration der akerikanischen Hyperscaler aufzubauen.

Für die IT eines Unternehmens lohnt es sich, die Szene zu beobachten. Die auch hier superschnelle technische Entwicklung lässt hoffen, das in kurzer Zeit auch Tools zur Verfügung stehen, die aus den Kinderkrankheiten der schnellen Entwicklung herausgewachsen sind.