no title

Foundry AI Local: Eine neue Ära der lokalen KI

Microsoft Foundry AI Local ist im Wesentlichen ein Befehlszeilentool, das LLM auf Ihrer Maschine lokal ausführt. Obwohl die ursprüngliche Zielgruppe Entwickler sind, ist es derzeit eine der einfachsten Möglichkeiten, lokale KI auszuprobieren, da es fast alles für Sie erledigt. Noch wichtiger ist, dass es auch die Leistung Ihres PCs optimieren kann.

Stellen Sie sich vor, Sie möchten eine neue Anwendung installieren. Traditionell müssen Sie zur Website oder zum Microsoft Store navigieren, den Download-Link finden und Windows mitteilen, wo alles platziert werden soll. Mit “winget” ist alles viel einfacher. “winget” ist wie DoorDash für Anwendungen. Sie öffnen einfach die Befehlszeile und geben den Namen der gewünschten Anwendung ein, und “winget” erledigt den Rest automatisch für Sie. Sie müssen sich nicht einmal auf Websites von Drittanbietern anmelden.

Die Funktionsweise von Foundry AI Local ist ähnlich. Sie müssen lediglich zwei Befehle aus diesem Artikel kopieren und einfügen, um sofort loslegen zu können. Obwohl Microsoft nicht ausdrücklich darauf hinweist, dass Sie eine dedizierte GPU oder NPU benötigen, sind diese hilfreich. Grundsätzlich benötigen Sie ein Windows 10- oder 11-System, mindestens 8 GB RAM und 3 GB Speicherplatz (es werden 16 GB RAM und 15 GB Festplattenspeicher empfohlen). Copilot+ PC ist optional, aber wenn Sie ein Gerät mit einem Qualcomm Snapdragon X Elite-Prozessor, einer Nvidia RTX 2000-Serie oder einer AMD Radeon 6000-Serie GPU oder einem neueren Modell besitzen, erzielen Sie bessere Ergebnisse.

Schnellstart: Schritte zur Verwendung von Foundry AI Local

Hier sind die detaillierten Schritte für den Einstieg in Foundry AI Local:

1. Öffnen der Befehlszeilenkonsole: Drücken Sie die Windows-Taste und beginnen Sie mit der Eingabe von „terminal“. In der Liste der vorgeschlagenen Anwendungen sollte die Windows Terminal-Anwendung angezeigt werden, möglicherweise auch als Windows PowerShell. Das spielt keine Rolle, beides funktioniert.

2. Eingabe von Befehlen: Geben Sie an der Eingabeaufforderung die folgenden Befehle ein:

1
2
3
4
5
6
7
8
9

# Beispielbefehle (Diese Befehle sind hypothetisch, da die tatsächlichen Befehle von Microsoft bereitgestellt werden müssen)
# Bitte ersetzen Sie diese Platzhalter durch die echten Befehle von Microsoft.
# Dies ist nur zur Veranschaulichung.

# 1. Foundry AI Local installieren (Beispielbefehl)
winget install Microsoft.FoundryAILocal

# 2. Ein lokales LLM starten (Beispielbefehl)
FoundryAILocal start MyModel

Hinweis: Die obigen Befehle sind nur Beispiele. Microsoft muss die tatsächlichen Befehle für die Installation und Ausführung von Foundry AI Local veröffentlichen. Sobald die offiziellen Befehle verfügbar sind, ersetzen Sie bitte die obigen Platzhalter.

Lokale AI: Vorteile und Verwendungsmöglichkeiten

Die Möglichkeit, große Sprachmodelle (LLMs) lokal auszuführen, eröffnet eine Vielzahl von Möglichkeiten. Hier einige Beispiele:

• Datenschutz: Da Ihre Daten Ihr Gerät nie verlassen, ist Ihre Privatsphäre besser geschützt. Sie müssen sich keine Sorgen machen, dass Ihre Eingaben an externe Server gesendet werden.

• Geschwindigkeit: Die lokale Ausführung kann schneller sein als die Verwendung eines Cloud-basierten Dienstes, insbesondere bei langsamen Internetverbindungen. Die Reaktionszeiten sind kürzer, da die Daten nicht über das Internet übertragen werden müssen.

• Offline-Funktionalität: Sie können AI-Funktionen auch dann nutzen, wenn Sie keine Internetverbindung haben. Dies ist ideal für Reisen oder in Gebieten mit schlechter Netzabdeckung.

• Entwicklung: Entwickler können lokale LLMs nutzen, um Anwendungen zu erstellen und zu testen, ohne auf eine Internetverbindung angewiesen zu sein. Dies beschleunigt den Entwicklungsprozess und ermöglicht das Experimentieren mit neuen AI-basierten Funktionen.

Anwendungsbeispiele

Hier sind einige konkrete Anwendungsbeispiele für die Verwendung von Foundry AI Local:

• Lokale Chatbots: Erstellen Sie Ihren eigenen Chatbot, der lokal auf Ihrem PC läuft. Dieser kann für eine Vielzahl von Aufgaben eingesetzt werden, z. B. zur Beantwortung von Fragen, zur Unterstützung beim Schreiben oder zur Durchführung von Recherchen.

• Lokale Bilderkennung: Analysieren Sie Bilder lokal, ohne diese in die Cloud hochladen zu müssen. Dies kann für die automatische Kategorisierung von Fotos, die Erkennung von Objekten oder die Überwachung von Bilddaten verwendet werden.

• Lokale Texterkennung (OCR): Konvertieren Sie gescannte Dokumente oder Bilder von Text in bearbeitbaren Text, ohne auf eine Internetverbindung angewiesen zu sein.

• Lokale Code-Generierung: Nutzen Sie AI, um Code lokal zu generieren, ohne auf Cloud-basierte Dienste angewiesen zu sein. Dies beschleunigt die Softwareentwicklung und ermöglicht das Experimentieren mit neuen Programmiersprachen.

Einschränkungen und Herausforderungen

Obwohl Foundry AI Local viele Vorteile bietet, gibt es auch einige Einschränkungen und Herausforderungen zu beachten:

• Hardware-Anforderungen: Die Ausführung von LLMs erfordert erhebliche Rechenleistung. Ältere PCs oder Geräte mit geringer Leistung können möglicherweise nicht so gut funktionieren oder gar nicht in der Lage sein, die Modelle auszuführen.

• Speicherplatz: LLMs können sehr groß sein und viel Speicherplatz auf der Festplatte belegen. Stellen Sie sicher, dass Sie genügend Speicherplatz haben, bevor Sie mit der Installation beginnen.

• Komplexität: Obwohl Microsoft versucht, den Prozess zu vereinfachen, kann die Installation und Konfiguration von LLMs für Anfänger immer noch komplex sein. Es ist wichtig, die Anweisungen sorgfältig zu befolgen.

• Software-Updates: LLMs werden ständig weiterentwickelt. Um von den neuesten Verbesserungen zu profitieren, müssen Sie regelmäßig Software-Updates installieren.

Die Zukunft der lokalen AI

Microsoft Foundry AI Local ist ein wichtiger Schritt in Richtung der Demokratisierung von AI. Indem Microsoft es einfacher macht, LLMs lokal auszuführen, eröffnet es eine Welt voller neuer Möglichkeiten für Entwickler und Endbenutzer. Wir können in Zukunft noch mehr innovative Anwendungen und Funktionen erwarten, die auf lokaler AI basieren. Mit der fortschreitenden Entwicklung von Hardware und Software wird es immer einfacher und kostengünstiger, AI-Funktionen lokal auf unseren PCs und Geräten auszuführen. Dies wird zu einer stärkeren Akzeptanz von AI in allen Bereichen unseres Lebens führen.

Die Veröffentlichung von Foundry AI Local durch Microsoft ist ein klares Zeichen dafür, dass die Zukunft der AI nicht nur in der Cloud liegt, sondern auch auf unseren lokalen Geräten. Diese Entwicklung wird die Art und Weise, wie wir mit Technologie interagieren, grundlegend verändern und uns neue Möglichkeiten eröffnen, unsere Arbeit zu erledigen, zu lernen und uns zu unterhalten.