5 Funktionen, die der AI Copilot von Windows 11 wirklich nützlich sein muss

KI ist im letzten Jahr oder so zu einem wichtigen Teil der Strategie von Microsoft geworden. Sicher, das trifft auf viele Unternehmen zu, denn KI scheint derzeit das heißeste Schlagwort zu sein. Aber Microsoft hat kürzlich den mutigen Schritt gewagt, es in Form von Windows Copilot auf Windows 11 zu bringen, einem neuen KI-Assistenten, der (inoffiziell) ein Nachfolger von Cortana ist. Es basiert auf dem großen Sprachmodell GPT-4, das in Bing Chat verwendet wird, um ein Tool zu erstellen, das nützlicher als je zuvor sein soll.

Obwohl das Potenzial spannend ist, ist die aktuelle Implementierung von Copilot in Windows Insider-Builds sehr einfach und unterscheidet sich nicht allzu sehr von der bloßen Verwendung von Bing Chat im Web. Ich habe ein paar Ideen, was Microsoft tun kann, um Copilot zu einem wirklich wesentlichen Bestandteil von Windows 11 zu machen.

1 Unterstützung alle Systemeinstellungen und Hauptfunktionen

Der große Vorteil von Windows Copilot beim Start bestand darin, dass es auf eine Weise mit Ihrem PC interagieren konnte, die Bing Chat als reiner Browser eigentlich nicht konnte. Und das ist ein toller Ausgangspunkt. Viele Power-User verwenden bereits gerne textbasierte Schnittstellen und Tastaturbefehle, um bestimmte Aufgaben auszuführen. Daher bietet die Möglichkeit, viele dieser Einstellungen von einem Ort aus ändern zu können, großes Potenzial.

Allerdings unterstützt die aktuelle Implementierung nur wenige Funktionen, wie z. B. die Möglichkeit, in den Hell- oder Dunkelmodus zu wechseln, „Bitte nicht stören“ einzuschalten oder einen Screenshot zu machen. Das muss wirklich erweitert werden alle die Windows-Einstellungen, die in der App „Einstellungen“ zu finden sind (die Systemsteuerung sollte an dieser Stelle wahrscheinlich zurückgelassen werden), oder zumindest viel mehr als das, was wir derzeit haben. Es könnte die Akzentfarbe ändern, eine der Anzeigen in einem Multi-Monitor-Setup deaktivieren, Wiedergabegeräte ändern und so weiter. Es könnte sogar eine Fokussitzung beginnen.

Wenn Windows Copilot bei all dem helfen könnte, könnte es die Interaktion mit bestimmten Einstellungen viel schneller machen, insbesondere für Leute, die dies häufig tun. Es gibt viel zu tun, und Microsoft hat einiges davon versprochen, aber noch nicht geliefert.

2 Einfache App-Hooks

Eine weitere Sache, die meiner Meinung nach über den Nutzen von Copilot entscheiden wird, ist die Integration mit anderen Apps. Um ein zentraler KI-Assistent zu werden, muss Copilot in der Lage sein, sich problemlos in alle Arten von Drittanbieter-Apps zu integrieren. Wir haben das sozusagen in Aktion gesehen, als Microsoft Copilot auf der diesjährigen Build vorführte und es zum Abspielen von Musik mit Spotify nutzte. Wir haben jedoch noch nicht gesehen, dass dies funktionsfähig ist, und es muss über die üblichen Partner von Microsoft hinausgehen.

Copilot sollte in der Lage sein, Apps zu öffnen und darin eine bestimmte Aufgabe zu starten oder eine bestimmte Sendung auf Netflix abzuspielen oder alles andere, was in diesen Apps nützlich sein könnte.

3 Integration mit Datei-Explorer

Ich weiß, dass die Leute es wahrscheinlich satt haben, dass Microsoft unerwünschte Dienste überallhin drängt, wo es nur geht, aber ich denke, die Integration von Copilot in den Datei-Explorer könnte es nicht nur für Benutzer nützlich machen, die Anweisungen in Copilot eingeben möchten, insbesondere weil dafür Copilot erforderlich ist Das Fenster nimmt fast dauerhaft Platz auf Ihrem Bildschirm ein.

Es könnte interessant sein, im Datei-Explorer eine Funktion zu haben, mit der Sie mit der rechten Maustaste auf eine Datei klicken und eine Option namens „An Copilot senden“ auswählen können, die dann fragt, was Sie mit dieser Datei machen möchten. Beispielsweise könnten Sie Copilot bei einem Bild bitten, den Hintergrund zu entfernen, oder Sie könnten es bitten, eine Audiodatei zu transkribieren. Dies sind beides Funktionen, die wir vorgeführt haben, aber dafür müssten Sie die Datei normalerweise per Drag & Drop in das Copilot-Bedienfeld ziehen. Ich denke, es wäre willkommen, direkt über den Datei-Explorer darauf zugreifen zu können (aber die Option, es auszuschalten, wäre auch schön).

4 Stimmenkontrolle

Ich vermute, dass ich mit dieser Frage allein bin, weshalb ich diese etwas nach unten verschoben habe. Sprachbefehle sind auf Mobiltelefonen offensichtlich beliebter, und Bing Chat unterstützt diese Funktion derzeit nur, wenn Sie Ihr Telefon verwenden. Aber ich denke, es wäre schön, wenn Sprachbefehle auch auf Laptops und PCs unterstützt würden. Die Möglichkeit, all diese Einstellungen zu ändern, Musik abzuspielen oder eine App mit Ihrer Stimme zu öffnen, könnte nützlich sein. Und das Gleiche gilt für das Stellen von Bing-Fragen. Cortana hat es unterstützt, als Windows 11 eingeführt wurde, und Microsoft wollte, dass das eine große Sache wird. Daher bin ich mir nicht sicher, ob es tatsächlich viel Anklang finden würde, aber ich sehe definitiv Verwendungsmöglichkeiten dafür.

Mit einem Browser müssen Sie sich etwas Mühe geben, um die Sprachinteraktion einzuleiten, aber mit einer integrierten Funktion könnten Sie ein Aktivierungsschlüsselwort oder eine Verknüpfung haben, damit Sie Ihre Befehle schnell sprechen können. Ich kann mir vorstellen, dass die Implementierung nicht so schwer wäre, da die Spracherkennung bereits in mehreren Teilen von Windows verwendet wird.

5 Bildschirmlesen und OCR

Eine letzte Sache, die ich mir wünschen würde, wäre, dass Copilot die Informationen auf dem Bildschirm lesen und insbesondere die optische Zeichenerkennung (OCR) nutzen könnte. Im Moment können Sie Copilot bitten, eine Seite zusammenzufassen, diese muss sich jedoch auf einer in Edge geöffneten Website befinden, was die Funktionalität stark einschränkt. Während der ideale Ansatz darin bestünde, dass dies nativ mit anderen Browsern funktioniert, wäre es interessant, wenn Copilot grundsätzlich als Bildschirmleser (z. B. Narrator) fungieren und damit Informationen von jeder Seite in jedem Browser oder jeder App extrahieren und zusammenfassen könnte .

Eine weitere coole Funktion wäre OCR oder die Fähigkeit, Text in Bildern zu erkennen, sodass Sie Copilot bitten könnten, Text aus einem Bild oder einem PDF-Scan zu übernehmen und ihn einfach zu kopieren oder zusammenzufassen. Das ist eigentlich nicht so verrückt, da berichtet wurde, dass eine Art OCR-Funktion für Windows 12 geplant ist, also bin ich mir sicher, dass wir etwas in dieser Richtung sehen könnten.

Es gibt noch mehr ungenutztes Potenzial

Ich habe hier meine persönlichen Vorlieben und Wünsche untersucht, aber mit etwas so Leistungsfähigem wie Copilot und den großen Sprachmodellen, die es unterstützen, gibt es sicher noch viel mehr Ideen, die die Leute nützlich finden könnten. Unabhängig davon ist die Zukunft von Copilot und Windows ziemlich spannend, vorausgesetzt, Microsoft kann das Versprechen dieses Produkts einhalten. Ob das tatsächlich passieren wird, ist eine ganz andere Frage.