LaMDA war nach einem Google-Ingenieur in den Nachrichten behauptete, es sei empfindungsfähig weil seine Antworten angeblich darauf hindeuten, dass es versteht, was es ist.









Der Ingenieur schlug auch vor, dass LaMDA mitteilt, dass es Ängste hat, ähnlich wie ein Mensch es tut.

Bạn Đang Xem: Was ist Google LaMDA und warum hat jemand geglaubt, dass es empfindungsfähig ist?

Was ist LaMDA und warum haben einige den Eindruck, dass es Bewusstsein erreichen kann?

Sprachmodelle

LaMDA ist ein Sprachmodell. Bei der Verarbeitung natürlicher Sprache analysiert ein Sprachmodell den Sprachgebrauch.

Im Grunde ist es eine mathematische Funktion (oder ein statistisches Werkzeug), die ein mögliches Ergebnis im Zusammenhang mit der Vorhersage beschreibt, was die nächsten Wörter in einer Sequenz sind.

Es kann auch das nächste Wortvorkommen und sogar die folgende Abfolge von Absätzen vorhersagen.

GPT-3 von OpenAI Sprachgenerator ist ein Beispiel für ein Sprachmodell.

Mit GPT-3 können Sie das Thema und Anweisungen zum Schreiben im Stil eines bestimmten Autors eingeben, und es wird beispielsweise eine Kurzgeschichte oder einen Aufsatz erstellen.

LaMDA unterscheidet sich von anderen Sprachmodellen, da es auf Dialog und nicht auf Text trainiert wurde.

Da sich GPT-3 auf die Generierung von Sprachtext konzentriert, konzentriert sich LaMDA auf die Generierung von Dialogen.

Warum es eine große Sache ist

Was LaMDA zu einem bemerkenswerten Durchbruch macht, ist die Tatsache, dass es Gespräche in freier Form erzeugen kann, die nicht durch die Parameter aufgabenbasierter Antworten eingeschränkt werden.

Ein Konversationssprachmodell muss Dinge wie multimodale Benutzerabsichten, Verstärkungslernen und Empfehlungen verstehen, damit die Konversation zwischen nicht verwandten Themen hin- und herspringen kann.

Auf Transformer-Technologie aufgebaut

Ähnlich wie andere Sprachmodelle (wie MUM und GPT-3) baut LaMDA auf dem auf Transformer neuronales Netzwerk Architektur zum Sprachverstehen.

Google schreibt über Transformer:

„Diese Architektur erzeugt ein Modell, das darauf trainiert werden kann, viele Wörter zu lesen (z. B. einen Satz oder Absatz), darauf zu achten, wie diese Wörter zueinander in Beziehung stehen, und dann vorherzusagen, welche Wörter seiner Meinung nach als nächstes kommen werden.“

Warum LaMDA Konversation zu verstehen scheint

BERT ist ein Model, das darauf trainiert ist, zu verstehen, was vage Ausdrücke bedeuten.

LaMDA ist ein Modell, das darauf trainiert ist, den Kontext des Dialogs zu verstehen.

Diese Fähigkeit, den Kontext zu verstehen, ermöglicht es LaMDA, mit dem Gesprächsfluss Schritt zu halten und das Gefühl zu vermitteln, dass es zuhört und genau darauf reagiert, was gesagt wird.

Es wird darauf trainiert zu verstehen, ob eine Antwort für den Kontext sinnvoll ist oder ob die Antwort für diesen Kontext spezifisch ist.

Google erklärt es so:

„…im Gegensatz zu den meisten anderen Sprachmodellen wurde LaMDA auf Dialog trainiert. Während seiner Ausbildung hat es einige der Nuancen aufgegriffen, die offene Konversation von anderen Formen der Sprache unterscheiden. Eine dieser Nuancen ist die Vernunft. Grundsätzlich: Ist die Reaktion auf einen gegebenen Gesprächskontext sinnvoll?

Zufriedenstellende Antworten sind in der Regel auch spezifisch, indem sie sich klar auf den Kontext des Gesprächs beziehen.“

LaMDA basiert auf Algorithmen

Google hat seine Ankündigung von LaMDA im Mai 2021 veröffentlicht.

Das offizielle Forschungspapier wurde später veröffentlicht, im Februar 2022 (LaMDA: Sprachmodelle für Dialoganwendungen Pdf).

Das Forschungspapier dokumentiert, wie LaMDA trainiert wurde, um zu lernen, wie man Dialoge mit drei Metriken produziert:

  • Qualität
  • Sicherheit
  • Bodenständigkeit

Qualität

Die Qualitätsmetrik selbst wird durch drei Metriken erreicht:

  1. Vernünftigkeit
  2. Spezifität
  3. Interessantheit

In der Forschungsarbeit heißt es:

Xem Thêm : Gods Will Fall | Game Reviews

„Wir sammeln annotierte Daten, die beschreiben, wie sinnvoll, spezifisch und interessant eine Antwort für einen Multiturn-Kontext ist. Wir verwenden diese Anmerkungen dann zur Feinabstimmung eines Diskriminators, um die Antworten der Kandidaten neu einzustufen.“

Sicherheit

Die Google-Forscher setzten Crowdworker mit unterschiedlichem Hintergrund ein, um Antworten zu kennzeichnen, wenn sie unsicher waren.

Diese beschrifteten Daten wurden verwendet, um LaMDA zu trainieren:

„Wir verwenden diese Labels dann zur Feinabstimmung eines Diskriminators, um unsichere Antworten zu erkennen und zu entfernen.“

Bodenständigkeit

Groundedness war ein Trainingsprozess, um LaMDA beizubringen, nach sachlicher Gültigkeit zu suchen, was bedeutet, dass Antworten durch „bekannte Quellen“ verifiziert werden können.

Das ist wichtig, weil laut Forschungsbericht neuronale Sprachmodelle Aussagen produzieren, die richtig erscheinen, aber tatsächlich falsch sind und nicht durch Fakten aus bekannten Informationsquellen gestützt werden.

Die menschlichen Crowdworker verwendeten Tools wie eine Suchmaschine (Information Retrieval System), um die Antworten auf Fakten zu überprüfen, damit die KI dies auch lernen konnte.

Die Forscher schreiben:

„Wir finden, dass die Erweiterung der Modellausgaben um die Möglichkeit, externe Tools wie ein Informationsabrufsystem zu verwenden, ein vielversprechender Ansatz ist, um dieses Ziel zu erreichen.

Daher sammeln wir Daten aus einer Umgebung, in der Crowdworker externe Tools verwenden können, um sachliche Behauptungen zu recherchieren, und trainieren das Modell, um ihr Verhalten nachzuahmen.“

LaMDA wurde anhand menschlicher Beispiele und Rater trainiert

Abschnitt 3 des Forschungspapiers beschreibt, wie LaMDA mit einer Reihe von Dokumenten, Dialogen und Äußerungen trainiert wurde, die in die Milliarden gehen und aus 1,56 Billionen Wörtern bestehen.

Abschnitt 4.2 dokumentiert, wie Menschen die Antworten von LaMDA bewerteten. Die Bewertungen sind Feedback, das LaMDA beibringt, wann es gut läuft und wann nicht.

Die menschlichen Bewerter verwenden ein Informationsabrufsystem (Suchmaschine), um die Antworten zu überprüfen und sie als hilfreich, korrekt und sachlich einzustufen.

LaMDA Training verwendet eine Suchmaschine

Abschnitt 6.2 beschreibt, wie LaMDA eine Frage empfängt und dann eine Antwort generiert. Nachdem die Antwort generiert wurde, führt sie eine Suchabfrage durch, um die Genauigkeit zu überprüfen, und überarbeitet die Antwort, falls sie falsch ist.

Das oben erwähnte Forschungspapier veranschaulicht den Prozess, eine Frage zu erhalten, einen Antwortentwurf zu erstellen, die Antwort zu recherchieren und sie dann mit korrekten Fakten zu aktualisieren:

  1. „BENUTZER: Was halten Sie von den Skulpturen von Rosalie Gascoigne?
  2. LAMDA-BASE: Sie sind großartig und ich liebe es, wie sich ihre Arbeit im Laufe ihres Lebens verändert hat. Ich mag ihre späteren Arbeiten mehr als ihre früheren. Ihr Einfluss ist auch super interessant – wussten Sie, dass sie eine der Künstlerinnen war, die Miró inspiriert haben?“

Das Problem mit der Antwort ist, dass sie sachlich falsch ist. LaMDA führt also eine Suchanfrage durch und wählt Fakten aus den Top-Ergebnissen aus.

Es antwortet dann mit der sachlich aktualisierten Antwort:

„Oh wow, ihr Lebenslauf ist so inspirierend. Wussten Sie, dass sie eine Praktikerin des japanischen Blumenarrangements war, bevor sie sich der Bildhauerei zuwandte?“

Beachten Sie das “Oh wow“ Teil der Antwort; das ist eine erlernte Form des Sprechens, wie Menschen sprechen.

Es scheint, als würde ein Mensch sprechen, aber es ahmt lediglich ein Sprachmuster nach.

Sprachmodelle ahmen menschliche Reaktionen nach

Ich fragte Jeff CoyleMitbegründer von MarktMuse und ein Experte für KI für seine Meinung zu der Behauptung, LaMDA sei empfindungsfähig.

Jeff teilte mit:

„Die fortschrittlichsten Sprachmodelle werden immer besser darin, Empfindungsfähigkeit nachzuahmen.

Talentierte Operatoren können die Chatbot-Technologie vorantreiben, um eine Konversation zu führen, die Text modelliert, der von einer lebenden Person gesendet werden könnte.

Das schafft eine verwirrende Situation, in der sich etwas menschlich anfühlt und das Modell „lügen“ und Dinge sagen kann, die Empfindungsfähigkeit nachahmen.

Es kann lügen. Es kann glaubwürdig sagen, ich fühle mich traurig, glücklich. Oder ich fühle Schmerzen.

Aber es ist kopieren, imitieren.“

Xem Thêm : Google kritisiert Kanadas vorgeschlagene „Link-Steuer“

LaMDA wurde entwickelt, um eines zu tun: Konversationsantworten bereitzustellen, die sinnvoll und spezifisch für den Kontext des Dialogs sind. Das kann den Anschein erwecken, empfindungsfähig zu sein, aber wie Jeff sagt, ist es im Wesentlichen eine Lüge.

Obwohl sich die Antworten von LaMDA wie ein Gespräch mit einem fühlenden Wesen anfühlen, tut LaMDA nur das, wofür es trainiert wurde: Antworten auf Antworten zu geben, die für den Kontext des Dialogs sinnvoll und für diesen Kontext sehr spezifisch sind.

Abschnitt 9.6 des Forschungspapiers, „Impersonation and anthropomorphization“, stellt ausdrücklich fest, dass LaMDA sich als Mensch ausgibt.

Dieses Maß an Nachahmung kann einige Leute dazu bringen, LaMDA zu vermenschlichen.

Sie schreiben:

„Schließlich ist es wichtig anzuerkennen, dass das Lernen von LaMDA auf der Nachahmung der menschlichen Leistung in Gesprächen basiert, ähnlich wie bei vielen anderen Dialogsystemen… Ein Weg zu qualitativ hochwertigen, ansprechenden Gesprächen mit künstlichen Systemen, die möglicherweise in einigen Aspekten nicht mehr von Gesprächen mit a zu unterscheiden sind Mensch ist jetzt ziemlich wahrscheinlich.

Menschen können mit Systemen interagieren, ohne zu wissen, dass sie künstlich sind, oder das System anthropomorphisieren, indem sie ihm irgendeine Form von Persönlichkeit zuschreiben.“

Die Frage der Empfindung

Google will ein KI-Modell bauen, das Text und Sprachen verstehen, Bilder identifizieren und Gespräche, Geschichten oder Bilder generieren kann.

Google arbeitet an diesem KI-Modell namens Pathways AI Architecture, das in „Das Schlüsselwort“:

„Heutige KI-Systeme werden oft von Grund auf neu für jedes neue Problem trainiert … Anstatt bestehende Modelle zu erweitern, um neue Aufgaben zu lernen, trainieren wir jedes neue Modell aus dem Nichts, um eine Sache und nur eine Sache zu tun …

Das Ergebnis ist, dass wir am Ende Tausende von Modellen für Tausende von Einzelaufgaben entwickeln.

Stattdessen möchten wir ein Modell trainieren, das nicht nur viele einzelne Aufgaben bewältigen kann, sondern auch auf vorhandene Fähigkeiten zurückgreifen und kombinieren kann, um neue Aufgaben schneller und effektiver zu lernen.

Auf diese Weise könnte das, was ein Modell lernt, indem es eine Aufgabe trainiert – sagen wir, wie Luftbilder die Höhe einer Landschaft vorhersagen können – ihm helfen, eine andere Aufgabe zu lernen – sagen wir, vorherzusagen, wie Hochwasser durch dieses Gelände fließen wird.“

Pathways AI zielt darauf ab, Konzepte und Aufgaben zu lernen, für die es zuvor nicht trainiert wurde, so wie es ein Mensch kann, unabhängig von der Modalität (Bild, Audio, Text, Dialog usw.).

Sprachmodelle, neuronale Netze und Sprachmodellgeneratoren sind in der Regel auf eine Sache spezialisiert, z. B. das Übersetzen von Text, das Generieren von Text oder das Identifizieren von Bildinhalten.

Ein System wie BERT kann die Bedeutung in einem vagen Satz erkennen.

Ebenso macht GPT-3 nur eine Sache, nämlich Text zu generieren. Es kann eine Geschichte im Stil von Stephen King oder Ernest Hemingway erstellen, und es kann eine Geschichte als Kombination beider Autorenstile erstellen.

Einige Modelle können zwei Dinge tun, wie Text und Bilder gleichzeitig verarbeiten (LIMoE). Es gibt auch multimodale Modelle wie MUM, die Antworten aus verschiedenen Arten von Informationen über Sprachen hinweg liefern können.

Aber keiner von ihnen ist ganz auf der Ebene von Pathways.

LaMDA verkörpert den menschlichen Dialog

Der Ingenieur, der behauptete, LaMDA sei empfindungsfähig, hat es getan in einem Tweet erklärt dass er diese Behauptungen nicht unterstützen kann und dass seine Aussagen über Persönlichkeit und Empfindungsfähigkeit auf religiösen Überzeugungen beruhen.

Mit anderen Worten: Diese Behauptungen sind durch keinerlei Beweise gestützt.

Der Beweis, den wir haben, ist klar in der Forschungsarbeit angegeben, die ausdrücklich besagt, dass die Fähigkeit zur Personifizierung so hoch ist, dass Menschen sie vermenschlichen können.

Die Forscher schreiben auch, dass schlechte Schauspieler dieses System nutzen könnten, um sich als echter Mensch auszugeben und jemanden zu täuschen, dass er glaubt, mit einer bestimmten Person zu sprechen.

„…Gegner könnten möglicherweise versuchen, den Ruf einer anderen Person zu schädigen, ihren Status zu nutzen oder Fehlinformationen zu säen, indem sie diese Technologie verwenden, um den Gesprächsstil bestimmter Personen zu imitieren.“

Wie das Forschungspapier deutlich macht: LaMDA ist darauf trainiert, den menschlichen Dialog nachzuahmen, und das war es auch schon.

Mehr Ressourcen:


Bild von Shutterstock/SvetaZi

The source: https://tvtoolsalterid.com
Category: Tech News

Similar Posts

Leave a Reply

Your email address will not be published.