Conversation

Notices

1. Embed this notice
   Eva Wolfangel (evawolfangel@chaos.social)'s status on Tuesday, 28-Jan-2025 17:30:37 JST Eva Wolfangel

   Ich habe vor einiger Zeit für Technology Review über chinesische Sprachmodelle und die dortige KI-Entwicklung geschrieben. Schon da wurde klar, welche Herausforderung es für die Entwicklung von #LLMs ist, die strengen politischen Vorgaben einzuhalten: Chatbots dort müssen kritische Themen um jeden Preis ausblenden. Habe bei Deepseek nachgebohrt, und ich finde es wird klar, dass die Zensur für globale Chatbots der Genickbruch ist. Diese Gedankenkette verschwand zb eine Sekunde später. #deepseek

   • Embed this notice
     Rocketman (slothrop@chaos.social)'s status on Tuesday, 28-Jan-2025 17:30:32 JST Rocketman

     in reply to

     • tante
     • Lars Weisbrod

     @evawolfangel @tante @larsweisbrod Danke für die sehr spannende Diskussion!

     Als Laie finde ich es höchst interessant, dass sich das Modell ziemlich genau so verhält wie ein Mensch, der z.B. in einem Meeting überlegt, ob er ein kritisches Thema ansprechen soll.

   • Embed this notice
     Eva Wolfangel (evawolfangel@chaos.social)'s status on Tuesday, 28-Jan-2025 17:30:33 JST Eva Wolfangel

     in reply to

     • tante
     • Lars Weisbrod

     @tante Das wird wahrscheinlich bei Deepseek passieren. Ich kann mir nicht vorstellen, dass die chinesische Zensur das auf Dauer so akzeptiert.
     Ein bisschen lustig finde ich, dass es dadurch wirkt, als hätte das Modell ein "Gewissen" und kämpft mit den sich widersprechenden ethischen und rechtlichen Vorgaben. Aber es lässt sich echt zu nichts hinreißen. Habt ihr schon irgendeinen Jailbreak gesehen?

     @larsweisbrod

   • Embed this notice
     tante (tante@tldr.nettime.org)'s status on Tuesday, 28-Jan-2025 17:30:35 JST tante

     in reply to

     • Lars Weisbrod

     @larsweisbrod @evawolfangel ja, das ist eine strukturelle Eigenschaft solcher Modelle. Wenn du das verhindern willst, müsste du die Eingabe filtern, bevor sie das Netzwerk trifft. Oder du brichst mit der etablierten "Worte tropfen langsam rein" UX, pufferst die Ausgabe und greifst ein, bevor du sie an die User schickst

   • Embed this notice
     Lars Weisbrod (larsweisbrod@det.social)'s status on Tuesday, 28-Jan-2025 17:30:36 JST Lars Weisbrod

     in reply to

     @evawolfangel das fand ich auch super spannend dass sie nicht verhindern können dass die Gedankengänge erscheinen und dann erst Ex Post wird es gelöscht. Ist das bei dem ich-red-mit-mir-selbst-Produkt von OpenAI auch so wenn man was zensiertes wissen will (Bomben Bau etc)?

   • Embed this notice
     Jan Wildeboer 😷:krulorange: (jwildeboer@social.wildeboer.net)'s status on Tuesday, 28-Jan-2025 19:51:05 JST Jan Wildeboer 😷:krulorange:

     in reply to

     • tante
     • Florian 'floe' Echtler
     • Lars Weisbrod
     • Kris

     @floe Ja, kan man auf Modelleben machen. Siehe z.B. https://arxiv.org/abs/2403.01081

     In der Praxis z.B. mit Instructlab https://docs.instructlab.ai
     @isotopp @evawolfangel @larsweisbrod @tante

   • Embed this notice
     Kris (isotopp@infosec.exchange)'s status on Tuesday, 28-Jan-2025 19:51:06 JST Kris

     in reply to

     • tante
     • Lars Weisbrod

     @evawolfangel @larsweisbrod @tante

     Die History existiert nur im Client, also im ChatGPT JS Fenster, oder im DeepSeek Cellphone Client oder was immer Du nutzt.

     ChatGPT warnt (Oranger Text), wenn Du Dinge machst, die es PR-mäßig gefährlich findet und es löscht den Text und verweist (Roter Text), wenn Du Dinge machst, die strafrechtlich relevant ist.

     Bei ChatGPT ist das Porn (Orange) und Kinderporn und Sexualisierter Gore, also harte Gewaltpornographie (Rot).

     Da das eine Client-seitige Sache ist gibt es selbstverständlich Plugins, die diesen Text mitloggen bevor er gelöscht wird.

     Das wird bei DeepSeek nicht anders sein, aber wenn Du den Handyclient nimmst statt einer Weboberfläche hast Du keine einfache Möglichkeit in den Client einzugreifen.

     Wenn Du DeepSeek-R1 in ollama oder in Python verwendest, dann kontrollierst Du den Client und eine Kontextlöschung ist unmöglich.

   • Embed this notice
     Florian 'floe' Echtler (floe@hci.social)'s status on Tuesday, 28-Jan-2025 19:51:06 JST Florian 'floe' Echtler

     in reply to

     • tante
     • Lars Weisbrod
     • Kris

     @isotopp @evawolfangel @larsweisbrod @tante Wenn ich an der Stelle mal dazwischen-nerden darf: wie wird das denn auf Modell-Ebene gelöst, d.h. Sachen zu zensieren, ohne auf preprocessing und postprocessing angewiesen zu sein? Gibt es da ein separat trainiertes Layer, das bei unerwünschten Themen den Output überschreibt oder so?

   • Embed this notice
     Kris (isotopp@infosec.exchange)'s status on Tuesday, 28-Jan-2025 19:51:08 JST Kris

     in reply to

     • tante
     • Lars Weisbrod

     @evawolfangel @larsweisbrod @tante

     Ein LLM kann sich nie an etwas erinnern. Jeder Request steht für sich selbst, ohne Geschichte.

     Um das zu verbessern sendet das Interface bei jedem Request die komplette Historie Deiner Fragen in der Session und der Antworten mit.

     Das ist ein großes JSON Objekt {}, mit einem Array [] drin, in dem die Fragen { "role": "user" } und Antworten { "role": "assistant" } drin sind.

     In lokalen Modellen wie bei Ollama hier hat man auch Kontrolle über den Systemprompt { "role": "system" }, und in ChatGPT wird auch noch das Memory mit eingebaut in den Requestkontext.

     Da in Deinem Beispiel die originale Frage zensiert wurde (also auch für Dich im Client gelöscht), fehlt sie im Folge-Request und es ist so als hätte das Modell eine Erinnerungslücke (hat es nicht, es hat keine Erinnerung, Dein Request hat eine Lücke). Bei mir kontrolliere ich den Client (ollama) und daher ist der Request nach "Tank Man" zu sehen.

   • Embed this notice
     Eva Wolfangel (evawolfangel@chaos.social)'s status on Tuesday, 28-Jan-2025 19:51:08 JST Eva Wolfangel

     in reply to

     • tante
     • Lars Weisbrod
     • Kris

     @isotopp Ja schon klar, dass es keine echte Erinnerung ist. Das Contextwindow wird einfach jedes Mal neu ausgewertet - und irgendwie ist klar, dass der zensierte Teil einfach rausgelöscht wurde. Wobei meine Frage für mich in diesem Fall noch zu sehen war - aber offensichtlich für Deepseek nicht.

     @larsweisbrod @tante

   • Embed this notice
     Eva Wolfangel (evawolfangel@chaos.social)'s status on Tuesday, 28-Jan-2025 19:51:09 JST Eva Wolfangel

     in reply to

     • tante
     • Lars Weisbrod

     @larsweisbrod Ja stimmt. Wenn man sich mal so komplettes vermenschlichen erlaubt, wirkt es so, als wenn jemand im Hintergrund den armen Chatbot knebelt und an seiner Stelle antwortet. Er kann sich auch bei der nächsten Frage nicht "erinnern", welches Thema wir zuvor diskutiert hatten.

     @tante

   • Embed this notice
     Lars Weisbrod (larsweisbrod@det.social)'s status on Tuesday, 28-Jan-2025 19:51:11 JST Lars Weisbrod

     in reply to

     • tante
     • Lars Weisbrod

     @evawolfangel @tante @larsweisbrod Zumal dann das „auslöschen“ des Gedankengangs auch sowas brutales hat

   • Embed this notice
     Lars Weisbrod (larsweisbrod@det.social)'s status on Tuesday, 28-Jan-2025 19:51:12 JST Lars Weisbrod

     in reply to

     • tante
     • Lars Weisbrod

     @evawolfangel @tante @larsweisbrod Ja Feuilletonistisch ist das toll