Der Titel ist hier tatsächlich Programm. Wie aufgefallen sein dürfte haben wir seit diesem Dienstag eine neue Forensoftware im Einsatz.

Ursächlich für diese Entscheidung war die extrem schlechte Update-Politik der vorherigen Software "XenForo". Wir waren bereits im vergangenen Jahr von XenForo 1.3 auf XenForo 2.3 umgestiegen was für das Forum große Veränderung bedeutete. Doch bereits damals war klar, dass diese Veränderung nicht ausreichend war.

Warum? Weil sich kaum etwas schneller entwickelt als das Internet. Sei es durch neue Megatrends wie KI, neue HTTP-Protokolle oder ganz einfach der Demografie. Entwicklungen mit denen XenForo nicht mehr hinterher kam und kommt. Zwar funktionierte alles wunderbar, aber man kann nicht verneinen, dass die neue Software gefühlt 10 Jahre jünger aussieht. Doch viel wichtiger als die Oberfläche ist eben auch das was darunter liegt. "Invision" veröffentlich nahezu monatlich Updates mit einer Vielzahl von Bugfixes und Verbesserungen, während XenForo nicht einmal mehr das Zustande bekommen hat. Teilweise wurden Sicherheitslücken erst viel später geschlossen, wie der letzte Changelog verrät.

Also was sollten wir machen? Das Forum weiter irgendwie vor sich hindümpeln lassen in der Hoffnung, dass bald eine neue Version rauskommt auf der wir dann endlich unsere "Identiät" wiederaufbauen können oder doch eher die Oberhand gewinnen und alles auf einen Schlag modernisieren?

Die Antwort war einfach, aber der Weg schwer.

Schritt 1 - ☁️➡️🖥️ S3 zu Lokal

Wir hatten im vergangenen Jahr all unsere Dateien ausgelagert und von der physischen Festplatte unseres Server in einen sogenannten S3-Bucket geschoben. Für die nicht technisch versierten - das ist nichts anderes als eine Festplatte der es nie an Speicher mangelt. Die Daten liegen in der Cloud, gut geschützt, mehrfach repliziert und vor allem schnell zur Verfügung.

Nachteil dieses Schrittes war jedoch, dass für die Migration die Daten zunächst lokal wieder vorhanden sein mussten. Hierfür mussten insgesamt über 186GB heruntergeladen werden. Dies geschah in 1.053.546 Dateien.

Schritt 2 - 🏃‍♂️ Erster Anlauf

Wie augefallen sein dürfte war das Forum ein ganzes Wochenende nicht erreichbar. Ich hatte nämlich die Hoffnung, dass alles in einem Anlauf zu bewerkstelligen sei, da zumindest andere die Migration ihrer eigenen XenForo-Foren erfolgreich ausgeführt hatten. Hierbei fielen mir auch erstmals kleine Probleme in der Konfiguration des Servers auf, wobei Probleme das falsch Wort ist - nennen wir es eher Unzulänglichkeiten für derart große Operationen.

Viel gravierender war jedoch die Tatsache, dass das Übertragen der Beiträge extrem langsam verlief. So konnten im ersten Durchgang lediglich 10 Beiträge pro Sekunde verarbeitet werden. Um das mal auszurechnen:

Umwandlungsrate	Anzahl Beiträge	Dauer
10 Beiträge pro Sekunde	1.705.918	ca. 48h
200 Beiträge pro Sekunde	1.705.918	ca.2h

Später ließ sich dies auf über 200 Beiträge pro Sekunde steigern. Ursächlich für diesen schlechten Durchlauf war das Fehlen eines sogenannten Index. Aus diesem Grund musste zum Verschieben eines jeden Beitrags zwischen der alten und neuen Software immer die gesamte Tabelle mit ALLEN Beiträgen durchlaufen werden. Ich glaube es braucht keinen technischen Verstand um zu begreifen, dass das ständige Abfragen von 1,7 Millionen Beiträgen alles andere als effizient ist. Ein Index funktioniert dahingehend wie eine Karte. Anstatt alles abzusuchen können wir einfach die Karte aufschlagen, nach dem Weg fragen und alles ist erledigt.

Um diesen zu bauen, musste ich die Abfragen des SQL-Servers abfangen, auswerten und anhand dessen einen sinnvollen Index erstellen. Da ich zu dem Zeitpunkt schon komplett fertig war, hat das mein Kollege ChatGPT übernommen und hervorragend gelöst.

Ironischerweise haben die fast 500.000 Direktnachrichten nicht mal 10% der Zeit gebraucht.

Zeitweise hatte ich schon überlegt einfach mehr Rechenleistung einzusetzen, aber das hätte nur wenig geholfen.

Schritt 3 - ✅📁 Erfolgreiche Migration, aber fehlende Dateien

Invision hatte den Importer lediglich bis XenForo-Version 2.2.X im Programm. Da wir aber auf 2.3.X liefen, musste der Importer mehrere Male von mir angepasst werden. Besonders kritisch wurde es jedoch als ich merkte, dass Dateien fehlten und zwar alle ab Juni 2024. Ein kurzer Check der alten Datenbank brachte zum Vorschein, dass die Entwickler von XenForo sich spontan dazu entschieden hatten den Hash der Dateien von file_hash nach file_key zu verschieben. Zur Erklärung - die Dateien werden nicht mit "Max Muster_Saab_Foto.jpg" abgespeichert - schließlich könnte es zu Dopplungen kommen, sondern als "5000-1290952148-b84b640afc5b0bfaefa22e770413c13d.jpg".

Der Hash ist der Teil ab b84 . Also musste auch das Skript hier angepasst und der Import WIEDER vollständig ausgeführt werden.

Schritt 4 - 🧪🌐🈂️ Testforum & Übersetzung

Der Part der mich definitiv am meisten Kraft gekostet hat war nicht mal so sehr die ganze Aktion bis zu dem Punkt, sondern die ewigen Diskussionen über Sinn oder Unsinn des Umzugs. Nehmt es mir nicht Übel, aber ich bin mir meiner Verantwortung über das Forum bewusst. Dieser Verantwortung will ich gerecht werden, aber gleichzeitig gibt es auch für mich wie jeden anderen von euch auch noch andere Verantwortung die getragen werden muss.

Bei mir sind das ein Masterstudium, eine Firma, ein Job und dann irgendwie noch mein Privatleben. Dass das alles zu viel ist dürfte denke ich klar sein, aber wie war das mit dem Mitleid?

Ein weiteres Thema ist die Übersetzung der Software. Weder XenForo noch Invision können Deutsch. Bei XenForo gab es wenigstens noch kostenlose Sprachpakete, welche durch die Community entwickelt wurden. Bei Invision sieht die Geschichte anders aus. Ein netter deutscher Entwickler wollte nur, dass ich ein Abo abschließe, dann hätte ich das Sprachpaket haben können. Hach ja... wie nett.

Zusammen mit DeepL und ChatGPT habe ich alles übersetzt. Insgesamt über 1 Millionen Zeichen. Diese Menge wirkt gering in Anbetracht des massiven Umfangs unserer Inhalte, aber sie ist nicht zu unterschätzen. Zwar hat ChatGPT die Übersetzungen nicht gerade optimal zusammengeführt, jedoch war es dann mit ein paar Stunden Handarbeit wieder gut.

Schritt 5 - 📆🛠️Der Tag der Migration

Wann ist der beste Tag dafür? Am besten an einem Montag.

Angefangen um Punkt 20 Uhr habe ich bis ca. 2 Uhr die Kernmigration ausgeführt. Abgeschlossen war der gesamte Prozess erst über 22 Stunden später!

Das ist kein Rechtschreibfehler und es lag auch nicht an der Datenbank. Es dauert einfach.

Und was kommt jetzt?

Anhand eures Feedbacks durchlaufe ich immer wieder die Seite und bessere nach. Sei es durch Anpassungen an den sogenannte Stylesheets, Übersetzungen oder durch Modifikation der Datenbank, aber das ist "normal".

Was wirklich kommt ist Veränderung und das auf breiter Front. Nicht sinnbefreit, sondern in kleinen und sinnvollen Schritten. Das Forum ist egal auf welcher Software schon immer gut gewesen. Das liegt an euch, nicht an irgendwelchen Skripten oder Datenbankabfragen. Also wollen wir euch das Werkzeug an die Hand geben, mit dem ihr noch mehr machen könnt.

Einiges davon habe ich bereits in den Neuigkeiten vorgestellt:

Ihr dürft euch also auf neue Funktionen freuen, aber keine Sorge - eines nach dem anderen.

🧊 TL;DR – Projekt Mammut in Kürze

Wir haben das Forum auf eine neue Software („Invision Community“) umgestellt. Grund war die mangelhafte Update- und Sicherheitspolitik von XenForo. Die Migration war technisch anspruchsvoll und erfolgte in fünf Schritten:

1. S3 zu Lokal – Über 186 GB an Daten mussten lokal bereitgestellt werden

2. Erster Anlauf – Die erste Migration scheiterte an fehlenden Indizes und langsamer Verarbeitung

3. Migration mit Problemen – Dateien ab Juni 2024 fehlten wegen geänderter Datenbankstruktur

4. Test & Übersetzung – Intensive Tests und über 1 Mio. Zeichen übersetzte Texte

5. Der Tag X – Über 22 Stunden finale Migration – alles live, alles selbst gemacht

Insgesamt wurden:

• 1.053.546 Dateien in 186.6GB verarbeitet

• 1.710.856 Beiträge konvertiert

• ca. 470.000 Direktnachrichten umgezogen

• ca. 19.230 Mitglieder umgestellt

• ca. 18.600 Bilder aus der Galerie übertragen

Was jetzt kommt: Laufende Optimierungen, neue Funktionen und kontinuierlicher Ausbau.

Das Forum bleibt, was es ist – nur moderner, sicherer und zukunftsfähiger.

vor 9 Stunden, DL_Sys hat gesagt:

hat das mein Kollege ChatGPT übernommen und hervorragend gelöst.

So so, du hast mit unseren Daten also die KI gefüttert.

Ohne jemanden zu fragen, ob uns das recht ist. Mir jedenfalls nicht!

vor 52 Minuten, patapaya hat gesagt:

So so, du hast mit unseren Daten also die KI gefüttert.

Ohne jemanden zu fragen, ob uns das recht ist. Mir jedenfalls nicht!

Um den Index zu bilden musste ich der KI nur erklären wie die Tabelle strukturiert ist und wie die Abfrage lautet. Das ich da Platzhalter verwende erklärt sich von alleine.

Du wärst überrascht wieviel KI ich auf der Arbeit einsetze für wirklich wichtige Aufgaben. Die Frage ist nicht ob man es benutzt, sondern wie.

Wenn du die Technik dahinter verstehst ist es ein Multiplikator - in Menge UND Qualität, aber das mal am Rande.

...ein zu weites Feld, würde Vater Briest sagen - darum nur kurz angerissen:

KI fängt für mich an, wo Programme anfangen, eigene Inhalte aus eingefütterten Informationen zu kreieren, eigene Schlussfolgerungen ziehen, und das dann in Form von ChatGPT o.ä. z.B. als Suchergebnis bei google als "Information" zur Verfügung zu stellen.

Das ist vom Verwender in seiner Korrektheit nicht mehr zu kontrollieren, und die fehlende eigene geistige Beschäftigung mit Quellen (z.B. die eigenen Wertung der Aussagen von google's klassischen Suchergebnissen) wird zur zunehmenden allgemeinen Verblödung beitragen, und dem will ich mich so gut es geht entziehen. Dass man mich nicht fragt, ob ich das will, ist mir selbstverständlich klar.

Alles andere ist für mich geschickte Datenbankanalyse, die mit Hand und Kopf in der Tat nicht so effektiv geleistet werden kann und durchaus hilfreich ist, aber mit "Intelligenz" hat das nur in sofern zu tun, als dass der, der die Software dazu bringt, zu tun was er will, sie aufbringen muss - also nix mit künstlich.

IMHO wird jedoch gerade alles, was sich irgendwie mit Daten beschäftigt, als KI verkauft, weil es gerade in ist ind für die Rettung der Welt ausgegeben wird - schon der Beginn der Verblödung.

Aber auch an dieser Stelle nach dieser ausführlichen Schilderung der Vorgänge im Hintergrund noch mal ein herzlicher Dank an die KI und für dich für den riesigen Aufwand!

Das Problem ist einfach, wie "KI" definiert wird.

Der Begriff wird einfach zu inflationär benutzt.

"Echte" KI beginnt dort, wo die Maschine selbstständig lernt, Prozesse anpasst und quasi den Programmierer und Bediener ersetzt.

Das was die Allgemeinheit als "KI" bezeichnet, ist sachlich kompletter Mumpitz.

Bsp.: Für meine Mutter ist es "KI", wenn ich der Kaffeemaschine per App sage, das sie Kaffee kochen kann...und genau das ist das Problem und macht dem überwiegenden Teil der Bevölkerung Angst.

"Echte" KI gibt es faktisch nicht, Chat-GPT, Gemini und Konsorten sind Stand jetzt auch nur in der Lage anhand der gefütterten Daten und einprogrammierten Logik zu "handeln", heruntergebrochen nichts anderes als ein richtig guter Taschenrechner...ohne menschliche Bedienung klappt da gar nichts .

(Wie dieses lustige Video, in dem sich 3 "KI"-Systeme untereinander mit Maschinensprache "unterhalten").

Auch wenn der verrückte Elon aus Kalifornien denken mag, das sein "Programm" selbstständig denken kann, tut es dies nicht....davon sind wir noch weit entfernt.

Doch, KI lernt auch heute schon aus gefütterten Informationen und generiert daraus neue, auch für Situationen, die sie so noch nicht vor sich hatte. Das ist aber eher ein Abwägen von Wahrscheinlichkeiten und Mutmaßen, und das geht gehörig oft völlig daneben, wie wir es hier im Forum ja auch schon vor Augen geführt bekommen haben und ich es auch im Beruf schon erlebte, wo es fatale Folgen haben kann, und ich die Nutzung von ChatGPT u.ä. zur Informatonsbeschaffung daher verbieten ließ.

Ja, hier haben wir menschlichen User mit unserem Wissen den Fehler entdeckt, aber wer die KI benutzt, um sein Unwissen zu beseitigen, ist dem auf Gedeih und Verderb ausgeliefert, so wie der User, der das KI-Suchergebnis hier in gutem Gewissen postete und es für zutreffend hielt - aber immerhin noch zur Sicherheit nachfragte.

Das Problem dabei ist und bleibt, egal wie gut sie bei diesem Ratespiel mal wird, dass es nicht möglich ist, ihre Ergebnisse zu kontrollieren - im Gegenteil, je komplexerdie Sachverhalte werden, um so schwieriger wird das, und je plausibler die Ergebnisse im Einzelnen sein mögen, um so größer ist die Gefahr, auf Falschinformation blindlings reinzufallen, weil das eigene Denken ausgeschaltet ist.

vor 10 Stunden, patapaya hat gesagt:

So so, du hast mit unseren Daten also die KI gefüttert.

Ohne jemanden zu fragen, ob uns das recht ist. Mir jedenfalls nicht!

Hm, über welche Daten redet ihr gerade? Ich habe es so verstanden, dass die englischen Texte des neuen Systems damit übersetzt wurden. Aber doch keine Beträge der Nutzer.

Bis jetzt sind das alles statische Spachmodelle. Und die Anbieter laufen langsam in ein Problem. Je mehr ihre Produkte genutzt werden, um so mehr landet den Output im Input beim Lernen der Modelle. Und das kann IMHO auf Dauer nicht gut gehen und wird zu instabilen Systemen führen.

Bearbeitet vor 10 Stunden10 h von Flemming

vor 5 Stunden, patapaya hat gesagt:

Doch, KI lernt auch heute schon aus gefütterten Informationen und generiert daraus neue, auch für Situationen, die sie so noch nicht vor sich hatte. Das ist aber eher ein Abwägen von Wahrscheinlichkeiten und Mutmaßen, und das geht gehörig oft völlig daneben, wie wir es hier im Forum ja auch schon vor Augen geführt bekommen haben und ich es auch im Beruf schon erlebte, wo es fatale Folgen haben kann, und ich die Nutzung von ChatGPT u.ä. zur Informatonsbeschaffung daher verbieten ließ.

Ja, hier haben wir menschlichen User mit unserem Wissen den Fehler entdeckt, aber wer die KI benutzt, um sein Unwissen zu beseitigen, ist dem auf Gedeih und Verderb ausgeliefert, so wie der User, der das KI-Suchergebnis hier in gutem Gewissen postete und es für zutreffend hielt - aber immerhin noch zur Sicherheit nachfragte.

Das Problem dabei ist und bleibt, egal wie gut sie bei diesem Ratespiel mal wird, dass es nicht möglich ist, ihre Ergebnisse zu kontrollieren - im Gegenteil, je komplexerdie Sachverhalte werden, um so schwieriger wird das, und je plausibler die Ergebnisse im Einzelnen sein mögen, um so größer ist die Gefahr, auf Falschinformation blindlings reinzufallen, weil das eigene Denken ausgeschaltet ist.

Da gehört eben auch die Dummheit der Nutzer dazu...

Ich komme aus der Zeit, in der man noch gelernt hat, Google-Ergebnisse kritisch zu hinterfragen.

Gen Z glaubt an jede Fake-News aus Facebook, TikTok und Co.

Das hat Nichts mit KI zu tun, sondern eher in dem nicht vorhandenen Bewusstsein der Nutzer, Dinge zu hinterfragen und das eigene Oberstübchen einzuschalten.

Daher halte ich so eine Generalisierung für Schwachsinn.

Btw. ähnlich gings damals los, als man den Daimler-Motorwagen vorstellte..."Nieder mit dem Teufelszeug, wir behalten unsere Pferdekutsche".

Wie bei jedem "neuen Ding", muss die Gesellschaft und vorallem jeder selbst mal sein Bewusstsein schärfen, anstatt "blind" loszurennen.

Soll heißen ich bin da bei dir, aber sich so dermaßen vor allem was nach 2000 kam zu verschließen, bringt dir auch nichts.

Daher lass uns hier als Gemeinschaft besser zusammenwachsen und sich nicht gegenüber "Neuem" verschließen.

Leute das sollte keine Grundsatz-Debatte werden

Ich kann nur so viel sagen - die fehlende Bildung und reine Meinungsmache auf Stammtisch-Niveau ist deutlich sichtbar. Das beziehe ich nicht mal auf die Aussagen hier, aber das ist ein anderes Thema.

@Flemming das sind die echten einzigen "Daten" die abgeflossen sind. Weil ich zu geizig war für die API von DeepL zu bezahlen, musste ich die Texte erst extrahieren und dann immer in Chargen von 200.000 Zeichen in den Browser einfügen. Natürlich musste das Endergebnis dann wieder in eine Textdatei transferiert und später wieder im vorgegebenen Format zusammengefügt werden, was nicht ganz fehlerfrei bei knapp 20.000 Einträgen war, aber es hat funktioniert.

Die "hässlichsten" Übersetzungen habe ich soweit händisch korrigiert, denke aber trotzdem, dass sich das sehen lassen kann. Alles besser als 20.000 Stück selbst zu machen.

Kann ich sehr gut nachvollziehen. Wenn man eine Maschine in der EU ausliefert, dann muss Handbuch und Bedienung in Landessprache sein. Das mag bei so Kleinkram wie einem Waschtrockner kein Problem sein. Aber Maschinen im Anlagenbau mit hinderten Texten in den Bedien-Bildschirmen und Tausenden von Fehlermeldungen sind händisch kaum noch zu bewältigen. Eben mal eine Maschine nach Polen (geht noch) und eine nach Finnland (au weia).

Das große Problem, das den meisten nicht bewusst ist, sind die kurzen, zusammenhanglosen Texte. Siehe hier das "meine Aktivitätsströme". An diesen kurzen Texten und Tasterbeschriftungen scheitern automatische Systeme genauso wie menschliche Übersetzer in Übersetzungsbüros, da ihnen der Kontext fehlt. Ein Roman ist dagegen vergleichsweise einfach.

Meine Erfahrung ist daher, dass in solchen Anlagen - und das Forum ist in dem Sinne auch eine- noch lange etwas merkwürdige Texte drin bleiben. Da ist es dann an den Benutzern man nachzufragen was da gemeint ist und ob es nicht eine bessere Übersetzung gibt.