Digitale Kataloge kann man in China nicht einfach einführen

Digitale Kataloge in China: Am 14. März 2014 ging unser erster Kunde in China mit seinen neuen digitalen Katalogen in Betrieb. Unser Produkt am anderen Ende der Welt im Einsatz zu sehen, war für uns ein Moment großer Freude und großen Stolzes, vor allem, wenn man bedenkt, welche technischen Hürden wir überwinden mussten, um dies zu ermöglichen. Aber was waren das für Probleme und wie haben unsere verrückten Wissenschaftler sie gelöst? Wenn Sie mit chinesischen Übersetzungen für Ihre App zu tun haben oder einfach nur neugierig sind, wie wir es geschafft haben Publitas kompatibel für den chinesischen Sprachgebrauch ist, sollten Sie sich diesen Beitrag ansehen.

Mit METRO China Der Beitritt zu den 17 anderen Ländern, in denen METRO Cash & Carry unsere Software bereits einsetzt, war für uns ein ziemlich cooler Meilenstein.

Und, einfach so, @Publitas geht live in China. Wir sind so stolz auf das, was wir bisher erreicht haben!

- @superdealloc@mastodon.social (@superdealloc) März 21, 2014

Aber der Weg dorthin war nicht so einfach, wie Sie vielleicht denken.

Als wir Publitas für den Einsatz in China kompatibel machten, stießen wir auf mehrere Herausforderungen, von denen drei besonders hervorstachen:

1. Schnecken
2. Pluralisierung
3. Suche

Im Folgenden gehen wir auf jedes dieser Probleme näher ein und erklären, wie wir sie gelöst haben.

Problem #1: Schnecken

Um die Django-Glossarist eine Schnecke:

"Eine kurze Bezeichnung für etwas, die nur Buchstaben, Zahlen, Unterstriche oder Bindestriche enthält. Sie werden im Allgemeinen in URLs verwendet."

Wenn Sie beispielsweise eine Gruppe in Publitas mit dem Namen "Makro UK" und eine Veröffentlichung mit dem Namen "Woche 12" haben, wird diese in einen Slug für die URL umgewandelt:
https://view.publitas.com/makro-uk/week-12

Das letzte Bit in dieser URL ("makro-uk/week-12") ist der Slug. Außerdem wird etwas wie "V&D" (standardmäßig) umgewandelt in: "v-d"

Kurz gesagt, die Erstellung von Slugs wie diesem ist eine menschen- und suchmaschinenfreundliche Art, URLs zu erstellen. Das Verfahren ist sehr einfach. Publitas:

1. Wandelt eine Zeichenkette in Kleinbuchstaben um.
2. Entfernt Sonderzeichen (z. B. Klammern, Kommas, Ausrufezeichen usw.) und ersetzt Leerzeichen durch -.
3. Meistens wird & durch "-" und @ durch "at" ersetzt.

Aus "Mom & Dad were @ Home" wird also: "Mama-Papa-war-zu-Hause".

Dies funktioniert besonders gut bei Sprachen mit lateinischem Alphabet:
irb(main):005:0> "Mama & Papa".parameterize => "Mama-Vati"

Aber wenn es um Chinesisch geht, fällt es einfach flach:
irb(main):003:0> "中文測試".parameterize => ""

Lösung: Transliterieren von Unicode-Zeichen in ASCII

Glücklicherweise gibt es bereits Bibliotheken, die sich mit diesem Problem befassen. Die Bibliothek, die wir verwenden, heißt Stringexund setzt sich aus drei Bibliotheken zusammen: ActsAsUrl, Unidecoder und StringExtensions.

Wenn wir nun Unicode-Zeichen transliterieren, geschieht Folgendes:
"你好".to_ascii #=> "Ni Hao"

Wenn Sie das haben, können Sie einen richtigen Slug erstellen. Kurz gesagt, Sie können nicht direkt die Standardprodukte für die Erstellung von Slugs in Chinesisch verwenden und müssen zuerst Unicode-Zeichen in ASCII transliterieren.

Aufgabe #2: Pluralisierung

Das andere Problem hat mit den Übersetzungen zu tun. Nehmen wir an, Sie wollen vom Englischen ins Niederländische übersetzen: "1 thing, 2 things". In beiden Sprachen kann man "Ding" im Singular und Plural ausdrücken, was die Übersetzung ins Niederländische sehr einfach macht. Im Chinesischen ist dies jedoch nicht der Fall. Für das Wort "thing" (Singular) gibt es einfach keine gültige Übersetzung. Das einzige Wort, das man übersetzen kann, ist "Dinge (事)" (Plural). Werfen Sie einen Blick auf den Code für unsere Katalogbetrachter unten:

      Betrachter:
        Laden: Laden...
        Seiten:
          Null: "Keine Seiten"
          one: "{Zahl} Seite"
          andere: "{Anzahl} Seiten"

      Betrachter:
        Laden: 正在载入...
        Seiten:
          Null: 没有页面
          eins: ""
          andere: 网页

Wie Sie hier sehen können, werden die Zeichenfolgen "zero" und "other" problemlos vom Englischen ins Chinesische übersetzt. Aber bei "one" (Singular) schlägt die Übersetzung fehl, weil es im Chinesischen nicht existiert.

Lösung: Nur Pluralwörter übersetzen

Die Pluralisierung wird im Chinesischen dadurch gelöst, dass nur die Pluralform übersetzt wird. Hier sehen Sie, wie wir dies bei den Übersetzungen für unsere Katalogbesucher anwenden:

      Betrachter:
        Laden: Laden...
        Seiten:
          Null: "Keine Seiten"
          one: "{Zahl} Seite"
          andere: "{Anzahl} Seiten"

      Betrachter:
        Laden: 正在载入...
        Seiten:
          Null: 没有页面
          andere: 网页

Anstatt also Übersetzungen für "one" und "other" zu haben, bieten wir sie nur für "other" auf Chinesisch an.

Problem #3: Suche

Damit die Suche richtig funktioniert, gibt es einen Prozess, den die Wörter durchlaufen, wenn sie indiziert werden. Die am häufigsten verwendete Methode ist das sogenannte Stemming. Das bedeutet im Grunde, dass verschiedene Formen eines Wortes auf eine gemeinsame Form reduziert werden. (Hier ist ein Artikel die das Stemming ausführlicher erklärt). Stellen Sie sich zum Beispiel vor, Sie indexieren eine PDF-Datei für eine Tierhandlung mit den Worten Katzen, katzenartig und katzenhaft. Alle diese Wörter werden auf den Wortstamm "Katze" reduziert, so dass sie bei der Suche nach "Katze" gefunden werden. Diese Technik ist jedoch nicht auf Chinesisch anwendbar.

Lösung: Suche sowohl nach dem Wortstamm als auch nach dem genauen Wort

Wir verwenden den Suchdienst von Amazon CloudSearchund zum Glück, seit kurzem wird auch Chinesisch unterstützt. Bisher hat unsere Suchmaschine immer nach Wörtern gesucht, die den Stamm enthalten. Da wir aber auch Chinesisch unterstützen wollten (wo die Wortstammsuche nicht anwendbar ist), mussten wir eine Ausfallsicherung implementieren, bei der auch ganze Wörter durchsucht werden. Anstatt also zu sagen: "Amazon, gib uns Wörter, die den Wortstamm enthalten", sagten wir: "Amazon, gib uns Wörter, die den Wortstamm enthalten ODER mit dem genauen Wort übereinstimmen".

Digitale Kataloge in China - Fazit

Wir hoffen, dass dieser Beitrag ein wenig Licht ins Dunkel gebracht hat, was die Herausforderungen bei der Herstellung der Kompatibilität unserer Kataloge für die Verwendung in China waren und wie Sie ähnliche Probleme lösen können. Sie können diesen Beitrag gerne weitergeben.