Comparing LLM´s

 

Comparing LLM´s. Amazing what you can do with open source models locally.

Prompt:

I have received two photobooks by post. The package was damaged in two corners and as a result the books themselves are also slightly damaged. I have photos that can be attached. I need you to write a polite short message to customer service. It must be in German. Thanks.

Online version (https://gemini.google.com/): Output in seconds

Sehr geehrte Damen und Herren,

mit dieser Nachricht möchte ich Ihnen den Erhalt von zwei Fotobüchern mitteilen, die ich kürzlich bestellt habe. Leider war das Paket bei der Ankunft in zwei Ecken beschädigt. Infolgedessen weisen auch die Bücher selbst leichte Beschädigungen auf.

Ich habe Fotos vom beschädigten Paket und den Büchern beigefügt. Könnten Sie sich bitte mit mir in Verbindung setzen, um das weitere Vorgehen zu besprechen?

Vielen Dank im Voraus für Ihre Mühe.

Mit freundlichen Grüßen,

[Ihr Name]

Local version (vicuna-13b-v1.5-16k.Q4_K_M.gguf): Four minutes (load, sample, prompt eval and eval, ~200 tokens, no GPU, fairly old i5 with just 2 cores and 16GB of memory)

Sehr geehrte Damen und Herren,

ich habe heute zwei Fotobücher erhalten, die jedoch leider stark beschädigt sind. Der Verpackung war an zwei Ecken aufgebrochen und die Bücher selbst haben ebenfalls einige Schäden davor. Ich habe Fotos, die ich gerne anheften kann.

Ich hoffe, dass Sie in der Lage sind, mir eine Entschuldigung zukommen zu lassen und eine Lösung für das Problem zu finden.

Mit freundlichen Grüßen,

[Your Name]