Zum Inhalt springen

denniswilmsmann.de Posts

Gemma-4-12B mit LM Studio in VS Code Chat nutzen

Voraussetzung: LM Studio läuft und hat Gemma-4-12B geladen, zusätzlich ist der Server Mode aktiviert.

In VS Code im Chat auf die Modellauswahl und dann Manage Language Models.

Nun die JSON Config öffnen.

Und folgendes dem vorhandenen JSON hinzufügen:

{
   "name":"LM Studio",
   "vendor":"customendpoint",
   "apiKey":"not-needed",
   "models":[
      {
         "id":"google/gemma-4-12b",
         "name":"Gemma 4 12b",
         "url":"http://localhost:1234/v1/chat/completions",
         "toolCalling":true
      }
   ]
}

Wichtig sind vor allem die ID und die URL.

Dazu habe ich dann noch für meine Radeon RX 9070 XT mit leider nur 16 GB RAM noch ein paar Einstellungen in LM Studio angepasst. Das wird vermutlich für andere GPU anders aussehen.

Unter Load habe ich den Context auf 32768 gesetzt, default sind nur 4096. Viel zu wenig.

Unter Inference muss Enable Thinking aktiviert sein, die Temperature habe ich auf 0.3 reduziert und die Repeat Penalty auf 1.2 gesetzt.

Und das hier ist dann z.B. ein Ergebnis nach ca. 3 Minuten.

Fazit: Technisch geht das. Macht das mit so einer kleinen GPU Spaß? Nicht wirklich… Dann doch lieber ein paar € in OpenRouter einwerfen und auf Deep Seek V4 Flash oder MiMo-V2.5 setzen. Für private Projekt ist das mehr als ausreichend, vor allem schneller, stabiler und weniger frustrierend.

LM Studio hängt bei „Indexing model files… (this might take a moment)“

LM Studio findet keine lokalen Modelle beim Start mehr und zeigt gefühlt endlos diesen Screen mit der Meldung „Indexing model files… (this might take a moment)“.

Dann könnte das hier eine Lösung sein:

LM Studio beenden.

Im Verzeichnis C:\Users\USERNAME\.lmstudio\extensions\backends alle Unterverzeichnisse löschen oder woanders hin verschieben.

LM Studio erneut starten und alle benötigten Runtimes erneut runterladen.

Dann sollte oben auch automatisch eine passende GGUF Runtime ausgewählt worden sein.

Um das zu prüfen, sollte nun unter Hardware eine GPU angezeigt werden.

Und jetzt werden hoffentlich wieder LLMs angezeigt und können ausgewählt werden.

Fehlermeldung nach Update auf Docker 29

Nach dem Update auf Docker 29.0.0 kommt es auf meinem Homeserver zu Problemen.
Die Fehlermeldung lautet zum Beispiel:

Error response from daemon: client version 1.24 is too old. 
Minimum supported API version is 1.44, please upgrade your client to a newer version.

Ein funktionierender Workaround ist der Wechsel zurück auf die letzte stabile 28er-Version, wie hier auf meinem Ubuntu 22.04 (Jammy).

# find previous versions
apt-cache madison docker-ce

# downgrade to 28.5.2
sudo apt install \
  docker-ce=5:28.5.2-1~ubuntu.22.04~jammy \
  docker-ce-cli=5:28.5.2-1~ubuntu.22.04~jammy \
  containerd.io docker-buildx-plugin docker-compose-plugin

Danach empfiehlt sich, die Pakete zu „freezen“, um ein automatisches Upgrade auf 29 zu verhindern:

# disable auto-updates
sudo apt-mark hold docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

# verify
apt-mark showhold

Jedenfalls so lange, bis die Probleme (z.B. bei Traefik) behoben sind.


Update 1: Bei Docker selbst gibt es auch Infos: https://www.docker.com/blog/docker-engine-version-29/

Also sollte auch der genannten Ansatz funktionieren, die /etc/docker/daemon.json anzupassen.

{
    "min-api-version": "1.24"
}

Update 2: Ja, das funktioniert ebenfalls. Danach macht das Update auf Docker 29 auch keine Probleme mehr.

Gamepass lädt keine Updates: 0x80070020

Falls unter Windows keine neuen Installation oder Updates starten oder mit dem Fehlercode 0x80070020 abbrechen, könnte die Ursache ein Task sein, der die appxmanifest.xml Datei des Games nicht freigibt.

Beispiele:
Age of Empires 4
C:\XboxGames\Age of Empires IV\Content\appxmanifest.xml

Oblivion Remastered
C:\XboxGames\The Elder Scrolls IV- Oblivion Remastered\Content\appxmanifest.xml

Mit File Locksmith aus den PowerToys lässt sich das herausfinden und der Task direkt beenden. Danach funktionieren Installationen und Updates wieder.

Probleme mit Nokia Smartphones nach Softwareupdates

An sich finde ich die Android Smartphones von Nokia gut, vor allem wegen Android One. Also quasi keine vorinstallierte Bloatware und relativ langer Android Support. Allerdings hatte ich nun bei zwei verschiedenen Geräten (Nokia 5.3 und Nokia X10) nach offiziellen Updates folgendes Problem: No valid operation system could be found

Das heißt im Endeffekt: Das Smartphone muss eingeschickt werden. Das hat zwar die Garantie (oder Gewährleistung?) abgedeckt und war recht einfach und schnell, trotzdem waren beide Geräte ca. 10 Tage für Hin- und Rückweg unterwegs. Ärgerlich…

Im Nokia Support Forum findet man dazu diverse Beiträge, z.B. diesen hier. In Zukunft werde ich die Finger von Android Smartphones von Nokia machen. Und scheinbar ist bzw. war Nokia der letzte Smartphone Herstelle, der noch Android One angeboten hat. Von Google mit den Pixel Smartphones natürlich abgesehen.