Auf einem unserer lokalen LLMs kommt ein Rechner mit Nvidia 6000 Pro zum Einsatz. Dies stürzte über Monate ohne erkennbaren Grund bei der Nutzung von LLMs vollständig ab. Keine Systemlogs, keine Logs in den Anwendungen. Dies sowohl unter LINUX, als auch unter Windows.
Die Suche nach fehlerhaften Komponenten und thermischen Problemen bleib erfolglos.
Schlussendlich hat jemand auf Reddit die Lösung gepostet – vielen Dank dafür!!!
Die Karte scheint unter bestimmten Bedingungen zu hoch getaktet zu werden. Daher sollte der Takt manuell angepasst werden.
nvidia-smi -lgc 180,2400
Die entsprechenden Werte müssen natürlich individuell bestimmt werden.