Różnice

Różnice między wybraną wersją a wersją aktualną.

--- fedora:aplikacje:ollama [2026/11/09 20:50] – [Agent bazujący na treści z plików pdf z podkatalogu pdf] sindap
+++ fedora:aplikacje:ollama [2026/11/09 21:25] (aktualna) – [Ollama w Podman] sindap
@@ Linia 241: / Linia 241: @@
 </code>
-==== Ollama w Podman ====
+===== Ollama w Podman =====
+<code bash>
+sudo dnf install -y nvidia-container-toolkit
+sudo mkdir -p /etc/cdi
+sudo nvidia-ctk cdi generate --output=/etc/cdi/nvidia.yaml
+</code>
+<code bash>
+nvidia-ctk cdi list
+INFO[0000] Found 3 CDI devices
+nvidia.com/gpu=0
+nvidia.com/gpu=GPU-f7c3e57b-e151-f70d-85ed-1727440608be
+nvidia.com/gpu=all
+</code>
+<code bash>
+podman run --rm --security-opt=label=disable --device=nvidia.com/gpu=all docker.io/nvidia/cuda:13.0.0-base-ubuntu24.04 nvidia-smi
+</code>
+<code bash>
+podman run -d --name ollama --device=nvidia.com/gpu=all --security-opt=label=disable -p 127.0.0.1:11434:11434 -v "$HOME/.ollama:/root/.ollama" docker.io/ollama/ollama:latest
+</code>
+<code bash>
+podman exec -it ollama ollama list
+NAME                                          ID              SIZE      MODIFIED
+SpeakLeash/bielik-11b-v2.3-instruct:Q4_K_M    b0dc93a20fdb    6.7 GB    3 weeks ago
+qwen:latest                                   46be3b9ea9a0    4.7 GB    5 weeks ago
+qwen2.5-coder:7b                              dae161e27b0e    4.7 GB    5 weeks ago
+deepseek-coder:6.7b                           ce298d984115    3.8 GB    11 months ago
+llama3:8b                                     365c0bd3c000    4.7 GB    11 months ago
+deepseek-coder:1.3b                           3ddd2d3fc8d2    776 MB    11 months ago
+</code>
+<code bash>
+podman exec -it ollama ollama run deepseek-coder:1.3b
+</code>
+Jeżeli rozmiar modelu jest mniejszy niż rozmiar pamięci GPU to model korzysta z GPU.
+<code bash>
+podman exec ollama ollama ps
+NAME                   ID              SIZE      PROCESSOR    CONTEXT    RUNNER      UNTIL
+deepseek-coder:1.3b    3ddd2d3fc8d2    1.6 GB    100% GPU     4096       llamacpp    3 minutes from now
+</code>
+Przy większych modelach obliczenia są realizowane przez GPU i CPU
+<code bash>
+podman exec ollama ollama ps
+NAME                                          ID              SIZE      PROCESSOR          CONTEXT    RUNNER      UNTIL
+SpeakLeash/bielik-11b-v2.3-instruct:Q4_K_M    b0dc93a20fdb    4.0 GB    32%/68% CPU/GPU    4096       llamacpp    4 minutes from now
+</code>