Różnice

Różnice między wybraną wersją a wersją aktualną.

--- fedora:aplikacje:ollama [2026/11/09 20:54] – [Ollama w Podman] sindap
+++ fedora:aplikacje:ollama [2026/11/09 21:25] (aktualna) – [Ollama w Podman] sindap
@@ Linia 259: / Linia 259: @@
 <code bash>
 podman run --rm --security-opt=label=disable --device=nvidia.com/gpu=all docker.io/nvidia/cuda:13.0.0-base-ubuntu24.04 nvidia-smi
+</code>
+<code bash>
+podman run -d --name ollama --device=nvidia.com/gpu=all --security-opt=label=disable -p 127.0.0.1:11434:11434 -v "$HOME/.ollama:/root/.ollama" docker.io/ollama/ollama:latest
+</code>
+<code bash>
+podman exec -it ollama ollama list
+NAME                                          ID              SIZE      MODIFIED
+SpeakLeash/bielik-11b-v2.3-instruct:Q4_K_M    b0dc93a20fdb    6.7 GB    3 weeks ago
+qwen:latest                                   46be3b9ea9a0    4.7 GB    5 weeks ago
+qwen2.5-coder:7b                              dae161e27b0e    4.7 GB    5 weeks ago
+deepseek-coder:6.7b                           ce298d984115    3.8 GB    11 months ago
+llama3:8b                                     365c0bd3c000    4.7 GB    11 months ago
+deepseek-coder:1.3b                           3ddd2d3fc8d2    776 MB    11 months ago
+</code>
+<code bash>
+podman exec -it ollama ollama run deepseek-coder:1.3b
+</code>
+Jeżeli rozmiar modelu jest mniejszy niż rozmiar pamięci GPU to model korzysta z GPU.
+<code bash>
+podman exec ollama ollama ps
+NAME                   ID              SIZE      PROCESSOR    CONTEXT    RUNNER      UNTIL
+deepseek-coder:1.3b    3ddd2d3fc8d2    1.6 GB    100% GPU     4096       llamacpp    3 minutes from now
+</code>
+Przy większych modelach obliczenia są realizowane przez GPU i CPU
+<code bash>
+podman exec ollama ollama ps
+NAME                                          ID              SIZE      PROCESSOR          CONTEXT    RUNNER      UNTIL
+SpeakLeash/bielik-11b-v2.3-instruct:Q4_K_M    b0dc93a20fdb    4.0 GB    32%/68% CPU/GPU    4096       llamacpp    4 minutes from now
 </code>