HARDWARE / VERÖFFENTLICHTE GESCHWINDIGKEITEN
Dieselbe Aufgabe.
Auf jedem Rechner.
Wie schnell schreibt ein Rechner mit einer bei Ihnen installierten KI? Hier sind die Zahlen, die die Community für dasselbe kleine Modell veröffentlicht hat, von Apple-Chips bis zu Grafikkarten. Jede Zahl behält den Verweis auf ihre Quelle.
Erhebung Saphan · 7. Oktober 2026
die angefragten Rechnerdie Referenzkartendie Zahl: die Schreibgeschwindigkeit in Tokens pro Sekunde
Metal · Mac
Metal ist die Engine der Macs. Hier nur Apple-Chips: Sie werden untereinander verglichen.
- Apple M5 Ultra (80 GPU)Apple-Chip256 GB179Tokens/sLesen 4'945 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 179.10 Tokens/s · commit c1d0e7a · macOS (Metal)
- Apple M5 Max (40 GPU)Apple-Chip128 GB112Tokens/sLesen 2'105 Tokens/s
4 veröffentlichte Messungen, darüber der Median
- 119.92 Tokens/s beim Schreiben · 3219.99 beim Lesenllama.cpp (Metal) · commit c1d0e7a · macOS (Metal) · pp512 / tg128GitHub · llama.cpp · Diskussion 4167
- 119.08 ± 0.69 Tokens/s beim Schreiben · 3347.44 ± 1.53 beim Lesenllama.cpp (Metal) · commit 52b3df0, build 9754 · pp512 / tg128; threads=6GitHub · llama.cpp · Diskussion 4167
- 104.03 ± 0.09 Tokens/s beim Schreiben · 990.53 ± 0.44 beim Lesenllama.cpp (Metal) · commit 8e672ef, build 1550 · pp512 / tg128; ngl=99 · 2026-03-31GitHub · llama.cpp · Diskussion 4167
- 102.93 ± 0.17 Tokens/s beim Schreiben · 987.10 ± 1.05 beim Lesenllama.cpp (Metal) · commit 8e672ef, build 1550 · pp512 / tg128; ngl=99 · 2026-03-28GitHub · llama.cpp · Diskussion 4167
- Apple M2 Ultra (76 GPU)Apple-Chip94.3Tokens/sLesen 1'238 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 94.27 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M3 Ultra (80 GPU)Apple-Chip92.1Tokens/sLesen 1'471 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 92.14 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M2 Ultra (60 GPU)Apple-Chip128 GB88.6Tokens/sLesen 1'014 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 88.64 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M3 Ultra (60 GPU)Apple-Chip88.4Tokens/sLesen 1'073 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 88.40 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M1 Ultra (64 GPU)Apple-Chip128 GB83.7Tokens/sLesen 1'030 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 83.73 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M4 Max (40 GPU)Apple-Chip83.1Tokens/sLesen 886 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 83.06 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M1 Ultra (48 GPU)Apple-Chip74.9Tokens/sLesen 772 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 74.93 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M4 Max (32 GPU)Apple-Chip70.0Tokens/sLesen 714 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 69.95 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M5 Pro (20 GPU)Apple-Chip64 GB66.3Tokens/sLesen 1'621 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 66.33 Tokens/s · commit c1d0e7a · macOS (Metal)
- Apple M3 Max (40 GPU)Apple-Chip66.3Tokens/sLesen 760 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 66.31 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M2 Max (38 GPU)Apple-Chip32 GB63.9Tokens/sLesen 669 Tokens/s
4 veröffentlichte Messungen, darüber der Median
- 65.95 Tokens/s beim Schreiben · 671.31 beim Lesenllama.cpp (Metal) · commit 8e672ef · macOS (Metal) · pp512 / tg128GitHub · llama.cpp · Diskussion 4167
- 64.55 ± 1.36 Tokens/s beim Schreiben · 669.51 ± 1.17 beim Lesenllama.cpp (Metal) · commit e9c13ff, build 1560 · pp512 / tg128; ngl=99 · 2023-11-25GitHub · llama.cpp · Diskussion 4167
- 63.29 ± 0.15 Tokens/s beim Schreiben · 664.07 ± 9.11 beim Lesenllama.cpp (Metal) · commit 795cd5a, build 1493 · pp512 / tg128; ngl=99GitHub · llama.cpp · Diskussion 4167
- 62.98 ± 0.06 Tokens/s beim Schreiben · 668.28 ± 0.24 beim Lesenllama.cpp (Metal) · commit 22da055, build 1566 · pp512 / tg128; ngl=99 · 2023-11-26GitHub · llama.cpp · Diskussion 4167
- Apple M5 Pro (16 GPU)Apple-Chip24 GB63.8Tokens/sLesen 1'238 Tokens/s
4 veröffentlichte Messungen, darüber der Median
- 67.59 Tokens/s beim Schreiben · 1340.44 beim Lesenllama.cpp (Metal) · commit 60081bb · macOS (Metal) · pp512 / tg128GitHub · llama.cpp · Diskussion 4167
- 63.86 ± 0.06 Tokens/s beim Schreiben · 1350.43 ± 1.97 beim Lesenllama.cpp (Metal) · commit c3a1128, build 8509 · pp512 / tg128; threads=5 · 2026-04-14GitHub · llama.cpp · Diskussion 4167
- 63.74 ± 0.06 Tokens/s beim Schreiben · 1135.71 ± 9.26 beim Lesenllama.cpp (Metal) · commit 073bb2c, build 8762 · pp512 / tg128; threads=5GitHub · llama.cpp · Diskussion 4167
- 60.04 ± 0.21 Tokens/s beim Schreiben · 403.19 ± 0.22 beim Lesenllama.cpp (Metal) · commit 8e672ef, build 1550 · pp512 / tg128; ngl=99GitHub · llama.cpp · Diskussion 4167
- Apple M1 Max (32 GPU)Apple-Chip64 GB61.2Tokens/sLesen 530 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 61.19 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M2 Max (30 GPU)Apple-Chip61.0Tokens/sLesen 538 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 60.99 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M3 Max (30 GPU)Apple-Chip56.6Tokens/sLesen 568 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 56.58 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M1 Max (24 GPU)Apple-Chip54.6Tokens/sLesen 400 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 54.61 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M4 Pro (20 GPU)Apple-Chip50.7Tokens/sLesen 440 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 50.74 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M4 Pro (16 GPU)Apple-Chip49.6Tokens/sLesen 364 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 49.64 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M2 Pro (19 GPU)Apple-Chip38.9Tokens/sLesen 341 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 38.86 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M2 Pro (16 GPU)Apple-Chip37.9Tokens/sLesen 294 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 37.87 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M1 Pro (16 GPU)Apple-Chip36.4Tokens/sLesen 266 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 36.41 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M6 (8 GPU)Apple-Chip32 GB35.7Tokens/sLesen 989 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 35.74 Tokens/s · commit c1d0e7a · macOS (Metal)
- Apple M1 Pro (14 GPU)Apple-Chip35.5Tokens/sLesen 233 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 35.52 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M5 (10 GPU)Apple-Chip16 GB31.9Tokens/sLesen 723 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 31.88 Tokens/s · commit c1d0e7a · macOS (Metal)
- Apple M3 Pro (18 GPU)Apple-Chip30.7Tokens/sLesen 342 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 30.74 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M3 Pro (14 GPU)Apple-Chip30.6Tokens/sLesen 269 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 30.65 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M4 (10 GPU)Apple-Chip32 GB24.1Tokens/sLesen 221 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 24.11 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M2 (10 GPU)Apple-Chip24 GB21.9Tokens/sLesen 180 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 21.91 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M2 (8 GPU)Apple-Chip21.7Tokens/sLesen 146 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 21.7 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M3 (10 GPU)Apple-Chip21.3Tokens/sLesen 187 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 21.34 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M1 (7 GPU)Apple-Chip14.2Tokens/sLesen 108 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 14.19 Tokens/s · commit 8e672ef · macOS (Metal)
- Apple M1 (8 GPU)Apple-Chip14.2Tokens/sLesen 118 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 4167 14.15 Tokens/s · commit 8e672ef · macOS (Metal)
CUDA · NVIDIA
CUDA ist die Engine der NVIDIA-Karten und des DGX Spark.
- RTX 5090Referenzkarte32 GB247Tokens/sLesen 14'413 Tokens/s
6 veröffentlichte Messungen, darüber der Median
- 300.40 ± 0.28 Tokens/s beim Schreiben · 14970.15 ± 381.06 beim Lesenllama.cpp (CUDA) · commit 8cf6b42 · pp512 / tg128; ngl=99; FA=1GitHub · llama.cpp · Diskussion 15013
- 290.02 ± 1.10 Tokens/s beim Schreiben · 14073.41 ± 115.16 beim Lesenllama.cpp (CUDA) · commit 8cf6b42 · pp512 / tg128; ngl=99; FA=0GitHub · llama.cpp · Diskussion 15013
- 248.57 ± 0.05 Tokens/s beim Schreiben · 16041.54 ± 85.27 beim Lesenllama.cpp (CUDA) · commit 9c35706, build 6060 · pp512 / tg128 · 2025-08-02GitHub · llama.cpp · Diskussion 15013
- 245.02 ± 1.08 Tokens/s beim Schreiben · 13823.36 ± 20.99 beim Lesenllama.cpp (CUDA) · commit 9c35706, build 6060 · pp512 / tg128 · 2025-08-01GitHub · llama.cpp · Diskussion 15013
- 239.62 ± 0.37 Tokens/s beim Schreiben · 14751.98 ± 136.24 beim Lesenllama.cpp (CUDA) · commit 9c35706, build 6060 · pp512 / tg128 · 2025-08-02GitHub · llama.cpp · Diskussion 15013
- 236.73 ± 1.29 Tokens/s beim Schreiben · 12706.26 ± 13.30 beim Lesenllama.cpp (CUDA) · commit 9c35706, build 6060 · pp512 / tg128 · 2025-08-01GitHub · llama.cpp · Diskussion 15013
- RTX 4090Referenzkarte24 GB188Tokens/sLesen 13'382 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 188.96 ± 0.05 Tokens/s beim Schreiben · 14770.63 ± 102.93 beim Lesenllama.cpp (CUDA) · pp512 / tg128; ngl=99; FA=1GitHub · llama.cpp · Diskussion 15013
- 186.21 ± 0.13 Tokens/s beim Schreiben · 11992.70 ± 107.99 beim Lesenllama.cpp (CUDA) · pp512 / tg128; ngl=99; FA=0GitHub · llama.cpp · Diskussion 15013
- RTX 5080Referenzkarte16 GB183Tokens/sLesen 8'893 Tokens/s
4 veröffentlichte Messungen, darüber der Median
- 184.68 ± 0.05 Tokens/s beim Schreiben · 9487.70 ± 21.89 beim Lesenllama.cpp (CUDA) · commit 8a4280c · pp512 / tg128; ngl=99; FA=1GitHub · llama.cpp · Diskussion 15013
- 183.04 ± 0.50 Tokens/s beim Schreiben · 9644.43 ± 93.39 beim Lesenllama.cpp (CUDA) · commit 2fbe3b7bb, build 7342 · pp512 / tg128 · 2025-12-16GitHub · llama.cpp · Diskussion 15013
- 181.99 ± 0.42 Tokens/s beim Schreiben · 8297.36 ± 9.50 beim Lesenllama.cpp (CUDA) · commit 8a4280c · pp512 / tg128; ngl=99; FA=0GitHub · llama.cpp · Diskussion 15013
- 177.99 ± 0.44 Tokens/s beim Schreiben · 7405.11 ± 125.96 beim Lesenllama.cpp (CUDA) · commit 2fbe3b7bb, build 7342 · pp512 / tg128 · 2025-12-16GitHub · llama.cpp · Diskussion 15013
- RTX 5070 TiReferenzkarte16 GB180Tokens/sLesen 7'686 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 182.43 ± 0.09 Tokens/s beim Schreiben · 8419.56 ± 35.50 beim Lesenllama.cpp (CUDA) · commit 933414c · pp512 / tg128; ngl=99; FA=1GitHub · llama.cpp · Diskussion 15013
- 176.85 ± 0.07 Tokens/s beim Schreiben · 6952.38 ± 13.73 beim Lesenllama.cpp (CUDA) · commit 933414c · pp512 / tg128; ngl=99; FA=0GitHub · llama.cpp · Diskussion 15013
- RTX 3090Referenzkarte24 GB157Tokens/sLesen 5'290 Tokens/s
8 veröffentlichte Messungen, darüber der Median
- 177.75 ± 0.51 Tokens/s beim Schreiben · 5973.72 ± 397.62 beim Lesenllama.cpp (CUDA) · commit 5266f24, build 10809 · NVIDIA 550.163.01; CUDA 12.4 · pp512 / tg128; ngl=99; FA=1 · 2026-09-07GitHub · llama.cpp · Diskussion 15013
- 168.95 ± 0.66 Tokens/s beim Schreiben · 5153.91 ± 429.71 beim Lesenllama.cpp (CUDA) · commit 5266f24, build 10809 · NVIDIA 550.163.01; CUDA 12.4 · pp512 / tg128; ngl=99; FA=0 · 2026-09-07GitHub · llama.cpp · Diskussion 15013
- 161.89 ± 0.18 Tokens/s beim Schreiben · 5560.06 ± 16.28 beim Lesenllama.cpp (CUDA) · commit c76b420 · pp512 / tg128; ngl=99; FA=1GitHub · llama.cpp · Diskussion 15013
- 158.16 ± 0.21 Tokens/s beim Schreiben · 5174.69 ± 21.83 beim Lesenllama.cpp (CUDA) · commit c76b420 · pp512 / tg128; ngl=99; FA=0GitHub · llama.cpp · Diskussion 15013
- 155.36 ± 0.09 Tokens/s beim Schreiben · 5932.44 ± 10.87 beim Lesenllama.cpp (CUDA) · commit 9c35706, build 6060 · pp512 / tg128 · 2025-08-02GitHub · llama.cpp · Diskussion 15013
- 151.04 ± 0.24 Tokens/s beim Schreiben · 5405.83 ± 5.80 beim Lesenllama.cpp (CUDA) · commit 9c35706, build 6060 · pp512 / tg128 · 2025-08-02GitHub · llama.cpp · Diskussion 15013
- 138.34 ± 0.96 Tokens/s beim Schreiben · 4377.03 ± 89.10 beim Lesenllama.cpp (CUDA) · commit 9c35706, build 6060 · pp512 / tg128 · 2025-08-01GitHub · llama.cpp · Diskussion 15013
- 137.72 ± 0.46 Tokens/s beim Schreiben · 4175.47 ± 27.79 beim Lesenllama.cpp (CUDA) · commit 9c35706, build 6060 · pp512 / tg128 · 2025-08-01GitHub · llama.cpp · Diskussion 15013
- RTX 4080 SuperReferenzkarte16 GB148Tokens/sLesen 8'782 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 148.33 ± 0.20 Tokens/s beim Schreiben · 8125.15 ± 41.05 beim Lesenllama.cpp (CUDA) · commit 81086cd · pp512 / tg128; ngl=99; FA=0GitHub · llama.cpp · Diskussion 15013
- 147.48 ± 1.41 Tokens/s beim Schreiben · 9439.01 ± 56.75 beim Lesenllama.cpp (CUDA) · commit 81086cd · pp512 / tg128; ngl=99; FA=1GitHub · llama.cpp · Diskussion 15013
- RTX 3080Referenzkarte10 GB140Tokens/sLesen 5'292 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 139.95 ± 0.95 Tokens/s beim Schreiben · 5569.56 ± 14.04 beim Lesenllama.cpp (CUDA) · commit 9c35706 · pp512 / tg128; ngl=99; FA=1GitHub · llama.cpp · Diskussion 15013
- 139.65 ± 0.99 Tokens/s beim Schreiben · 5013.86 ± 24.80 beim Lesenllama.cpp (CUDA) · commit 9c35706 · pp512 / tg128; ngl=99; FA=0GitHub · llama.cpp · Diskussion 15013
- RTX 4070 Ti SuperReferenzkarte16 GB133Tokens/sLesen 7'268 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 132.85 ± 0.31 Tokens/s beim Schreiben · 7612.32 ± 37.35 beim Lesenllama.cpp (CUDA) · commit 9c35706 · pp512 / tg128; ngl=99; FA=1GitHub · llama.cpp · Diskussion 15013
- 132.26 ± 0.16 Tokens/s beim Schreiben · 6924.53 ± 13.87 beim Lesenllama.cpp (CUDA) · commit 9c35706 · pp512 / tg128; ngl=99; FA=0GitHub · llama.cpp · Diskussion 15013
- RTX 5060 TiReferenzkarte16 GB92.2Tokens/sLesen 3'966 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 93.46 ± 0.01 Tokens/s beim Schreiben · 4195.53 ± 1.98 beim Lesenllama.cpp (CUDA) · commit 89d1029 · pp512 / tg128; ngl=99; FA=1GitHub · llama.cpp · Diskussion 15013
- 90.94 ± 0.02 Tokens/s beim Schreiben · 3737.25 ± 6.79 beim Lesenllama.cpp (CUDA) · commit 89d1029 · pp512 / tg128; ngl=99; FA=0GitHub · llama.cpp · Diskussion 15013
- RTX 3060Referenzkarte12 GB75.6Tokens/sLesen 2'273 Tokens/s
4 veröffentlichte Messungen, darüber der Median
- 76.92 ± 0.03 Tokens/s beim Schreiben · 2407.67 ± 3.73 beim Lesenllama.cpp (CUDA) · commit baa9255 · pp512 / tg128; ngl=99; FA=1GitHub · llama.cpp · Diskussion 15013
- 75.58 ± 0.09 Tokens/s beim Schreiben · 2407.93 ± 10.64 beim Lesenllama.cpp (CUDA) · commit bb4caa7 · CUDA 13.3 · pp512 / tg128; ngl=99; FA=1 · 2026-08-21GitHub · llama.cpp · Diskussion 15013
- 75.57 ± 0.07 Tokens/s beim Schreiben · 2137.50 ± 10.12 beim Lesenllama.cpp (CUDA) · commit baa9255 · pp512 / tg128; ngl=99; FA=0GitHub · llama.cpp · Diskussion 15013
- 72.09 ± 0.11 Tokens/s beim Schreiben · 2111.39 ± 44.37 beim Lesenllama.cpp (CUDA) · commit bb4caa7 · CUDA 13.3 · pp512 / tg128; ngl=99; FA=0 · 2026-08-21GitHub · llama.cpp · Diskussion 15013
- DGX Spark (GB10)DGX Spark128 GB57.0Tokens/sLesen 3'362 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 57.21 ± 0.06 Tokens/s beim Schreiben · 3062.31 ± 11.02 beim Lesenllama.cpp (CUDA) · commit 5acd455 · pp512 / tg128; FA=0GitHub · llama.cpp · Diskussion 15013
- 56.74 ± 0.03 Tokens/s beim Schreiben · 3661.37 ± 38.66 beim Lesenllama.cpp (CUDA) · commit 5acd455 · pp512 / tg128; FA=1GitHub · llama.cpp · Diskussion 15013
Vulkan · alle GPU-Familien
Vulkan läuft überall: Es ist die einzige Engine, bei der Apple-Chips, der DGX Spark und die Grafikkarten in derselben Tabelle zu finden sind.
- RTX 5090Referenzkarte32 GB269Tokens/sLesen 11'089 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 273.68 ± 0.52 Tokens/s beim Schreiben · 11796.38 ± 601.36 beim Lesenllama.cpp (Vulkan) · commit ca71fb9 · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- 263.63 ± 0.91 Tokens/s beim Schreiben · 10381.64 ± 508.84 beim Lesenllama.cpp (Vulkan) · commit ca71fb9 · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- RTX 4090Referenzkarte24 GB189Tokens/sLesen 10'141 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 190.10 ± 0.31 Tokens/s beim Schreiben · 10830.41 ± 36.25 beim Lesenllama.cpp (Vulkan) · commit 4ae88d0 · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- 187.97 ± 0.21 Tokens/s beim Schreiben · 9452.03 ± 187.70 beim Lesenllama.cpp (Vulkan) · commit 4ae88d0 · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- RTX 5080Referenzkarte16 GB189Tokens/sLesen 7'750 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 192.17 ± 0.21 Tokens/s beim Schreiben · 8054.59 ± 35.68 beim Lesenllama.cpp (Vulkan) · commit f6b533d · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- 185.10 ± 0.54 Tokens/s beim Schreiben · 7444.99 ± 20.11 beim Lesenllama.cpp (Vulkan) · commit f6b533d · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- RX 7900 XTXReferenzkarte24 GB172Tokens/sLesen 3'590 Tokens/s
4 veröffentlichte Messungen, darüber der Median
- 190.92 ± 0.19 Tokens/s beim Schreiben · 3889.54 ± 16.52 beim Lesenllama.cpp (Vulkan) · commit 304665f · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- 182.63 ± 0.22 Tokens/s beim Schreiben · 3726.99 ± 22.09 beim Lesenllama.cpp (Vulkan) · commit 304665f · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- 161.46 ± 0.27 Tokens/s beim Schreiben · 3453.79 ± 47.32 beim Lesenllama.cpp (Vulkan) · commit d23a559 · pp512 / tg128 · 2026-02-16GitHub · llama.cpp · Diskussion 15021
- 154.32 ± 0.24 Tokens/s beim Schreiben · 3292.37 ± 27.90 beim Lesenllama.cpp (Vulkan) · commit d23a559 · pp512 / tg128 · 2026-02-16GitHub · llama.cpp · Diskussion 15021
- RTX 3090Referenzkarte24 GB168Tokens/sLesen 4'933 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 171.61 ± 2.69 Tokens/s beim Schreiben · 5200.68 ± 16.44 beim Lesenllama.cpp (Vulkan) · commit d05fe1d · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- 164.05 ± 0.89 Tokens/s beim Schreiben · 4666.15 ± 12.89 beim Lesenllama.cpp (Vulkan) · commit d05fe1d · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- RTX 5070 TiReferenzkarte16 GB156Tokens/sLesen 6'891 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 176.18 ± 1.12 Tokens/s beim Schreiben · 7567.94 ± 41.96 beim Lesenllama.cpp (Vulkan) · commit 0d0764d · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- 135.63 ± 0.18 Tokens/s beim Schreiben · 6213.63 ± 27.72 beim Lesenllama.cpp (Vulkan) · commit d13d0f6 · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- Radeon AI Pro R9700Referenzkarte32 GB149Tokens/sLesen 5'759 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 152.70 ± 0.02 Tokens/s beim Schreiben · 5907.66 ± 85.27 beim Lesenllama.cpp (Vulkan) · commit dd1ea52 · pp512 / tg128GitHub · llama.cpp · Diskussion 10879
- 145.67 ± 0.07 Tokens/s beim Schreiben · 5609.82 ± 73.99 beim Lesenllama.cpp (Vulkan) · commit dd1ea52 · pp512 / tg128GitHub · llama.cpp · Diskussion 10879
- RTX 4080 SuperReferenzkarte16 GB149Tokens/sLesen 7'554 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 150.20 ± 0.26 Tokens/s beim Schreiben · 8007.37 ± 46.03 beim Lesenllama.cpp (Vulkan) · commit 81086cd · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- 147.13 ± 5.64 Tokens/s beim Schreiben · 7101.18 ± 269.79 beim Lesenllama.cpp (Vulkan) · commit 81086cd · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- RTX 3080Referenzkarte10 GB142Tokens/sLesen 4'600 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 145.74 ± 0.16 Tokens/s beim Schreiben · 4913.83 ± 21.52 beim Lesenllama.cpp (Vulkan) · commit 7c7d6ce · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- 139.15 ± 0.05 Tokens/s beim Schreiben · 4287.11 ± 55.50 beim Lesenllama.cpp (Vulkan) · commit 7c7d6ce · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- RTX 4070 Ti SuperReferenzkarte16 GB133Tokens/sLesen 6'450 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 135.81 ± 4.29 Tokens/s beim Schreiben · 6801.18 ± 40.12 beim Lesenllama.cpp (Vulkan) · commit 4ae88d0 · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- 129.45 ± 0.18 Tokens/s beim Schreiben · 6099.18 ± 154.30 beim Lesenllama.cpp (Vulkan) · commit 4ae88d0 · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- RX 9070 XTReferenzkarte16 GB132Tokens/sLesen 4'919 Tokens/s
5 veröffentlichte Messungen, der Median oben
- 137.11 ± 0.02 Tokens/s beim Schreiben · 5036.04 ± 88.16 beim Lesenllama.cpp (Vulkan) · commit e9fd8dc · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- 132.29 ± 0.16 Tokens/s beim Schreiben · 4919.17 ± 919.04 beim Lesenllama.cpp (Vulkan) · commit 505b1ed, build 10034 · Fedora 44; kernel 7.1.3-201.fc44.x86_64; amdgpu in-tree; Vulkan 1.4.354; ROCm 7.1.1 · pp512 / tg128; ngl=99; FA=1 · 2026-07-15GitHub · llama.cpp · Diskussion 15021
- 132.28 ± 0.12 Tokens/s beim Schreiben · 4884.70 ± 952.52 beim Lesenllama.cpp (Vulkan) · commit 505b1ed, build 10034 · Fedora 44; kernel 7.1.3-201.fc44.x86_64; amdgpu in-tree; Vulkan 1.4.354; ROCm 7.1.1 · pp512 / tg128; ngl=99; FA=1 · 2026-07-15GitHub · llama.cpp · Diskussion 15021
- 132.03 ± 0.48 Tokens/s beim Schreiben · 4343.73 ± 1140.65 beim Lesenllama.cpp (Vulkan) · commit 505b1ed, build 10034 · Fedora 44; kernel 7.1.3-201.fc44.x86_64; amdgpu in-tree; Vulkan 1.4.354; ROCm 7.1.1 · pp512 / tg128; ngl=99; FA=1 · 2026-07-15GitHub · llama.cpp · Diskussion 15021
- 131.54 ± 0.05 Tokens/s beim Schreiben · 5048.07 ± 2.12 beim Lesenllama.cpp (Vulkan) · commit e9fd8dc · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- RX 7900 XTReferenzkarte20 GB122Tokens/sLesen 2'821 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 123.18 ± 0.40 Tokens/s beim Schreiben · 2941.58 ± 17.17 beim Lesenllama.cpp (Vulkan) · commit 71e74a3 · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- 120.62 ± 0.36 Tokens/s beim Schreiben · 2701.13 ± 8.75 beim Lesenllama.cpp (Vulkan) · commit 71e74a3 · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- Apple M3 UltraApple-Chip512 GB116Tokens/sLesen 1'117 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 10879 115.54 ± 0.78 Tokens/s · commit 2d451c8 · MoltenVK
- RX 7800 XTReferenzkarte16 GB108Tokens/sLesen 2'105 Tokens/s
4 veröffentlichte Messungen, darüber der Median
- 124.86 ± 0.10 Tokens/s beim Schreiben · 2197.05 ± 6.03 beim Lesenllama.cpp (Vulkan) · commit 4fdbc1e · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- 118.27 ± 0.27 Tokens/s beim Schreiben · 2017.33 ± 19.30 beim Lesenllama.cpp (Vulkan) · commit 4fdbc1e · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- 96.89 + 0.22 Tokens/s beim Schreiben · 2145.60 + 23.14 beim Lesenllama.cpp (Vulkan) · commit baad948, build 6056 · Windows 10 · pp512 / tg128 · 2025-08-01GitHub · llama.cpp · Diskussion 15021
- 96.03 + 0.09 Tokens/s beim Schreiben · 2063.66 + 2.92 beim Lesenllama.cpp (Vulkan) · commit baad948, build 6056 · Windows 10 · pp512 / tg128 · 2025-08-01GitHub · llama.cpp · Diskussion 15021
- RTX 5060 TiReferenzkarte16 GB95.3Tokens/sLesen 3'687 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 97.01 ± 0.14 Tokens/s beim Schreiben · 3912.65 ± 5.86 beim Lesenllama.cpp (Vulkan) · commit 89f10ba · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- 93.51 ± 0.15 Tokens/s beim Schreiben · 3460.92 ± 7.16 beim Lesenllama.cpp (Vulkan) · commit 89f10ba · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- RTX 3060Referenzkarte12 GB78.3Tokens/sLesen 1'914 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 80.59 ± 0.02 Tokens/s beim Schreiben · 2012.88 ± 10.12 beim Lesenllama.cpp (Vulkan) · commit 92c0b38 · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- 75.94 ± 0.80 Tokens/s beim Schreiben · 1815.70 ± 5.85 beim Lesenllama.cpp (Vulkan) · commit 92c0b38 · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- Apple M4 MaxApple-Chip73.4Tokens/sLesen 641 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 75.02 ± 0.14 Tokens/s beim Schreiben · 724.77 ± 20.93 beim Lesenllama.cpp (Vulkan) · commit 1ece0cb6 · pp512 / tg128; FA=0GitHub · llama.cpp · Diskussion 10879
- 71.79 ± 4.16 Tokens/s beim Schreiben · 557.46 ± 26.87 beim Lesenllama.cpp (Vulkan) · commit 1ece0cb6 · pp512 / tg128; FA=1GitHub · llama.cpp · Diskussion 10879
- Arc B580Referenzkarte12 GB71.1Tokens/sLesen 520 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 72.00 ± 0.24 Tokens/s beim Schreiben · 419.49 ± 3.37 beim Lesenllama.cpp (Vulkan) · commit 7f76692 · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- 70.14 ± 0.28 Tokens/s beim Schreiben · 620.94 ± 15.33 beim Lesenllama.cpp (Vulkan) · commit 7f76692 · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- RX 9060 XTReferenzkarte16 GB70.8Tokens/sLesen 2'493 Tokens/s
4 veröffentlichte Messungen, darüber der Median
- 74.01 ± 0.03 Tokens/s beim Schreiben · 3228.15 ± 16.15 beim Lesenllama.cpp (Vulkan) · commit f1cee99 · Mesa RADV 26.2.2 · pp512 / tg128; ngl=100; FA=1 · 2026-10-02GitHub · llama.cpp · Diskussion 10879
- 71.07 ± 0.10 Tokens/s beim Schreiben · 2844.80 ± 132.10 beim Lesenllama.cpp (Vulkan) · commit f1cee99 · Mesa RADV 26.2.2 · pp512 / tg128; ngl=100; FA=0 · 2026-10-02GitHub · llama.cpp · Diskussion 10879
- 70.54 ± 0.74 Tokens/s beim Schreiben · 2141.67 ± 6.87 beim Lesenllama.cpp (Vulkan) · commit ed52f36 · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- 70.52 ± 0.16 Tokens/s beim Schreiben · 1915.41 ± 7.90 beim Lesenllama.cpp (Vulkan) · commit ed52f36 · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- DGX Spark (GB10)DGX Spark128 GB59.5Tokens/sLesen 3'056 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 60.39 ± 0.05 Tokens/s beim Schreiben · 3321.91 ± 5.86 beim Lesenllama.cpp (Vulkan) · commit 657e011 · coopmat2 · pp512 / tg128; FA=1GitHub · llama.cpp · Diskussion 10879
- 58.51 ± 0.04 Tokens/s beim Schreiben · 2789.51 ± 18.33 beim Lesenllama.cpp (Vulkan) · commit 657e011 · coopmat2 · pp512 / tg128; FA=0GitHub · llama.cpp · Diskussion 10879
- RX 7600 XTReferenzkarte16 GB53.4Tokens/sLesen 727 Tokens/s
4 veröffentlichte Messungen, darüber der Median
- 56.11 ± 0.02 Tokens/s beim Schreiben · 1024.38 ± 7.56 beim Lesenllama.cpp (Vulkan) · commit 01d8eaa · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- 53.70 ± 0.33 Tokens/s beim Schreiben · 612.33 ± 0.53 beim Lesenllama.cpp (Vulkan) · commit 9c35706, build 6060 · Linux 6.12.32 · pp512 / tg128 · 2025-08-01GitHub · llama.cpp · Diskussion 15021
- 53.02 ± 0.01 Tokens/s beim Schreiben · 840.85 ± 3.02 beim Lesenllama.cpp (Vulkan) · commit 01d8eaa · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- 52.84 ± 0.44 Tokens/s beim Schreiben · 606.24 ± 0.31 beim Lesenllama.cpp (Vulkan) · commit 9c35706, build 6060 · Linux 6.12.32 · pp512 / tg128 · 2025-08-01GitHub · llama.cpp · Diskussion 15021
- Apple M2 UltraApple-Chip35.2Tokens/sLesen 202 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 36.07 ± 0.11 Tokens/s beim Schreiben · 198.83 ± 0.85 beim Lesenllama.cpp (Vulkan) · commit dbb852b · Asahi Linux · pp512 / tg128; FA=1GitHub · llama.cpp · Diskussion 10879
- 34.34 ± 0.12 Tokens/s beim Schreiben · 205.98 ± 0.02 beim Lesenllama.cpp (Vulkan) · commit dbb852b · Asahi Linux · pp512 / tg128; FA=0GitHub · llama.cpp · Diskussion 10879
- Arc B570Referenzkarte10 GB31.4Tokens/sLesen 349 Tokens/s
6 veröffentlichte Messungen, darüber der Median
- 50.49 ± 0.05 Tokens/s beim Schreiben · 288.51 ± 0.09 beim Lesenllama.cpp (Vulkan) · commit 7f76692 · pp512 / tg128; ngl=100; FA=1GitHub · llama.cpp · Diskussion 10879
- 49.64 ± 0.03 Tokens/s beim Schreiben · 913.95 ± 0.90 beim Lesenllama.cpp (Vulkan) · commit 7f76692 · pp512 / tg128; ngl=100; FA=0GitHub · llama.cpp · Diskussion 10879
- 31.44 ± 0.01 Tokens/s beim Schreiben · 651.09 ± 0.16 beim Lesenllama.cpp (Vulkan) · commit 8e186ef, build 5449 · Linux 6.14.7-5-cachyos; Vulkan 1.4.315 · pp512 / tg128 · 2025-05-22GitHub · llama.cpp · Diskussion 10879
- 31.39 ± 0.01 Tokens/s beim Schreiben · 356.09 ± 0.90 beim Lesenllama.cpp (Vulkan) · commit 8e186ef, build 5449 · Linux 6.14.7-5-cachyos; Vulkan 1.4.315 · pp512 / tg128 · 2025-05-22GitHub · llama.cpp · Diskussion 10879
- 30.89 ± 0.01 Tokens/s beim Schreiben · 226.82 ± 0.50 beim Lesenllama.cpp (Vulkan) · commit 8e186ef, build 5449 · Linux 6.14.7-5-cachyos; Vulkan 1.4.315 · pp512 / tg128 · 2025-05-22GitHub · llama.cpp · Diskussion 10879
- 30.88 ± 0.01 Tokens/s beim Schreiben · 342.71 ± 0.07 beim Lesenllama.cpp (Vulkan) · commit 8e186ef, build 5449 · Linux 6.14.7-5-cachyos; Vulkan 1.4.315 · pp512 / tg128 · 2025-05-22GitHub · llama.cpp · Diskussion 10879
- Apple M3Apple-Chip26.4Tokens/sLesen 264 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 10879 26.39 ± 0.14 Tokens/s · commit b9ab0a4 · MoltenVK
- Apple M2 ProApple-Chip21.0Tokens/sLesen 61 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 20.97 ± 0.03 Tokens/s beim Schreiben · 58.86 ± 0.02 beim Lesenllama.cpp (Vulkan) · commit 1fe0029 · Asahi Linux · pp512 / tg128; FA=1GitHub · llama.cpp · Diskussion 10879
- 20.95 ± 0.11 Tokens/s beim Schreiben · 62.70 ± 0.03 beim Lesenllama.cpp (Vulkan) · commit 1fe0029 · Asahi Linux · pp512 / tg128; FA=0GitHub · llama.cpp · Diskussion 10879
- Apple M2Apple-Chip12.9Tokens/sLesen 49 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 13.50 ± 0.02 Tokens/s beim Schreiben · 50.79 ± 0.16 beim Lesenllama.cpp (Vulkan) · commit 8c0d6bb · Asahi Linux · pp512 / tg128; FA=0GitHub · llama.cpp · Diskussion 10879
- 12.25 ± 2.30 Tokens/s beim Schreiben · 46.81 ± 0.08 beim Lesenllama.cpp (Vulkan) · commit 8c0d6bb · Asahi Linux · pp512 / tg128; FA=1GitHub · llama.cpp · Diskussion 10879
- Apple M1Apple-Chip12.7Tokens/sLesen 37 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 12.85 ± 0.02 Tokens/s beim Schreiben · 35.93 ± 0.00 beim Lesenllama.cpp (Vulkan) · Asahi Linux · pp512 / tg128; FA=1GitHub · llama.cpp · Diskussion 10879
- 12.47 ± 0.03 Tokens/s beim Schreiben · 38.29 ± 0.00 beim Lesenllama.cpp (Vulkan) · Asahi Linux · pp512 / tg128; FA=0GitHub · llama.cpp · Diskussion 10879
ROCm · AMD
ROCm ist die Engine von AMD: für Ryzen AI und Radeon-Karten.
- RX 7900 XTXReferenzkarte24 GB131Tokens/sLesen 3'410 Tokens/s
14 veröffentlichte Messungen, der Median oben
- 170.12 ± 0.56 Tokens/s beim Schreiben · 3874.25 ± 11.92 beim Lesenllama.cpp (ROCm) · commit 2f0c2db · pp512 / tg128; ngl=99; FA=1GitHub · llama.cpp · Diskussion 15021
- 167.11 ± 0.50 Tokens/s beim Schreiben · 3552.27 ± 101.96 beim Lesenllama.cpp (ROCm) · commit 2f0c2db · pp512 / tg128; ngl=99; FA=0GitHub · llama.cpp · Diskussion 15021
- 153.91 ± 0.18 Tokens/s beim Schreiben · 3434.01 ± 38.33 beim Lesenllama.cpp (ROCm) · build 6099 · pp512 / tg128; ngl=100; FA=0 · 2025-08-06GitHub · llama.cpp · Diskussion 15021
- 145.23 ± 0.10 Tokens/s beim Schreiben · 3633.86 ± 10.29 beim Lesenllama.cpp (ROCm) · build 6099 · pp512 / tg128; ngl=100; FA=1 · 2025-08-06GitHub · llama.cpp · Diskussion 15021
- 134.87 ± 0.06 Tokens/s beim Schreiben · 1151.72 ± 1.08 beim Lesenllama.cpp (ROCm) · commit 05728db, build 8182 · pp512 / tg128 · 2026-03-01GitHub · llama.cpp · Diskussion 15021
- 134.46 ± 0.07 Tokens/s beim Schreiben · 1155.75 ± 1.66 beim Lesenllama.cpp (ROCm) · commit d23a559 · ROCm 7.2 · pp512 / tg128 · 2026-02-16GitHub · llama.cpp · Diskussion 15021
- 132.17 ± 0.03 Tokens/s beim Schreiben · 3473.24 ± 12.30 beim Lesenllama.cpp (ROCm) · commit 648ebcd, build 6146 · Ubuntu 24.04.2 · pp512 / tg128; ngl=99; FA=0 · 2025-08-13GitHub · llama.cpp · Diskussion 15021
- 129.69 ± 0.13 Tokens/s beim Schreiben · 1313.10 ± 3.53 beim Lesenllama.cpp (ROCm) · commit 05728db, build 8182 · pp512 / tg128 · 2026-03-01GitHub · llama.cpp · Diskussion 15021
- 129.33 ± 0.10 Tokens/s beim Schreiben · 1253.30 ± 76.39 beim Lesenllama.cpp (ROCm) · commit d23a559 · ROCm 7.2 · pp512 / tg128 · 2026-02-16GitHub · llama.cpp · Diskussion 15021
- 128.25 ± 0.24 Tokens/s beim Schreiben · 3386.75 ± 5.33 beim Lesenllama.cpp (ROCm) · commit 6c7e9a5, build 6118 · Ubuntu 24.04.2; ROCm 6.4.2 · pp512 / tg128; ngl=99; FA=0 · 2025-08-08GitHub · llama.cpp · Diskussion 15021
- 127.43 ± 0.04 Tokens/s beim Schreiben · 3698.73 ± 17.60 beim Lesenllama.cpp (ROCm) · commit 648ebcd, build 6146 · Ubuntu 24.04.2 · pp512 / tg128; ngl=99; FA=1 · 2025-08-13GitHub · llama.cpp · Diskussion 15021
- 124.61 ± 0.06 Tokens/s beim Schreiben · 3674.25 ± 11.35 beim Lesenllama.cpp (ROCm) · commit 6c7e9a5, build 6118 · Ubuntu 24.04.2; ROCm 6.4.2 · pp512 / tg128; ngl=99; FA=1 · 2025-08-08GitHub · llama.cpp · Diskussion 15021
- 112.18 ± 0.45 Tokens/s beim Schreiben · 2817.81 ± 26.69 beim Lesenllama.cpp (ROCm) · commit b9be58d, build 1005 · Arch Linux; ROCm 6.4.3 · pp512 / tg128; ngl=99; FA=0 · 2025-09-17GitHub · llama.cpp · Diskussion 15021
- 110.70 ± 0.08 Tokens/s beim Schreiben · 3053.77 ± 17.38 beim Lesenllama.cpp (ROCm) · commit b9be58d, build 1005 · Arch Linux; ROCm 6.4.3 · pp512 / tg128; ngl=99; FA=1 · 2025-09-17GitHub · llama.cpp · Diskussion 15021
- RX 9070 XTReferenzkarte16 GB122Tokens/sLesen 4'300 Tokens/s
5 veröffentlichte Messungen, der Median oben
- 122.25 ± 0.29 Tokens/s beim Schreiben · 4300.05 ± 1016.50 beim Lesenllama.cpp (ROCm) · commit 505b1ed, build 10034 · Fedora 44; kernel 7.1.3-201.fc44.x86_64; amdgpu in-tree; Vulkan 1.4.354; ROCm 7.1.1 · pp512 / tg128; ngl=99; FA=1 · 2026-07-15GitHub · llama.cpp · Diskussion 15021
- 122.17 ± 0.25 Tokens/s beim Schreiben · 4294.94 ± 973.80 beim Lesenllama.cpp (ROCm) · commit 505b1ed, build 10034 · Fedora 44; kernel 7.1.3-201.fc44.x86_64; amdgpu in-tree; Vulkan 1.4.354; ROCm 7.1.1 · pp512 / tg128; ngl=99; FA=1 · 2026-07-15GitHub · llama.cpp · Diskussion 15021
- 121.83 ± 0.22 Tokens/s beim Schreiben · 4273.35 ± 983.25 beim Lesenllama.cpp (ROCm) · commit 505b1ed, build 10034 · Fedora 44; kernel 7.1.3-201.fc44.x86_64; amdgpu in-tree; Vulkan 1.4.354; ROCm 7.1.1 · pp512 / tg128; ngl=99; FA=1 · 2026-07-15GitHub · llama.cpp · Diskussion 15021
- 101.27 ± 0.27 Tokens/s beim Schreiben · 5055.19 ± 109.58 beim Lesenllama.cpp (ROCm) · commit 583cb83 · pp512 / tg128; ngl=99; FA=0GitHub · llama.cpp · Diskussion 15021
- 97.28 ± 0.13 Tokens/s beim Schreiben · 4903.51 ± 96.36 beim Lesenllama.cpp (ROCm) · commit 583cb83 · pp512 / tg128; ngl=99; FA=1GitHub · llama.cpp · Diskussion 15021
- RX 7900 XTReferenzkarte20 GB114Tokens/sLesen 3'131 Tokens/s
4 veröffentlichte Messungen, darüber der Median
- 116.15 ± 0.06 Tokens/s beim Schreiben · 3098.38 ± 24.02 beim Lesenllama.cpp (ROCm) · commit 1e15bfd · pp512 / tg128; ngl=99; FA=0GitHub · llama.cpp · Diskussion 15021
- 116.00 ± 0.10 Tokens/s beim Schreiben · 2967.12 ± 31.25 beim Lesenllama.cpp (ROCm) · commit 9c35706, build 6060 · pp512 / tg128 · 2025-08-01GitHub · llama.cpp · Diskussion 15021
- 112.75 ± 0.04 Tokens/s beim Schreiben · 3163.24 ± 4.06 beim Lesenllama.cpp (ROCm) · commit 9c35706, build 6060 · pp512 / tg128 · 2025-08-01GitHub · llama.cpp · Diskussion 15021
- 112.30 ± 0.06 Tokens/s beim Schreiben · 3261.75 ± 9.09 beim Lesenllama.cpp (ROCm) · commit 1e15bfd · pp512 / tg128; ngl=99; FA=1GitHub · llama.cpp · Diskussion 15021
- RX 7800 XTReferenzkarte16 GB98.2Tokens/sLesen 2'224 Tokens/s
4 veröffentlichte Messungen, darüber der Median
- 100.94 + 0.10 Tokens/s beim Schreiben · 2151.81 + 17.94 beim Lesenllama.cpp (ROCm) · commit 00131d6 · pp512 / tg128; ngl=99; FA=0GitHub · llama.cpp · Diskussion 15021
- 99.55 + 0.09 Tokens/s beim Schreiben · 2109.38 + 15.79 beim Lesenllama.cpp (ROCm) · commit e725a1a, build 6104 · Windows 10 · pp512 / tg128 · 2025-08-08GitHub · llama.cpp · Diskussion 15021
- 96.80 + 1.30 Tokens/s beim Schreiben · 2296.72 + 3.40 beim Lesenllama.cpp (ROCm) · commit e725a1a, build 6104 · Windows 10 · pp512 / tg128 · 2025-08-08GitHub · llama.cpp · Diskussion 15021
- 95.99 + 0.21 Tokens/s beim Schreiben · 2304.63 + 2.85 beim Lesenllama.cpp (ROCm) · commit 00131d6 · pp512 / tg128; ngl=99; FA=1GitHub · llama.cpp · Diskussion 15021
- Radeon AI Pro R9700Referenzkarte32 GB93.8Tokens/sLesen 4'444 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 15021 93.84 ± 0.26 Tokens/s · commit bd4ef13
- RX 9060 XTReferenzkarte16 GB67.4Tokens/sLesen 2'060 Tokens/s
4 veröffentlichte Messungen, darüber der Median
- 70.18 ± 0.06 Tokens/s beim Schreiben · 3014.51 ± 23.33 beim Lesenllama.cpp (ROCm) · commit f1cee99 · ROCm 7.2.4 · pp512 / tg128; ngl=99; FA=1 · 2026-10-02GitHub · llama.cpp · Diskussion 15021
- 67.58 ± 0.24 Tokens/s beim Schreiben · 1419.67 ± 3.64 beim Lesenllama.cpp (ROCm) · commit a0e13dc · pp512 / tg128; ngl=99; FA=0GitHub · llama.cpp · Diskussion 15021
- 67.27 ± 0.15 Tokens/s beim Schreiben · 2641.07 ± 48.67 beim Lesenllama.cpp (ROCm) · commit f1cee99 · ROCm 7.2.4 · pp512 / tg128; ngl=99; FA=0 · 2026-10-02GitHub · llama.cpp · Diskussion 15021
- 65.42 ± 0.19 Tokens/s beim Schreiben · 1479.27 ± 0.71 beim Lesenllama.cpp (ROCm) · commit a0e13dc · pp512 / tg128; ngl=99; FA=1GitHub · llama.cpp · Diskussion 15021
- Ryzen AI Max+ 395 (Radeon 8060S)Ryzen AI128 GB49.9Tokens/sLesen 957 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 50.01 ± 0.07 Tokens/s beim Schreiben · 911.36 ± 1.79 beim Lesenllama.cpp (ROCm) · commit e60f241 · pp512 / tg128; FA=0GitHub · llama.cpp · Diskussion 15021
- 49.87 ± 0.02 Tokens/s beim Schreiben · 1003.53 ± 2.91 beim Lesenllama.cpp (ROCm) · commit e60f241 · pp512 / tg128; FA=1GitHub · llama.cpp · Diskussion 15021
- Radeon 8060S (Ryzen AI Max)Ryzen AI48.5Tokens/sLesen 359 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 48.97 ± 0.15 Tokens/s beim Schreiben · 366.08 ± 1.44 beim Lesenllama.cpp (ROCm) · commit 1d0125b · pp512 / tg128; FA=1GitHub · llama.cpp · Diskussion 15021
- 47.97 ± 0.33 Tokens/s beim Schreiben · 351.36 ± 0.67 beim Lesenllama.cpp (ROCm) · commit 1d0125b · pp512 / tg128; FA=0GitHub · llama.cpp · Diskussion 15021
- RX 7600 XTReferenzkarte16 GB48.1Tokens/sLesen 1'149 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 48.58 ± 0.06 Tokens/s beim Schreiben · 1099.64 ± 2.05 beim Lesenllama.cpp (ROCm) · commit 9c35706 · pp512 / tg128; ngl=99; FA=0GitHub · llama.cpp · Diskussion 15021
- 47.65 ± 0.06 Tokens/s beim Schreiben · 1199.16 ± 1.07 beim Lesenllama.cpp (ROCm) · commit 9c35706 · pp512 / tg128; ngl=99; FA=1GitHub · llama.cpp · Diskussion 15021
- Radeon 880M (Ryzen AI 300)Ryzen AI14.6Tokens/sLesen 188 Tokens/s
2 veröffentlichte Messungen, darüber der Median
- 16.16 ± 1.41 Tokens/s beim Schreiben · 213.31 ± 14.05 beim Lesenllama.cpp (ROCm) · commit c55d53a · pp512 / tg128; FA=1GitHub · llama.cpp · Diskussion 15021
- 12.97 ± 1.63 Tokens/s beim Schreiben · 163.25 ± 13.86 beim Lesenllama.cpp (ROCm) · commit c55d53a · pp512 / tg128; FA=0GitHub · llama.cpp · Diskussion 15021
SYCL · Intel
SYCL ist die Engine von Intel für ihre Arc-Karten: Diese werden untereinander verglichen.
- Arc B580Referenzkarte12 GB73.8Tokens/sLesen 2'064 Tokens/s
Quelle: GitHub · llama.cpp · Diskussion 23313 73.76 ± 0.13 Tokens/s · commit c6e408837, build 9368 · Ubuntu 25.10
- Arc B570Referenzkarte10 GB72.5Tokens/sLesen 686 Tokens/s
5 veröffentlichte Messungen, der Median oben
- 76.76 ± 0.06 Tokens/s beim Schreiben · 412.46 ± 1.13 beim Lesenllama.cpp (SYCL) · commit 5aba5364d, build 9456 · Ubuntu 24.04.4; Linux 6.17.0-29-generic · pp512 / tg128; FA=1 · 2026-06-01GitHub · llama.cpp · Diskussion 23313
- 76.72 ± 0.07 Tokens/s beim Schreiben · 685.89 ± 0.31 beim Lesenllama.cpp (SYCL) · commit 5aba5364d, build 9456 · Ubuntu 24.04.4; Linux 6.17.0-29-generic · pp512 / tg128; FA=1 · 2026-06-01GitHub · llama.cpp · Diskussion 23313
- 72.52 ± 0.12 Tokens/s beim Schreiben · 1355.95 ± 7.83 beim Lesenllama.cpp (SYCL) · commit 5aba5364d, build 9456 · Ubuntu 24.04.4; Linux 6.17.0-29-generic · pp512 / tg128; FA=0 · 2026-06-01GitHub · llama.cpp · Diskussion 23313
- 72.48 ± 0.18 Tokens/s beim Schreiben · 388.77 ± 0.54 beim Lesenllama.cpp (SYCL) · commit 5aba5364d, build 9456 · Ubuntu 24.04.4; Linux 6.17.0-29-generic · pp512 / tg128; FA=0 · 2026-06-01GitHub · llama.cpp · Diskussion 23313
- 36.40 ± 0.04 Tokens/s beim Schreiben · 1484.42 ± 2.99 beim Lesenllama.cpp (SYCL) · commit 8e186ef, build 5449 · pp512 / tg128 · 2025-05-23GitHub · llama.cpp · Diskussion 10879
So lesen Sie diese Zahlen
- Diese Zahlen stammen nicht von uns: Andere Personen haben sie veröffentlicht, und jede Zahl ist mit ihrem Link angegeben.
- Eine Geschwindigkeit hängt von der Engine (Metal, CUDA, Vulkan, ROCm, SYCL) und ihrer Version ab: Man vergleicht bei gleicher Engine, nie von einer Engine zur anderen.
- Apple-Chips werden nach ihrem Chip benannt (mit der Anzahl GPU-Kerne, wenn die Quelle sie nennt), nicht nach dem Mac-Modell.
- Die Generierung (tg128) zeigt, wie schnell die Maschine die Antwort schreibt; das Lesen (pp512) zeigt, wie schnell sie die Frage liest.
Was eine Zahl nicht aussagt
Eine veröffentlichte Geschwindigkeit sagt nichts über die Qualität der Antworten, nichts über den Speicher, den Ihre Dokumente brauchen, und nichts über die Lautstärke der Maschine. Zur Auswahl probiert man Ihre tatsächliche Aufgabe auf der vorgesehenen Maschine aus, mit mehreren Personen und einem langen Dokument.
EIN ARBEITSBEREICH, IHRE WAHL
Das gesamte Saphan-Ökosystem
Ihr Phan arbeitet mit dem Modell, das Sie wählen: auf Ihrer Maschine oder beim Anbieter Ihrer Wahl.
- Ihr Phan: Ihr Arbeitsbereich, für Sie gemacht.
- Link nimmt die Route, die Sie wählen.
- Ihr lokales Modell: auf Ihrer Maschine; Ihre Daten bleiben bei Ihnen.
- Ihre API-Schlüssel: OpenAI, Anthropic, Google, Mistral, xAI, Moonshot, Alibaba, DeepSeek; an den Anbieter bezahlt, nach Verbrauch.
- OpenRouter: viele Modelle mit einem einzigen Schlüssel.
Quellen: Dokumentationen der Anbieter, gelesen am 5. Oktober 2026.
VON DEM AUSGEHEN, WAS SIE HABEN
Ihre Maschine: behalten oder eine neue
Ihre aktuelle Maschine genügt oft: Wir behalten sie, warten sie und stellen sie auf Ihr Modell ein.
Bei einer neuen Maschine kaufen Sie die Teile selbst, zum Preis des Händlers, den Sie wählen; deren Garantie, in der Regel zwei Jahre, bleibt auf Ihren Namen. Wir stellen die Montage und die Einstellung in Rechnung.
Bei einer alten Maschine kostet eine Reparatur schnell mehr als das neue Teil: In der Schweiz kostet eine Werkstattstunde oft zwischen 120 und 180 Franken.
Die Montage erfolgt bei uns oder bei einem Partner in der Schweiz.
SPRECHEN WIR ÜBER IHREN BEDARF
Fragen Sie Ihre Maschine an
Sagen Sie uns, was Sie tun möchten: Wir schlagen Ihnen eine Maschine vor oder die Einstellung Ihrer eigenen. Wir antworten Ihnen auf dem Weg, den Sie wählen.
Die mit einem Sternchen (*) gekennzeichneten Felder sind erforderlich. Übermitteln Sie weder Passwörter noch Zugangsschlüssel noch Kundendaten oder vertrauliche Dokumente.