Side by side
Compare two local LLMs on the same GPU
Useful when two models look interchangeable on paper. Grouped-query attention, expert
routing and cache compression mean models of the same size can behave nothing alike once
they are loaded, and the gap usually shows up in the context column rather than the
weights.
First model Qwen3 0.6B · 0.75B Qwen3 8B · 8.19B Qwen3.5 9B · 9.65B Qwen2.5 7B Instruct · 7.62B Gemma 4 31B Instruct · 31.27B Gemma 4 26B A4B Instruct · 25.81B Qwen2.5 VL 7B Instruct · 8.29B Qwen2.5 1.5B Instruct · 1.54B Qwen2.5 3B Instruct · 3.09B Qwen3.5 4B · 4.66B Llama 3.2 1B Instruct · 1.24B GPT OSS 20B · 20.91B Qwen3 4B · 4.02B Qwen2.5 0.5B Instruct · 0.49B Llama 3.1 8B Instruct · 8.03B GPT OSS 120B · 116.83B Gemma 4 E4B Instruct · 8B Qwen3 32B · 32.76B Qwen3 1.7B · 2.03B Gemma 4 E2B Instruct · 5.12B Gemma 4 12B Instruct · 11.96B Gemma 3 1B Instruct · 1B Mistral 7B Instruct V0.3 · 7.25B Qwen3.5 2B · 2.27B Qwen2.5 14B Instruct · 14.77B Qwen3.5 27B · 27.78B Qwen3.5 35B A3B · 35.95B Qwen3.5 0.8B · 0.87B Qwen2.5 Coder 7B Instruct · 7.62B Qwen3 30B A3B · 30.53B Qwen2.5 32B Instruct · 32.76B GLM 4.7 Flash · 31.22B DeepSeek R1 · 684.53B Qwen3 14B · 14.77B Qwen2.5 Coder 14B Instruct · 14.77B Gemma 3 4B Instruct · 4.3B DeepSeek V3.2 · 685.4B GLM 5.2 · 753.33B Llama 3.2 3B Instruct · 3.21B Mistral 7B Instruct V0.2 · 7.24B MiniMax M2.7 · 228.69B Granite 4.1 8B · 8.79B OLMo 2 0425 1B · 1.48B Gemma 3 12B Instruct · 12.19B Qwen3.5 122B A10B · 125.09B Qwen2.5 Coder 32B Instruct · 32.76B DeepSeek Coder 7B Instruct V1.5 · 6.91B DeepSeek Coder V2 Lite Instruct · 15.71B Gemma 2 9B Instruct · 9.24B Kimi K2.6 · 1026.88B Phi 4 · 14.66B Phi 3 Mini 4k Instruct · 3.82B Llama 3.3 70B Instruct · 70.55B DeepSeek R1 Distill Qwen 1.5B · 1.78B MiniMax M2.5 · 228.7B Phi 4 Mini Instruct · 3.84B Qwen3 Coder Next · 79.67B Qwen2.5 72B Instruct · 72.71B Qwen3 Coder 30B A3B Instruct · 30.53B Gemma 3 27B Instruct · 27.43B Mistral Nemo Instruct 2407 · 12.25B DeepSeek Coder 6.7B Instruct · 6.74B LFM2.5 1.2B Instruct · 1.17B SmolLM2 1.7B · 1.71B Qwen3 235B A22B · 235.09B Granite 4.1 30B · 28.87B Mixtral 8x7B Instruct V0.1 · 46.7B OLMo 3 7B Instruct · 7.3B Qwen3 Next 80B A3B Instruct · 81.32B Qwen2.5 VL 72B Instruct · 73.41B MiniMax M3 · 427.04B LFM2.5 2.6B · 2.7B Granite 4.1 3B · 3.4B Llama 3 3 Nemotron Super 49B V1 · 49.87B Kimi K2 Instruct · 1026.41B Gemma 2 2B Instruct · 2.61B Phi 3.5 MoE Instruct · 41.87B Starcoder2 3B · 3.03B GLM 4.5 Air · 110.47B LFM2.5 8B A1B · 8.47B GLM 4.5 · 358.34B LFM2.5 350M · 0.35B Internlm3 8B Instruct · 8.8B GLM 5.1 · 753.86B Mistral Small 24B Instruct 2501 · 23.57B Codestral 22B V0.1 · 22.25B
Second model Qwen3 0.6B · 0.75B Qwen3 8B · 8.19B Qwen3.5 9B · 9.65B Qwen2.5 7B Instruct · 7.62B Gemma 4 31B Instruct · 31.27B Gemma 4 26B A4B Instruct · 25.81B Qwen2.5 VL 7B Instruct · 8.29B Qwen2.5 1.5B Instruct · 1.54B Qwen2.5 3B Instruct · 3.09B Qwen3.5 4B · 4.66B Llama 3.2 1B Instruct · 1.24B GPT OSS 20B · 20.91B Qwen3 4B · 4.02B Qwen2.5 0.5B Instruct · 0.49B Llama 3.1 8B Instruct · 8.03B GPT OSS 120B · 116.83B Gemma 4 E4B Instruct · 8B Qwen3 32B · 32.76B Qwen3 1.7B · 2.03B Gemma 4 E2B Instruct · 5.12B Gemma 4 12B Instruct · 11.96B Gemma 3 1B Instruct · 1B Mistral 7B Instruct V0.3 · 7.25B Qwen3.5 2B · 2.27B Qwen2.5 14B Instruct · 14.77B Qwen3.5 27B · 27.78B Qwen3.5 35B A3B · 35.95B Qwen3.5 0.8B · 0.87B Qwen2.5 Coder 7B Instruct · 7.62B Qwen3 30B A3B · 30.53B Qwen2.5 32B Instruct · 32.76B GLM 4.7 Flash · 31.22B DeepSeek R1 · 684.53B Qwen3 14B · 14.77B Qwen2.5 Coder 14B Instruct · 14.77B Gemma 3 4B Instruct · 4.3B DeepSeek V3.2 · 685.4B GLM 5.2 · 753.33B Llama 3.2 3B Instruct · 3.21B Mistral 7B Instruct V0.2 · 7.24B MiniMax M2.7 · 228.69B Granite 4.1 8B · 8.79B OLMo 2 0425 1B · 1.48B Gemma 3 12B Instruct · 12.19B Qwen3.5 122B A10B · 125.09B Qwen2.5 Coder 32B Instruct · 32.76B DeepSeek Coder 7B Instruct V1.5 · 6.91B DeepSeek Coder V2 Lite Instruct · 15.71B Gemma 2 9B Instruct · 9.24B Kimi K2.6 · 1026.88B Phi 4 · 14.66B Phi 3 Mini 4k Instruct · 3.82B Llama 3.3 70B Instruct · 70.55B DeepSeek R1 Distill Qwen 1.5B · 1.78B MiniMax M2.5 · 228.7B Phi 4 Mini Instruct · 3.84B Qwen3 Coder Next · 79.67B Qwen2.5 72B Instruct · 72.71B Qwen3 Coder 30B A3B Instruct · 30.53B Gemma 3 27B Instruct · 27.43B Mistral Nemo Instruct 2407 · 12.25B DeepSeek Coder 6.7B Instruct · 6.74B LFM2.5 1.2B Instruct · 1.17B SmolLM2 1.7B · 1.71B Qwen3 235B A22B · 235.09B Granite 4.1 30B · 28.87B Mixtral 8x7B Instruct V0.1 · 46.7B OLMo 3 7B Instruct · 7.3B Qwen3 Next 80B A3B Instruct · 81.32B Qwen2.5 VL 72B Instruct · 73.41B MiniMax M3 · 427.04B LFM2.5 2.6B · 2.7B Granite 4.1 3B · 3.4B Llama 3 3 Nemotron Super 49B V1 · 49.87B Kimi K2 Instruct · 1026.41B Gemma 2 2B Instruct · 2.61B Phi 3.5 MoE Instruct · 41.87B Starcoder2 3B · 3.03B GLM 4.5 Air · 110.47B LFM2.5 8B A1B · 8.47B GLM 4.5 · 358.34B LFM2.5 350M · 0.35B Internlm3 8B Instruct · 8.8B GLM 5.1 · 753.86B Mistral Small 24B Instruct 2501 · 23.57B Codestral 22B V0.1 · 22.25B
On this device GeForce RTX 5090 · 32 GB GeForce RTX 3090 · 24 GB GeForce RTX 3090 Ti · 24 GB GeForce RTX 4090 · 24 GB GeForce RTX 4060 Ti 16GB · 16 GB GeForce RTX 4070 Ti SUPER · 16 GB GeForce RTX 4080 · 16 GB GeForce RTX 4080 SUPER · 16 GB GeForce RTX 5060 Ti 16GB · 16 GB GeForce RTX 5070 Ti · 16 GB GeForce RTX 5080 · 16 GB GeForce RTX 2060 12GB · 12 GB GeForce RTX 3060 12GB · 12 GB GeForce RTX 3080 12GB · 12 GB GeForce RTX 3080 Ti · 12 GB GeForce RTX 4070 · 12 GB GeForce RTX 4070 SUPER · 12 GB GeForce RTX 4070 Ti · 12 GB GeForce RTX 5070 · 12 GB GeForce GTX 1080 Ti · 11 GB GeForce RTX 2080 Ti · 11 GB GeForce RTX 3080 10GB · 10 GB GeForce RTX 3050 8GB · 8 GB GeForce RTX 3060 Ti · 8 GB GeForce RTX 3070 · 8 GB GeForce RTX 3070 Ti · 8 GB GeForce RTX 4060 · 8 GB GeForce RTX 4060 Ti 8GB · 8 GB GeForce RTX 5060 · 8 GB GeForce RTX 5060 Ti 8GB · 8 GB GeForce GTX 1660 SUPER · 6 GB GeForce RTX 3050 6GB · 6 GB GeForce GTX 1650 · 4 GB GeForce RTX 5090 Laptop · 24 GB GeForce RTX 4090 Laptop · 16 GB GeForce RTX 5080 Laptop · 16 GB GeForce RTX 4080 Laptop · 12 GB GeForce RTX 4060 Laptop · 8 GB GeForce RTX 4070 Laptop · 8 GB NVIDIA DGX Spark 128GB · 128 GB Jetson AGX Orin 64GB · 64 GB Jetson AGX Orin 32GB · 32 GB Jetson Orin Nano Super 8GB · 8 GB RTX PRO 6000 Blackwell · 96 GB RTX 6000 Ada Generation · 48 GB RTX A6000 · 48 GB RTX A5000 · 24 GB RTX A4000 · 16 GB H200 SXM 141GB · 141 GB A100 80GB · 80 GB H100 PCIe 80GB · 80 GB H100 SXM 80GB · 80 GB L40S · 48 GB A100 40GB · 40 GB Tesla V100 32GB · 32 GB A10 · 24 GB L4 · 24 GB Tesla P40 · 24 GB Tesla T4 · 16 GB Radeon RX 7900 XTX · 24 GB Radeon RX 7900 XT · 20 GB Radeon RX 6800 · 16 GB Radeon RX 6900 XT · 16 GB Radeon RX 7600 XT · 16 GB Radeon RX 7800 XT · 16 GB Radeon RX 7900 GRE · 16 GB Radeon RX 9070 · 16 GB Radeon RX 9070 XT · 16 GB Radeon RX 6700 XT · 12 GB Radeon RX 7700 XT · 12 GB Ryzen AI Max+ 395 128GB · 128 GB Ryzen AI Max+ 395 96GB · 96 GB Ryzen AI Max+ 395 64GB · 64 GB Ryzen AI 9 HX 370 32GB · 32 GB Ryzen AI Max+ 395 32GB · 32 GB Ryzen AI 9 HX 370 24GB · 24 GB Ryzen AI 9 HX 370 16GB · 16 GB Radeon PRO W7900 · 48 GB Instinct MI300X · 192 GB Instinct MI210 · 64 GB Arc A770 16GB · 16 GB Arc B580 · 12 GB Arc B570 · 10 GB Arc A750 · 8 GB Intel Core Ultra 9 288V 32GB · 32 GB Intel Core Ultra 9 288V 16GB · 16 GB Apple M3 Ultra 512GB · 512 GB Apple M3 Ultra 256GB · 256 GB Apple M2 Ultra 192GB · 192 GB Apple M1 Ultra 128GB · 128 GB Apple M2 Ultra 128GB · 128 GB Apple M3 Max 128GB · 128 GB Apple M4 Max 128GB · 128 GB Apple M2 Max 96GB · 96 GB Apple M3 Max 96GB · 96 GB Apple M3 Ultra 96GB · 96 GB Apple M1 Max 64GB · 64 GB Apple M1 Ultra 64GB · 64 GB Apple M2 Max 64GB · 64 GB Apple M2 Ultra 64GB · 64 GB Apple M3 Max 64GB · 64 GB Apple M4 Max 64GB · 64 GB Apple M4 Pro 64GB · 64 GB Apple M3 Max 48GB · 48 GB Apple M4 Max 48GB · 48 GB Apple M4 Pro 48GB · 48 GB Apple M3 Max 36GB · 36 GB Apple M3 Pro 36GB · 36 GB Apple M4 Max 36GB · 36 GB Apple M1 Max 32GB · 32 GB Apple M1 Pro 32GB · 32 GB Apple M2 Max 32GB · 32 GB Apple M2 Pro 32GB · 32 GB Apple M4 32GB · 32 GB Apple M5 32GB · 32 GB Apple M2 24GB · 24 GB Apple M3 24GB · 24 GB Apple M4 24GB · 24 GB Apple M4 Pro 24GB · 24 GB Apple M5 24GB · 24 GB Apple M3 Pro 18GB · 18 GB Apple M1 16GB · 16 GB Apple M1 Pro 16GB · 16 GB Apple M2 16GB · 16 GB Apple M2 Pro 16GB · 16 GB Apple M3 16GB · 16 GB Apple M4 16GB · 16 GB Apple M5 16GB · 16 GB Apple M1 8GB · 8 GB Apple M2 8GB · 8 GB Apple M3 8GB · 8 GB