131 devices

Find your machine

Two numbers decide what a device can do with a language model. Memory decides which models load at all; bandwidth decides how long you wait for each word. A card can be excellent at one and hopeless at the other, which is why the fastest gaming GPU is not always the better buy here.

The ones people ask about

Device	Memory	Bandwidth	Models that fit	Type
GeForce RTX 4090	24 GB	1008 GB/s	105 of 133	Desktop GPU
GeForce RTX 3060 12GB	12 GB	360 GB/s	96 of 133	Desktop GPU
GeForce RTX 5090	32 GB	1792 GB/s	108 of 133	Desktop GPU
GeForce RTX 4060 Ti 16GB	16 GB	288 GB/s	99 of 133	Desktop GPU
GeForce RTX 3090	24 GB	936 GB/s	105 of 133	Desktop GPU
GeForce RTX 4070	12 GB	504 GB/s	96 of 133	Desktop GPU
GeForce RTX 5070 Ti	16 GB	896 GB/s	99 of 133	Desktop GPU
GeForce RTX 4080 SUPER	16 GB	736 GB/s	99 of 133	Desktop GPU
Apple M4 Max 48GB	48 GB	546 GB/s	110 of 133	Unified memory
Apple M3 Max 36GB	36 GB	400 GB/s	105 of 133	Unified memory
Apple M4 Pro 24GB	24 GB	273 GB/s	100 of 133	Unified memory
Apple M1 Max 32GB	32 GB	400 GB/s	105 of 133	Unified memory
Radeon RX 7900 XTX	24 GB	960 GB/s	105 of 133	Desktop GPU
Arc B580	12 GB	456 GB/s	96 of 133	Desktop GPU
Ryzen AI Max+ 395 128GB	128 GB	256 GB/s	121 of 133	Unified memory
GeForce RTX 3050 6GB	6 GB	168 GB/s	72 of 133	Desktop GPU

Browse by memory size

If you know how much VRAM you have but not exactly which card, start here.

4 GB 6 GB 8 GB 10 GB 11 GB 12 GB 16 GB 18 GB 20 GB 24 GB 32 GB 36 GB 40 GB 48 GB 64 GB 80 GB 96 GB 128 GB 141 GB 192 GB 256 GB 512 GB

Desktop GPU

48 devices.

GeForce RTX 5090

32 GB · 1792 GB/s · NVIDIA

GeForce RTX 4090

24 GB · 1008 GB/s · NVIDIA

GeForce RTX 3090 Ti

24 GB · 1008 GB/s · NVIDIA

Radeon RX 7900 XTX

24 GB · 960 GB/s · AMD

GeForce RTX 3090

24 GB · 936 GB/s · NVIDIA

Radeon RX 7900 XT

20 GB · 800 GB/s · AMD

GeForce RTX 5080

16 GB · 960 GB/s · NVIDIA

GeForce RTX 5070 Ti

16 GB · 896 GB/s · NVIDIA

GeForce RTX 4080 SUPER

16 GB · 736 GB/s · NVIDIA

GeForce RTX 4080

16 GB · 717 GB/s · NVIDIA

GeForce RTX 4070 Ti SUPER

16 GB · 672 GB/s · NVIDIA

Radeon RX 9070 XT

16 GB · 645 GB/s · AMD

Radeon RX 9070

16 GB · 645 GB/s · AMD

Radeon RX 7800 XT

16 GB · 624 GB/s · AMD

Radeon RX 7900 GRE

16 GB · 576 GB/s · AMD

Arc A770 16GB

16 GB · 560 GB/s · Intel

Radeon RX 6900 XT

16 GB · 512 GB/s · AMD

Radeon RX 6800

16 GB · 512 GB/s · AMD

GeForce RTX 5060 Ti 16GB

16 GB · 448 GB/s · NVIDIA

GeForce RTX 4060 Ti 16GB

16 GB · 288 GB/s · NVIDIA

Radeon RX 7600 XT

16 GB · 288 GB/s · AMD

GeForce RTX 3080 Ti

12 GB · 912 GB/s · NVIDIA

GeForce RTX 3080 12GB

12 GB · 912 GB/s · NVIDIA

GeForce RTX 5070

12 GB · 672 GB/s · NVIDIA

GeForce RTX 4070 Ti

12 GB · 504 GB/s · NVIDIA

GeForce RTX 4070 SUPER

12 GB · 504 GB/s · NVIDIA

GeForce RTX 4070

12 GB · 504 GB/s · NVIDIA

Arc B580

12 GB · 456 GB/s · Intel

Radeon RX 7700 XT

12 GB · 432 GB/s · AMD

Radeon RX 6700 XT

12 GB · 384 GB/s · AMD

GeForce RTX 3060 12GB

12 GB · 360 GB/s · NVIDIA

GeForce RTX 2060 12GB

12 GB · 336 GB/s · NVIDIA

GeForce RTX 2080 Ti

11 GB · 616 GB/s · NVIDIA

GeForce GTX 1080 Ti

11 GB · 484 GB/s · NVIDIA

GeForce RTX 3080 10GB

10 GB · 760 GB/s · NVIDIA

Arc B570

10 GB · 380 GB/s · Intel

GeForce RTX 3070 Ti

8 GB · 608 GB/s · NVIDIA

Arc A750

8 GB · 512 GB/s · Intel

GeForce RTX 5060 Ti 8GB

8 GB · 448 GB/s · NVIDIA

GeForce RTX 5060

8 GB · 448 GB/s · NVIDIA

GeForce RTX 3070

8 GB · 448 GB/s · NVIDIA

GeForce RTX 3060 Ti

8 GB · 448 GB/s · NVIDIA

GeForce RTX 4060 Ti 8GB

8 GB · 288 GB/s · NVIDIA

GeForce RTX 4060

8 GB · 272 GB/s · NVIDIA

GeForce RTX 3050 8GB

8 GB · 224 GB/s · NVIDIA

GeForce GTX 1660 SUPER

6 GB · 336 GB/s · NVIDIA

GeForce RTX 3050 6GB

6 GB · 168 GB/s · NVIDIA

GeForce GTX 1650

4 GB · 128 GB/s · NVIDIA

Unified memory

58 devices.

Apple M3 Ultra 512GB

512 GB · 819 GB/s · Apple

Apple M3 Ultra 256GB

256 GB · 819 GB/s · Apple

Apple M2 Ultra 192GB

192 GB · 800 GB/s · Apple

Apple M1 Ultra 128GB

128 GB · 800 GB/s · Apple

Apple M2 Ultra 128GB

128 GB · 800 GB/s · Apple

Apple M4 Max 128GB

128 GB · 546 GB/s · Apple

Apple M3 Max 128GB

128 GB · 400 GB/s · Apple

NVIDIA DGX Spark 128GB

128 GB · 273 GB/s · NVIDIA

Ryzen AI Max+ 395 128GB

128 GB · 256 GB/s · AMD

Apple M3 Ultra 96GB

96 GB · 819 GB/s · Apple

Apple M2 Max 96GB

96 GB · 400 GB/s · Apple

Apple M3 Max 96GB

96 GB · 400 GB/s · Apple

Ryzen AI Max+ 395 96GB

96 GB · 256 GB/s · AMD

Apple M1 Ultra 64GB

64 GB · 800 GB/s · Apple

Apple M2 Ultra 64GB

64 GB · 800 GB/s · Apple

Apple M4 Max 64GB

64 GB · 546 GB/s · Apple

Apple M1 Max 64GB

64 GB · 400 GB/s · Apple

Apple M2 Max 64GB

64 GB · 400 GB/s · Apple

Apple M3 Max 64GB

64 GB · 400 GB/s · Apple

Apple M4 Pro 64GB

64 GB · 273 GB/s · Apple

Ryzen AI Max+ 395 64GB

64 GB · 256 GB/s · AMD

Jetson AGX Orin 64GB

64 GB · 204.8 GB/s · NVIDIA

Apple M4 Max 48GB

48 GB · 546 GB/s · Apple

Apple M3 Max 48GB

48 GB · 400 GB/s · Apple

Apple M4 Pro 48GB

48 GB · 273 GB/s · Apple

Apple M4 Max 36GB

36 GB · 546 GB/s · Apple

Apple M3 Max 36GB

36 GB · 400 GB/s · Apple

Apple M3 Pro 36GB

36 GB · 150 GB/s · Apple

Apple M1 Max 32GB

32 GB · 400 GB/s · Apple

Apple M2 Max 32GB

32 GB · 400 GB/s · Apple

Ryzen AI Max+ 395 32GB

32 GB · 256 GB/s · AMD

Jetson AGX Orin 32GB

32 GB · 204.8 GB/s · NVIDIA

Apple M1 Pro 32GB

32 GB · 200 GB/s · Apple

Apple M2 Pro 32GB

32 GB · 200 GB/s · Apple

Apple M5 32GB

32 GB · 153 GB/s · Apple

Intel Core Ultra 9 288V 32GB

32 GB · 136 GB/s · Intel

Ryzen AI 9 HX 370 32GB

32 GB · 128 GB/s · AMD

Apple M4 32GB

32 GB · 120 GB/s · Apple

Apple M4 Pro 24GB

24 GB · 273 GB/s · Apple

Apple M5 24GB

24 GB · 153 GB/s · Apple

Ryzen AI 9 HX 370 24GB

24 GB · 128 GB/s · AMD

Apple M4 24GB

24 GB · 120 GB/s · Apple

Apple M2 24GB

24 GB · 100 GB/s · Apple

Apple M3 24GB

24 GB · 100 GB/s · Apple

Apple M3 Pro 18GB

18 GB · 150 GB/s · Apple

Apple M1 Pro 16GB

16 GB · 200 GB/s · Apple

Apple M2 Pro 16GB

16 GB · 200 GB/s · Apple

Apple M5 16GB

16 GB · 153 GB/s · Apple

Intel Core Ultra 9 288V 16GB

16 GB · 136 GB/s · Intel

Ryzen AI 9 HX 370 16GB

16 GB · 128 GB/s · AMD

Apple M4 16GB

16 GB · 120 GB/s · Apple

Apple M2 16GB

16 GB · 100 GB/s · Apple

Apple M3 16GB

16 GB · 100 GB/s · Apple

Apple M1 16GB

16 GB · 68.25 GB/s · Apple

Jetson Orin Nano Super 8GB

8 GB · 102 GB/s · NVIDIA

Apple M2 8GB

8 GB · 100 GB/s · Apple

Apple M3 8GB

8 GB · 100 GB/s · Apple

Apple M1 8GB

8 GB · 68.25 GB/s · Apple

Laptop GPU

6 devices.

GeForce RTX 5090 Laptop

24 GB · 896 GB/s · NVIDIA

GeForce RTX 5080 Laptop

16 GB · 768 GB/s · NVIDIA

GeForce RTX 4090 Laptop

16 GB · 576 GB/s · NVIDIA

GeForce RTX 4080 Laptop

12 GB · 432 GB/s · NVIDIA

GeForce RTX 4070 Laptop

8 GB · 256 GB/s · NVIDIA

GeForce RTX 4060 Laptop

8 GB · 256 GB/s · NVIDIA

Workstation GPU

6 devices.

RTX PRO 6000 Blackwell

96 GB · 1792 GB/s · NVIDIA

RTX 6000 Ada Generation

48 GB · 960 GB/s · NVIDIA

Radeon PRO W7900

48 GB · 864 GB/s · AMD

RTX A6000

48 GB · 768 GB/s · NVIDIA

RTX A5000

24 GB · 768 GB/s · NVIDIA

RTX A4000

16 GB · 448 GB/s · NVIDIA

Data centre GPU

13 devices.

Instinct MI300X

192 GB · 5300 GB/s · AMD

H200 SXM 141GB

141 GB · 4800 GB/s · NVIDIA

H100 SXM 80GB

80 GB · 3350 GB/s · NVIDIA

A100 80GB

80 GB · 2039 GB/s · NVIDIA

H100 PCIe 80GB

80 GB · 2000 GB/s · NVIDIA

Instinct MI210

64 GB · 1638 GB/s · AMD

L40S

48 GB · 864 GB/s · NVIDIA

A100 40GB

40 GB · 1555 GB/s · NVIDIA

Tesla V100 32GB

32 GB · 900 GB/s · NVIDIA

A10

24 GB · 600 GB/s · NVIDIA

Tesla P40

24 GB · 346 GB/s · NVIDIA

L4

24 GB · 300 GB/s · NVIDIA

Tesla T4

16 GB · 320 GB/s · NVIDIA