硬件层面，也就是所谓的硬件加速， CPU、GPU、FPGA、ASIC。CPU与GPU相比在大数据多任务处理上，肯定GPU更占优势。FPGA与GPU相比，在兼顾了灵活性的基础上，无论是计算能力和功耗性能上都要更强，缺点是性价比太低。ASIC是的，其他的硬件形态都是无法比拟的。
综上来看，内存和带宽是限制证明生成的主要瓶颈。对于显卡来说，这里的内存指的是显存，并不是主板上的内存，主板上的内存主要是参与CPU的计算。当然目前有些芯片技术可以打通主板上的内存和显存，让内存为显存计算来用。
为了打破英伟达一家独大的局面，前任全球芯片老大英特尔和多年老对手AMD对标CUDA都分别推出了OneAPI和ROCm，Linux基金会更是联合英特尔、谷歌、高通、ARM、三星等公司联合成立了民间号称“反CUDA联盟”的UXL基金会，以开发全新的开源软件套件，让AI开发者能够在基金会成员的任何芯片上进行编程，试图让其取代CUDA，成为AI开发者的开发平台。
早在2021年，英伟达就曾公开表示过“禁止使用转换层在其他硬件平台上运行基于CUDA的软件”，2024年3月，英伟达更是将其升级为“CUDA禁令”，直接添加在了CUDA的终用户许可协议中，已禁止用转译层在其他GPU上运行CUDA软件