我们很高兴地宣布，可以将基于OpenCL的全新后端用于llama.cpp项目。此项工作针对骁龙SoC中的高通Adreno GPU进行了充分优化，标志着本公司持续努力提高llama.cpp的性能和多功能性的重要里程碑；作为得到广泛认可的项目，llama.cpp针对大语言模型（LLM），并一直在开源 ...

我们很高兴地宣布目前可以提供适用于llama.cpp的全新OpenCL后端，这是一个得到广泛认可、并专注于大语言模型（LLM）推理的开源项目。该后端针对高通Adreno GPU进行了优化，可支持一系列流行的大型语言模型，包括最新的DeepSeek R1模型。此项成就表明在人工智能 ...

一位Reddit用户分享了从Ollama切换到llama.cpp的心路历程，引发了社区热烈讨论。这不仅是工具的切换，更是对本地推理深度理解的跨越。 核心观点：Ollama是绝佳的入门工具，让你轻松运行和切换各种LLM。但当你明确了真正想要运行的模型后，llama.cpp才是释放硬件 ...

为增强设备上的智能性，在边缘设备部署大型语言模型（LLMs）成为了一个趋势，比如微软的Windows 11 AI + PC。 目前部署的大语言模型多会量化到低比特。然而，低比特LLMs在推理过程中需要进行低精度权重和高精度激活向量的混合精度矩阵乘法（mpGEMM）。现有的 ...