文章预览
谷歌的美女程序员，将Llama的推理速度提高了500%！ 近日，天才程序员Justine Tunney发推表示自己更新了Llamafile的代码， 她重写了84个新的矩阵乘法内核，使得Llamafile可以更快地读取提示和图像。 与llama.cpp相比，新的Llamafile在CPU上的推理速度提升了30%到500%。 其中，ARMv8.2+（如RPI 5）、Intel（如Alderlake）和AVX512（如Zen 4）计算机的改进最为显著。 另外，对于适合L2缓存的矩阵，新的内核比MKL快2倍！ Justine Tunney表示：负责MKL的大家，你们有事做了！ 毕竟，由微软，英特尔，TI，AMD，HPE，Oracle，Huawei，Facebook，ARM和National Science Foundation资助的BLIS，作为最强大的开源BLAS，输了就太没面子了！ Any time somebody outside Intel beats MKL by a nontrivial amount, I report it to the MKL team. It is fantastic for any open-source project to get within 10% of MKL... [T]his is why Intel funds BLIS development. 每当英特尔
………………………………
