专栏名称: AI工程化
专注于AI领域(大模型、MLOPS/LLMOPS 、AI应用开发、AI infra)前沿产品技术信息和实践经验分享。
今天看啥  ›  专栏  ›  AI工程化

Transformers.js v3震撼发布:WebGPU加速、120种架构支持,开发者必备神器!

AI工程化  · 公众号  ·  · 2024-10-24 07:33
    

文章预览

笔者等待多时的 Transformers.js v3 版本 , 经过一年多的开发,终于发布了!这一版本带来了多项重大更新和增强,必将引起前端及浏览器插件 AI 应用爆发。 核心亮点 WebGPU 支持 Transformers.js v3 引入了 WebGPU 支持,性能比 WASM 快高达 100 倍,利用浏览器的 GPU 进行高性能计算。WebGPU 是一种新的网页标准,用于加速图形和计算,性能优于 WebGL,能够直接与现代 GPU 交互,非常适合机器学习任务。 示例代码 import  { pipeline }  from   "@huggingface/transformers" ; // Create a feature-extraction pipeline const  extractor =  await  pipeline(    "feature-extraction" ,    "mixedbread-ai/mxbai-embed-xsmall-v1" ,   {  device :  "webgpu"  }, }); // Compute embeddings const  texts = [ "Hello world!" ,  "This is an example sentence." ]; const  embeddings =  await  extractor(texts, {  pooling :  "mean" ,  normalize :  true  }); console . ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览