#WebAssembly

VecLiteはRust/WASM+SIMDでブラウザ内ベクトル検索を高速化するライブラリ。Transformers.jsで埋め込みを作り、IndexedDBに保存し、サーバーなしでRAGを組むときにどこが詰まるかを整理する。

Cloudflareが発表したArtifactsは、AIエージェントが数千万リポジトリを扱えるGit互換のバージョン管理ストレージ。Durable ObjectsとZig製WASMで実装したGitサーバーで、Workers Bindings・REST API・標準Gitクライアントから操作できる。

mmap→MTLBuffer(bytesNoCopy)→Wasmtime MemoryCreatorの3段チェーンで、WasmリニアメモリとGPUバッファの物理アドレスを一致させる実装。M1上でLlama 3.2 1Bを9ms/tokenで動かした。

Docker版で地獄を見てからLite+LLM校正まで。自分の試行錯誤と、NDLOCR-LiteをブラウザOCRにした人の実装を紹介する。