#Apple Silicon

NotebookLMクローンのopen-notebookはデフォルトがDocker前提＋クラウドAPI前提。SurrealDBをネイティブで入れて4プロセスをtmuxで立ち上げ、Ollamaのqwen3.6:35bとbge-m3だけでRAGを回した。自分が今朝書いたQwen3.6比較記事を食わせたら、正しい数値で答えた。

Qwen3.6-27BをOllama/MLX両方で試したらOllamaはVLプロジェクタ付きGGUFをロードできず、MLXでは11 tok/sで動いた。ついでに35B-A3BをMLXで動かしたらOllama GGUFの2倍速。BBSを両モデルに作らせて意図汲み取りの差も見た。

Ollama 0.20.6でQwen3.6-35B-A3Bを試した記録。Gated DeltaNet対応済みで生成速度はQwen3.5と同じ27 tok/s、ただし思考トークンは13倍。マルチターン・ペルソナ・NSFW三段階の挙動もまとめた。

Illustrious i2i + pixel-art-xl LoRAが最速だったドット絵変換に、Z-Image用ピクセルアートLoRAという別ルートがあった。LoRAの互換性、利用可能なLoRA、メモリ要件を調査。

WAI-Illustriousで知られるWAI0731がAnima派生モデル WAI-Anima v1をリリース。2月のAnima記事から2ヶ月で派生モデルが急増し、LoRAツールキットやテキストエンコーダのアップグレードも登場。preview3-baseとWAI-Anima v1を実際に動かして比較した。

EE TimesのAMD AI Software VP Anush Elangovan氏インタビューをベースに、ROCmとCUDAのエコシステム差を整理。Strix HaloでROCmを使い続けて4回壊れた実体験と、NVIDIA・AMD・Apple Siliconの実務での使い分けも。

Qwen Image Edit、JS減色、Illustrious i2i + LoRAなど5パターン試して、最終的にIllustrious i2i単体が最速・最軽量でドット絵変換できることがわかった。

Gemma、Qwen2.5-VLなどのローカルVision LLMにキャラクターの立ち絵やドット絵を入力し、RPG風のステータスをJSON形式で返せるか実験した記録。

Apple Silicon専用のMLX推論サーバーSwiftLMが、TurboQuant V2+V3ハイブリッドKVキャッシュ圧縮とNVMe SSDエキスパートストリーミングをネイティブMetal実装で提供する。

Ollama 0.19がApple SiliconでのバックエンドをMLXに切り替え、プリフィル1810トークン/秒・デコード112トークン/秒を達成。NVFP4量子化サポートとキャッシュ改善も同時投入された。

MPSのBF16演算がFP16の2倍遅い問題と、FP16 Attentionバグが重なって発生した速度劣化の原因と対策

llama.cppのmmap設計を脱却してNVMe 3層配置でDenseモデルもストリーミングするHypuraと、極座標変換で量子化定数オーバーヘッドを排除するTurboQuant。Flash-MoEとの設計比較、KVキャッシュ圧縮が実際に効くシナリオの整理も。