#Qwen

Ollama 0.20.6でQwen3.6-35B-A3Bを試した記録。Gated DeltaNet対応済みで生成速度はQwen3.5と同じ27 tok/s、ただし思考トークンは13倍。マルチターン・ペルソナ・NSFW三段階の挙動もまとめた。

AlibabaのQwen3.6-Max-PreviewとMoonshot AIのKimi K2.6が4月20〜21日に相次いで登場した。スペック、ベンチマーク、提供形態、エージェント関連機能を横並びで比較し、2つのフラッグシップの位置付けを整理した。

Alibaba QwenチームがQwen3.6-35B-A3Bをオープンウェイトで公開。Gated DeltaNet+Attention+MoEのハイブリッド40層構造で、SWE-bench Verified 73.4、MCPMark 37.0、QwenWebBench 1397を達成した。

WAI-Illustriousで知られるWAI0731がAnima派生モデル WAI-Anima v1をリリース。2月のAnima記事から2ヶ月で派生モデルが急増し、LoRAツールキットやテキストエンコーダのアップグレードも登場。preview3-baseとWAI-Anima v1を実際に動かして比較した。

Qwen Image Edit、JS減色、Illustrious i2i + LoRAなど5パターン試して、最終的にIllustrious i2i単体が最速・最軽量でドット絵変換できることがわかった。

Gemma、Qwen2.5-VLなどのローカルVision LLMにキャラクターの立ち絵やドット絵を入力し、RPG風のステータスをJSON形式で返せるか実験した記録。

NIIが公開したLLM-jp-4-32B-A3B-thinkingをEVO-X2（Ryzen AI Max+ 395）のROCmで動かした。62.9 t/sでQwen3.5-35B-A3Bの44.7 t/sを大きく上回るが、thinking制御やKVキャッシュ消費、知識カットオフに課題あり。日本語比較テストとコード生成テストの結果も。

Qwen3.5-35B-A3BはSSM+Attentionハイブリッドで40層中10層しかKVキャッシュを使わない。llama-serverでctx-sizeを4096→65536に拡張してもVRAM増加は800MB、速度低下ゼロ。q8_0 KV量子化の実測とTurboQuantの現状も。

MPSのBF16演算がFP16の2倍遅い問題と、FP16 Attentionバグが重なって発生した速度劣化の原因と対策

Flash-MoEはQwen3.5-397B-A17BをMacBook Pro M3 Maxで4.36トークン/秒で実行するC/Metal推論エンジン。SSDからのエキスパートストリーミングと手書きMetalシェーダーで209GBのモデルを48GBのメモリ環境に収めた。

BERT perplexityスキャン→LLM判定→エスカレーションの3段パイプラインを、Win/Mac/Linux対応のPythonツールにパッケージング。インストーラーがllama-serverとGGUFモデルまで自動で落としてくる。

tori29umai氏のLoRAで顔パーツを自動分離し、28枚バッチ処理した結果と、髪の細分化を試みて限界にぶつかった記録