Google、H100で毎秒1,000トークン超を実現する拡散言語モデル「DiffusionGemma」をリリース

Google DeepMindが公開した拡散方式テキスト生成モデル「DiffusionGemma 26B」は、256トークンの一括処理によりGPUの並列演算能力を最大限に活用し、H100で1,000 tokens/sec超を達成。量子化時18GB VRAMで動作し、同サイズの自己回帰型Gemmaモデル比で最大4倍速いローカル推論向けの実験的オープンモデルだ。