量子化

AIモデルを軽くして小さな環境でも動かせるようにする「量子化」に関する記事を集めたタグページです。ローカルLLMの予算別の環境づくり、少ないメモリで大きなモデルを動かす仕組み、FP8やINT4の技術解説などを紹介しています。