マイクロソフトが発表したBitNet、やばすぎて半信半疑ながらも真実ながら凄すぎて期待してしまう。行列の中身を1ビット(0 or 1のみ)にして、行列演算に乗算が必要なくなって高速化させてるらしい。高速化する理屈はわかるけど、論文によるとなぜか精度も向上してるらしい。やばすぎて一旦様子見。 pic.twitter.com/jugSP5RpLX— goto (@goto_yuta_) February 28, 2024 「1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も」 ＞「BitNet 1.58Bits」 / 圧倒的なスピードの秘密は、BitNetが文字通り「1ビットで処理している」から / 行列の中身が0か1しかないのであれば、全ての計算を加算演算のみにできる pic.twitter.com/YxX711ZLJm— sak (@sak_07_) February 28, 2024…
