1 名前：hage(茸) [JP]：2024/02/29(木) 08:34:52.48 ID:PRp2fWw60.net BE:422186189-PLT(12015)

Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。

もともとMicrosoftはかねてから「1ビット量子化」の研究を続けて来た。しかし、32ビット浮動小数点での計算が主流な時代にはあまりに野心的で荒唐無稽なプロジェクトに見えていたのは否めない。しかし、現在、大規模言語モデル(LLM;Large Language Model)は8ビット、4ビットで量子化されるのが当たり前になり、量子化しても性能劣化はある程度まで抑えられることも知られるようになった。

昨年10月に発表した「BitNet」は、多くの人々が他のことに気を取られていてほとんど話題にならなかった。
そんな中、満を持して発表された1ビットLLMの性能に関するレポートは、衝撃的と言っていい内容だ。論文のタイトルも堂々と「The Era of 1-bit LLM(1ビットLLMの時代)」としている。

彼らが発表したグラフを引用しよう。

https://wirelesswire.jp/2024/02/86094/


引用元：https://hayabusa3.2ch.sc/test/read.cgi/news/1709163292
5 名前：hage(茸) [JP]：2024/02/29(木) 08:36:54.21 ID:PRp2fWw60.net BE:422186189-PLT(12015)


（抜粋）


6 名前：名無しさん＠涙目です。(庭) [ﾆﾀﾞ]：2024/02/29(木) 08:38:05.01 ID:+QXeJQmg0.net

ちょっと何言ってるか分からない


7 名前：名無しさん＠涙目です。(光) [ﾆﾀﾞ]：2024/02/29(木) 08:40:11.33 ID:24+aBEzS0.net

分かったから早く売れ


8 名前：名無しさん＠涙目です。(愛知県) [US]：2024/02/29(木) 08:40:18.22 ID:MqqcpH+U0.net

わからんからガンダムで例えて


9 名前：名無しさん＠涙目です。(兵庫県) [US]：2024/02/29(木) 08:41:23.87 ID:H4OhH7Gz0.net

なんか悪口に聞こえる


12 名前：名無しさん＠涙目です。(東京都) [CN]：2024/02/29(木) 08:45:10.61 ID:Ap9DOS+P0.net

でも爆発するんでしょ


13 名前：芋煮(みかか) [ﾆﾀﾞ]：2024/02/29(木) 08:46:05.33 ID:bX4ATEcq0.net

GPUとの関係は？


14 名前：名無しさん＠涙目です。(庭) [ﾆﾀﾞ]：2024/02/29(木) 08:46:37.52 ID:CVb0xasj0.net

俺の頭脳は128bitだがね


17 名前：名無しさん＠涙目です。(庭) [FR]：2024/02/29(木) 08:47:58.63 ID:1fu0qmjZ0.net

やーいやーい1ビット脳


18 名前：名無しさん＠涙目です。(庭) [US]：2024/02/29(木) 08:49:05.45 ID:NlVGsk5X0.net

このいちびりやろう


19 名前：名無しさん＠涙目です。(北海道) [US]：2024/02/29(木) 08:49:42.48 ID:QNsIJC/L0.net

民明書房


20 名前：名無しさん＠涙目です。(北海道) [US]：2024/02/29(木) 08:49:46.00 ID:0z3qgT1E0.net

何言ってるのか全然わかんねんだよカスぅ！！！(ꐦಠہಠ)


21 名前：名無しさん＠涙目です。(庭) [US]：2024/02/29(木) 08:50:45.43 ID:8lKGlzKv0.net

もちろん試してみるつもりだって、試してから記事書けよw


22 名前：名無しさん＠涙目です。(庭) [US]：2024/02/29(木) 08:52:15.44 ID:Jt/CO9gH0.net

スレタイだけ見て「ギャッハー中国ダッセー！！」となっちゃうのが世間一般にいわれる1ビット脳
ってことだな


23 名前：名無しさん＠涙目です。(大阪府) [ﾆﾀﾞ]：2024/02/29(木) 08:52:34.93 ID:PRAZtJCm0.net

乗算得意なGPUで無理矢理計算する vs デカイモデル格納して計算単純化
ファイッ!
うーん、デカイモデルと複雑な計算の併用になりそうな気がする


24 名前：名無しさん＠涙目です。(茸) [PH]：2024/02/29(木) 08:53:23.94 ID:DaXlaEnT0.net

誰も真実はわからんということか
実用化したらまた教えてくれ


25 名前：名無しさん＠涙目です。(庭) [US]：2024/02/29(木) 08:53:39.39 ID:Jt/CO9gH0.net

加算だけで推論、って要はすごくポジティブシンキングってことでしょ？
なんかよさそうなきがする！！！


26 名前：名無しさん＠涙目です。(神奈川県) [US]：2024/02/29(木) 08:57:08.08 ID:jH8g4U+z0.net

このMS中国の成果ってアメリカと中国どっちの利になるの？


27 名前：名無しさん＠涙目です。(ジパング) [US]：2024/02/29(木) 08:58:23.82 ID:Zuogb+5y0.net

ちい


28 名前：名無しさん＠涙目です。(庭) [US]：2024/02/29(木) 08:58:26.25 ID:yQ3doh5f0.net

おい！その脳は、ここにも無数に存在しているぞ！！
どうだ怖いか！？


29 名前：名無しさん＠涙目です。(千葉県) [GB]：2024/02/29(木) 08:59:30.82 ID:Czw9syAi0.net

1ビット脳って敵か味方かでしか判断できないおまいらのことじゃないのか


31 名前：名無しさん＠涙目です。(茸) [GB]：2024/02/29(木) 09:01:56.27 ID:lp1faQPT0.net

１ビット脳ならパヨクが搭載済みじゃん


33 名前：名無しさん＠涙目です。(静岡県) [US]：2024/02/29(木) 09:04:14.77 ID:1B/oIVt/0.net

ガンダムよりもJOJOで例えてよ


37 名前：名無しさん＠涙目です。(庭) [ﾆﾀﾞ]：2024/02/29(木) 09:05:57.33 ID:DnFimByM0.net

＞今現在、世界各国が血眼になってGPUを確保し、囲い込んでいることを考えると、実に痛快な論文だ。

ＭＳとＮＶＩＤＩＡの喧嘩っすかね
どっちが勝つか知らんけど


38 名前：名無しさん＠涙目です。(北海道) [JP]：2024/02/29(木) 09:06:29.31 ID:rW9KTuZy0.net

良子コンピューターのことか
CPUが１ビットになるのかとおもた


39 名前：名無しさん＠涙目です。(やわらか銀行) [US]：2024/02/29(木) 09:06:53.36 ID:FVM8Ad/r0.net

要は「自民党」か「その他」の2択で回答を導き出す手法が
「自民党」「民主党」「その他」「無回答」の4択で回答を導き出す現在主流の手法よりも効率が良く回答精度も高いと言う事だろ
そしてその回答が本当に正確で理論的な物なのかの検証が出来てないので評価が難しいと


41 名前：名無しさん＠涙目です。(東京都) [TW]：2024/02/29(木) 09:09:14.16 ID:YrLfbcGP0.net

中国にもMSあるんだな
中国人って海賊版しか使わないイメージあったけど
最近は正規品買って使っているの？


42 名前：名無しさん＠涙目です。(庭) [ﾆﾀﾞ]：2024/02/29(木) 09:09:47.30 ID:oF6Gd03I0.net

中国共産党指導部は
革命しそうなAIは粛清する


43 名前：名無しさん＠涙目です。(茸) [CN]：2024/02/29(木) 09:10:29.30 ID:PE2N7Wro0.net

お前ら1bit脳とかバカにするけど、CPUにおけるビット数の意味ってのは単に汎用レジスタのサイズのことでしかないからな？
それが1ビットだと、確かにCPUとしての性能は劇的に低下するが、極端な話CPUとしてやれることそのものに違いなど何も無い。
0か1しか扱えない汎用レジスタであっても、CPUは作れるのだ。
例えるならもっと違うものにすることだな。

まぁ、1ビット幅の汎用レジスタで組まれたCPUが使い物になるかと言えば、もちろんただのゴミではあるわけだがｗ


44 名前：名無しさん＠涙目です。(ジパング) [EU]：2024/02/29(木) 09:12:22.68 ID:h5AdDfQE0.net

アメリカはダメだ、ステマばかりのゴミしか作らん
日本と中国は安くて良い物をどんどん作れ
アメリカの暴力に負けるな


45 名前：名無しさん＠涙目です。(庭) [CN]：2024/02/29(木) 09:13:51.46 ID:OmKSlD1S0.net

先行者に取り付けて殺戮マシーンに改造だ


48 名前：名無しさん＠涙目です。(京都府) [TW]：2024/02/29(木) 09:21:19.32 ID:kMi1Hnun0.net

ゲームなんかでも高速化のために浮動小数点の計算を整数にしちゃうとかあるだろ
そんな初歩的なことが試みられてないとは思えんのだが


49 名前：名無しさん＠涙目です。(庭) [ﾆﾀﾞ]：2024/02/29(木) 09:22:42.76 ID:+QXeJQmg0.net

1と0、それに付け加えて-1を扱うらしい