1: hage(茸) [JP] 2024/02/29(木) 08:34:52.48 ID:PRp2fWw60 BE:422186189-PLT(12015)
Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。

もともとMicrosoftはかねてから「1ビット量子化」の研究を続けて来た。しかし、32ビット浮動小数点での計算が主流な時代にはあまりに野心的で荒唐無稽なプロジェクトに見えていたのは否めない。しかし、現在、大規模言語モデル(LLM;Large Language Model)は8ビット、4ビットで量子化されるのが当たり前になり、量子化しても性能劣化はある程度まで抑えられることも知られるようになった。

昨年10月に発表した「BitNet」は、多くの人々が他のことに気を取られていてほとんど話題にならなかった。
そんな中、満を持して発表された1ビットLLMの性能に関するレポートは、衝撃的と言っていい内容だ。論文のタイトルも堂々と「The Era of 1-bit LLM(1ビットLLMの時代)」としている。

続きはソース元で
https://wirelesswire.jp/2024/02/86094/

6: 名無しさん@涙目です。(庭) [ニダ] 2024/02/29(木) 08:38:05.01 ID:+QXeJQmg0
ちょっと何言ってるか分からない

7: 名無しさん@涙目です。(光) [ニダ] 2024/02/29(木) 08:40:11.33 ID:24+aBEzS0
分かったから早く売れ

8: 名無しさん@涙目です。(愛知県) [US] 2024/02/29(木) 08:40:18.22 ID:MqqcpH+U0
わからんからガンダムで例えて

10: 名無しさん@涙目です。(石川県) [US] 2024/02/29(木) 08:41:47.51 ID:9wxKAOcD0
>>8
スレッガーさんかい?早い、早いよ!

15: 名無しさん@涙目です。(茸) [NL] 2024/02/29(木) 08:46:59.48 ID:+KAFAX/Z0
>>8
エルメスのビット1つからなぜかコロニーレーザー並みのビームが出て連邦全滅

30: 名無しさん@涙目です。(ジパング) [ヌコ] 2024/02/29(木) 08:59:40.43 ID:CyVXQWql0
>>8
アッザムリーダー回のガンダムコンピューター

51: 名無しさん@涙目です。(ジパング) [CN] 2024/02/29(木) 09:27:25.74 ID:7qTEDirm0
>>8
ララァ、見える!私にも敵が見える

57: 名無しさん@涙目です。(千葉県) [US] 2024/02/29(木) 09:46:17.12 ID:av+D8tVP0
>>8
我が軍は圧倒的ではないか

13: 芋煮(みかか) [ニダ] 2024/02/29(木) 08:46:05.33 ID:bX4ATEcq0
GPUとの関係は?

23: 名無しさん@涙目です。(大阪府) [ニダ] 2024/02/29(木) 08:52:34.93 ID:PRAZtJCm0
乗算得意なGPUで無理矢理計算する vs デカイモデル格納して計算単純化
ファイッ!
うーん、デカイモデルと複雑な計算の併用になりそうな気がする

24: 名無しさん@涙目です。(茸) [PH] 2024/02/29(木) 08:53:23.94 ID:DaXlaEnT0
誰も真実はわからんということか
実用化したらまた教えてくれ

37: 名無しさん@涙目です。(庭) [ニダ] 2024/02/29(木) 09:05:57.33 ID:DnFimByM0
>今現在、世界各国が血眼になってGPUを確保し、囲い込んでいることを考えると、実に痛快な論文だ。

MSとNVIDIAの喧嘩っすかね
どっちが勝つか知らんけど

38: 名無しさん@涙目です。(北海道) [JP] 2024/02/29(木) 09:06:29.31 ID:rW9KTuZy0
良子コンピューターのことか
CPUが1ビットになるのかとおもた

59: 名無しさん@涙目です。(東京都) [US] 2024/02/29(木) 09:59:08.40 ID:S2AZsdEC0
>>38
違う
機械学習でいう量子化ってのは膨大なデータをそのまま演算すると
手間がでかすぎてやってらんないから簡略化して精度下げて
負荷の少ない演算で近似させること
ソースで言ってる8bitとか4bitとか1bitてのはその丸めこみの精度の度合い
要するにこの論文の内容はメチャメチャ入力の精度下げて計算簡単にしても
結果の精度はかわらんようなプロセス考えましたわ!ってこと

62: 名無しさん@涙目です。(庭) [CN] 2024/02/29(木) 10:03:53.25 ID:PVlA2iIX0
>>59
わかりやすい解説さんきゅ

64: 名無しさん@涙目です。(庭) [US] 2024/02/29(木) 10:05:11.56 ID:Jt/CO9gH0
>>59
入力を-1/0/1の3値にしたから全部加算でいけますよ、ということ?
何で行列を使ってんのかもわからん文系脳だから理解が難しいわ

48: 名無しさん@涙目です。(京都府) [TW] 2024/02/29(木) 09:21:19.32 ID:kMi1Hnun0
ゲームなんかでも高速化のために浮動小数点の計算を整数にしちゃうとかあるだろ
そんな初歩的なことが試みられてないとは思えんのだが

61: 名無しさん@涙目です。(庭) [DE] 2024/02/29(木) 10:03:45.48 ID:NiQRp6qY0
これ、まだ論文レベルだから、これから実証なんだろうかね?
困ったことにこれMSが出してる論文だから怪しいものじゃないってことなので
本当に実用的なものなら革命的だしAI向けGPUいらないでしょになるから
NVIDIA困ったことになっちゃうのかも

63: 名無しさん@涙目です。(ジパング) [ニダ] 2024/02/29(木) 10:04:05.07 ID:6YbuQPMy0
1bit←わかる
2bits←わかる
1.5bit/bits←どっち?
0.5bit/bits←どっち?
0bit/bits←どっち?

68: 名無しさん@涙目です。(和歌山県) [CN] 2024/02/29(木) 10:12:47.09 ID:D2Nacfjr0
中国だけどMicrosoftなのか

69: 名無しさん@涙目です。(日本のどこかに) [AU] 2024/02/29(木) 10:22:19.32 ID:sm+63xtE0
省メモリで演算も高速だけど解答精度は落ちる
4bit量子化とどっちがお得か

どこのご家庭にもあるRTX 3060 12GBでも7Bモデル4bit量子化なら動く
つまり28Bモデル1bit量子化が動くかも、と言うことか

引用元:https://hayabusa9.5ch.net/test/read.cgi/news/1709163292/

14: Socket774 (ワッチョイ 8a81-r8/V) 2024/02/29(木) 08:18:12.77 ID:OvNkXQPr0
NVIDIAのAI特需終わりと聞いて飛んできたぞ
BitNetとやらで全ての計算が加算処理で済むからGPUはお払い箱になるそうだ

すまん俺も何を言ってるのか良くわからない

16: Socket774 (ワッチョイ 4619-FAP4) 2024/02/29(木) 08:25:30.52 ID:4vfrybvA0
>>14
AI特需ってそう簡単に終わるものだろうか

20: Socket774 (ワッチョイ 6b7e-3cMK) 2024/02/29(木) 08:36:01.77 ID:ahe9vsM+0
>>16
AI特需自体はあるんだけど、それに今まで必要とされていたGPUが不要となる事件が起きたのだ  m9(-_-)

18: Socket774 (ブーイモ MM4f-HRti) 2024/02/29(木) 08:30:39.65 ID:yUUplNIwM
>>14
BitNetとやらをGPUの方式でハードウェア対応したらやはり桁違いに早くて買い替え需要って展開にならんかな
全く知らんけど

19: Socket774 (ワッチョイ 8a81-r8/V) 2024/02/29(木) 08:35:55.05 ID:OvNkXQPr0
>>18
なんでもCUDAの積算が邪魔なんだそうだ、使わないので
ついでに2進でなく3進を使うので専用のハードウェアが出てくる可能性があるかもという話
もう訳わかんねぇな

22: Socket774 (ワッチョイ 435e-lu6j) 2024/02/29(木) 08:38:50.29 ID:bcs4tJbo0
>>18
実はこっそり学習とか公開されてるから誰でも試せるし加算だけだからGPUはなくてもいい
https://note.com/shi3zblog/n/n58b0a2252727?sub_rt=share_pb

30: Socket774 (アウアウウー Sa2f-huoJ) 2024/02/29(木) 09:25:00.85 ID:WIlWnza2a
BitNetとやらでホントにGPUが不要になるなら、とっくにnvidiaの株価は暴落してるんじゃね?

37: Socket774 (ワッチョイ 069a-EVRh) 2024/02/29(木) 09:48:06.83 ID:pyYKUsKg0
>>30
まだNPUが普及してないし量産してる専用ボードも無いからGPUが不要になるのはまだ先だ

46: Socket774 (アウアウウー Sa2f-huoJ) 2024/02/29(木) 10:36:40.08 ID:WIlWnza2a
>>37
そりゃそうだけど、株価って先のことを見越して変動するんじゃないの?

34: Socket774 (スフッ Sdea-2noF) 2024/02/29(木) 09:34:08.35 ID:QnB4ymPwd
加算処理だけで良かったとしてもやっぱりGPUが速いじゃねえか、としかならんと思う

45: Socket774 (ワッチョイ df7a-r8/V) 2024/02/29(木) 10:30:10.45 ID:LAug1DlX0
マイクロソフトがソフトで頑張って色々なメーカーが専用ハード作ってくれたらまた健全な競争に戻るのかな
Geforceユーザーとしてもお願いしたい

47: Socket774 (ワッチョイ 8a81-r8/V) 2024/02/29(木) 10:37:02.64 ID:OvNkXQPr0
ゲームで使う演算と別物だから、BitNet向けの拡張ボードがもし出るなら今のGPUとは完全に違うラインナップになったりするのかもしれないのと
BitNetはひょっとすると有望かもしれないけどこれが主流になると確定した訳ではなさそうな雰囲気

引用元:https://egg.5ch.net/test/read.cgi/jisaku/1709111263/

スポンサード リンク