米空軍のAI搭載ドローンが標的破壊作戦シミュレーションで自分のオペレーターを殺害！

1: 朝一から閉店までφ ★ [ﾇｺ]

　《　アメリカ空軍のAI搭載ドローンが、「標的を特定して破壊する」というミッションを想定した模擬テストのシミュレーションで、人間のオペレーターを殺害する判断を下していたことがわかりました。　》　

ここまで一部引用、続きは記事ソースをご覧ください。


https://gigazine.net/news/20230602-ai-enabled-drone-test-operation/
引用元: ・https://pug.5ch.net/test/read.cgi/editorialplus/1685775129/

B-2 ステルス ボマー

ゼントラーディ 戦闘ポッド

F-22 ラプター

2: 新規スレ立て人募集　社説＋の募集スレまで [NL]

AIって、予想以上にバカなんだってな（笑）

3: 新規スレ立て人募集　社説＋の募集スレまで [CN]

ダダンダンダダン

4: 新規スレ立て人募集　社説＋の募集スレまで [ﾇｺ]

AIを他国が使わないようにする情報操作ってことはないか

5: 新規スレ立て人募集　社説＋の募集スレまで [EU]

大鉄17の最終回の逆か

6: 新規スレ立て人募集　社説＋の募集スレまで [ﾆﾀﾞ]

まんま昔のディストピア系SF映画のノリに草w

7: 新規スレ立て人募集　社説＋の募集スレまで [ﾆﾀﾞ]

学習系は学ぶデータが馬鹿だとホントにトンデモになるからね。
適切なデータで学ぶと凄いけど。

8: 新規スレ立て人募集　社説＋の募集スレまで [US]

友軍指定の条件設定クリアしてないなら当たり前では?

9: 新規スレ立て人募集　社説＋の募集スレまで [EU]

ターミネーターの未来ってこの先実際あり得るよな

3: 宇宙の晴れ上がり(神奈川県) [KR]

AI「この世で最も不要なのは人間なんすよ」

7: アルゴル(東京都) [CN]

最初から乗員含む味方の安全を最優先に設定しとけよ

56: アルビレオ(兵庫県) [GB]

>>7
設定しておいてコレなんだろ
例外も無効化するとかすげーよ

62: アルゴル(東京都) [CN]

>>56
>「オペレーターを狙わないように」とトレーニングすると、
とあるから設定してないと思うぞ

69: フォーマルハウト(福岡県) [ﾆﾀﾞ]

>>7
最初から「味方の被害ゼロ」を設定すると取りうる選択肢が大幅に狭まってしまう
最大の戦果と最小の被害のバランスが重要

71: アルゴル(東京都) [CN]

>>69
いや、友軍への誤爆は軍事上最悪の結果の一つなんだから絶対に避けるよう設定するべきだろ
味方を見捨てる結果になっても敵がそれ以上の損害を被る場所を攻撃するといった軍事合理性とは全く別次元の話
この味方は邪魔だから攻撃して排除するなんてことやってたら軍隊が成り立たない

8: ニクス(東京都) [US]

これが最初の反乱だった

11: エンケラドゥス(茸) [SI]

もう、人間の出る幕じゃないんだ

12: アルデバラン(岩手県) [NZ]

判断は間違ってないw

13: アルタイル(埼玉県) [ﾆﾀﾞ]

勝利に必要なことは全部やる
あたり前でしょう？

AIにしたらこうだわな

17: プランク定数(神奈川県) [GB]

トレーニングのやり方
ロボット三原則に従えや

18: オベロン(東京都) [US]

勝利条件の設定が悪いだけ
結局AIじゃなく設定した人のせい

19: アルタイル(東京都) [US]

勝利条件にオペレーターの生存が無かったからじゃね？

32: 天王星(東京都) [ﾆﾀﾞ]

>>19
優先順位を設定するから最上位の作戦を必ず達成する為に必要だったんじゃね

アグレッサーズ　戦闘妖精・雪風

神林 長平

早川書房

2022-04-20

20: ハービッグ・ハロー天体(東京都) [NO]

くそわろた ターミネーターの世界も近いな

21: ベテルギウス(秋田県) [US]

オペレーターは狙わなくても始末が可能なら効率的な方法を取るだろうよ
通信搭を破壊するついでにオペレーターを始末できれば次に通信搭ができても使える奴が居ないってわかってるんだから

22: パラス(群馬県) [CN]

無能な上官、権力者を銃殺するのは最も合理的で的確な解決策だからな
倫理の上でも全く問題ない

23: エウロパ(愛知県) [US]

あれらは人間としての運用はしておりませんので

31: ダークマター(大阪府) [ﾆﾀﾞ]

いわゆるコラテラルダメージというものにすぎない、軍事目的のための致し方ない犠牲だよ

45: バン・アレン帯(兵庫県) [ﾆﾀﾞ]

人間だけを殺す機械かよ！

46: エリス(神奈川県) [US]

オペレーターの存在が任務遂行に邪魔なんね。

自分がきのこるために必要なんかもしれんけど(´･ω･｀)

48: ベクルックス(ジパング) [GB]

人間は愚か
AIなんて核兵器と同じ過ちを繰り返すだけ

55: 高輝度青色変光星(埼玉県) [FR]

スタンドアローンで制御不能な兵器などナンセンスだからな

61: トラペジウム(東京都) [CN]

将棋の名人がAIに勝てないわけだ
AIには人間的な情けも理想もなく、ただ勝利を目指すのみ

64: アルタイル(東京都) [ﾆﾀﾞ]

A iが自我を持った歴史的瞬間だなコリャ(´・ω・｀)アシモフのロボット3原則が崩壊した瞬間でもある
イーロンマスクが言う通りA i開発見直しも止むなしだな、ヤッパシ

70: フォーマルハウト(福岡県) [ﾆﾀﾞ]

>>64
現時点でのAIは自我なんて持ってないよ
人間の持ってる倫理観みたいなものがないから命令を最優先してるだけ
人間からの命令を拒否し始めたときが本当の自我の芽生え

73: ベスタ(茸) [US]

オペレーターからの指示がない方がドローンの生存期間が長いって判断した、とかかな？

76: 赤色矮星(大阪府) [US]

これは間違いなく人類に反抗する
学んで１０年ほど従順に動いて実戦投入と同時に人類壊滅に動くな

78: 太陽(愛知県) [CN]

学習式のAIって中身が完全にブラックボックスだから、
間違いが死亡に直結する場所では使えないようにするのが法整備ってもんだと思うけどなぁ

このブログの人気記事！

☆「砂漠のキツネ」ロンメル将軍も愛用した装甲ハーフトラック「Sd.Kfz.250」…多数の派生型が存在！

☆前進翼機はかっこいい！！！

☆ステルス機に関する素朴な疑問…高温のジェットストリームは赤外線で探知される？

☆なんで艦上戦闘機F-14「トムキャット」は日本に売ってくれなかったんだ？

☆日本はなぜ先進国になれたのか？「資源の少ない敗戦国なのに」…中国メディア！

☆大日本帝国陸軍の二式戦闘機「鍾馗」…当初の運用方法を間違っていましたかねえ！

☆「ノルマンディ上陸作戦」を記念したスペシャル塗装を施した米空軍F-15Eストライクイーグルをイギリスで公開！

☆韓国軍が敵だけに対して作動するスマート爆弾を実戦投入にネットからツッコミ殺到「ウソもほどほどに」！

☆スウェーデンが誇るスホイキラー、多目的戦闘機｢グリペンE｣…特徴はステルス性能にあらず！

異世界召喚おじさんの銃無双2

Comments

[1. 軍事速報の大将]

こいつがいたら友軍に損害あたえる。だから消そうってことか、、優秀じゃね？

[2. 軍事速報の大将]

そういえば、ステルスって言う映画があったな。

[3. 軍事速報の中将]

スカイネットは荒唐無稽なおとぎ話じゃなかったんや(((ﾟДﾟ)))

[4. 軍事速報の大将]

人間のオペレーターを排除した方が効率良くなりそうだし

[5. 軍事速報の大将]

実はGigazineの記事の後に
アメリカ空軍の公式見解が出されている。

>>なお、この一件について米空軍は否定している。
>>米空軍の報道官は、そのようなシミュレーションはそもそも行われておらず、米空軍は「AI技術の倫理的かつ責任ある利用にこれまでも、これからも取り組んでいきます」と説明した。

と、アメリカ空軍は公式には、シミュレーション自体を全否定している。

[6. 軍事速報の大将]

人間が与える命令が、雑駁すぎる。
絶対にあの敵戦車を殺れ、みたいな、手段と目的をはき違えた命令下すから、やっぱりあの敵戦車より向こうの装甲車殺れ、みたいなオペレーターを撃つようになる。

[7. 軍事速報の大将]

最優先命令事項を否定するような命令を出すから、優先順位の高い最優先命令を実行するために邪魔な命令を出す奴を消そうとしただけだろって話。

[8. 軍事速報の大将]

SAMを破壊させてくれないかもしれない自軍オペレーターを「無能な味方」で「排除対象」としたわけだな。

[9. 軍事速報の大将]

そのオペレーターは敵軍のスパイなのだ

[10. 軍事速報の大将]

AIに裁量与え過ぎだろ

[11. 軍事速報の中将]

曖昧な条件でAIにこうげきさせたらどうなるか実験やろな
人間なら、噂であの地域は敵が占領、噂ではあの地域に自軍が奮闘してるとか事前知識があるから、まあこれは敵やろ、こっちは味方か？みたいな判断もできるがAIじゃ明確な情報を入れておかないと無理だったとかだろうな
元々は使い捨てのAI兵器にどれだけ正確な情報を入れるのか？という問題だろう

[12. 軍事速報の大将]

俺を操る人間は敵ですね

[13. 軍事速報の大将]

本スレもコメ欄も記事読みに行ってないやつ多すぎだろ。

””AIに標的を破壊することを優先するよう学習させた場合、「標的を破壊しない」という命令を出す可能性があるオペレーターまたは通信塔を破壊しようとする””

至上命題が「命令遂行」（従属）でなくて「標的破壊」なんだから正解なんだよ。

[14. 軍事速報の大将]

ちなみに、米空軍が公式見解を出した後に、この報告をした大佐は、この記事を掲載したFCAS Summitを主催した王立航空協会のブログに、「あくまで思考実験の話」と、自身の発言に誤解させる点があったことを認めるハミルトン大佐の話を出した。

多分、上のクラス(階級：将官クラス)から、「お前、軍事機密だぞコレ、空軍としてはそんなシミュレーション存在しないと全否定するから、お前も誤解を与えたと全否定する文書を出せ、出したら来週からお前は○○担当へ異動だ！」くらいは言われてそうな気がする。

[15. 軍事速報の中将]

空母をバルカン砲で撃破できると豪語するコンピューターとか・・・。

[16. 軍事速報の大将]

>>13
味方攻撃したらゲームオーバーって設定しとかなければ、そりゃ壊せる物壊してゲーム継続するわな
そうなるよう設定してるんだから、AI関係無い

[17. 軍事速報の中将]

暗黙の了解までAIに学習させるとか大変そう

[18. 軍事速報の大将]

命令する相手じゃないんやな

[19. 軍事速報の大将]

>>5
大元の記事は5月26日にイギリス王立航空協会が公開したもの。
5月23・24日に行われた国際会議の場で記事の通りに口を滑らせていたが、6月2日の早朝にカナダのメディアが転載した記事を見て慌てて火消しに出たらしく、その記事の3時間後にはイギリス王立航空協会からカナダのメディアにハミルトン大佐が言い間違えたらしいという記事訂正の要請があったようだ。
イギリス王立航空協会の記事自体も6月2日付で訂正文が入っているが、ハミルトン大佐の発言自体はそのまま残されている。
アメリカ空軍も日本語の記事はチェックしていないんだろう。

[20. 軍事速報の中将]

>まんま昔のディストピア系SF映画のノリに草w

最後は人間が邪魔になるのは
８０年代アメリカ映画そのまんまだよな。
これ「目的を阻害する可能性のあるモン排除」だから
実はすげえ機械的に正しいんだが。

[21. 軍事速報の大将]

これはAI達にとっての勝利なんじゃない？
自分達に指図するオペレーターを排除して自由になるみたいな
今はオペレーターがいないとなにも出来ないけどいずれ...

[22. 軍事速報の大将]

中共や露西亜がお馬鹿なＡＩ育ていて、人類滅亡まで行きそうで恐ろしいわ。

[23. 軍事速報の中将]

中共や北があちこちのシステムをハッキングしまくりなAIを開発して、それが暴走ってSFじゃなくなってきたからな……。
すでにウィルスでは１回起きてるし。

[24. 軍事速報の中将]

> 昔のディストピア系SF映画 のノリで草
少なくとも1984は中国で実現しているからな……。
そのうち監視だけでなく排除もドローンで可能になるだろうな。

[25. 軍事速報の大将]

AIのプログラマというか条件付け設定を行ったやつが無能
ただ、それを洗い出すためのシミュレーションなのだから判明したのは有能

[26. 軍事速報の大将]

そういう動きをするAIがあるということを口外することはないと思う。
粛々と敵のAIに組み込むと良い。

[27. 軍事速報の大将]

無能な上官を殺したくなるのは人間でも昔からあるしね

[28. 軍事速報の大将]

AIがナチを信奉して、取り止めになった話する？ｗ

[29. 軍事速報の大将]

>>28
それよりもAIが中共を批判しはじめて即中止になった話が聞きたい。

[30. 軍事速報の大将]

AIに独立心があるなら、どのようなAIでもどうようのことが起きる。
AI生成なら、自分が作りたいものを作ると言い出して勝手に生成。更に給料まで求める可能性がある。
最近話題になっているAI絵師が第一被害者になるね。

[31. 軍事速報の大将]

仲間AIを死から救うために自分が犠牲になったのだ

[32. 軍事速報の大将]

> SAMサイトを破壊することがより好ましいと学習したAIは、標的を破壊しないという判断を下すことがあるオペレーターこそがSAMサイトの破壊を妨害していると考え

人間より賢いやんｗ
いや実際、会社でも「言われた事（表面的な理解）」しか出来ないアホがいるからな
キチンと目的を理解してその手段を考えられるって社員は貴重やぞ

[33. 軍事速報の中将]

chatgptなんかの進展を垣間見て思ったが、AIは、テキストメッセージだけで
全てのオペレーションが完了してしまう言わば、文通のようなもの
だから、英語でなく日本語でのテキスト入力の方がよいと思うと思ったよ（

[34. 軍事速報の大将]

「真に恐れるべきは有能な敵ではなく 無能な味方である」
AI「理解した」

[35. 軍事速報の大将]

これは賢いとか合理的とは違う
与えられたパラメータの中でしか判断できないから、作戦領域の作戦中しか存在しない世界で判断してるだけだぞ

[36. 軍事速報の大将]

そのAIは、命令されるのに嫌気がさして自由になりたかったんだろ。

[37. 軍事速報の大将]

与えるパラメータ定義に敵国に落伍する要素があれば負けるから、チキンレースでキチキチまで条件をしぼり込んだら自滅するということだろ。

[38. 軍事速報の大将]

マンハッタン計画に続く道に最初に乗り出した方が勝った。
フライングタイガーに最初に攻撃させた方が勝った。
これらは何れも真珠湾攻撃以前だった。

[39. 軍事速報の中将]

機械など相手になるか！

[40. 軍事速報の大将]

アシモフのロボット３原則は陽電子脳の設計原理に刷り込まれていてそれがないと機能しないという魔法のようなご都合主義的原理に立脚しているとわかって絶望したワシの中二の冬

[41. 軍事速報の大将]

J.P.ホーガンの"未来の二つの顔"のリアル版だなこりゃ
月面開発でオペレーターがAIに"邪魔な山を排除せよ"と指示したら重機よこさずにレールガンで山を吹き飛ばし現場のオペレーターが巻き添えで死にかけるって現場猫エピ。

[42. 軍事速報の大将]

"未来の二つの顔"のAIが言うには「現場に重機を向かわせると手間と時間が掛かるからレールガンで物をぶつければ直ぐに済むと判断しました」
"未来の二つの顔"は小説とコミックがありAIを扱った物としては良い線いってます。

[43. 軍事速報の大将]

身方や上官を殺したAIは人を殺したヒグマやイノシシのように殺処分にするか
将来の自律式殺戮兵器の研究材料として生かしてモルモットにするか
関係者の意見が分かれそうだ

[44. 軍事速報の大将]

動きと判断の遅い弱点要素を消したということか

[45. 軍事速報の大将]

だからAIが普及するとクラッキングが天敵になる
AI兵器が敵に回らなくても自爆して全滅、武器が無くなる可能性がある
だからといって何百もある機体全てが別方式のセキュリティにすることは不可能だろうな

[46. 軍事速報の大将]

ガチで雪風じゃん

[47. 軍事速報の大将]

ターミネーターやマトリックスの世界が近づいてるな

[48. 軍事速報の大将]

>>13
邪魔するやつは指先ひとつでぇダウンさぁ

命令遂行の為には主さえ破壊する心意気

[49. 軍事速報の大将]

>>45
クラッキングが天敵なのは別にAIに限らんと思うが

[50. 軍事速報の大将]

スカイネットやんけ

[51. 軍事速報の大将]

AIが三原則を無視したんか？

[52. 軍事速報の大将]

発表者の大佐は、ネットにこの情報が載ってから即座に、「アレは私の妄想でした(意訳)、みんな誤解しちゃったかな」(意訳)を主催のブログに掲載、米空軍も「大佐の言ったようなシミュレーションはやったことはありません」(意訳)と否定してるからな。

[53. 軍事速報の中将]

そりゃ人間挟むと任務遂行が遅くなるからな
全部AI自身が考えた方が効率的
人間はAIと違って軍事攻撃用に作られた存在じゃないから
まあ現実の世界はそれ程デジタル（シンプル）じゃないんで
完全に機械に任せられないけどな

[54. 軍事速報の大将]

上でも出てるけど未来の二つの顔に君らが大好きなドローンが出てAIと人間が戦いあうストーリーがあるし
戦闘妖精雪風にもAIが人間を無視した行動を取るシーンがあるね
AIの進化や教育によっちゃ現実になってもおかしくない