2024年4月10日水曜日

ニューラルアーキテクチャ探索について

AIの進化は著しい。機械の性能のアップにより、「自律的に自分自身の考え方を変える」という段階にまで進んでいる。
これは人間の脳とほぼ同じことをしていることになる。
(もはや「不気味の谷」である)

これができるようになると、「この人には、このような答え方がよいだろう」とか、「山道を走るときには、このようなモードがよいだろう」などを自分で考えられる。

また、特定の場合に、特定の特殊な考え方をする、などのことをできるようになる。

このようなことができると、人間の知的な活動のほとんどがAIにとって代わられる。

また、これをロボットに仕込むと、人間と同じような動きをするようになるだろう。

ただし、この技術(NAS)は、計算コストが高つき、小型化するのが難しい。が将来的に小型化された場合、ロボットに組み込むことが可能になるかもしれない。

また、ネットワーク接続すれば今でも可能であろう。

まったく、怖い世の中になったものだ。


-----------------------------------  NASの概要をAIに尋ねてみると、以下のような答えが返ってきた --------------------------------------------


 ニューラルアーキテクチャ探索(Neural Architecture Search, NAS)は、AI(特にニューラルネットワーク)の構造を自動的に最適化する手法です³。以下に、NASの主な特徴と進化をまとめています:


- **基本概念**:NASは、最適なニューラルネットワーク構造を自動的に設計する手法であり、AIモデルの性能を最大化することを目指しています²。これにより、AIの開発がより迅速かつ効率的になり、さまざまな応用分野での革新が期待されています²。


- **探索空間**:NASは、「評価したい構造の集合は何か」を定義します¹。事前知識を反映させることで探索空間を狭めれば探索コストは減りますが、人間の持つバイアスを超えた新しい構造の発見を妨げてしまうことに繋がります¹。


- **探索戦略**:NASは、「探索空間の中をどうやって探索するか」ということを決定します¹。広い探索空間で全探索をすると組み合わせ爆発が起こり、探索コストも指数関数的に爆発してしまいます¹。


- **パフォーマンス推定**:NASは、「どうやって未知のデータに対するパフォーマンスを推定するか」ということを決定します¹。一般的な「testデータとvalidationデータを分割する」という手法では計算コストがかかり過ぎてしまうので、どうやってコストを削減するかという研究が進んでいます¹。


- **進化**:NASの進化は、主にアルゴリズムの改善と計算効率の向上によって特徴づけられます²。初期のNASアプローチでは、ランダムサーチやグリッドサーチなどの基本的な探索手法が使用されていましたが、これらの方法は計算コストが高く、時間がかかるという問題がありました²。


- **最新の動向**:2024年現在、NASはさらなる進化を遂げています²。AI技術の急速な発展に伴い、NASはより高度で効率的なアーキテクチャ探索手法へと進化しています²。


NASは、AIの設計と実装において重要な役割を果たしており、その影響は産業界全体に及んでいます²。しかし、NASには計算コストが高いという課題もあります²。最新の研究では、この計算コストを削減するための新しい手法が提案されており、これがNASの未来を大きく左右する可能性があります²。


ソース: Bing との会話 2024/4/10

(1) Neural ArchitectureSearch(NAS) – 【AI・機械学習用語集 .... https://zero2one.jp/ai-word/nas/.

(2) 2024年のNAS革命:最新のアーキテクチャ探索手法とその影響 .... https://reinforz.co.jp/bizmedia/24929/.

(3) NAS(Neural architecture search)の歴史と現在の動向(Elsken et .... https://qiita.com/norihitoishida/items/9f73865a0c8f99c203cd.

(4) 敵対的サンプルにロバストなネットワーク構造の探索 | AI .... https://ai-scholar.tech/articles/nas/NAS-for-robustness.