AIシステム構築には良くPythonが使われいるようです。Wikiによると「インタープリタ型の高水準汎用プログラミング言語である。」とあるように30年前からあるようですがだいぶ高級な言語のようです。
Pythonもコンパイルしてネイティブ実行ファイルを作ることができますが今はインタープリタ型のプログラムが動作する仕組みを考えてみます。
パソコンでPythonプログラムを実行
↓
Pythonプログラムを読んで実行するプログラム
↓
オペレーティングシステム&デバイスドライバー
↓
ベーシックIOシステム
↓
ハードウェア
Pythonプログラムをハードウェアが実行するまでに何層ものプログラムが動かなければなりません。もし同じプログラムをマイコンで実行するとどうなるでしょうか。
マイコン用プログラム
↓
ハードウェア
マイコン用プログラムであれば直接ハードウェアを実行することができます。もちろん高級言語では簡単なことでもマイコン用プログラムでは大変な労力を必要とすることが多いので単純に比較して優劣を云々できません。しかしAIの中枢は単純な計算の繰り返しなはずです。マイコン用プログラムでもできるに違いありません。
同じ計算でも全体の計算量が大きく違えばその性能差も大変な違いが生まれます。