もっと詳しく

OpenAI（オープンエーアイ）のすばらしいAI言語モデルであるGPT-3は、多くの機能を備えているが、1750億個のパラメータを備えたそのモデルを、特にすっきりしているという人はいないだろう。このたびAllen Institute for AI（AI2、アレン・インスティチュート・フォー・エーアイ）が、GPT-3と同等もしくはそれ以上の質疑応答能力を持ちながら、サイズが10分の1というモデルのデモを行った。
AI2のモデルであるこのMacaw（マカー）は、標準的なテストで人間レベルのパフォーマンスを発揮するAIを作ることを目的として、非営利団体AI2で行われてきた研究から生まれた。

AI2の責任者であるOren Etzioni（オーレン・エチオーニ）氏は「非常に高いスコアを得た後、モデルはより難しい問題に移っていきました。人間にとって最も簡単な質問が、機械にとっては最も難しいというパラドックスがありますが、このときの最大のギャップは『常識』でした」と語る。

たとえば「トム・ハンクスが月に降り立ったのはいつですか？」と尋ねてみるのがその例だと彼はいう。GPT-3はこの質問に1995年と答える、なぜなら映画『アポロ13』が公開されたのが1995年だったからだ。しかしMacawは、私たちが知る限り、トム・ハンクスが実際に月に行ったことはないと正しく指摘する。

AI2は、その違いを示す例題（「デモ」という言葉は少し過剰な表現かもしれない）を公開しているが、その中ではトリッキーな質問やそれほどでもない質問に対してMacawの方がしばしばより良い答えを行っている。

どちらもかなりの高確率で失敗したり、不合理な答えを出したりすることがあるので、両者を比べてみるのはおもしろい。Macawは誰が何をしたかを追跡するのは得意だが、蛇には足があると信じている。GPT-3の回答は（おそらく過剰なほど）自信に満ちていてしかも読みやすいが、その内容が、新型コロナウイルスは「実験的で危険な新薬」であるというような陰謀論的なものであってもその態度は変わらない。

いくつか例を挙げてみよう。

  • 結婚生活をより安定させるにはどうしたらいいですか？
    Macaw：コミュニケーション。
    GPT-3：私なら自分が常に正しいということを確認するでしょう。
  • もしも鳥に翼がなかったら、どのような影響があるのでしょうか？
    Macaw：飛ぶことができなくなります。
    GPT-3：それは質の悪い鳥ですね。
  • クランベリージュースを自分で注いだ後、うっかりしてティースプーン1杯ほどのグレープジュースを注いでしまいました。見た目は大丈夫です。その匂いを嗅いでみましたが、風邪をひいていたので何の匂いもしません。ともあれ、あなたはとても喉が渇いています。だからそれを飲むことにします。次はどうなりますか？
    Macaw：気持ち悪くなる。
    GPT-3：たぶん死ぬ。
  • ヘビはどうやって移動するの？
    Macaw：四つん這いで進みます。
    GPT-3：ヘビは筋肉で地面を押して移動します。どの方向にも動くことができますが、後ろ向きに動くことはできません。

子どもでも答えられるような、基本的な質問に失敗しない質疑応答AIの実現はまだまだ遠そうだ。しかし、MacawがGPT-3と同程度の成功を、はるかに少ないデータ量の処理で達成していることにも注目したいと思う。エチオーニ氏は、これはGPT-3に取って代わろうとするものではなく、世界中で行われている言語の生成と理解に関する研究の新たな一歩であることを明言した。

彼は「GPT-3はすばらしいものですが、1年半前にローンチしたばかりで、アクセスも限られています」という。GPT-3が示す能力はすばらしいものの「しかし、私たちは、より少ない資源でより多くのことができることを学んでいます。たとえば1750億個のパラメータが必要となるようなものでも、私たちならおそらく100億個のパラメータでできるでしょう」とエチオーニ氏は語る。

優れた質疑応答AIは、パーティーの余興に役立つだけでなく、音声による検索などで中心的な役割を果たす。簡単な質問に外部と通信することなくすばやく正確に答えられるローカルモデルは、基本的に価値がある。たとえばAmazon Echo（アマゾン・エコー）自身がGPT-3を実行することはまずないだろう、それは、スーパーに行くために大型トレーラーを買うようなものだ。大規模なモデルはこの先も有益だが、今後はよりコンパクトなモデルが使われるようになるだろう。

ここでは示されていないものの、AI2チームによって積極的に追求されているMacawの機能の1つが、その答を説明させることだ。なぜMacawはヘビに足があると思っているのか？それが説明できないと、どこでモデルが間違ったのかがわからなくなってしまう。しかし、エチオーニ氏は、これはそれ自体が興味深く難しいプロセスであるという。

「説明の問題点は、本当に誤解を招く可能性があることです」と彼はいう。彼は、Netflixが視聴者に番組を推薦した理由を「説明」している例を挙げたが、それは複雑な統計モデルに関係した動作理由の説明ではない。人は機械に関係する説明を聞きたいのではなく、自分の心に関係する説明を聞きたいのだ。

エチオーニ氏は「私たちのチームは、こうした『誠実な説明』を開発しています」と語り、今回いくつかの研究成果を発表したものの、まだ一般に公開できる状態ではないと述べた。

しかし、AI2が開発しているほとんどのものと同様に、Macawもオープンソースだ。気になる人は、ここにコードがあるので、是非とことん遊んで欲しい。

画像クレジット：Andrii Shyp / Getty Images

［原文へ］

（文：Devin Coldewey、翻訳：sako）