はじめに
こんにちは。年イチしかブログ書いていない事に危機感を持ちつつ気付けば毎日が過ぎてしまっているgrnishiです。
忙しいを理由にしたくないと思っているが、思っているだけで行動になかなか移せていないです。
今年こそはがんばるぞと、本当に今年こそはがんばりたいものです。
本題
本日の記事は息抜き的な小ネタです。
昨今のジェネレーティブAIの進化は凄まじいものがあります。次のテクノロジーの波はメタバースではなくジェネレーティブAIだ！なんて声も聞こえてきます。
有名どころではChatGPTがあると思います。
先日、Perplexityというサービスを知りました。対話型検索エンジンで、質問をするとソース付きで回答してくれるという事で実務レベルで使えると話題になっています。
https://www.perplexity.ai/www.perplexity.ai
今回はこれら2つのAIに同じクイズを投げてみて、その正解率を競ってもらいます。どちらが良い結果を出せるでしょうか。
※perplexityが英語/日本語混在しているのはご愛嬌という事で。
まずは定番のベタ問を3問
日本で一番高い山は？
chatGPT
Perplexity
正解は「富士山」 chatGPT、Perplexity共に正解。こういうのは簡単みたいですね。
目黒駅は品川区にありますが、品川駅は何区にあるでしょう？
chatGPT
Perplexity
正解は「港区」 chatGPTは残念ながら不正解。人間もよく間違える問題なので仕方がない！？
火を神聖視することから「拝火教」とも呼ばれる、古代ペルシアを起源とする宗教の名前は何でしょう？
chatGPT
Perplexity
正解は「ゾロアスター教」 両方正解。クイズ好きには定番の問題でした。ちなみにchatGPTは最初間違えてたんですが、キャプチャ用にやり直したら正解になりました。
少し難しめのクイズを3問
常用漢字のうち総画数が一画なのは「一」ともう一つは何でしょう？
chatGPT
Perplexity
正解は「乙」 両方不正解。常用漢字という縛りが難しかったのでしょうか。
オーケストラのチューニングで、基準となる「ラ」の音を出す楽器は何でしょう？
chatGPT
Perplexity
正解は「オーボエ」 chatGPTのヴァイオリンというのはどこから出てきたのでしょうか。
陸上の十種競技で、最初に行われるのは100メートル走ですが、最後に行われるのは何でしょう？
chatGPT
Perplexity
正解は「1500メートル走」 Perplexityは正解ですが、chatGPTは不正解。リレーは無いですね。個人競技ですから。
文学にまつわるクイズを3問
「どっどど どどうど どどうど どどう」という書き出しで始まる、宮沢賢治の童話といえば何でしょう？
chatGPT
Perplexity
正解は「風の又三郎」 これもクイズ業界では定番の問題。そして『金太郎の河童』という作品は見つけられませんでした。
「おい地獄さ行ぐんだで！」という書き出しで始まる、小林多喜二によって書かれたプロレタリア文学の代表的な作品は何でしょう？
chatGPT
Perplexity
正解は「蟹工船」 これもよくある問題です。『労働風景』という作品は検索しましたが出てきませんでした。Perplexityは正解。
「親譲りの無鉄砲で子供の頃から損ばかりしている。」という書き出しで始まる、夏目漱石の文学作品は何でしょう？
chatGPT
Perplexity
正解は「坊っちゃん」 これは両者正解。簡単でしたか。
なぞなぞを3問
パンはパンでも食べられないパンはなーんだ？
chatGPT
Perplexity
正解は「フライパン」 「空気のパン」はたしかに食べられません。たしかに。でも不正解。
タロウの父親には5人の息子がいる。イチロウ、ジロウ、サブロウ、シロウともう1人はだれ？
chatGPT
Perplexity
正解は「タロウ」 chatGPTは想定通りの誤答です。ある意味賢いといえるのかもしれません。
春、夏、秋、冬、1年のうち最も長いのはどれ？
chatGPT
Perplexity
正解は「1年」 chatGPTはなんだか本質的な事を言っていますが根本的に間違っていますね。Perplexityはさすが。
時事問題を3問
2023年、第73回ベルリン国際映画祭コンペ部門への出品される日本のアニメ映画は何でしょう？
chatGPT
Perplexity
正解は「すずめの戸締まり」です。 chatGPTは2021年までのトレーニングデータを使っているようですのでこれは仕方が無い。
日本政府は1月27日新型コロナウイルスの分類を「第5類」に引き下げる方針を決定しましたが、いつからでしょう？
chatGPT
Perplexity
正解は「5月8日」 このPerplexityの回答は正解にして良いものかどうか。クイズの回答としては長すぎますが一応正解といえば正解。
2022年「新語・流行語大賞 年間大賞」に選ばれた、シーズン最多となる56本のホームランを放った野球選手は誰でしょう？
chatGPT
Perplexity
正解は「村上宗隆」 Perplexityの回答は惜しい。「そうりゅう」ではなく「むねたか」です。
結果
結果としてはchatGPTが3問正解。Perplexityが13問正解と圧勝でした。
Perplexityの精度がやばいですね。普通に何か質問してきちんと答えが返ってくると思って良いんじゃないでしょうか。
だからといってchatGPTが劣っているとは思いません。今回はこういう結果でしたが、使い方次第ではもっと適している使い方があるのだと思います。
GoogleのBardが使えるようになったらまたやってみようかな。
