ChatGPTを試してみました

情報学教育研究会 Webコラム 代表blog 情報学教育研究会 代表 横山成彦 コラム

みなさん,こんにちは。

いま,チャット形式による対話型のAI「ChatGPT」が話題になっています。昨年には画像生成AIが話題になるなど,AIはここのところのトレンドのようです。

さて,このChatGPTですが,どのくらいの「賢さ」を持つのか,無料で利用できるGPT-3.5を使って,実際に試してみました。

試してみるにあたって,ChatGPTに小説を書かせて見るといった創作をさせるのも面白そうですが,実はそれが創作ではなく,複数の小説を安易に合体させたものであったり,海外の作品を単に翻訳したものなど,判断がつきづらいため,今回は答えが分かっていることについて,ChatGPTにインタビュー形式で尋ね,その回答の正否で判断することにしました。

戦後に活躍した実在する歌手のプロフィールを訊ねたパターン

めずらしい苗字を芸名にされている方でしたが,ChatGPTはその苗字のルビを誤って認識していました。そして活躍された時期も戦後ではなく戦前。286文字で示されたプロフィールの内容はまるで別人のように異なります。

そこで,プロフィールが全く違うとChatGPTに問うたところ,「回答が不正確」だったと陳謝するも,再度の回答は「実在しない架空の人物」となってしまいました。

歴史上の出来事をあえて少し誤字を加えて訊ねたパターン

歴史上の出来事の名称のうち,1文字をあえて間違い,実在しない出来事にして訊ねてみました。

すると,名称は間違えたままにもかかわらず,正確な歴史上の出来事の内容を回答してきました。その後,名称を間違ってないかと問うたところ,正しい名称を回答しました。

表計算ソフトウェアの関数式を訊ねたパターン

ある条件式を日本語の文章の内容を実現する表計算ソフトウェアの関数式を訊ねてみました。

IF関数相当の内容であれば,問題なく正しい回答をしました。

歌詞を訊ねたパターン

21世紀になってから発表された歌のタイトルから,歌詞を訊ねてみました。

すると,見覚えのない,初見の歌詞を回答しました。何曲か試してみましたが,どの歌も初見の歌詞になりました。

もしかすると著作権の観点からそのような対応になっているのかと思い,すでに著作権の保護期間が終了した歌の歌詞を訊ねてみました。

すると,見覚えのある歌詞が画面上に出てき……たものの,途中から初見の歌詞に変わりました。

総評

回答する内容については,不正確な内容が散見されるため,回答する情報の信ぴょう性については,検証の必要があります。しかし,日本語を使ったやり取りについては不自然さはまったく感じられませんでした。今後,客観的に正しい,より洗練されたデータをたくさん学習していくことによって,信頼性の高いAIになっていくのであろうと期待させるものでした。

シンギュラリティを迎えるのが2045年と言われていましたが,その後,どんどん早まり,遠い将来からそう遠くない将来へと近づいています。そのことを今回の検証で実感することができました。