AIプログラミング

青空文庫の三国志から類似語を抽出してみる

更新日:

青空文庫の三国志から類似語を抽出してみる

word2vecを使用することで単語をベクトルにしたり、類似度を判定することが可能となります。

実際に青空文庫の三国志からデータをダウンロードして類似語を抽出してみます。

事前準備

青空文庫の三国志のデータを分かち書き形式に変更する必要があるので、以下の手順にて分かち書きのデータに変換します。

分かち書きを行ったファイルは"wakachi_text.txt"という名前で保存されているので、ファイルを読み込んでいきます。

ソースコード

word2vecでの解析が終了しました。これにより類似語を抽出することが出来ます。また解析したデータは'wakachi.model'というファイル名で保存されるため以降は解析する必要がありません。
類似しているような、していないような何ともいえないような結果となりましたが、雰囲気は伝わったかと思います。類似語を調査することにより、次にくる文章を事前に類推したりすることが出来ます。精度を高めるためには、もっと大量の文章の投入が必要となるため興味がある方はいろいろな文章で試してください。

 

-AIプログラミング
-,

Copyright© AI人工知能テクノロジー , 2019 All Rights Reserved.