2022-02-02から1日間の記事一覧

日本語をfastText

こちらもまずなぞってみる。 ひとまず、WikiExtractorを git clone https://github.com/attardi/wikiextractor.git で取得し、 cd WikiExtractor/wikiextractor で下のディレクトリに移動。因みに、 WikiExtractor.py の66行目の from .extract import Extra…

Ubuntu 20.04にMySQLインストールが面倒な件

元からsecurity vulnerabilityを突かれてデータ漏洩その他の問題を起こす最大の原因の一つであるためであるのはわかっているものの、ただ普通にSQLデータベースを使いたいユーザにとってはなんだかどんどん使いづらくなっているMySQL。WebやPHPとの連携もし…

日本語 Wikipedia エンティティベクトルの簡易検証

「PyTorchによる発展ディープラーニング」の7-4のスクリプトを実行する際に、東北大学のモデルの代わりに、今回作成したデータを用いてみる。まず、次元と単語数は、 一単語を表現する次元数: 300単語数: 901585 そうか、データが大きくなっているのは次元数…