hawksnowlog

huggingface からダウンロードしたモデルが保存されるパス 概要 環境 パス 最後に 概要 いつも忘れるのでメモ 環境 macOS 15.2 transformers 4.47.0 パス 例えば ...

faiss を使って文章の類似度計算をしてみる 概要 環境 コード全体 最後に 参考サイト 概要 前回 文章を数値化し faiss にデータを保存しました 今回は実際に faiss に検索をかけて文章の類似度を計...

faiss に数値化したデータを保存する方法 概要 環境 コード全体 最後に 参考サイト 概要 前回 文章を数値化し faiss に保存可能なベクトル情報を計算しました 今回は faiss にベクトル情報を保存す...

faiss を使うための準備として文章を数値化する方法 概要 環境 コード全体 説明 average_pool 関数について 最後の変換について 最後に 参考サイト 概要 前回 transformers...

transformers の BertJapaneseTokenizer を使って日本語をトークナイズする基本 概要 環境 準備 サンプルコード 複数の文章を与える 最後に 参考サイト 概要 過去 に trans...

Transformers + Keras で Fine Tuning してみる 概要 環境 インストール サンプルコード トラブルシューティング 最後に 参考サイト 概要 とりあえず Fine Tuning できるかど...

Transformers で LLM を使って日本語の文章を簡単に解析する方法 概要 環境 インストール マスク文字の予測 文章のネガポジ判定 文章生成 トラブルシューティング モデルの保存場所 最後に 参考サイト...