いいかげんLLMとか機械学習とか、聞きかじっただけではまずかろうと思い、「社外秘情報をChatGPTなんかに突っ込むわけにはいかないのでLocalで動かせるLLMが作れないかなー」みたいなノリでちょっと勉強がてら調べてたら、余裕であったしあっさりできた。
https://ollama.com/
- Pythonいれる（要admin）
-
pip install ollma
- 上記サイトからバイナリをインストールして実行（常駐）
インストールして常駐している必要があるのがネックか。
streamlitでWebっぽい画面で質問するとllama3が返してくれるアプリならあっという間にできた。すごい時代や、、、
※実際にはこの前にhuggingface使う方法を試してるので、数時間はかかっている。
(会社で使っている比較的性能の良い)ノートPCだとCPU50-60%、メモリ4GBくらい使う。まあまあ使えそうな印象。
わしの代わりに作文とかしてくれないかなー、ということで、転移学習などについて勉強していきたいところ（できるとは言っていない）