2024/07/12

洋食器の日(日本金属洋食器工業組合)。
7月12日(712、ナイフ)だから、だそうです。
じゃフォーク(4月9日)はどうなる、スプーン(5月20日)の立場は?、となりますけど大丈夫なんでしょうか。

数日前、警察庁が生成AIを試験的に使用、という記事を読みました。オフラインで。そうなるとLLMを買うかフリーをDLして使うんでしょう。適用業務は各種の仕様書や各方面に提出する資料の作成・添削、ユーザ数は50人以下か。ローカルLLMって素では精度そんなに良くない。突然おかしなこと言いだすしねww。
『日本企業が開発したLLM8選』から抜粋。
https://aismiley.co.jp/ai_news/what-is-llm-in-japan/
この辺から選ぶことになるのかもしれません。
・NTT「tsuzumi」
・株式会社サイバーエージェント「CyberAgentLM」
・ストックマーク株式会社「Stockmark-13b」
・東京大学松尾研究室「Weblab-10B」
・Stability AI Japan「Japanese StableLM Alpha」
・PFN「PLaMo」
・rinna「Japanese Stable Diffusion」
・オルツ社「LHTM-2」

警察庁は性能比較用のデータを準備して各LLMを試してみるんでしょう。誤字脱字とか論理展開における因果律とか。指標の主な括りを列挙。
・matching-based
・human-based
・generative-based
この中で最も新しいのはgenerative-based。GPT-4とかにローカルLLMを評価させるとすると外部にデータを出さなきゃならない。出していいデータにするかローカルLLM同士をクロスで評価させることになるのか。生成AIの被評価用のWEB APIってどこかで実装済みなんかね。知らんけど。