AAC社GPB対応LLM
1 AAC社GPB対応条件
弊社GPBの弊社内検証プログラムはAACGPBと呼んでいます。
上記システム概要を満たすには以下の条件が必要です。
(1) APIが提供されていること。
(2) 社内情報等の学習データがオンプレ又はクラウドに置
けること。
(3) 社内情報等を優先してLLMも参考にして最適回答の生
成が出来ること。
2 GPB対応LLMリスト(この部分は逐次更新とします)
これまでに弊社生成AI検証プログラム(AACGPB)が対応した生
成AI会社は以下の通りです。
開発元(2025/12/10現在、随時更新中、最新状況はお問合せ下さい)
(1) OpenAI/GPT
(2) Google/Gemini
(3) IBM/Granite
(4) Meta/Llama
(5) Anthropic/Claude
(6) Mistral/Mistral
(7) Amazon/Titan
(8) Cohere/CommandR
(9) MicroSoft/Phi
(10) Fugaku/Fugaku
(11) Preffered/Plamo
(12) A社
(13) D社
3 検証方法
2023年6月 学習データ作成(先ずは製造業から)
架空の製造業を想定し、自動車事業部(量産品)と航空事業
部(一品物個別受注生産)を設け、自動車事業部内で検証し
て航空事業部に横展開するシナリオを作成しました。
作成した学習データは以下の通りです。
拡張子は6種類で同じファイル種類でも拡張子を変えたので
8ファイルとしました。
(1) PLM情報(csv)
(2) 品質記録(txt)
(3) ノウハウ情報(txt)
(4) AAC生成AIナレッジシステム概説書(pdf)
(5) 品質記録(docx)
(6) 設計課題一覧(xlsx)
(7) 朝忠工業向け提案書(pptx)
(8) 問合せ対応履歴(txt)
2023年7月 検証項目作成及び検証
OpenAI/GPT3.5に対応した時に320を超える検証項目を
作成して検証しました。回答精度が94%前後になったので、
それ以降は全て同じ検証方法をしています。
検証項目を大分類すると以下の通りです。
(1) 学習データ内で基本的な質問(答えが一意になる質問)
(2) 学習データ内で応用1の質問(学習は1ファイル内)
(3) 学習データ内で応用2の質問(学習は2ファイル以上)
(4) 学習データ内で応用3の質問(学習は異なる拡張子)
(5) 学習させていない回答を得る為の質問
各学習ファイルの内容を想定した”質問”と”期待する回答”
を320以上の検証項目として作成して、1項目ずつ検証しま
した。
検証作業はChatGPTでも行い、学習データが外に漏れてい
ないことも確認しました。
また項目によっては他のリリースされたインターネット版生成
AIについても検証しました。
その後、お客様へのデモで戴いたGPBへの質問と回答も記
録するようにしました。
4 検証結果
弊社検証プログラム(AACGPB)は、上記製品やLLMバージョン
をチェックボックスで選べるようにしてあり、選択したLLMバージ
ョンの回答が横並びで見れるようにしました。
個別製品やLLMバージョンの検証結果は公開出来ませんが、
検証結果一覧表に記録したり、画面を保存したりしているので、
ご希望がございましたら、弊社問合せメール又は弊社メンバー
に個別にお問合せ下さい。
以上です。
