*******************************************

２０２３年７月２１日　AACGPB LLAMA版の調査開始

　　お客様向けに生成AIエンジンの選択肢を増やす為に、OpenAI以外についても調査開
　　始していました。

　　公開情報の回答精度はこれまでも他の生成AIエンジンの検証もしていますが、OpenAI
　　同等レベルのAACGPB（生成AIナレッジシステムの検証プログラム）の実現性について
　　進めて参ります。

　　先ずは７月１８日に発表され、APIがあると思われるMeta LLAMA調査を開始しました。

　　これまでのAACGPBはOpenAI社のみを進めて参りましたが、今後は常に同じ質問によ
　　る回答精度の比較が出来るように、当面はLLAMA2の情報収集や協力会社推進も進
　　めて参ります。

*******************************************

２０２３年１０月８日　AAC生成AIナレッジシステム（GPB)との適性

　　これまで有力な生成AIエンジンの調査・検証をして参りましたが、ここでGPBにとっての
　　適性について述べさせて戴きます。

　　適性としては回答結果について、以下の評価軸で判断するのが良いと考えます。

　　　　１　回答精度

　　　　２　回答網羅性

　　　　３　回答拡張性

　　　　４　回答最適性

　　　　５　回答性能

以下に、各々について説明させて戴きます。

　　１　精度

　　　　回答精度です。

　　　　質問に対して、社内情報や特定情報等の独自学習データやLLMの公開情報の回
　　　　答の正確性の評価軸です。

　　　　これは高いことが求められますが、低い場合は生成エンジンの向き・不向きの判
　　　　断、学習方法や問合せ方法の改善等が必要と考えられます。

　　２　網羅性

　　　　回答網羅性です。

　　　　質問に対して、学習データをどこまで網羅した回答が得られるかの評価軸です。

　　　　目的とした回答が得られるのは無論ですが、質問の仕方によっては学習データを
　　　　出来るだけ幅広く網羅して欲しいものです。

　　３　拡張性

　　　　回答拡張性です。

　　　　質問に対する回答が学習データ内で納まる場合は学習データ次第になりますが、
　　　　学習データ内に含まれない回答が求められる場合の評価軸です。

　　　　GPBは社内情報や特定情報等の独自学習を前提にしていますが、質問の回答が
　　　　独自学習で足りない場合に公開情報（LLM）への拡張部分も参照して回答する仕組
　　　　でもあります。

　　４　最適性

　　　　回答最適性です。

　　　　欲しい回答が得られるかどうかの評価軸です。

　　　　簡単に申しますと「ここまでの回答を返してくれるのか」と思えるような回答です。

　　５　性能

　　　　回答性能（回答時間）です。

　　　　起動時間や質問してから回答が完了するまでの回答時間の評価軸です。

　　　　上記のような回答内容がある程度良好である前提になりますが、これらの所用時間
　　　　は業務効率に直接影響するので、生成AI業界で最も浸透している、OpenAI社の
　　　　ChatGPTが事実上の基準になると思われます。

　　　　無論、サーバやクライアント等のハードウェアやネットワーク等のITインフラの性能
　　　　にも関係しすますが、利用者にとっては実務での有益性が前提になるので、最適な
　　　　環境を提供することが肝要となります。

　　弊社では、生成AI特集でもご説明させて戴いた生成AIナレッジシステムの生成AIエン
　　ジンとしての必要事項と共に、上記のような評価軸も弊社のお客様への参考情報とし
　　て個別にご提供させて戴きます。