[LLM] ChatGPTより賢い無料のAI Chat - Snowflake "Arctic" [Open AI Chat] (4/27)

いくつも乱立しているLLM(Large Language Models - 大規模言語モデル) だが、

「無料」で「Open」な「AI Chat」というユーザインターフェースを用意しているこちらは、高パフォーマンス・低コストで日本語対応やオープンソース準拠でChatGPTより賢いらしい。

◆ 実際のChatの入り口は2か所

Streamlit Community Cloud によるArctic AI Chatはこちら。

Snowflake Arctic · Streamlit

Hugging Face Space (Streamlit)によるChatはこちら。

Snowflake Arctic St Demo - a Hugging Face Space by Snowflake

Streamlitの方

(一回Steamlit Homeに飛ばされてからArcticに入るので、1回の戻る、では戻れない)

◆ 日本語記事

Snowflake Arctic - エンタープライズAI向けLLM

無料で商用利用可能なSQL生成・コーディング・命令フォローなどのエンタープライズタスクに最適化された大規模言語モデル「Snowflake Arctic」が登場 - GIGAZINE

Open AI社のChatGPTより「オープンな」プロプライエタリで、商用利用無料(自分のサーバ環境にLLMを構築して、自分で学習させるという意味で)なので、ソース一式オープンで、かつデモページでは確かにコーディングに関して賢かった。

Streamlit(簡単Webアプリフレームワーク)アカウントも作った。

上記の２つのサイトの日本語を比べてほしい。

比較的よくできている気が(人間による推敲は入っているとは思うが)する。

言語を英語に変えて和訳させてみてどうだか判定しても良い。

エンタープライズ向けというのは、企業に使用目的をアンケート取ったところ、いくつか傾向があってそれに適しているLLMだという事。

そして「オープン」は、Apache 2.0ライセンスだという事。

「プロプライエタリ」は、Arcticのソースの管理はSnowflake社だという事。

Open AI社よりもオープンだよねｗ

このままソースも公開し続けて、その上でSnowflake社のサーバリソースを利用させる事で料金を決めていって欲しいな。

◆ メリット

もちろん、Snowflake社のモデルは、専門家による学習を行ない、洗練されている。

そのため、主に企業の要望が高い分野に高い性能を示し、それによって計算量(電気代)も少なくて済む。

なので、Snowflake社サーバで実行しているLLMは「プログラム作成」に向いている。

自前でサーバ建ててもいい(企業秘密が漏れない)が、学習はどうするのという問題から解放されるための使用料金だろうな～

いくらになるかな。

別口のソースに分岐したり、ソース非公開になったりしなければそれでいい。

◆ イベント

6月3日までは、Snowflakeのサーバを利用して1日制限はあるが、自分でStreamlitによるサーバアクセスでビルドできる。

サンプルビルドとしてStreamlitによるWebアプリの例が用意されている。

もちろん、ChatもありAIとの掛け合いも確かめられる。

◆ 実際のところ

Google ColaboにそれぞれのAI(Hangging Faceの方)が作成したPythonプログラムを投げて確認したら、Arcticのほうが優秀だった(ChatGPT 3.5比較)。

もちろん、ChatGPT-4以上なら違ってくるのかもしれない。

他の「学習コストがオープンになっている」LLMとの比較では、Arcticがだいぶ上なので、学習コスト非公開のChatGPTはどうだろう～

Hangging FaceとStreamlit Community Cloudどちらも実行環境を提供する企業だが、両方でデモを試せるという事は、専門家による学習データも同じなのかな。それとも実質どちらか一方なのか。

◆ Pythonプログラムを指示するプロンプト

「csvファイルを読み込んで、第1カラムの内容が同じ行の、第2カラムの内容を数字に変換して合計する」

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

※Google Colabなので、Google ドライブに置いたcsvファイルは以下のような内容になっている(これはプロンプトでは与えていない)。

商品名,商品数

りんご,121

りんご,98

みかん,32

すいか,49

みかん,21

りんご,34

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

ChatGPT 3.5では、最初のリストを分解するところでエラー、プロンプト修正やcsv1行目削除してもエラー。

Arcticでは、表示は第1カラム目だけで実行は可能。分解するところまではうまくいってて、ソースの合計するところを直接修正する目安が立つだけ優秀(プロンプトだけで完全出力させるまではいかない)。

ChatGPT-4が統合されたBingであるCopilotは、ん～使い込んでないからなのか、"第1カラム"という名前のキーで処理しようとしてしまい、まったくダメ。いやChatGPT 3.5より悪化してない？

日本にOpen AIの支社みたいなの出来たら、第1カラムと言ったら第1カラム目の意味なのは、日本語をよく知ってれば判断出来そうなものだけどな～