✅LangSmithで何ができるか、どう便利かを理解する。

✅LangSmithの基本的な使い方を理解する。

✅LangSmithは、LangChainの開発の補助にめっちゃ便利。

✅ログを残したり、モデルの評価したりできる。

✅環境変数を設定しておくだけで、自動でLangSmithと連携されて簡単に使える。

代表的なできることを紹介する。

事前にLangChainのAPIキーを環境変数に設定しておくだけで、LLMを実行するとき自動で「LangSmithのクラウドのデータベース」にログが蓄積される！

ログと一緒に消費トークン数も蓄積される！

複雑なチェーンでもどこで精度が悪くなっているか確認できる！

サンプルとなる回答を用意すれば、実行結果を自動で評価してもらえる！

• ログを残したいとき
• カスタマイズしたモデルの評価をするとき
• カスタマイズしたモデルの精度を向上させたいとき

今回使用するものは以下のとおり。

• Python（もしくはTypeScript）

• LangChain
• LangSmith
• tiktoken
• OpenAI（OpenAIのモデルを使わない場合は不要）
• python-dotenv

• LangSmithのAPI
• OpenAIのAPI（OpenAIのモデルを使わない場合は不要）

✅以下のサイトからLangSmithに登録する。

✅以下のサイトからAPIキーを発行する。

✅以下のサイトからAPIキーを発行する。

※OpenAIの以外のLLMを使う場合は、適宜他サービスのAPIキーを用意する。

https://platform.openai.com

✅任意の名前の新規フォルダを作成する。

今回は「env_LangChainTest」というフォルダ名にした。

✅Pythonのライブラリをインストールしていく。

（Python、pipはインストール済みの前提。）

プロジェクトのディレクトリに移動

cd env_LangChainTest

langchainをインストール

pip install langchain

langsmithをインストール

pip install langsmith

openaiをインストール

pip install openai

tiktokenをインストール

pip install tiktoken

python-dotenvをインストール

pip install python-dotenv

✅LangSmithを使うために必要な環境変数を.envに記述する。

プロジェクトディレクトリの直下に.envを作成する。

.env

LANGCHAIN_TRACING_V2 = true
LANGCHAIN_ENDPOINT = "https://api.smith.langchain.com"
LANGCHAIN_API_KEY = "your-api-key"    # LangSmithのAPIキーを入力してください
LANGCHAIN_PROJECT = "sample-project"  # 任意のプロジェクト名を入力してください
OPENAI_API_KEY = "your-api-key"       # OpenAIのAPIキーを入力してください

✅最小限のサンプルコードを作成する。

src/langsmith/min.py（ファイル名、保存場所は任意）

# 環境変数の準備
from dotenv import load_dotenv
load_dotenv()

# インポート
from langchain.chat_models import ChatOpenAI

# ✅質問の実行
llm = ChatOpenAI()
llm.invoke("Appleの創業者は誰ですか？")

# ✅質問の実行
llm = ChatOpenAI()
llm.invoke("Appleの創業者は誰ですか？")

• 「Appleの創業者は誰ですか？」という質問をしているだけ。
• LangSmithに関する処理は一切ないが、ログを自動でLangSmithに出力してくれる✨

以下のコマンドを実行するだけ。

※パス、ファイル名は環境に応じて変える。

python src/langsmith/min.py

✅LangSmithの管理画面で実行結果を確認できる！

まずLangSmithのページを開く。

📎

LangSmith管理画面：https://smith.langchain.com/

Projectsを選択。

「sample-project」を選択。

※プロジェクト名は環境変数LANGCHAIN_PROJECTで指定したもの。

確認したいログを選択する。

Runタブで入力、出力が確認できる。

※今回はシンプルな例だったので細かい実行過程が存在しない。

---

例：Agent（LangChainの機能）を使ったプログラミングを実行した場合

答えが出るまでの詳しい過程を1つずつ確認できる。

💡

間違った回答をされても、どこで間違いが発生しているのか特定できる！

プロジェクト画面で、確認したいログを選択する。

Playgroundを選択

パラメータや質問文を変更して、再実行。

✅まずはサンプルとなる質問と回答を用意する。

サンプルの用意の仕方は主に2種類ある。

• 管理画面で登録（今回はこっち！）
• Pythonプログラムで登録（公式ドキュメントを参照）

プロジェクト画面で、サンプルとして登録したいログを選択する。

Add to Datasetを選択

データセットの名前を入力する

（今回はデータセット名をsample-datasetとする）

Submitを選択

これでデータセット（サンプル）が登録できた😊

サイドバーのDatasets & Testingを選択すると登録したデータセットを確認できる

✅評価用のプログラムを作成する。

src/langsmith/eval.py（ファイル名、保存場所は任意）

# 環境変数の準備
from dotenv import load_dotenv
load_dotenv()

# インポート
from langchain.chat_models import ChatOpenAI
from langchain.smith import run_on_dataset, RunEvalConfig
from langsmith import Client

# データセット名
dataset_name = "sample-dataset"

# LangSmithのクライアント
client = Client()

# LLMを準備
llm = ChatOpenAI(temperature=0)

# 評価の設定
eval_config = RunEvalConfig(
  evaluators=[
    "qa"
  ]
)

# 評価の実行
run_on_dataset(
    dataset_name=dataset_name,
    llm_or_chain_factory=llm,       # LLMのインスタンス
    evaluation=eval_config,         # 評価の設定
    client=client,                  # LangSmithのクライアント
    verbose=True,                   # 実行ログを表示
    project_name="sample-test-1",   # 任意のプロジェクト名
)

プログラムを実行する

※パス、ファイル名は環境に応じて変える。

python src/langsmith/eval.py

✅管理画面で評価結果を確認する。

サイドバーのDatasets & Testing

→ Testsタブ

→ プロジェクト名（今回はsample-test-1）を選択

評価ログを選択

事前に用意したサンプルと、実行結果を確認できる

Feedbackタブで評価結果（Score）を確認できる

※Scoreは1が最高点。