What’s LangSmith

https://www.langchain.com/langsmith LangSmith is an all-in-one developer platform for every step of the LLM-powered application lifecycle, whether you’re building with LangChain or not.
Debug, collaborate, test, and monitor your LLM applications.

プラットフォームなので SaaS で LLM 使うアプリのライフサイクルとかデバッグとかモニタができる

Overall

FastAPI + LangChain でまず作ってみてそっから計測

QuickStart

フェデレーション可能なのでとりあえず GitHub アカウントを使って登録

実際は LangChain App に SDK 組み込む感じぽい 適当に LangChain アプリを作ってみるところから始める

ツールインストール

pip install langchain-cli
pip install streamlit

サンプルコード

import streamlit as st
from langchain import OpenAI, PromptTemplate, LLMChain

# OpenAIのAPIキーを設定
openai_api_key = st.text_input("OpenAI API Key", type="password")

# プロンプトテンプレートを定義
prompt_template = PromptTemplate(
    input_variables=["topic"],
    template="Write a short paragraph about {topic}",
)


# LLMチェーンを作成
llm = OpenAI(temperature=0.9, openai_api_key=openai_api_key)
chain = LLMChain(llm=llm, prompt=prompt_template)


# ユーザーインターフェースを作成
st.title("Text Generation App")
topic = st.text_input("Topic", "AI")


if st.button("Generate"):
    try:
        output = chain.run(topic)
        st.write(output)
    except Exception as e:
        st.error(str(e))

実行

streamlit run main.py