記事を検索

OPENAI_API_KEY="あなたのAPIキー"

tsc --init

// .envの読み込み
require("dotenv").config();

// PDFローダー
import { PDFLoader } from "langchain/document_loaders/fs/pdf";
// テキスト分割
import { RecursiveCharacterTextSplitter } from "langchain/text_splitter";
// 埋め込み
import { OpenAIEmbeddings } from "langchain/embeddings/openai";
// ベクトル検索エンジン
import { HNSWLib } from "langchain/vectorstores/hnswlib";

// サンプル用の関数
export const save_data = async () => {
  // ✅ドキュメントの読み込み
	const loader = new PDFLoader("document_Conan.pdf");

  // ✅PDFファイルを500文字ごとに分割
	const textSplitter = new RecursiveCharacterTextSplitter({ chunkSize: 500 });
  const docs = await loader.loadAndSplit(textSplitter);

  // ✅ドキュメントをベクトル化
  const vectorStore = await HNSWLib.fromDocuments( docs, new OpenAIEmbeddings() );

  // ✅ベクターストアに保存
  await vectorStore.save("MyData");    // MyDataフォルダ
};

save_data();

  // ✅ドキュメントの読み込み
	const loader = new PDFLoader("document_Conan.pdf");

  // ✅PDFファイルを500文字ごとに分割
	const textSplitter = new RecursiveCharacterTextSplitter({ chunkSize: 500 });
  const docs = await loader.loadAndSplit(textSplitter);

  // ✅ドキュメントをベクトル化
  const vectorStore = await HNSWLib.fromDocuments( docs, new OpenAIEmbeddings() );

  // ✅ベクターストアに保存
  await vectorStore.save("MyData");    // MyDataフォルダ

tsc

node make_index.js

// .envの読み込み
require("dotenv").config();

// モデル
import { OpenAI } from "@langchain/openai";
// 埋め込み
import { OpenAIEmbeddings } from "@langchain/openai";
// ベクトル検索エンジン
import { HNSWLib } from "@langchain/community/vectorstores/hnswlib";
// チェーン
import { RetrievalQAChain } from "langchain/chains";

// サンプル用の関数
export const runLlm = async () => {  
  // ✅作成済みのベクターストアを読み込む
  const vectorStore = await HNSWLib.load(
    "MyData",    // MyDataフォルダ
    new OpenAIEmbeddings()
  );

  // ✅モデル
  const model = new OpenAI({});   // OpenAIモデル
  // ✅チェーン
  const chain = RetrievalQAChain.fromLLM(model, vectorStore.asRetriever());
  // ✅質問する
  const res = await chain.invoke({
    query: "ピンガはどんなキャラクターですか？",
  });
  
  console.log({ res });
};

runLlm();

  // ✅作成済みのベクターストアを読み込む
  const vectorStore = await HNSWLib.load(
    "MyData",    // MyDataフォルダ
    new OpenAIEmbeddings()
  );

  // ✅モデル
  const model = new OpenAI({});   // OpenAIモデル

  // ✅チェーン
  const chain = RetrievalQAChain.fromLLM(model, vectorStore.asRetriever());

  // ✅質問する
  const res = await chain.invoke({
    query: "ピンガはどんなキャラクターですか？",
  });

tsc

node query.js