state managing intelligent

Making State Management Intelligent by David Khourshid - Video recording - GitNation

• 컨퍼런스의 영상이 무료로 공개되는데 시간이 걸린다는 사실을 모르고 자료나 시연을 가져오는걸 깜빡했다.

Ai-sdk : VERCEL에서 제공하는 OPENAI 사용 편하게 해주는 훅 제공

• 이걸 왜 몰랐지?

Introducing the Vercel AI SDK: npm i ai – Vercel

npm install ai

• 패키지 매니저로 편리하게 이용 가능하다.

import { OpenAIStream, StreamingTextResponse } from 'ai'
import { Configuration, OpenAIApi } from 'openai-edge'

// Create an OpenAI API client (that's edge friendly!)
const config = new Configuration({
  apiKey: process.env.OPENAI_API_KEY
})
const openai = new OpenAIApi(config)
 
// IMPORTANT! Set the runtime to edge
export const runtime = 'edge'
 
export async function POST(req: Request) {
  // Extract the `messages` from the body of the request
  const { messages } = await req.json()
 
  // Ask OpenAI for a streaming chat completion given the prompt
  const response = await openai.createChatCompletion({
    model: 'gpt-3.5-turbo',
    stream: true,
    messages
  })
  // Convert the response into a friendly text-stream
  const stream = OpenAIStream(response)
  // Respond with the stream
  return new StreamingTextResponse(stream)
}

• hook 과 같이 간편하게 호출해 사용 역시 가능하다.

'use client'

import { useChat } from 'ai/react'

export default function Chat() {
  const { messages, input, handleInputChange, handleSubmit } = useChat()

  return (
    <div>
      {messages.map(m => (
        <div key={m.id}>
          {m.role}: {m.content}
        </div>
      ))}

      <form onSubmit={handleSubmit}>
        <label>
          Say something...
          <input
            value={input}
            onChange={handleInputChange}
          />
        </label>
      </form>
    </div>
  )
}

• 앞서 소개한 Vercel 의 AI SDK처럼, 프론트 단에서 LLM 모델의 도입을 쉽게 도와주는 SDK들이 출시되고 있다.
• 그러나 많이 개선되었다고 해도 LLM 특유의 할루시네이션 현상 때문에, LLM을 서비스에 도입하기에는 안정성 문제로 꺼려진다.
• LLM의 창의성과 안정성 모두를 잡을 수 있는 방법은 없을까?

State machine

상태 기계 (State machine) - MDN Web Docs 용어 사전: 웹 용어 정의 | MDN