Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

코드 실행 도구 불안정 #2

Open
NeuroWhAI opened this issue May 29, 2024 · 0 comments
Open

코드 실행 도구 불안정 #2

NeuroWhAI opened this issue May 29, 2024 · 0 comments

Comments

@NeuroWhAI
Copy link
Owner

함수 호출 기능에 붙혀놨는데 이게 아무래도 언어모델에게 JSON 형식으로 출력을 강요하다보니 다른 도구들은 괜찮지만 코드 실행 도구의 경우엔 프로그램 코드를 JSON 형식에 맞게 생성해야 하는지라 자주 실패함.
예를 들면...

import math
math.ceil(0.5)

이런 코드를 실행하고 싶을 때 언어모델이 대충 다음과 같이 뱉어야 함.

{
  "code": "import math\nmath.ceil(0.5)"
}

이게 부담이 되는지 OpenAI 쪽에서 500 오류를 주거나 실패한 도구 호출 응답처럼 생긴 텍스트를 줌.

프롬프트를 조작해서 함수 호출 기능 대신 특정 포맷으로 코드를 뱉도록 요청해봤는데 잘 안 됨.
현재 최선은 사용자가 주의해서 언어모델이 파이썬 코드만 일단 뱉게 한 다음 이걸 실행해달라 요청하는 것임.
이러면 레퍼런스로 잡을 코드가 있으니 JSON 포맷으로 생성할 때 오류가 덜 날 듯.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant