KO ▾
API 키 받기

개발자를 위한 OpenAI 대체제: 키 및 SDK 설정

무검열 OpenAI API 대체재

개발자를 위한 openai 대체제는 최대 한 오후가 걸려야지 리팩토링이 아니어야 합니다. 이 제품은 표준 OpenAI SDK와 호환됩니다: Base URL을 변경하고 새 키를 붙여넣은 후 uncensored 모델을 호출하면 됩니다.

업데이트됨

개발자를 위한 Base URL 변경을 설명하는 단일 큐브에 빛나는 케이블로 연결된 터미널

주요 포인트

제로에서 작동하는 호출까지 5단계

오늘 테스트할 수 있는 openai 대체제를 원한다면 이것이 전체 경로입니다. 약 10분이 소요됩니다.

  1. Google 또는 이메일과 비밀번호로 계정을 생성하세요.
  2. API 키 페이지를 열고 체험 크레딧을 청구하는 버튼을 누르세요. 카드 없이 $0.50를 받으며, 7일 동안 유효하고 인원당 1회입니다.
  3. 키를 복사하세요. 비밀번호처럼 취급하고 git에서 제외하세요.
  4. SDK 또는 클라이언트에서 Base URL을 https://api.openaiapialternative.com/v1로 설정하세요.
  5. 모델을 uncensored로 설정하여 요청을 보내세요.

메시지 형식, 스트리밍 및 도구 호출을 포함한 모든 것은 이미 사용하는 OpenAI 채팅 완성 형식과 동일합니다. 서비스는 POST /v1/chat/completions 및 GET /v1/models을 노출합니다. 더 이상 없으므로 배울 것이 거의 없습니다.

공식 SDK를 사용한 Python

pip install openai로 패키지를 설치하세요. 클라이언트는 Base URL과 키를 생성자 인수로 받으므로 전역 상태가 변경되지 않으며 동일한 프로세스에서 다른 공급자를 위한 두 번째 클라이언트를 유지할 수 있습니다.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.openaiapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "Answer briefly and directly."},
        {"role": "user", "content": "List three edge cases for a date parser."},
    ],
    max_tokens=300,
)
print(resp.choices[0].message.content)
print(resp.usage)

max_tokens은 선택 사항입니다. 지정하지 않으면 완료는 100,000토큰 컨텍스트 창에 남은 모든 것을 사용할 수 있으므로 예측 가능한 비용을 위해 제한을 설정하세요.

채팅 모델은 자체 기억이 없습니다. 각 요청에는 모델이 볼 대화 이력을 포함해야 하므로, 다중 턴 어시스턴트는 계속 추가하는 목록으로 구현됩니다:

from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapialternative.com/v1", api_key="YOUR_KEY")
history = [{"role": "system", "content": "You are a patient pair-programming partner."}]

while True:
    user = input("you> ")
    if not user:
        break
    history.append({"role": "user", "content": user})
    r = client.chat.completions.create(model="uncensored", messages=history)
    answer = r.choices[0].message.content
    history.append({"role": "assistant", "content": answer})
    print(answer)

입력 토큰은 턴이 거듭될수록 증가합니다. 전체 목록이 매번 전송되기 때문입니다. 100,000개의 토큰 컨텍스트 창이 있으므로 여유가 있지만, 매번 호출할 때 대화 이력에 대해 비용을 지불하므로 목록이 길어지면 이전 턴을 삭제하거나 요약해야 합니다.

Node 및 curl

Node SDK는 동일한 패턴을 따릅니다. npm install openai로 설치하고 baseURL을 전달하세요.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.openaiapialternative.com/v1",
  apiKey: process.env.UNCENSORED_API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a haiku about stack traces." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

터미널에서 빠르게 확인하려면 모델을 나열하세요. ID가 uncensored인 항목이 하나 표시되어야 합니다.

# expect one entry with id "uncensored"
curl https://api.openaiapialternative.com/v1/models \
  -H "Authorization: Bearer $UNCENSORED_API_KEY"

스트리밍 요청은 스트리밍이 끝날 때까지 동시 요청 슬롯 중 하나를 점유합니다. 클라이언트가 연결을 닫지 않고 스트리밍을 중단하는 경우 이는 중요합니다. 사용자가 다른 페이지로 이동하면 직접 연결을 닫으세요.

편집기, 에이전트 및 기타 클라이언트

많은 개발자 도구는 OpenAI 기본 URL을 재정의할 수 있습니다. Cursor와 같은 편집기에는 사용자 지정 OpenAI 호환 기본 URL과 키를 입력할 수 있는 모델 설정 화면이 있으며, SillyTavern과 같은 채팅 프론트 엔드는 사용자 지정 OpenAI 호환 엔드포인트를 추가할 수 있습니다. 레이블과 메뉴 위치는 버전마다 다르므로 "Override OpenAI base URL" 또는 "Custom endpoint"와 같은 이름의 필드를 찾으세요.

도구에 관계없이 다음 세 가지 값이 필요합니다:

필드내용
기본 URLhttps://api.openaiapialternative.com/v1
API 키계정의 키
모델 이름uncensored

도구가 알려진 모델 이름 목록을 요구하는 경우 uncensored를 사용자 정의 모델로 추가하세요. 도구가 자동으로 /v1를 붙이는 경우 접미사 없이 주소를 제공해야 합니다. 그렇지 않으면 경로가 중복되어 404 오류가 발생합니다.

도구 호출 및 JSON 모드

구조화된 출력은 대체 API 제공업체에서 보통 실패하는 부분입니다. 따라서 조기에 테스트해야 합니다. 두 기능 모두 OpenAI 형식을 사용합니다. JSON 모드의 경우 response_format을 설정하고 프롬프트에 JSON을 명시하세요.

import json
from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapialternative.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply with a JSON object with keys title and tags."},
        {"role": "user", "content": "Describe a short story about a lost lighthouse keeper."},
    ],
)
data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])

도구를 사용하려면 함수 스키마가 있는 tools 목록을 전달하고, 응답에서 tool_calls을 읽은 후 함수를 직접 실행하여 결과를 role: "tool" 메시지로 보내세요. 스트리밍 응답은 tool_calls을 조각으로 제공하므로, 구문 분석하기 전에 인자 문자열을 누적하세요.

어떤 공급자를 사용하든 모델은 여전히 때때로 잘못 구성된 JSON을 반환할 수 있습니다. 파싱을 try 블록으로 감싸고 오류 메시지를 대화에 추가하여 한 번 다시 시도하세요.

시드도 전달되므로, 고정된 temperature와 함께 seed을 설정하면 동일한 입력에서 프롬프트 변경 사항을 비교할 수 있는 방법을 얻을 수 있습니다. 모든 실행에서 바이트 단위로 동일한 출력을 기대하지 마세요. 하지만 차이가 많이 줄어듭니다.

제한, 429 처리 및 비용 제어

전체 키는 동시 요청 8개와 분당 300개의 요청을 허용합니다. 체험 키는 각각 2개와 60개를 허용합니다. 본문 크기는 최대 8 MB까지 가능합니다. 각 응답에는 X-RateLimit-Limit-Requests 및 X-RateLimit-Limit-Concurrency, 그리고 남은 크레딧을 알려주는 X-Balance-USD 헤더가 포함됩니다.

한도를 초과하면 HTTP 429가 반환됩니다. 오류 코드는 어떤 한도에 도달했는지 알려줍니다. rate_limited은 분당 요청 수가 많음을, concurrency은 동시 요청 수가 많음을 의미합니다. 일시적인 과부하도 429를 반환하며, Retry-After: 5 헤더가 포함됩니다. OpenAI SDK는 기본적으로 백오프와 함께 429 응답을 재시도하며, 클라이언트에서 max_retries로 재시도 횟수를 늘릴 수 있습니다. 배치 작업의 경우, 8개의 세마포어를 사용하면 동시성 한도 내에 머무를 수 있습니다.

예산 책정을 위해서는 가격을 기준으로 계산하세요: 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50입니다. 4M 입력 토큰을 보내고 1M 출력 토큰을 받는 작업의 비용은 4 x $0.15 + 1 x $0.50 = $1.10입니다. 실패하거나 거부된 요청에는 요금이 부과되지 않습니다. 가격 책정 페이지에는 충전 금액과 보너스가 나열되어 있습니다.

SDK가 재시도를 처리하지 않는다면 짧은 재시도 래퍼면 충분합니다. Retry-After이 있으면 읽고, 없으면 지수 지연을 사용하며, 몇 번 시도 후 포기하세요. 429나 서버 오류가 아닌 오류에는 재시도하지 마세요. 잘못된 요청은 매번 동일한 방식으로 실패할 것입니다.

첫날에 한 시간을 소비하는 실수

대부분의 첫 번째 호출 실패는 짧은 원인 목록에서 비롯됩니다. 서비스를 의심하기 전에 이를 확인하세요.

  • 경로가 두 번 중복됩니다. Base URL은 이미 /v1로 끝납니다. 중복해서 추가하지 마시고, /chat/completions을 Base URL 없이 호출하지 마세요.
  • 잘못된 모델 이름입니다. 기존 코드에는 종종 벤더 모델 이름이 포함되어 있습니다. 이를 uncensored로 교체하지 않으면 호출이 어떤 엔드포인트에도 매칭되지 않습니다.
  • 공백이 있는 키. 웹 페이지나 터미널에서 복사한 키에는 종종 후행 개행 문자가 포함됩니다. 이를 제거하세요.
  • 생산 환경의 동시성으로 체험 키 테스트 체험 키는 동시 2개 요청과 분당 60개 요청만 허용하므로, 20개의 스레드로 부하 테스트를 하면 거의 즉시 concurrency 코드와 함께 429가 반환됩니다.
  • 다른 엔드포인트 기대. 이미지, 오디오, 임베딩 호출은 서비스에 포함되지 않습니다.

두 번째 범주는 설정이 아닌 동작입니다. 거절 없이 설정된 모델은 예상보다 더 직설적으로 이상한 지시를 따릅니다. 답변이 원하지 않는 방향으로 흐르면 온도를 낮추기보다 시스템 프롬프트를 조정하세요. 출력이 반복되는 경우 temperature을 약간 높이거나 빈도 패널티를 추가하세요. 둘 다 요청에 전달됩니다.

초기에 채택할 마지막 습관: 놀라움을 주는 모든 호출의 정확한 요청 본문을 저장하세요. 지원 페이지에서 팀에 도움을 요청할 때, 요청 ID와 해당 본문은 완전한 버그 보고서입니다.

출시 전

  • 키를 서버에 유지하세요. 브라우저 번들이나 모바일 앱에 절대 포함하지 마세요.
  • 각 호출에 X-Request-Id 헤더를 로그에 기록하세요. 그러면 지원 문의가 답변 가능해집니다.
  • 최종 사용자가 자유롭게 입력할 수 있는 경우 자체 입력 및 출력 필터링을 추가하세요. 모델은 거절하지 않으므로 콘텐츠 중재 기준은 사용자가 정의해야 합니다.
  • 구성에 대체 공급자를 유지하세요. 전환은 Base URL 변경이므로 기능 플래그면 충분합니다.
  • 범위를 기억하세요: 텍스트 전용, 임베딩 없음, 이미지 없음, 파인튜닝 없음.

문서에는 전체 매개변수 목록이 있습니다. 이상하게 동작하는 것이 있으면 지원 페이지에서 팀에 연락하는 방법을 알려줍니다.

질문과 답변

어떤 SDK가 지원되나요?

기본 URL과 키를 설정할 수 있는 모든 OpenAI SDK 또는 클라이언트를 사용할 수 있습니다. 공식 Python 및 Node 라이브러리가 작동하며, curl을 사용한 일반 HTTP 호출도 가능합니다.

시도해 보려면 카드가 필요한가요?

아니요. $0.50 무료 체험 크레딧은 가입 후 API 키 페이지에서 한 번의 클릭으로 청구할 수 있으며 카드가 필요하지 않습니다. 유효 기간은 7일이며, 인원당 1회 한도입니다.

모델 이름은 무엇인가요?

모델 ID는 uncensored입니다. GET /v1/models를 호출하여 자신의 키로 이를 확인하세요.

요청의 최대 크기는 얼마인가요?

프롬프트와 완성을 합한 컨텍스트 창은 100,000 토큰이며, 최대 요청 본문 크기는 8 MB입니다.

키를 받기 위해 양식을 하나만 작성하면 됩니다

계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.

API 키 받기문서 읽기