PL ▾
Pobierz klucz API

Alternatywa dla OpenAI dla deweloperów: konfiguracja klucza i SDK

Alternatywa dla API OpenAI, która działa w trybie plug-and-play, bez cenzury

Alternatywa dla OpenAI dla deweloperów powinna kosztować Cię najwyżej popołudnie, a nie przepisywanie kodu. Ta działa ze standardowymi SDK OpenAI: zmieniasz base URL, wklejasz nowy klucz i wywołujesz model o nazwie uncensored.

Zaktualizowano

Terminal połączony świecącym kablem z pojedynczym sześcianem, ilustrujący zmianę base URL dla deweloperów

Kluczowe punkty

Pięć kroków od zera do działającego wywołania

Jeśli szukasz alternatywy dla OpenAI dla deweloperów, którą możesz przetestować już dziś, to jest cały proces. Zajmuje około dziesięciu minut.

  1. Utwórz konto za pomocą Google lub e-maila i hasła.
  2. Otwórz stronę klucza API i naciśnij przycisk odbierający kredyt próbny. Otrzymujesz $0,50, ważny przez 7 dni, jeden na osobę, bez karty.
  3. Skopiuj klucz. Traktuj go jak hasło i trzymaj z dala od git.
  4. Ustaw base URL na https://api.openaiapialternative.com/v1 w swoim SDK lub kliencie.
  5. Wyślij zapytanie z modelem ustawionym na uncensored.

Wszystko inne, w tym format wiadomości, strumieniowanie i wywołania narzędzi, jest takie samo jak w formacie ukończeń czatu OpenAI, którego już używasz. Usługa udostępnia POST /v1/chat/completions i GET /v1/models. Nic więcej, więc mało trzeba się nauczyć.

Python z oficjalnym SDK

Zainstaluj pakiet za pomocą pip install openai. Klient przyjmuje base URL i klucz jako argumenty konstruktora, więc nie jest modyfikowany stan globalny i możesz utrzymać drugi klient dla innego dostawcy w tym samym procesie.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.openaiapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "Answer briefly and directly."},
        {"role": "user", "content": "List three edge cases for a date parser."},
    ],
    max_tokens=300,
)
print(resp.choices[0].message.content)
print(resp.usage)

max_tokens jest opcjonalny. Jeśli go nie podasz, wygenerowany tekst może wykorzystać to, co zostało z okna 100 000 tokenów, więc ustaw limit, gdy chcesz mieć przewidywalny koszt.

Modele czatu nie mają własnej pamięci. Każde zapytanie musi zawierać historię, którą model ma zobaczyć, więc asystent wieloetapowy to po prostu lista, do której dodajesz elementy:

from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapialternative.com/v1", api_key="YOUR_KEY")
history = [{"role": "system", "content": "You are a patient pair-programming partner."}]

while True:
    user = input("you> ")
    if not user:
        break
    history.append({"role": "user", "content": user})
    r = client.chat.completions.create(model="uncensored", messages=history)
    answer = r.choices[0].message.content
    history.append({"role": "assistant", "content": answer})
    print(answer)

Tokeny wejściowe rosną z każdą turą, ponieważ cała lista jest wysyłana za każdym razem. Przy oknie 100 000 tokenów masz dużo miejsca, ale płacisz za historię przy każdym wywołaniu, więc usuń stare tury lub podsumuj je, gdy lista się wydłuży.

Node i curl

Node SDK działa na tej samej zasadzie. Zainstaluj go za pomocą npm install openai i przekaż baseURL.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.openaiapialternative.com/v1",
  apiKey: process.env.UNCENSORED_API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a haiku about stack traces." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Dla szybkiego sprawdzenia z terminala, wypisz modele. Powinieneś zobaczyć jeden wpis z ID uncensored.

# expect one entry with id "uncensored"
curl https://api.openaiapialternative.com/v1/models \
  -H "Authorization: Bearer $UNCENSORED_API_KEY"

Zapytanie strumieniowe zajmuje jedno z Twoich slotów współbieżności, dopóki strumień się nie zakończy, co ma znaczenie, jeśli klient porzuci strumień bez jego zamknięcia. Zamknij połączenie po swojej stronie, gdy użytkownik przejdzie do innego miejsca.

Edytory, agenci i inne aplikacje klienckie

Wiele narzędzi deweloperskich pozwala zastąpić base URL OpenAI. Edytory takie jak Cursor mają ekran ustawień modelu, gdzie możesz wprowadzić niestandardowy base URL kompatybilny z OpenAI i klucz, a interfejsy czatu takie jak SillyTavern pozwalają dodać niestandardowy endpoint kompatybilny z OpenAI. Etykiety i pozycje menu zmieniają się między wersjami, więc szukaj pola o nazwie np. "Override OpenAI base URL" lub "Custom endpoint".

Niezależnie od narzędzia, potrzebujesz tych samych trzech wartości:

PoleWartość
Podstawowy URLhttps://api.openaiapialternative.com/v1
Klucz APIklucz z Twojego konta
Nazwa modeluuncensored

Jeśli narzędzie nalega na listę znanych nazw modeli, dodaj uncensored jako niestandardowy model. Jeśli automatycznie dołącza /v1, podaj adres bez sufiksu, inaczej otrzymasz podwójną ścieżkę i błąd nie znaleziono.

Wywoływanie narzędzi i tryb JSON

Strukturalne wyjście to miejsce, gdzie zwykle łamią się alternatywy, więc przetestuj je wcześnie. Obie funkcje korzystają z formatu OpenAI. Dla trybu JSON ustaw response_format i wspomnij o JSON w prompt.

import json
from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapialternative.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply with a JSON object with keys title and tags."},
        {"role": "user", "content": "Describe a short story about a lost lighthouse keeper."},
    ],
)
data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])

Przekaż listę tools ze schematami funkcji, odczytaj tool_calls z odpowiedzi, uruchom funkcję i zwróć wynik jako wiadomość z role: "tool". Odpowiedzi strumieniowe dostarczają tool_calls fragmentami, więc zbuduj ciąg argumentów przed parsowaniem.

Modele nadal mogą zwracać niepoprawnie sformatowany JSON od czasu do czasu, niezależnie od dostawcy, którego użyjesz. Owiń parsowanie blokiem try i spróbuj ponownie raz, dołączając komunikat o błędzie do rozmowy.

Ziarna są również przekazywane, więc ustawienie seed z ustaloną temperaturą daje Ci sposób na porównanie zmian promptów na tych samych danych wejściowych. Nie oczekuj identycznych bajtowo wyników przy każdym uruchomieniu, ale różnice znacznie się zmniejszają.

Limity, obsługa 429 i kontrola kosztów

Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę. Klucz próbny pozwala na 2 i 60. Ciało może mieć do 8 MB. Każda odpowiedź zawiera X-RateLimit-Limit-Requests i X-RateLimit-Limit-Concurrency, a także X-Balance-USD dla Twojego pozostałego kredytu.

Przekroczenie zwraca HTTP 429. Kod błędu mówi Ci, który limit: rate_limited oznacza zbyt wiele zapytań na minutę, a concurrency oznacza zbyt wiele zapytań naraz. Tymczasowe przeciążenie również zwraca 429, z nagłówkiem Retry-After: 5. SDK OpenAI domyślnie ponawiają odpowiedzi 429 z opóźnieniem, a możesz zwiększyć liczbę ponowień za pomocą max_retries w kliencie. Dla zadań wsadowych semafor 8 utrzymuje Cię poniżej limitu współbieżności.

Do planowania budżetu przyjmij cenę: $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych. Zadanie, które wysyła 4M tokenów wejściowych i otrzymuje 1M tokenów wyjściowych, kosztuje 4 × $0,15 + 1 × $0,50 = $1,10. Nieudane lub odrzucone zapytania nie są naliczane. Strona ceny zawiera informacje o wielkościach doładowań i bonusach.

Krótki opakowywacz ponownych prób wystarczy, jeśli nie używasz SDK, które ponawia za Ciebie. Odczytaj Retry-After, gdy jest obecny, wróć do opóźnienia wykładniczego i poddaj się po kilku próbach. Nie ponawiaj zapytań w przypadku błędów, które nie są 429 ani błędem serwera, ponieważ niepoprawne zapytanie będzie się niepowodować w ten sam sposób za każdym razem.

Błędy, które kosztują godzinę pierwszego dnia

Większość nieudanych pierwszych wywołań pochodzi z krótkiej listy przyczyn. Sprawdź to, zanim podejrzysz usługę.

  • Podwojona ścieżka. Base URL kończy się już na /v1. Nie dodawaj kolejnego, i nie wywołuj /chat/completions bez niego.
  • Zła nazwa modelu. Stary kod często zawiera nazwę modelu dostawcy. Zmień ją na uncensored, inaczej wywołanie nie zadziała.
  • Klucz z białymi znakami. Skopiowane klucze często zawierają znak nowej linii. Usuń go.
  • Testy na kluczu próbnym przy równoległości produkcyjnej. Klucz próbny pozwala na 2 równoległe zapytania i 60 na minutę, więc test obciążenia 20-wątkowy zwróci 429 z kodem concurrency niemal natychmiast.
  • Inne endpointy. Wywołania obrazu, audio i embeddingów nie są częścią usługi.

Druga kategoria to zachowanie, a nie konfiguracja. Model bez odrzuceń będzie bardziej dosłownie podążał za dziwnymi instrukcjami, niż się spodziewasz. Jeśli odpowiedź idzie w kierunku, którego nie chciałeś, zaostrz prompt systemowy zamiast temperatury. Jeśli wyjścia są powtarzalne, zwiększ temperature nieco lub dodaj karę za częstotliwość; oba te parametry są przekazywane dalej.

Ostatni nawyk wart przyjęcia na wcześniejszym etapie: przechowuj dokładne ciało żądania każdego wywołania, które Cię zaskoczyło. Gdy poprosisz zespół o pomoc na stronie wsparcia, identyfikator żądania plus to ciało stanowią kompletny raport błędu.

Przed wysłaniem do produkcji

  • Trzymaj klucz na serwerze. Nigdy nie wysyłaj go w pakiecie przeglądarki ani w aplikacji mobilnej.
  • Loguj nagłówek X-Request-Id przy każdym wywołaniu. Ułatwia to odpowiadanie na pytania wsparcia.
  • Dodaj własne filtrowanie wejścia i wyjścia, jeśli użytkownicy końcowi mogą swobodnie pisać. Model nie będzie odmawiał, więc to Ty definiujesz zasady moderacji.
  • Zachowaj dostawcę rezerwowego w konfiguracji. Przełączenie to zmiana adresu URL, więc flaga funkcji wystarczy.
  • Pamiętaj o zakresie: wyłącznie tekst, bez embeddingów, bez obrazów, bez dostrajania.

Dokumentacja zawiera pełną listę parametrów. Jeśli coś zachowuje się nietypowo, strona pomocy podpowiada, jak dotrzeć do zespołu.

Pytania i odpowiedzi

Które SDK działają?

Każde SDK lub klient OpenAI, który pozwala ustawić bazowy URL i klucz. Działają oficjalne biblioteki Python i Node, jak również zwykłe wywołania HTTP za pomocą curl.

Czy potrzebuję karty, aby przetestować?

Nie. Kredyt próbny za $0.50 odbierasz jednym kliknięciem na stronie klucza API po rejestracji i nie wymaga karty. Jest ważny przez 7 dni, jeden na osobę.

Jaka jest nazwa modelu?

ID modelu to uncensored. Wywołaj GET /v1/models, aby potwierdzić to swoim własnym kluczem.

Jak duże może być zapytanie?

Okno kontekstu wynosi 100 000 tokenów dla promptu plus uzupełnienia, a maksymalna wielkość ciała zapytania to 8 MB.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz APIPrzeczytaj dokumentację