Dokumentace Ollama API pro vývojáře

Autentizace a základní URL

Použít https://api.ollamaendpointurl.com/v1 jako vaši základní URL a zahrňte svůj API klíč do Authorization hlavička.

• Základní URL: https://api.ollamaendpointurl.com/v1
• Hlavička: Authorization: Bearer YOUR_API_KEY

Vygenerujte si klíč okamžitě přes Google nebo e-mail na ovládacím panelu. Telefonní číslo není vyžadováno. Tato URL funguje s jakýmkoli standardním SDK OpenAI přepsáním základní URL.

První požadavek

Odeslat požadavek POST na /v1/chat/completions pomocí ID modelu uncensored a vaše zprávy.

Copycurl https://api.ollamaendpointurl.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the default port for Ollama?"}]
  }'

Toto vrací JSON odpověď obsahující vygenerovaný text. Pokud obdržíte chybu 401, váš API klíč je neplatný. Chyba 402 znamená nedostatek předplaceného kreditu.

Integrace Python SDK

Inicializujte klienta pomocí klíče a vlastní základní URL pro programové odesílání požadavků.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaendpointurl.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Nastavit max_tokens pro ovládání délky výstupu. Bez něj je výchozí hodnota 2 048 tokenů. Model přijímá standardní parametry jako temperature a top_p pro ladění chování generování.

Integrace SDK pro Node

Nastavte Node.js klienta tak, aby ukazoval na náš endpoint pro bezproblémovou integraci do vašich skriptů.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaendpointurl.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

SDK automaticky zpracovává serializaci. Ujistěte se, že používáte novou verzi OpenAI SDK, která podporuje vlastní základní URL. Chyby jsou vyhazovány jako standardní výjimky API.

Streamované odpovědi

Povolte streamování nastavením stream: true pro přijímání tokenů prostřednictvím Server-Sent Events (SSE).

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Podrobnosti o použití tokenů se objeví ve finálním chunku streamu. To snižuje vnímanou latenci u dlouhých výstupů. Endpoint podporuje standardní formát SSE kompatibilní s většinou klientských knihoven.

Limity rychlosti a kontextové okno

Každý API klíč je omezen na 300 požadavků za minutu a 8 souběžných požadavků. Kontextové okno má celkem 100 000 tokenů. Maximální výstup na požadavek je 16 000 tokenů. Požadavky s tělem větším než 8 MB jsou zamítnuty. Chyba 429 znamená, že jste dosáhli limitu rychlosti. Počkejte chvíli před opakováním. Chyby a odmítnutí nespotřebovávají kredit. Kredit nikdy nevyprší. Dobíjejte pomocí kryptoměn. Začněte s testovacím kreditem $0.50. Získejte svůj klíč nyní.