Dokumentasi API Ollama untuk Pembangun

Pengesahan dan URL Asas

Gunakan https://api.ollamaendpointurl.com/v1 sebagai URL asas anda dan sertakan kunci API anda dalam Authorization header.

• URL Asas: https://api.ollamaendpointurl.com/v1
• Header: Authorization: Bearer YOUR_API_KEY

Jana kunci anda serta-merta melalui Google atau e-mel di papan pemuka. Tiada nombor telefon diperlukan. URL ini berfungsi dengan mana-mana SDK OpenAI piawai dengan mengatasi URL asas.

Permintaan Pertama

Hantar permintaan POST ke /v1/chat/completions dengan ID model uncensored dan mesej anda.

Copycurl https://api.ollamaendpointurl.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the default port for Ollama?"}]
  }'

Ini mengembalikan respons JSON yang mengandungi teks yang dijana. Jika anda menerima ralat 401, kunci API anda tidak sah. Ralat 402 menunjukkan kredit pra-dibayar tidak mencukupi.

Integrasi SDK Python

Mulakan klien dengan kunci anda dan URL asas tersuai untuk menghantar permintaan secara program.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaendpointurl.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Tetapkan max_tokens untuk mengawal panjang output. Tanpanya, lalaiannya ialah 2,048 token. Model menerima parameter piawai seperti temperature dan top_p untuk menala kelakuan penjanaan.

Integrasi SDK Node

Konfigurkan klien Node.js untuk menunjuk ke hujung kami untuk integrasi lancar ke dalam skrip anda.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaendpointurl.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

SDK ini mengendalikan pengaturcaraan semula secara automatik. Pastikan anda menggunakan versi SDK OpenAI terkini yang menyokong URL asas tersuai. Ralat dibuang sebagai pengecualian API piawai.

Respons Streaming

Aktifkan aliran dengan menetapkan stream: true untuk menerima token melalui Server-Sent Events (SSE).

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Butiran penggunaan token muncul dalam potongan akhir aliran. Ini mengurangkan latensi yang dirasakan untuk output panjang. Hujung sokongan memformat SSE piawai yang serasi dengan kebanyakan perpustakaan klien.

Had had laju dan tetingkap konteks

Setiap kunci API terhad kepada 300 permintaan setiap minit dan 8 permintaan serentak. Jendela konteks ialah 100,000 token secara keseluruhan. Output maksimum setiap permintaan ialah 16,000 token. Permintaan yang melebihi 8 MB dalam saiz badan ditolak. Ralat 429 menunjukkan anda telah mencapai had kadar. Tunggu sebentar sebelum mencuba semula. Ralat dan penolakan tidak menggunakan kredit. Kredit tidak luput. Gunakan kriptokoin untuk muat semula. Mulakan dengan kredit percubaan $0.50. Dapatkan kunci anda sekarang.