ต้นทุนของการอนุมานแบบไร้เซ็นเซอร์
ราคาสำหรับ uncensored inference ขึ้นอยู่กับกลยุทธ์โครงสร้างพื้นฐานของคุณ การโฮสต์ Ollama ด้วยตัวเองหมายถึงคุณจ่ายสำหรับการคำนวณ GPU ไฟฟ้า และการบำรุงรักษา เกตเวย์แบบจัดการจะคิดราคาตาม token ซึ่งย้ายความเสี่ยงด้านฮาร์ดแวร์ไปยังผู้ให้บริการ
เมื่อใช้ ollama api โครงสร้าง คุณต้องแยกแยะระหว่างเอนด์พอยต์เนทีฟและเลเยอร์ที่เข้ากันได้กับ OpenAI API เนทีฟใช้พาธเช่น /api/generate. เลเยอร์ที่เข้ากันได้ใช้ /v1/chat/completions. ความแตกต่างนี้มีผลต่อการกำหนดค่า SDK ของคุณอย่างไร
Managed services มักคิดค่าบริการสำหรับ input และ output tokens แยกกัน โมเดลแบบเติมเงินของเราคิดค่าบริการ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens. ข้อผิดพลาดไม่ใช้เครดิต ความโปร่งใสนี้ช่วยให้คุณคำนวณต้นทุนที่แน่นอนสำหรับการอนุมานปริมาณสูงโดยไม่มีค่าธรรมเนียมการสมัครสมาชิกซ่อนเร้น
ราคาโทเค็นเทียบกับแบบสมัครสมาชิก
แบบแผนการสมัครสมาชิกจะผูกมัดคุณกับต้นทุน recurring รายเดือนโดยไม่คำนึงถึงการใช้งาน การเรียกเก็บเงินแบบโทเค็นทำให้ราคาสอดคล้องกับการบริโภค compute โดยตรง โครงสร้างนี้ให้ประโยชน์แก่นักพัฒนาที่รันงานแบบ bursty
- เครดิตเติมเงิน ไม่หมดอายุ คุณจ่ายเฉพาะสิ่งที่ใช้เท่านั้น
- ไม่มีค่าธรรมเนียมรายเดือน eliminate the risk of paying for idle capacity.
- เครดิตโบนัส ใช้เมื่อเติมเงิน เติม $50 รับเพิ่ม +5% เติม $200 รับเพิ่ม +15%
โมเดลราคานี้ทำงานได้ดีที่สุดเมื่อคุณสามารถคาดการณ์ปริมาณ token ได้ หากการใช้งานของคุณไม่สม่ำเสมอ บัญชีเติมเงินจะหลีกเลี่ยงการเสียเงินไปกับยอดเงินรายเดือนที่ไม่ได้ใช้
Ollama API เทียบกับเกตเวย์แบบจัดการ
Managed gateways มักจะจัดเส้นทาง traffic ผ่านโมเดลหลายตัวหรือเพิ่มชั้น abstraction API ของ Ollama ให้การเข้าถึงโดยตรงไปยังโมเดล instance เดียว ซึ่งช่วยลด latency และทำให้การ debug ง่ายขึ้น
เมื่อเชื่อมต่อกับ ollama endpoint url, คุณต้องตรวจสอบว่าไคลเอนต์ของคุณส่ง headers ที่ถูกต้อง บริการที่จัดการบางครั้งจะห่อการตอบกลับด้วย metadata เพิ่มเติม จุดปลายแบบตรงส่งคืน JSON ดิบ สิ่งนี้สำคัญสำหรับสคริปต์อัตโนมัติที่วิเคราะห์ body การตอบกลับอย่างเข้มงวด
บริการของเราเสนอเอนด์พอยต์โดยตรงสำหรับโมเดล uncensored ที่สร้างมาเพื่อวัตถุประสงค์เฉพาะ คุณจะได้รับพฤติกรรมที่สม่ำเสมอโดยไม่มีการเปลี่ยนโมเดลที่ไม่คาดคิด โปรดตรวจสอบเอกสารของผู้ให้บริการสำหรับข้อจำกัดเฉพาะของเกตเวย์ เราให้อินเทอร์เฟซที่ตรงไปตรงมาและเข้ากันได้กับ OpenAI
กรณีการใช้งาน NSFW และแบบไม่มีเซนเซอร์
โมเดลแบบไม่เซ็นเซอร์ไม่ใช้นโยบายการปฏิเสธเดียวกันกับโมเดลพาณิชย์มาตรฐาน พวกมันตอบหัวข้อที่ถกเถกัน สร้างเนื้อหาผู้ใหญ่ และจัดการโดเมนเฉพาะทางโดยไม่กระตุ้นตัวกรองความปลอดภัย
ความสามารถนี้มีข้อจำกัดเฉพาะ โมเดลของเราปฏิเสธเนื้อหาทางเพศที่เกี่ยวข้องกับเด็ก ผู้ใหญ่ตามกฎหมายอื่นๆ อนุญาต นโยบายนี้ใช้กับการร้องขอทั้งหมดอย่างสม่ำเสมอ
นักพัฒนาที่ใช้ uncensored llm สำหรับการเขียนเชิงสร้างสรรค์หรือการสวมบทบาทได้ประโยชน์จากการไม่มีการปฏิเสธตามอำเภอใจ โมเดลสร้างข้อความโดยอิงจากความน่าจะเป็น ไม่ใช่กฎนโยบาย ทำให้เหมาะสำหรับการสร้างเนื้อหาปริมาณมากซึ่งความสม่ำเสมอสำคัญกว่าความปลอดภัยของแบรนด์
จุดแลกเปลี่ยนทางเทคนิคของโมเดลเดียว
การรันโมเดลเพียงตัวเดียวทำให้โครงสร้างพื้นฐานของคุณเรียบง่ายลง แต่คุณจะไม่สามารถเปลี่ยนเส้นทางไปยังสถาปัตยกรรมอื่นได้ คุณไม่สามารถสลับไปใช้โมเดลที่เล็กกว่าเพื่อความเร็ว หรือโมเดลที่ใหญ่กว่าเพื่อความแม่นยำแบบเรียลไทม์ได้
API ของเราให้บริการโมเดลภาษาขนาดใหญ่แบบไม่มีเซนเซอร์ รองรับ streaming ผ่าน Server-Sent Events (SSE) มีฟังก์ชัน calling และ JSON mode ฟีเจอร์เหล่านี้สอดคล้องกับมาตรฐาน SDK ของ OpenAI
หากคุณต้องการความสามารถหลายมอดาลิตี (multimodal) เอนด์พอยต์นี้จะไม่ทำงาน มันจัดการเฉพาะข้อความเข้าและข้อความออก ไม่มี embeddings ไม่มีการสร้างภาพ ไม่มีการประมวลผลเสียง ข้อจำกัดนี้เป็นข้อตกลงเพื่อลดความซับซ้อนและการผสานรวมที่รวดเร็ว
หน้าต่างบริบทและข้อจำกัดผลลัพธ์
หน้าต่างบริบทกำหนดจำนวนโทเค็นทั้งหมดที่คุณสามารถประมวลผลในการร้องขอหนึ่งครั้ง โมเดลของเรารองรับ 100,000 tokens สำหรับทั้งพรอมต์และการสร้างรวมกัน วิธีนี้ทำให้สามารถวิเคราะห์เอกสารอย่างกว้างขวางหรือประวัติการสนทนาที่ยาวนาน
เอาต์พุตสูงสุดถูกจำกัดที่ 16,000 โทเคน per request หากคุณไม่ได้ตั้งค่า max_tokens, ค่าเริ่มต้นคือ 2,048 tokens ขีดจำกัดนี้ป้องกัน generation ที่失控จากการใช้ compute มากเกินไป
| Parameter | 限制 |
|---|---|
| หน้าต่างบริบท | 100,000 tokens |
| เอาต์พุตสูงสุด | 16,000 โทเคน |
| ผลลัพธ์ค่าเริ่มต้น | 2,048 โทเคน |
การชำระเงินคริปโตและความเรียบง่ายของบัญชี
การสร้างบัญชีต้องการเพียงอีเมลหรือการเข้าสู่ระบบด้วย Google ไม่จำเป็นต้องใช้หมายเลขโทรศัพท์ ซึ่งลดแรงเสียดทานสำหรับนักพัฒนาที่ให้ความสำคัญกับความเป็นส่วนตัว อีเมลของคุณเป็นตัวระบุเพียงอย่างเดียว
การชำระเงินดำเนินการผ่านคริปโทเคอร์เรนซ์เท่านั้น เรารองรับ USDT (TRC20) และ USDC (Base). คุณสามารถเติมเงินจำนวนเต็มใดๆ ระหว่าง $20 ถึง $500. เครดิตไม่มีวันหมดอายุ ข้อผิดพลาดจะถูกแก้ไขผ่านหน้าการสนับสนุน
บัญชีใหม่ทุกบัญชีจะได้รับ $0.50 in trial credit เป็นเวลา 7 วัน ซึ่งช่วยให้คุณทดสอบ endpoint ได้ก่อนตัดสินใจซื้อจำนวนมากขึ้น วิธีการชำระเงินด้วยคริปโตเคอเรนซีสอดคล้องกับธรรมชาติแบบกระจายศูนย์ของชุมชนนักพัฒนา AI หลายแห่ง
ความผิดพลาดที่ควรหลีกเลี่ยงเมื่อเปลี่ยน
นักพัฒนาจำนวนมากสับสนระหว่าง API Ollama ดั้งเดิมกับเอนด์พอยต์ที่เข้ากันได้กับ OpenAI API ดั้งเดิมใช้ /api/generate. API ที่เข้ากันได้ใช้ /v1/chat/completions. การใช้เส้นทางที่ผิดทำให้เกิดข้อผิดพลาดในการตรวจสอบสิทธิ์
ตรวจสอบว่าคุณอัปเดต URL พื้นฐานในการกำหนดค่า SDK แล้วหรือไม่ ชี้ไคลเอนต์ของคุณไปที่ https://api.ollamaendpointurl.com/v1. ตั้งค่าคีย์ API ในเฮดเดอร์ authorization อย่าผสมเฮดเดอร์จากผู้ให้บริการรายอื่น
ทดสอบการเชื่อมต่อก่อนผสานรวมเข้ากับเพย์โหลดหลักของคุณ ใช้คำสั่ง curl อย่างง่ายเพื่อตรวจสอบรูปแบบการตอบกลับ เพื่อป้องกันเวลาการดีบักหลายชั่วโมงเมื่อปัญหาเกิดจากการกำหนดค่าจุดสิ้นสุดที่ผิดพลาด
สรุปสุดท้าย: ใครควรเปลี่ยน
API นี้เหมาะสำหรับนักพัฒนาที่ต้องการการสร้างข้อความแบบไม่มีการเซ็นเซอร์ที่เชื่อถือได้โดยไม่ต้องจัดการฮาร์ดแวร์ เหมาะสำหรับระบบอัตโนมัติ การสร้างเนื้อหา และแอปพลิเคชันสวมบทบาท
หากคุณต้องการการจัดเส้นทางโมเดล embeddings หรือคุณลักษณะมัลติโมดัล ให้มองหาที่อื่น หากคุณชอบราคาแบบกำหนดเองตามจำนวนโทเค็นพร้อมการชำระเงินด้วยคริปโต บริการนี้ตอบโจทย์ความต้องการของคุณ
การรวมกันของหน้าต่างบริบทขนาดใหญ่ ข้อจำกัดของผลลัพธ์ที่เข้มงวด และเครดิตโบนัสทำให้ตัวเลือกนี้เหมาะสำหรับผู้ใช้ที่มีปริมาณการใช้งานสูง การสลับไปใช้ต้องการการเปลี่ยนแปลงโค้ดเพียงเล็กน้อยหากคุณใช้ไคลเอนต์ที่เข้ากันได้กับ OpenAI อยู่แล้ว
