TauriTavern: ส่วนติดต่อผู้ใช้ Rust ดั้งเดิมสำหรับ LLMs และตัวละคร AI
TauriTavern ทำงานเป็นส่วนหน้าของ LLM ที่ใช้งานได้ทันทีและไม่ต้องติดตั้งซึ่งจัดการเซสชันแชท การ์ดตัวละคร และการทำงานของตัวแทนโดยไม่ต้องใช้ Node.js ทีมงาน TauriTavern นำเสนอเครื่องมือเดสก์ท็อปนี้สำหรับ Windows และแพลตฟอร์มอื่น ๆ โดยมุ่งเป้าไปที่ผู้ที่ชื่นชอบ AI ผู้เล่นบทบาท และผู้ใช้ที่มีความสามารถสูงที่ต้องการควบคุมท้องถิ่นเหนือโมเดลคลาวด์และท้องถิ่น ความสามารถหลักรวมถึงความเข้ากันได้ของข้อมูล SillyTavern การเชื่อมต่อหลายแบ็กเอนด์ และแกน Rust ที่ใช้หน่วยความจำน้อยกว่า; แอปนี้มุ่งเป้าไปที่ผู้ใช้ที่ต้องการทางเลือกที่เบาและเป็นธรรมชาติแทนที่อินเทอร์เฟซที่ใช้เบราว์เซอร์.
แอปทำอะไรสำหรับการทำงานของ LLM
TauriTavern เปลี่ยนส่วนหน้าของ SillyTavern ให้เป็นโฮสต์เดสก์ท็อปแบบเนทีฟ แอปนี้รองรับการ์ดตัวละครที่มีอยู่ (V1/V2), หนังสือเรื่องราว, และประวัติการสนทนา และเชื่อมต่อกับ API ระยะไกลเช่น OpenAI และ Claude หรือแบ็กเอนด์ในท้องถิ่นเช่น KoboldCPP และ Oobabooga นอกจากนี้ยังมีกรอบตัวแทนที่รองรับการเรียกเครื่องมือ, ทักษะ, และตัวแทนย่อย ทำให้การสนทนาสามารถกระตุ้นการกระทำที่เขียนไว้ภายในอินเตอร์เฟซเดียวกันได้
มันทำงานอย่างไรในระหว่างเซสชันยาวและการใช้ทรัพยากร
แกน Tauri ที่ใช้ Rust ลดการใช้หน่วยความจำขณะทำงานและทำให้ประวัติยาวราบรื่น นักพัฒนารายงานว่ามีการลดการใช้หน่วยความจำประมาณ 20 เปอร์เซ็นต์เมื่อเปรียบเทียบกับโฮสต์ Node.js ดั้งเดิม และ UI ใช้การจำลอง DOM เพื่อแสดงบันทึกการสนทนายาวๆ โดยไม่มีการหน่วงของอินเตอร์เฟซ บน Windows แอปต้องการ WebView2 runtime เพื่อโฮสต์ส่วนหน้า ซึ่งมีผลต่อการตั้งค่าแพลตฟอร์มเริ่มต้นมากกว่าการใช้งานเบื้องหลัง
มันปลอดภัยที่จะรันและการตั้งค่ามีความซับซ้อนแค่ไหน
การจัดเก็บแบบท้องถิ่นและการติดตั้งที่ไม่มีการพึ่งพาช่วยลดความซับซ้อนในการดำเนินงาน การสนทนาและข้อมูลตัวละครจะถูกเก็บไว้ในเครื่องโดยค่าเริ่มต้น และแอปทำงานเป็นไฟล์ปฏิบัติการที่แยกออกมา ดังนั้นผู้ใช้จึงไม่จำเป็นต้องใช้ Node.js หรือเครื่องมือบรรทัดคำสั่ง มันรวมการเชื่อมต่อ Git แบบเนทีฟสำหรับการติดตั้งส่วนขยาย และรองรับการจับคู่ LAN แบบเข้ารหัสพร้อม TT-Sync v2 สำหรับการซิงโครไนซ์ระยะไกลเมื่อผู้ใช้เลือกที่จะเปิดใช้งาน
ใครได้ประโยชน์สูงสุดจาก frontend พื้นเมืองนี้
TauriTavern เป็นตัวเลือกที่มีความสามารถสำหรับผู้ใช้พลังงานบนเดสก์ท็อปและผู้ที่ชื่นชอบที่รัน LLMs ท้องถิ่นหรือคลาวด์และต้องการโฮสต์ที่เป็นพื้นเมืองและมีค่าใช้จ่ายต่ำกว่า คาดว่าจะมีขั้นตอนการตั้งค่าเล็กน้อยบน Windows เนื่องจากการพึ่งพา WebView2 และวางแผนการนำเข้าหนึ่งครั้งหากคุณมีการสำรองข้อมูล SillyTavern เคล็ดลับที่เป็นประโยชน์: สร้างการสำรองข้อมูลการย้ายก่อนการแก้ไขขนาดใหญ่และทดสอบการเชื่อมต่อ backend ท้องถิ่นหนึ่งครั้งก่อน แนะนำให้ทำ.
