- 支持多版本 llama.cpp 参数 (b6310, b10068) - GPU 模式 / GPU+CPU 模式 - 多 GPU 支持 (最多4张) - 实时显存/内存估算 - 自然语言解析生成命令 - 参数分级显示 (重要/隐藏) - 仅输出非默认值参数 - 后台管理 (GPU/版本/参数 CRUD) - 模型预设 (7B-70B)
12 lines
174 B
Bash
Executable File
12 lines
174 B
Bash
Executable File
#!/bin/bash
|
|
cd "$(dirname "$0")"
|
|
|
|
# Install dependencies
|
|
pip install flask flask-cors -q 2>/dev/null
|
|
|
|
# Initialize database
|
|
python3 db.py
|
|
|
|
# Start server
|
|
exec python3 app.py
|