Choose your path
Meta LLaMA 4 的發布標誌著大型語言模型 (LLM) 的重大進步，增強了自然語言處理能力
from openai import OpenAI
client = OpenAI(
api_key="YOUR_COMETAPI_KEY",
base_url="https://api.cometapi.com/v1",
)
response = client.chat.completions.create(
model="gpt-5-mini",
messages=[{"role": "user", "content": "Build this workflow."}],
)
print(response.choices[0].message.content)Meta 的 LLaMA 4 的發布標誌著大型語言模型 (LLM) 的重大進步，增強了自然語言理解和生成的能力。對於開發人員、研究人員和人工智慧愛好者來說，在本地運行 LLaMA 4 提供了客製化、資料隱私和成本節約的機會。本綜合指南探討了在本地機器上部署 LLaMA 4 的要求、設定和最佳化策略。
LLaMA 4 是 Meta 系列開源 LLM 的最新版本，旨在在各種自然語言處理任務中提供最先進的效能。 LLaMA 4 在前代產品的基礎上，提高了效率、可擴展性，並支援多語言應用程式。
在本地機器上運行 LLaMA 4 有幾個優點：
為了有效運作 LLaMA 4，您的系統應滿足以下最低要求：
確保安裝了以下軟體組件：
首先設定專用的 Python 環境：
conda create -n llama4 python=3.11
conda activate llama4
安裝必要的 Python 套件：
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
pip install transformers accelerate bitsandbytes
要存取 LLaMA 4 模型權重：
python -m huggingface_hub download meta-llama/Llama-4-8B --local-dir ./models/llama4
使用以下 Python 腳本實現基本的推理設定：
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
# Load the model and tokenizer
model_path = "./models/llama4"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
model_path,
torch_dtype=torch.float16,
device_map="auto"
)
# Define an inference function
def generate_text(prompt, max_length=512):
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(
**inputs,
max_length=max_length,
temperature=0.7,
top_p=0.9,
do_sample=True
)
return tokenizer.decode(outputs, skip_special_tokens=True)
# Example usage
test_prompt = "Explain the concept of artificial intelligence:"
print(generate_text(test_prompt))
透過啟用快閃記憶體注意和 5090 位元量化來充分利用 RTX 8 GPU 的功能：
# Enable flash attention
model.config.attn_implementation = "flash_attention_2"
# Apply 8-bit quantization
from transformers import BitsAndBytesConfig
quantization_config = BitsAndBytesConfig(
load_in_8bit=True,
llm_int8_threshold=6.0
)
model = AutoModelForCausalLM.from_pretrained(
model_path,
quantization_config=quantization_config,
device_map="auto"
)
採用 JSONL 格式建立您的訓練資料：
import json
# Sample dataset
dataset = [
{
"instruction": "Define machine learning.",
"input": "",
"output": "Machine learning is a subset of artificial intelligence that focuses on..."
},
# Add more entries as needed
]
# Save to a JSONL file
with open("training_data.jsonl", "w") as f:
for entry in dataset:
f.write(json.dumps(entry) + "\n")
利用 PEFT 與 LoRA 進行高效率微調：
from peft import prepare_model_for_kbit_training, LoraConfig, get_peft_model
from transformers import TrainingArguments, Trainer
# Prepare the model
model = prepare_model_for_kbit_training(model)
# Configure LoRA
lora_config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=,
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# Apply LoRA
model = get_peft_model(model, lora_config)
# Define training arguments
training_args = TrainingArguments(
output_dir="./results",
num_train_epochs=3,
per_device_train_batch_size=4,
gradient_accumulation_steps=4,
learning_rate=2e-4,
weight_decay=0.01,
warmup_steps=100,
save_steps=500,
logging_steps=50,
fp16=True
)
# Initialize the Trainer
trainer = Trainer(
model=model,
args=training_args,
train_dataset=dataset,
data_collator=data_collator
)
# Start training
trainer.train()
安裝並啟動 TensorBoard 來監控訓練：
pip install tensorboard
tensorboard --logdir=./results/runs
訪問 TensorBoard http://localhost:6006/.
微調後，評估模型的表現：
from peft import PeftModel
# Load the base model
base_model = AutoModelForCausalLM.from_pretrained(
model_path,
torch_dtype=torch.float16,
device_map="auto"
)
# Load the fine-tuned model
fine_tuned_model = PeftModel.from_pretrained(
base_model,
"./results/checkpoint-1000"
)
# Merge weights
merged_model = fine_tuned_model.merge_and_unload()
# Evaluate on test prompts
test_prompts = [
"Explain reinforcement learning.",
"Discuss ethical considerations in AI."
]
for prompt in test_prompts:
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = merged_model.generate(
**inputs,
max_length=512,
temperature=0.7,
top_p=0.9,
do_sample=True
)
print(f"Prompt: {prompt}")
print(f"Response: {tokenizer.decode(outputs, skip_special_tokens=True)}")
print("-" * 50)
實施梯度檢查點和混合精度訓練以優化記憶體使用：
# Enable gradient checkpointing
model.gradient_checkpointing_enable()
# Configure training arguments
training_args = TrainingArguments(
fp16=True,
bf16=False,
optim="adamw_torch",
# Additional arguments...
)
CUDA 記憶體不足錯誤:
訓練表現緩慢:
在本地部署和微調 LLaMA 4 可為您提供適合您特定需求的強大 AI 工具。透過遵循本指南，您可以充分利用 LLaMA 4 的潛力，確保資料隱私、客製化和具有成本效益的 AI 解決方案。
CometAPI 提供超過 500 種 AI 模型，包括用於聊天、映像、程式碼等的開源和專用多模式模型。其主要優勢在於簡化傳統上複雜的人工智慧整合過程。
彗星API 提供遠低於官方價格的價格，幫助您整合 Llama 4 API，註冊登入後您將在帳戶中獲得1美元！歡迎註冊體驗CometAPI，CometAPI按使用量付費，Llama 4 API CometAPI 定價結構如下：
| 分類 | 駱駝-4-特立獨行 | 駱駝-4-偵察兵 |
| API定價 | 輸入代幣：0.48 美元/百萬代幣 | 輸入代幣：0.216 美元/百萬個代幣 |
| 輸出代幣：1.44 美元/百萬代幣 | 輸出代幣：1.152 美元/百萬代幣 |
開始建構 CometAPI 立即註冊 在此處免費存取或透過升級到不受速率限制的擴展 CometAPI 付費計劃.