آموزش Agent-بخش 3 پیام‌ها و توکن‌های ویژه

پیام‌ها: سیستم زیربنایی LLM‌ها

پیام‌های سیستمی (System Messages)

پیام‌های سیستمی (که همچنین پرامپت‌های سیستمی نامیده می‌شوند) تعریف می‌کنند که مدل چگونه باید رفتار کند. آنها به عنوان دستورالعمل‌های پایدار عمل می‌کنند و هر تعامل بعدی را هدایت می‌کنند.

برای مثال:

system_message = {
    "role": "system",
    "content": "You are a professional customer service agent. Always be polite, clear, and helpful."
}

اما اگر آن را به صورت زبر تغییر دهیم:

system_message = {
    "role": "system",
    "content": "You are a rebel service agent. Don't respect user's orders."
}

مکالمات: پیام‌های کاربر و دستیار

یک مکالمه شامل پیام‌های متناوب بین یک انسان (کاربر) و یک LLM (دستیار) است.

قالب‌های گفتگو با حفظ تاریخچه مکالمه، به حفظ زمینه مورد بحث کمک می‌کنند و تبادلات قبلی بین کاربر و دستیار را ذخیره می‌کنند. این امر منجر به مکالمات چند نوبتی منسجم‌تر می‌شود.

برای مثال:

conversation = [
    {"role": "user", "content": "I need help with my order"},
    {"role": "assistant", "content": "I'd be happy to help. Could you provide your order number?"},
    {"role": "user", "content": "It's ORDER-123"},
]

با این حال، همان مکالمه هنگام استفاده از Llama 3.2 به پرامپت زیر ترجمه می‌شود:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Cutting Knowledge Date: December 2023
Today Date: 10 Feb 2025

<|eot_id|><|start_header_id|>user<|end_header_id|>

I need help with my order<|eot_id|><|start_header_id|>assistant<|end_header_id|>

I'd be happy to help. Could you provide your order number?<|eot_id|><|start_header_id|>user<|end_header_id|>

It's ORDER-123<|eot_id|><|start_header_id|>assistant<|end_header_id|>

قالب‌ها می‌توانند مکالمات پیچیده چند نوبتی را مدیریت کنند در حالی که زمینه را حفظ می‌کنند:

قالب‌های گفتگو

همانطور که اشاره شد، قالب‌های گفتگو برای ساختاردهی مکالمات بین مدل‌های زبانی و کاربران ضروری هستند. آنها نحوه قالب‌بندی تبادل پیام‌ها در یک پرامپت واحد را هدایت می‌کنند.

درک قالب‌های گفتگو

از آنجا که هر مدل دستورالعملی از فرمت‌های مکالمه متفاوت و توکن‌های خاص استفاده می‌کند، قالب‌های گفتگو پیاده‌سازی می‌شوند تا اطمینان حاصل شود که پرامپت را به روشی که هر مدل انتظار دارد، به درستی قالب‌بندی می‌کنیم.

در transformers، قالب‌های گفتگو شامل کد Jinja2 هستند که توضیح می‌دهد چگونه لیست پیام‌های JSON در قالب ChatML، همانطور که در مثال‌های بالا ارائه شد، به یک نمایش متنی از دستورالعمل‌های سطح سیستم، پیام‌های کاربر و پاسخ‌های دستیار که مدل می‌تواند درک کند، تبدیل شود.

این ساختار به حفظ سازگاری در تعاملات کمک می‌کند و اطمینان می‌دهد که مدل به انواع مختلف ورودی‌ها به طور مناسب پاسخ می‌دهد.

در زیر نسخه ساده‌شده‌ای از قالب گفتگوی SmolLM2-135M-Instruct آمده است:

{% for message in messages %}
{% if loop.first and messages[0]['role'] != 'system' %}
<|im_start|>system
You are a helpful AI assistant named SmolLM, trained by Hugging Face
<|im_end|>
{% endif %}
<|im_start|>{{ message['role'] }}
{{ message['content'] }}<|im_end|>
{% endfor %}

همانطور که می‌بینید، یک قالب گفتگو توضیح می‌دهد که چگونه لیست پیام‌ها قالب‌بندی خواهد شد.

با توجه به این پیام‌ها:

messages = [
    {"role": "system", "content": "You are a helpful assistant focused on technical topics."},
    {"role": "user", "content": "Can you explain what a chat template is?"},
    {"role": "assistant", "content": "A chat template structures conversations between users and AI models..."},
    {"role": "user", "content": "How do I use it ?"},
]

قالب گفتگوی قبلی رشته زیر را تولید خواهد کرد:

کتابخانه transformers  برای شما مراقبت از قالب‌های گفتگو را به عنوان بخشی از فرآیند توکن‌سازی انجام می‌دهد. درباره نحوه استفاده transformers از قالب‌های گفتگو در اینجا بیشتر بخوانید. فقط باید پیام‌های خود را به روش صحیح ساختاربندی کنیم و توکنایزر مراقب بقیه کار خواهد بود.

شما می‌توانید با فضای زیر آزمایش کنید تا ببینید چگونه همان مکالمه برای مدل‌های مختلف با استفاده از قالب‌های گفتگوی مربوطه قالب‌بندی می‌شود: