Lance AI؛ هوش مصنوعی متن‌باز ByteDance برای تولید و ویرایش ویدیو و تصویر

در سال‌های اخیر مدل‌های هوش مصنوعی مولتی‌مودال رشد بسیار زیادی داشته‌اند، اما بیشتر آن‌ها یا فقط روی تولید تصویر تمرکز دارند یا تنها برای تحلیل تصاویر و ویدیوها ساخته شده‌اند. در این میان، Lance AI که توسط شرکت ByteDance معرفی شده، تلاش می‌کند همه این قابلیت‌ها را داخل یک مدل واحد ترکیب کند.

Lance AI یک مدل هوش مصنوعی متن‌باز و رایگان است که می‌تواند:

• ویدیو تولید کند
• تصویر بسازد
• ویدیو و تصویر را ویرایش کند
• محتوای تصویری را تحلیل کند
• به سوالات مربوط به تصویر و ویدیو پاسخ دهد

این پروژه به‌صورت Open Source منتشر شده و توسعه‌دهندگان می‌توانند آن را روی سیستم شخصی یا سرور خود اجرا کنند.

Lance AI چیست؟

Lance AI یک مدل مولتی‌مودال (Multimodal) جدید است که توسط تیم تحقیقاتی ByteDance توسعه داده شده است.

برخلاف بسیاری از مدل‌های هوش مصنوعی که برای هر کار از یک مدل جداگانه استفاده می‌کنند، Lance تلاش می‌کند تمام وظایف مربوط به تصویر و ویدیو را در یک معماری مشترک انجام دهد.

طبق اطلاعات رسمی پروژه، این مدل با تنها 3 میلیارد پارامتر فعال طراحی شده و نسبت به بسیاری از مدل‌های سنگین بازار، بهینه‌تر اجرا می‌شود.

مهم‌ترین ویژگی Lance AI این است که:

• متن‌باز است
• رایگان است
• قابلیت اجرای لوکال دارد
• برای توسعه‌دهندگان قابل شخصی‌سازی است

قابلیت‌های اصلی Lance AI

تولید ویدیو از متن (Text-to-Video)

یکی از جذاب‌ترین قابلیت‌های Lance AI، ساخت ویدیو تنها با استفاده از توضیح متنی است.

در دموهای رسمی پروژه نمونه‌هایی مثل:

• پاندا در حال موج‌سواری
• صحنه‌های سینمایی
• حیوانات متحرک
• محیط‌های فانتزی

توسط این مدل تولید شده‌اند.

ویرایش ویدیو با دستور متنی

Lance AI فقط تولیدکننده ویدیو نیست؛ بلکه می‌تواند ویدیوهای موجود را نیز با دستور متنی ویرایش کند.

برای مثال در دموهای رسمی:

• تغییر پس‌زمینه
• تغییر استایل تصویر
• حذف عناصر اضافی
• اضافه کردن اشیا
• تبدیل ویدیو به سبک نقاشی

تنها با یک پرامپت متنی انجام می‌شود.

ویرایش چندمرحله‌ای با حفظ کاراکتر

یکی دیگر از ویژگی‌های جالب Lance AI حفظ هویت کاراکتر در چند مرحله ویرایش است.

در نمونه رسمی پروژه:

• مدل مو تغییر می‌کند
• اکسسوری اضافه می‌شود
• بک‌گراند تغییر می‌کند
• حرکات جدید به شخصیت اضافه می‌شود

اما چهره و هویت اصلی شخصیت همچنان حفظ می‌شود.

تحلیل تصویر و پاسخ‌دهی هوشمند

Lance AI علاوه بر تولید محتوا، قابلیت تحلیل تصاویر و ویدیوها را نیز دارد.

این مدل می‌تواند:

• متن داخل تصویر را بخواند
• نمودارها را تحلیل کند
• اطلاعات اسناد را استخراج کند
• به سوالات تصویری پاسخ دهد

همین موضوع Lance را به یک مدل مولتی‌مودال واقعی تبدیل می‌کند.

آیا Lance AI رایگان و متن‌باز است؟

بله.

یکی از مهم‌ترین مزیت‌های این مدل این است که به‌صورت Open Source منتشر شده و کدهای آن در GitHub در دسترس هستند.

این یعنی توسعه‌دهندگان می‌توانند:

• مدل را دانلود کنند
• شخصی‌سازی انجام دهند
• روی سرور خود اجرا کنند
• پروژه‌های تجاری بسازند
• بدون پرداخت هزینه API از آن استفاده کنند

سیستم موردنیاز برای اجرا

برای اجرای کامل مدل، سیستم نسبتاً قدرتمندی نیاز است.

حداقل منابع پیشنهادی

قطعه	مقدار پیشنهادی
کارت گرافیک	حداقل 24GB VRAM
اجرای حرفه‌ای	حدود 40GB VRAM
رم	حداقل 32GB
Python	نسخه 3.10 به بالا
CUDA	نسخه 12 به بالا

البته نسخه‌های سبک‌تر و Quantized نیز ممکن است توسط جامعه توسعه‌دهندگان منتشر شوند.

آموزش نصب Lance AI

ابتدا مخزن پروژه را دانلود کنید:

git clone https://github.com/bytedance/Lance.git
cd Lance

سپس وابستگی‌ها را نصب کنید:

pip install -r requirements.txt

در مرحله بعد مدل‌ها را دانلود کرده و پروژه را اجرا کنید:

python app.py

یا:

python inference.py

چرا Lance AI مهم است؟

بسیاری از مدل‌های هوش مصنوعی جدید بسیار سنگین هستند و اجرای آن‌ها فقط روی سرورهای قدرتمند ممکن است. اما این مدل تلاش کرده مدلی ارائه دهد که:

• سبک‌تر باشد
• چندوظیفه‌ای باشد
• اجرای لوکال داشته باشد
• هم تولید محتوا انجام دهد و هم تحلیل محتوا

به همین دلیل این پروژه می‌تواند در آینده برای:

• تولید محتوای ویدیویی
• ساخت ابزارهای AI Editing
• اپلیکیشن‌های تولید تصویر
• سیستم‌های تحلیل ویدیو
• پروژه‌های متن‌باز هوش مصنوعی

بسیار مهم و کاربردی باشد.

منابع مقاله

وب‌سایت رسمی Lance Project

گیت‌هاب رسمی پروژه Lance by ByteDance

مقاله معرفی Lance در arXiv

صفحه مدل‌های Lance در Hugging Face