Невеликі приватні моделі
Невеликі приватні моделі для вузьких повторюваних задач
Не кожна задача потребує великої мовної моделі. Для вилучення даних, класифікації, переранжування й маскування персональних даних невелика модель, створена під одну задачу, працює на вашому сервері, коштує лише як сам сервер і тримає дані там, де вони є.
У чому сильні невеликі моделі?
У вузьких задачах, що повторюються тисячі разів, де текст надто різноманітний для правил, а сама задача не змінюється:
- Вилучення конкретних даних із тексту, який не варто надсилати хмарній моделі
- Класифікація звернень, документів чи запитів та їх оцінка за категоріями
- Переранжування результатів пошуку, щоб найкращий фрагмент був першим
- Маскування імен, номерів документів і рахунків, перш ніж щось потрапить до хмарної моделі, з відновленням у відповіді
Надто складно для regex. Надто просто для LLM.
У наших тестах невелика модель після завантаження обробляє підготовлений пакет менш ніж за секунду, а сортування й переранжування працюють швидко навіть у легкому контейнері. Плати за токени немає: поточні витрати — це сервер.
Чи можете ви навчити модель під наші конкретні потреби?
Так, коли жодна публічна модель не справляється з вашими документами чи категоріями достатньо добре. Ідеться про невеликі вузькоспеціалізовані моделі, а не про LLM: енкодери на кшталт RoBERTa і BERT, моделі розпізнавання іменованих сутностей тощо. Спершу шукаємо на Hugging Face готову відкриту модель, яка вже виконує потрібне завдання. Якщо точного збігу немає, беремо найближчу й донавчаємо її на ваших прикладах, а коли й цього замало — навчаємо модель з нуля.
Навчена модель лишається вашою і працює там, де зберігаються ваші дані. Проєкт із моделлю під замовлення плануємо на строк до 3 місяців.
На якому ми етапі
Невеликі моделі — головний напрям розвитку нашого ядра. Наведені вище результати отримано в наших тестах публічних моделей, а поки що не в клієнтському впровадженні, де невелика модель замінила LLM. Наші перші проєкти такого типу — це проєкти для перших клієнтів, які ми опублікуємо як кейси з реальними цифрами.
| Правила / regex | Невелика приватна модель | Велика мовна модель (API) | |
|---|---|---|---|
| Справляється з різноманітним, непередбачуваним текстом | Ні | Так | Так |
| Швидкість на одиницю | Миттєво | Менше секунди на підготовлений пакет* | Секунди |
| Поточні витрати | Майже нульові | Лише сервер | Оплата за токени, зростає з обсягом |
| Дані залишають вашу інфраструктуру | Ні | Ні | Так, якщо модель не розгорнута у вас |
| Найкраще для | Фіксованих форматів | Вузьких задач, що повторюються | Міркувань, відкритих запитань, діалогу |
*Виміряно в наших тестах на підготовленому фрагменті тексту з уже завантаженою моделлю; реальна пропускна здатність залежить від задачі та обладнання.
Запитання про цю послугу
Чи використовуються наші дані для навчання чужих моделей?
Ні. Ваші дані навчають лише вашу модель, якщо ви її замовите. Ніколи не нашу і ніколи не модель постачальника.
Скільки часу займає модель під замовлення?
До 3 місяців, залежно від задачі й кількості розмічених прикладів. Ми починаємо з перевірки, чи справляється невелика модель із вашими документами взагалі.
Скільки це коштує?
Проєкти з моделями під замовлення ми оцінюємо й прораховуємо індивідуально після першого дзвінка, з фіксованою ціною, погодженою до початку роботи.
Принесіть нам один процес. Ми скажемо, що йому потрібно.
30-хвилинний дзвінок. Візьміть на дзвінок один реальний процес або зразок документа. Ми скажемо, чи потрібна тут LLM, невелика модель чи просто скрипт, і що для цього знадобиться. Без презентацій.