diff --git "a/docs/\320\240\320\265\321\206\320\265\320\277\321\202\321\213.md" "b/docs/\320\240\320\265\321\206\320\265\320\277\321\202\321\213.md" index d463d35..43b393c 100644 --- "a/docs/\320\240\320\265\321\206\320\265\320\277\321\202\321\213.md" +++ "b/docs/\320\240\320\265\321\206\320\265\320\277\321\202\321\213.md" @@ -47,17 +47,20 @@ impruver run compose_dataset --config ruGPT-3.5/13B_lora_saiga2.yaml impruver run compose_dataset --config ./rugpt35_lora_saiga2.yaml ``` -## Рецепт `finetune` +## Рецепты `finetune` и `unsloth` -Данный рецепт вызывает +Рецепт `finetune` вызывает скрипт [finetune_transformers.py](https://github.com/EvilFreelancer/impruver/blob/main/recipes/finetune_transformers.py), -который предназначен для настройки предобученной модели с использованием собственных данных. Он позволяет добавлять -новые параметры к существующей модели или обучать модель с нуля. В частности, скрипт поддерживает использование -адаптеров Low-Rank Adaptation (LoRA) для более эффективного обучения. +а +рецепт `unsloth` - [finetune_unsloth.py](https://github.com/EvilFreelancer/impruver/blob/main/recipes/finetune_unsloth.py). + +Оба этих скрипта предназначены для тонкой настройки предобученной модели с использованием собственных данных. Они +позволяют дообучить параметры существующей модели или же обучать модель с нуля. Оба скрипта поддерживают возможность +использования Low-Rank Adaptation (LoRA) для обучения адаптеров. -Рецепт выполняет следующие шаги:c +Рецепты выполняет следующие шаги: -1. Принимает путь к файлу конфигурации, который содержит все необходимые параметры для запуска и настройки модели. +1. Получить путь к файлу конфигурации, который содержит все необходимые параметры для запуска и настройки модели. 2. Токенизатор подгружается из предобученной модели и сохраняется в `output_put`. 3. Данные для тренировки и валидации загружаются из JSONL-файлов. Порядок элементов в тренировочном наборе случайно перемешивается (с учётом значения `seed`). Используется `DataCollatorForTokenClassification` для добавления токенов