Skip to content

Commit

Permalink
Про unsloth добавил
Browse files Browse the repository at this point in the history
  • Loading branch information
EvilFreelancer committed Jan 9, 2025
1 parent 8a89d9e commit 12fd4fc
Showing 1 changed file with 10 additions and 7 deletions.
17 changes: 10 additions & 7 deletions docs/Рецепты.md
Original file line number Diff line number Diff line change
Expand Up @@ -47,17 +47,20 @@ impruver run compose_dataset --config ruGPT-3.5/13B_lora_saiga2.yaml
impruver run compose_dataset --config ./rugpt35_lora_saiga2.yaml
```

## Рецепт `finetune`
## Рецепты `finetune` и `unsloth`

Данный рецепт вызывает
Рецепт `finetune` вызывает
скрипт [finetune_transformers.py](https://github.com/EvilFreelancer/impruver/blob/main/recipes/finetune_transformers.py),
который предназначен для настройки предобученной модели с использованием собственных данных. Он позволяет добавлять
новые параметры к существующей модели или обучать модель с нуля. В частности, скрипт поддерживает использование
адаптеров Low-Rank Adaptation (LoRA) для более эффективного обучения.
а
рецепт `unsloth` - [finetune_unsloth.py](https://github.com/EvilFreelancer/impruver/blob/main/recipes/finetune_unsloth.py).

Оба этих скрипта предназначены для тонкой настройки предобученной модели с использованием собственных данных. Они
позволяют дообучить параметры существующей модели или же обучать модель с нуля. Оба скрипта поддерживают возможность
использования Low-Rank Adaptation (LoRA) для обучения адаптеров.

Рецепт выполняет следующие шаги:c
Рецепты выполняет следующие шаги:

1. Принимает путь к файлу конфигурации, который содержит все необходимые параметры для запуска и настройки модели.
1. Получить путь к файлу конфигурации, который содержит все необходимые параметры для запуска и настройки модели.
2. Токенизатор подгружается из предобученной модели и сохраняется в `output_put`.
3. Данные для тренировки и валидации загружаются из JSONL-файлов. Порядок элементов в тренировочном наборе случайно
перемешивается (с учётом значения `seed`). Используется `DataCollatorForTokenClassification` для добавления токенов
Expand Down

0 comments on commit 12fd4fc

Please sign in to comment.