Heretic — открытый проект, который автоматически ищет в модели направления, связанные с отказами, и ослабляет их, одновременно ограничивая отклонение модели от исходного поведения через KL-дивергенцию. Идея в том, чтобы не переучивать модель на новом датасете, а точечно править веса.
В версии 2.0 архитектура изменилась: оценщики (scorer) и методы модификации (modifier) вынесены в отдельные плагинные интерфейсы. Оценщик задаёт цель, которую нужно минимизировать или максимизировать; модификатор применяет изменение к модели. В комплекте появились оценщик на основе бенчмарка и оценщик на основе классификатора BERT, а модификатором по умолчанию стала Arbitrary-Rank Ablation (ARA) вместо классического направленного абляционирования, которое тоже осталось доступным.
Что действительно поменялось
Главное для практики — режим без интерактивных подтверждений и сквозные тесты. Раньше инструмент предполагал, что человек смотрит на результаты и подтверждает шаги; теперь модификацию и проверку можно запускать пакетно, скриптом. Это меняет порог входа не в лучшую сторону: то, что требовало внимания исследователя, становится конвейером.
Проект распространяется под AGPL-3.0-or-later, требует Python 3.10+. Конфиги 1.x несовместимы с 2.0 — нужна миграция по документации; часть прежних исследовательских функций удалена, вместо них авторы указывают Lophius. В PyPI выложены два файла дистрибутива, но без attestation о происхождении сборки.
Насколько это проверено
Стоит разделять подтверждённое и заявленное. Версия, интерфейсы и факт публикации в репозитории и PyPI проверить можно. Утверждения авторов об эффективности ARA независимыми прогонами не подтверждены, полного сравнения 2.0 с 1.x в релизе нет.
Для команд, которые выкладывают дообученные модели наружу, вывод простой: возможность снять ограничения у открытых весов не требует взлома — достаточно скачать инструмент и запустить его скриптом. Значит, оценка риска должна опираться не на то, «запрещено ли это правилами», а на то, что модель уже вне вашего контроля.
Heretic is an open-source project that automatically finds directions in a model associated with refusals and weakens them, while constraining how far the model drifts from its original behaviour using KL divergence. The idea is to edit weights surgically rather than retrain on a new dataset.
Version 2.0 changes the architecture: scorers and modifiers are now separate plugin interfaces. A scorer defines the objective to minimise or maximise; a modifier applies the change to the model. Built-in additions include a benchmark-based scorer and a BERT classifier scorer, and the default modifier is now Arbitrary-Rank Ablation (ARA) instead of the classic directional ablation, which remains available.
What actually changed
The practical headline is the non-interactive mode and end-to-end tests. The tool used to assume a human watching results and confirming steps; now modification and testing can run in batches, from a script. That lowers the barrier in an unwelcome way: what once needed a researcher’s attention becomes a pipeline.
The project is licensed AGPL-3.0-or-later and requires Python 3.10+. Configuration files from 1.x do not carry over to 2.0 — there is a migration guide; some earlier research features were removed, with Lophius named as the replacement. PyPI lists two distribution files for this release but no build provenance attestation.
How well is it verified
Separate what is confirmed from what is claimed. The version, the interfaces and the publication itself can be checked in the repository and on PyPI. The authors’ claims about ARA’s effectiveness have not been independently reproduced, and the release contains no full comparison of 2.0 against 1.x.
For teams publishing fine-tuned models, the takeaway is simple: removing guardrails from open weights does not require an exploit — downloading a tool and running a script is enough. Risk assessment therefore cannot rest on whether the rules forbid it, but on the fact that the model is already outside your control.