Как распознавать тексты, написанные ИИ, и не быть при этом грубияном

Проблема с инструментами обнаружения ИИ

Большинство инструментов обнаружения ИИ работают за счет анализа статистических закономерностей в тексте — частотности слов, структуры предложений, предсказуемости. Они возвращают показатель уверенности, обычно в процентах. Проблема в том, что эти показатели не являются диагностическими. Результат «95% AI-generated» не означает, что текст был написан машиной. Он означает, что текст имеет определенные статистические свойства, сходные с известными результатами работы ИИ.

Это важно, потому что последствия ложноположительного срабатывания серьезны. Обвинение человека-автора в сдаче работы, сгенерированной ИИ, разрушает доверие, отнимает время и создает враждебную редакционную среду. Студентам ставили неудовлетворительные оценки, фрилансеры теряли контракты, кандидаты на работу получали отказы из-за ошибочных оценок детекторов. Сами инструменты признают, что недостаточно надежны, чтобы использоваться как единственное доказательство.

Основная проблема в том, что модели ИИ обучаются на человеческих текстах, поэтому они создают текст, похожий на человеческий. По мере улучшения моделей статистическая дистанция между человеческим и синтетическим текстом сокращается. Инструменты обнаружения преследуют движущуюся цель — и проигрывают.

Что действительно работает: редакционное суждение плюс контекст

Самый надежный способ выявить контент, сгенерированный ИИ, — не инструмент, а редакционное суждение, подкрепленное контекстом. Для этого нужно знать своих авторов, понимать задание и замечать, когда что-то выглядит не так.

Вот признаки, которые часто указывают на синтетический текст:

• Внезапные изменения стиля. Автор, который обычно использует сокращения и пишет от первого лица, присылает формальный текст от третьего лица без разговорных выражений.
• Общие формулировки. Текст читается как пересказ пересказов. В нем не хватает конкретики, он избегает сильных утверждений и использует слова-заглушки («различные факторы», «важно отметить»).
• Идеальная структура, поверхностное содержание. Каждый абзац построен по одному шаблону. Переходы плавные, но бессодержательные. Материал выглядит отполированным, но не говорит ничего запоминающегося.
• Фактическая расплывчатость. Текст делает широкие утверждения без ссылок на источники, избегает дат и имен и постоянно оговаривается.
• Незаслуженная уверенность. Тон авторитетный, но содержание поверхностное. Автор звучит так, будто объясняет то, в чем сам не разбирается.

Ни один из этих признаков не является доказательством. Это сигналы. Хороший редактор использует их, чтобы понять, стоит ли начать разговор, а не чтобы сразу отклонить работу.

Справедливый процесс для обсуждения сомнений

Если вы подозреваете, что материал был сгенерирован ИИ, цель — проверить, а не обвинить. Вот процесс, который уважает автора и одновременно защищает редакционные стандарты:

1. Сверьте материал с заданием

Отвечает ли текст на поставленный вопрос? Включает ли примеры, данные или личную позицию, которые вы просили? Если задание предполагало оригинальное исследование, а текст полностью общий, это проблема независимо от того, использовался ли ИИ.

2. Проверьте фактические ошибки

Модели ИИ галлюцинируют. Они придумывают цитирования, неверно приписывают цитаты и фабрикуют статистику. Если в материале есть утверждения, которые не подтверждаются, попросите автора предоставить источники. Это стандартная редакционная практика, а не обвинение.

3. Задайте уточняющие вопросы

Если что-то кажется странным, попросите автора объяснить ход мысли. «Можете рассказать, как вы подошли к этому разделу?» или «Я заметил эту формулировку — что вы имели в виду под “различными факторами”?» Автор, который действительно проделал работу, обычно может развить мысль. Автор, который отправил результат работы ИИ, часто не может.

4. Запросите конкретные правки

Если материал слишком общий, попросите конкретику. «Можете добавить пример из собственного опыта?» или «Можете указать источник для этого утверждения?» Так у автора появляется возможность улучшить работу без каких-либо обвинений.

5. Поговорите напрямую

Если сомнения остаются, поговорите с автором. Не отправляйте скриншот из инструмента обнаружения. Не ссылайтесь на процент. Скажите примерно так: «Этот текст не похож по стилю на ваши предыдущие работы и не включает конкретику, которую мы обсуждали. Можем поговорить о том, что произошло?»

Большинство авторов будут честны, если дать им такую возможность. Кто-то признает, что использовал ИИ как инструмент для черновика, и будет готов переработать текст. Кто-то объяснит, что торопился или неправильно понял задание. Некоторые займут оборонительную позицию. Все эти исходы лучше ложного обвинения.

Когда использовать инструменты обнаружения (осторожно)

У инструментов обнаружения есть роль, но она ограничена. Они полезны как фильтр первичного отбора в средах с большим объемом материалов — приемных комиссиях, контент-фермах, масштабных конкурсах. Они не полезны как доказательство.

Если вы все же используете инструмент обнаружения, воспринимайте результат как повод присмотреться внимательнее, а не как вердикт. Пропустите текст через несколько инструментов и сравните результаты. Если они расходятся (а это часто бывает), оценка не имеет смысла. Если они совпадают, вам все равно нужно человеческое суждение, чтобы решить, что делать дальше.

Никогда не показывайте автору оценку детектора. Она ничего не доказывает и портит отношения. Если вы не можете обосновать использование ИИ без ссылки на инструмент, у вас нет обоснования.

Более широкий контекст: раскрытие вместо обнаружения

Долгосрочное решение — не лучшее обнаружение, а более ясные нормы раскрытия. От авторов следует ожидать, что они будут сообщать, как использовали ИИ, если использовали вообще. Редакторы должны четко объяснять, что допустимо. Как выглядит честное раскрытие использования ИИ на небольшом сайте предлагает рабочую рамку для этого.

Для этого нужно доверие, поэтому процесс обнаружения так важен. Если ваша редакционная культура карательная, авторы будут скрывать свой процесс. Если она основана на сотрудничестве, они будут честно рассказывать о своих инструментах и методах. Цель не в том, чтобы исключить использование ИИ, а в том, чтобы опубликованная работа соответствовала вашим стандартам — каким бы способом она ни была создана.

Ключевые выводы

• Инструменты обнаружения ИИ недостаточно надежны, чтобы использоваться как доказательство. Они часто дают ложноположительные результаты и никогда не должны быть единственным основанием для обвинения автора.
• Самый эффективный метод выявления — редакционное суждение: знание своих авторов, умение замечать изменения стиля и распознавать общий или расплывчатый контент.
• Если вы подозреваете использование ИИ, проверяйте это через уточняющие вопросы и запросы на правки, а не через обвинения. Большинство проблем можно решить разговором.
• Инструменты обнаружения могут быть полезны как фильтр первичного отбора в условиях большого объема материалов, но результаты всегда следует подтверждать человеческой проверкой.
• Долгосрочное решение — не более точное обнаружение, а более ясные нормы раскрытия и допустимого использования ИИ в ваших редакционных правилах.

FAQ

Q: Можно ли доверять точности инструментов обнаружения ИИ?

Нет. У современных инструментов обнаружения достаточно высокий уровень ложноположительных результатов, поэтому их никогда не следует использовать как единственное доказательство. Они анализируют статистические закономерности, которые существенно пересекаются у человеческого и сгенерированного ИИ текста, особенно по мере улучшения моделей. Воспринимайте оценки детектора как повод исследовать ситуацию дальше, а не как доказательство.

Q: Что делать, если автор отрицает использование ИИ, но у меня все еще есть подозрения?

Сосредоточьтесь на работе, а не на обвинении. Если материал не соответствует вашим редакционным стандартам — слишком общий, без источников, не отвечает заданию, — отклоните его на этих основаниях. Вам не нужно доказывать использование ИИ, чтобы соблюдать стандарты качества. Если отношения продолжаются, уточните ожидания для будущих материалов.

Q: Допустимо ли авторам использовать ИИ как инструмент для черновика?

Это зависит от ваших редакционных правил. Многие издания разрешают использовать ИИ для плана, исследования или первых черновиков, если автор существенно перерабатывает и проверяет факты в результате. Ключевой момент — раскрытие: авторы должны сообщать, как они использовали ИИ, а редакторы должны решать, соответствует ли итоговая работа стандартам.

Q: Как написать редакционные правила, которые справедливо регулируют использование ИИ?

Будьте конкретны в том, что допустимо. Например: «Авторы могут использовать инструменты ИИ для исследования и составления плана, но весь финальный текст должен быть написан и проверен автором. Любой сгенерированный ИИ текст, который остается в финальном черновике, должен быть раскрыт». Избегайте полных запретов: их трудно обеспечивать, и они поощряют нечестность.

Q: Что, если я ошибусь и ложно обвиню человека?

Извинитесь сразу и ясно. Объясните, что привело к ошибке, признайте причиненный вред и пересмотрите процесс, чтобы предотвратить будущие ошибки. Ложные обвинения разрушают доверие, но искреннее извинение и изменение процесса иногда могут восстановить отношения.

<!-- tool-cta:start -->

💡 Попробуйте это: В качестве менее рискованного сигнала, чем склонные к обвинениям детекторы, AI Markdown Checker проверяет шаблоны форматирования, которые часто указывают на черновик, созданный AI.

<!-- tool-cta:end -->

Sources

• «Классификаторы ИИ-текста очень легко обмануть» — Vice, 2023
• «Мы протестировали детекторы ИИ. Вот что мы выяснили» — The Verge, 2023
• «Проблема ложноположительных результатов в обнаружении ИИ» — Inside Higher Ed, 2024
• «Как распознать текст, сгенерированный ИИ: руководство для редакторов» — Columbia Journalism Review, 2023