Пентест головного мозга

В продолжение предыдущего поста, попробуем осознать, как исходя из реальных человеческих возможностей внедрить человека на игровое поле ИИ (спойлер -- кинуть туда и убежать). Четыре базовых величины, от которых мы можем отталкиваться -- это количество людей на эту роль, объем контекста (включая подсказки), время принятия одного решения и рабочие часы. Любой HITL начинается с нулевого вопроса, который не про HITL. А про архитектуру самого проекта. Какую задачу решает, как устроен, и где проходит граница доверия. Граница доверия формируется исходя из того, до какой поры вы могли бы оставить без присмотра своего электронного ИИ-джуна, очень инициативного, но иногда несущего бред. Можно разлениться уже на этом этапе и нанять ИИшку для очерчивания границ. Этот этап придется столько раз переделывать, что вы всё равно в конце поверите, что сделали это сами. 1 этап: работаем с приоритетами. Находим и сортируем точки контроля по риску. Риск определяется ценой ошибки ИИ: самозабвенно тратит токены, ресурсы, бесконтрольно вайбкодит и деплоит сам себя, галлюцинирует в юридически значимых местах, или что-то ещё. 2 этап: мы, имея задачу, сопоставив количество ресурсов и точек контроля можем начинать то, что любят далеко не все. Сайзинг. Смотрим, какой контекст даётся оператору, сколько запросов сыпется и как решение принимается. По сути не сильно отличается от отладки алертов. 3 этап: когда наконец в цепочке появился первый подопытный страдалец, можно начинать смотреть соотношение отказов и согласий. Пункт со звёздочкой -- повторяющиеся сценарии можно автоматизировать. Исключение составляют юридически значимые результаты, которые без оглядки на удобство просто обязан отсматривать человек. 4 этап: фиксируем, что получилось. Проверяем, что не один и тот же человек и придумал HITL, и риски посчитал и сел за стол оператора, а это сделали несколько пар глаз. И хотя бы одна отличная от оператора пара глаз посмотрела статистику в динамике и показала, где не хватает напильничка. Так вот очень просто и легко сейчас внедряется HITL, чтоб доказуемо, с рисками, блэкджеком и тотальным счастьем. В реальности -- со скрипом, ошибками, вообще не так, но по факту по описанным выше шагам (из-за всплывающих косяков вас просто будет бросать с четвертого этапа на любой другой и по многу раз). Каков вопрос, таков и путь.

Знаете, какие контроли в ИБ стандартах самые саботируемые? Контроли про контрольные процедуры. И я не буду сильно возбухать на этот счёт, контроль создавался не для того, чтобы его любили. Внедрить контрольные процедуры по тревожному сценарию -- получим вахтёра мечты. Внедрить по пути "не мешать бизнесу расти" -- с высокой вероятностью получим профанацию. И не успели мы разобраться, где вообще ставить точки контроля в более простых условиях на простых высоконагруженных системах (SIEM, IDS/IPS, WAF), нам подкинули теперь и HITL для ИИ. Ну чтоб не расслаблялись. HITL -- это "human in the loop", человек в контуре. Хотя у ИИ и не контур даже, а игровое поле большой языковой модели, которое и само постоянно меняется, и на которое по какой-то тактике уже сейчас надо расставить фигуры. Меня уже несколько раз спрашивали: "Юль, а как по уже вышедшей нормативке должен внедряться этот HITL?" Вероятно, ожидая, что хотя бы в стандарте ISO 42001 есть ответ, но там его, увы, нету. Пропустив стадии отрицания, торга, и злобабного вопроса "чаво не понятно, вот же буквами написано -- его надо иметь!", начинаем думать, куда поставить громоотвод. Громоотвод -- потому что модель накосячила, а разбор один: "ну у вас же был человек, который должен был проверить". А в реальности у человека было 4 секунды на решение, сырой интерфейс и ноль контекста, кроме "одобрить/отклонить". Если у вас внедрён ИИ и есть HITL -- посчитайте, сколько времени реально есть у человека на решение. И какую реально задачу человек с такими вводными решает: контролирует, прикрывает ИИ или что-то ещё.

Поэтому с этого поста -- правила канала. Комменты это не психогруппа и не приёмная коуча, где есть пространство разобраться, поэтому баню за: — непрошеные диагнозы читателям или автору ("у тебя точно...", "тебе пора признаться") без релевантных ссылок и источников — долженствования в адрес чужой жизни ("надо просто", "давно пора"), если только вы не хотите этот совет разобрать — советы, которых не просили, поданные как разбор чужой личности, а не текста — уверенные выводы о доходах, достижениях, компетенциях, характере или личной жизни любого участника на основе одного комментария — традиционно срачи и оскорбления. Разбор тезисов, спор по существу, несогласие с аргументами, разовый заход "не читал, но осуждаю" -- это всё живёт и приветствуется. Переход на личности -- нет. А вот с диким самосаботажем, желанием напихать в панамку из-за сильнейшего ощущения неправильности происходящего всегда можно постучаться ко мне в личку @zlaya_baba на установочную.