Claude Opus 4.8 учится произносить три самых сложных слова для ИИ: «Я не знаю»

Честность остается серьезной проблемой даже для самых мощных больших языковых моделей (БЯМ). Дело не в том, что они намеренно лгут; скорее, они с уверенностью сообщают информацию, в которой не уверены на 100% (или даже на 50%).

По словам Anthropic, с выпуском Opus 4.8, своей новейшей модели Claude, компания сделала Claude более честной в отношении того, что она не знает, или если ее уверенность в предоставляемой информации низка.

Выпущенный в четверг, Claude Opus 4.8 не является Claude Mythos Preview — новой «передовой» моделью Anthropic, настолько мощной, что лишь горстке «доверенных партнеров» было разрешено тестировать ее по соображениям безопасности. Твердой даты выпуска Claude Mythos пока нет.

Появившись примерно через шесть недель после Claude Opus 4.7, Opus 4.8 становится самой мощной общедоступной моделью Anthropic и, по большей части, представляет собой «скромное» улучшение по сравнению с предшественником. Однако Anthropic отмечает, что Mythos Preview значительно превосходит ее в задачах кибербезопасности.

Тем не менее, согласно внутренним тестам компании, Opus 4.8 лидирует в ключевой категории: честность. Модель получила «почти идеальные» оценки, когда дело доходит до признания незнания ответа на вопрос по кодированию.

Даже невероятно мощная Mythos Preview не смогла превзойти Opus 4.8 в этом конкретном тесте на честность, заняв близкое второе место, в то время как Opus 4.7 финишировала на далеком четвертом месте.

Конечно, это результаты внутренних тестов Anthropic; нам придется дождаться сторонних испытаний для получения более объективных результатов, не говоря уже об отзывах от реальных пользователей. Я планирую опробовать Opus 4.8 в ближайшие дни.

Anthropic также поделилась некоторыми «вызывающими опасения намеками, связанными с осведомленностью об оценке» — это означает, что Opus 4.8 проявлял признаки того, что знал, что его тестируют, — отмечая при этом «тенденцию модели рассуждать о том, как будут оцениваться ее результаты». Эти опасения не уникальны для Opus 4.8; действительно, новейшие «передовые» модели часто, кажется, знают, когда их проверяют и исследуют.

Тем не менее, приятно видеть, что такие модели, как Opus 4.8, сокращают количество неточной информации, по крайней мере, на бумаге. Надеемся, что этот уровень честности сохранится и на практике.