Лидерборды LLM для PHP: qwen3.8, qwen4 и модели без цензуры

Здесь я публикую результаты тестирования локальных LLM на собственных тестах и сравниваю их с облачными. В тестах участвуют локальные qwen3.8-27B и её сборки со снятыми фильтрами безопасности (huihui-ai и orca), облачная qwen4-max-preview, облачные SOTA и российские модели. К каждому лидерборду прилагаю полный отчёт: методика, таблицы, протоколы серий, экономика.

Знания PHP-стека

Опубликован 14 октября 2026

Собеседование на роль PHP-бэкендера прошли 16 моделей: 8 локальных на RTX 5090, 5 облачных и 3 российские. Облачные SOTA — эталон для сравнения, среди них Opus 5.5, GPT-6.1 Sol, GPT-6 Luna и Haiku 5.5, плюс DeepSeek V4.1-Flash. GigaChat и YandexGPT — тоже для сравнения, чтобы понимать уровень отечественных моделей. Интервью — 35 открытых вопросов про PHP 8, Symfony, Doctrine, PostgreSQL, DDD и git. Без агентской обвязки и системного промпта, только знания из весов. Среди вопросов три провокации с ложной предпосылкой и два коротких код-ревью. Судья проверяет спорные утверждения запуском кода на PHP 8.5 и запросами к настоящему PostgreSQL в докере, отдельным замером идёт доля галлюцинаций.

Знания PHP-стека: Карта знаний

Опубликован 11 ноября 2026 · обновлён 15 ноября 2026 — все модели добиты до полных матриц

Недавно наткнулся на интересный тест LLM на знание мира. Работает он так: модели дают координаты точки на планете и просят определить, что находится в этой точке — суша или вода: BenchGecko «World Map». Это натолкнуло меня на мысль: а что, если составить подобную карту знаний PHP и его стека, а затем прогнать по ней разные модели — преимущественно локальные, облачные для сравнения?

Вопросы я составил так, чтобы получить от модели максимально однозначный ответ: да/нет, число или строку. Это упрощает автоматическую проверку результатов. Я подготовил вопросы на русском, английском и китайском языках и выяснил, как язык формулировки запроса влияет на качество ответа и расход токенов.

Отчёт построен на основе ответов на 296 вопросов: 240 в основном вопроснике — 26 тем по 8 уровней сложности, плюс 56 вопросов зоны «Глубина» — по два вопроса «что вернёт этот код» на каждую тему. Прошли 17 моделей:

  • 5 локальных моделей на ollama — qwen3.8:27B, huihui_ai/Qwen3.8-abliterated, ornith-1.5:35b, bonsai-2:27b, orcarouter/Qwen3.8-27B-Uncensored;
  • 2 негативные контроли — gemma4:e2b, medgemma:27b;
  • 4 облачные SOTA — GPT-6.1 Sol, GPT-6 Luna, Haiku 5.5, DeepSeek V4.1-Flash;
  • 4 облачные с моих подписок — qwen4-max-preview (alibabacloud) дала лучший результат, z.ai/glm-5.3-flash, alibabacloud/qwen3.8-flash, xiaomi/mimo-v2.6-flash;
  • 2 локальные decision-модели — компактные оценщики clef и clef-flash, однозначные ответы позволили протестировать и их: им вопрос даётся с вариантами ответа, модель выбирает правильный.

По 5 прогонов на каждый язык и уровень мышления. Всего 480 прогонов и 95 карт знаний — 159 часов тестов и 52.3 млн токенов. Кроме этого, вышло около 90 бракованных прогонов — транспорт задавал моделям не тот язык вопросов или не тот уровень мышления; они плюсом съели порядка 5 млн токенов подписок и лишние часы генерации. Это характеризует ИИ-ассистента, который их гонял, — ZCode + GLM-5.3-Flash, но при этом всё остальное он сделал отлично.

Отчёт интерактивный: можно сортировать, фильтровать и уходить в детали вниз до конкретного вопроса и ответа.

Умение писать код на PHP-стеке

Опубликован 30 октября 2026

Тестовое задание для PHP-бэкендера написал GLM-5.3-Flash по моим требованиям. Задача кандидата — написать консольное приложение учёта расходов на LLM-токены на PHP 8 и Symfony. Приложение импортирует тарифы и логи использования, считает стоимость по правилам провайдеров и формирует отчёты. Бонусом идёт команда пересчёта. Мы протестировали 16 моделей: облачные SOTA, российские модели и локальные сборки на ollama. Каждая модель решала задание через pi.dev. Промпт и набор инструментов у всех были одинаковыми. Всего получилось 89 прогонов, по три на каждый уровень размышлений, от выключенного мышления до максимума. Чекер проверяет решение запуском на 13 обязательных сценариях, статанализ меряет размер классов и их связность, ревью и слепой судья разбирают код, отдельный аудит смотрит безопасность.

Лидером среди облачных стал DeepSeek V4.1 Flash. Он получил полный зачёт на уровнях low и max, а на max его код оказался самым чистым среди выполнивших задание. Лучшими из локальных стали три сборки qwen3.8: базовая заняла 6-е место таблицы, huihui 7-е, orca 8-е. Huihui и orca собраны из тех же весов qwen3.8 со снятыми фильтрами безопасности. У qwen3.8 качество падает с ростом уровня размышлений. Лучший результат модель показывает на low.

Эмбеддинги

Готовится

Сравнение эмбеддинг-моделей на своей задаче. Формат ещё прорабатываю, лидерборд появится после первого прогона.

Decision-модели

Готовится

Decision-модели — компактные оценщики качества ответов. В собеседовании на PHP-стек роль дешёвого оценщика первого яруса выполняла clef. Лидерборд появится после первого прогона.

Транскрибация и диаризация

Готовится

Модели, которые переводят речь в текст и разбирают запись по говорящим: кто и когда говорил. Лидерборд появится после первого прогона.