Мы — Aspirity Solution, студия разработки, уже более 10 лет создающая веб- и мобильные приложения, no-code решения и интеллектуальных AI-агентов для клиентов по всему миру.

Сейчас мы ищем внимательного и системного QA-инженера, который поможет обеспечить стабильность и качество работы AI-агентов.

‍

Задачи

— Тестировать и оценивать работу AI-агентов (диалоговых и когнитивных систем).

— Разрабатывать и проводить eval-тесты (оценки корректности и устойчивости поведения агентов).

— Писать тест-кейсы и сценарии для функционального и не-функционального тестирования.

— Анализировать поведение агентов при нестандартных входных данных, выявлять ошибки в логике и промптах.

— Взаимодействовать с командой разработчиков и prompt-инженеров для улучшения моделей и тестовых пайплайнов.

— Поддерживать автоматизацию тестирования и документацию по процессам QA для AI-проектов.

‍

Требования

— Опыт работы в QA (manual или automation) от 2 лет.

— Понимание принципов AI-агентов, LLM-систем, prompt-инженерии.

— Опыт работы с eval-фреймворками (например, OpenAI Evals, DeepEval, LangChain Evals или аналогами).

— Владение Python на уровне написания тестов и простых скриптов.

— Навыки работы с Git и системами отслеживания ошибок.

— Владение английским не ниже B2 — рабочая коммуникация внутри международной команды.

Будет плюсом

— Опыт автоматизированного тестирования AI-агентов или чат-ботов.

— Опыт работы с LangChain, vapi, synthflow или другими инструментами построения агентов.

— Опыт анализа LLM-ответов по метрикам качества (accuracy, coherence, relevance).

— Понимание CI/CD-процессов и инструментов мониторинга.

‍

Мы предлагаем:

— Удалённый формат работы и гибкий график.

— Команду инженеров и AI-специалистов, работающих на стыке технологий и продуктового качества.

— Возможность развиваться в области QA для LLM-агентов и AI-систем.

— Оплата по уровню квалификации (от $20/час).