Контекстно-орієнтований вибір метрик в А/В тестуванні

Анотація

Робота присвячена вдосконаленню методологічної основи вибору метрик для A/B-тестування за рахунок розширення набору атрибутів метрик, що застосовуються у якості критеріїв вибору метрик для А/В тесту. Досліджено вплив типу даних та схеми агрегації метрики на її ефективність для А/В тестування, запропоновано використовувати ці параметри при первинному відборі метрик. За результатами узагальнення результатів експериментальних досліджень визначені порядкові значення ключових для А/В тестування параметрів метрик, таких як чутливість, зашумленість і необхідна тривалість експерименту. Побудовано ієрархічну модель взаємозалежностей між метриками і визначено процедуру формування набору конкретних метрик для А/В тесту на основі цієї моделі. Кінцевим результатом дослідження є формалізація ранніх етапів планування A/B-тестування з побудовою відповідного алгоритму.

Ключові слова: A/B тестування, метрика, дерево метрик, чутливість, зашумленість.

DOI: 10.15276/mdt.9.4.2025.1

1. AB Smartly. (2024). Creating an experiment. Available at: https://docs.absmartly.com/docs/web-console-docs/creating-an-experiment/ (accessed 12.06.2025).


2. AB Smartly. (2024). Understanding experimentation metrics. Available at: https://docs.absmartly.com/docs/web-console-docs/understanding-experimentation-metrics/ (accessed 12.06.2025).


3. Airbnb Engineering. (2024). Experiments at Airbnb. Available at: https://medium.com/airbnb-engineering/experiments-at-airbnb-e2db3abf39e7 (accessed 12.06.2025).


4. Airbnb Engineering. (n.d.). The Airbnb tech blog. Available at: https://medium.com/airbnb-engineering (accessed 12.06.2025).


5. Anderson, Y. (2025). How to measure eCommerce success: Key online marketplace metrics. Available at: https://www.cs-cart.com/blog/how-to-measure-your-marketplace-success-the-key-ecommerce-marketplace-metrics/ (accessed 12.06.2025).


6. Ankargren, S., Frånberg, M., & Schultzberg, M. (2024). It's about time: What A/B test metrics estimate. arXiv Preprint. DOI: https://doi.org/10.48550/arXiv.2411.06150.


7. Athey, S., Chetty, R., Imbens, G. W., & Kang, H. (2019). The surrogate index: Combining short-term proxies to estimate long-term treatment effects more rapidly and precisely. NBER Working Paper No. 26463. Available at: https://www.nber.org/papers/w26463 (accessed 12.06.2025).


8. AWA Digital. (2024). A/B testing metrics that truly matter. Available at: https://www.awa-digital.com/blog/ab-testing-metrics/ (accessed 12.06.2025).


9. Bakshy, E., Eckles, D., & Bernstein, M. (2014). Designing and deploying online field experiments. In Proceedings of the 23rd International Conference on World Wide Web (WWW ’14). DOI: https://doi.org/10.1145/2566486.2567967.


10. Berk, M. (2021, February 18). How to double A/B testing speed with CUPED. Medium. Available at: https://medium.com/data-science/how-to-double-a-b-testing-speed-with-cuped-f80460825a90 (accessed 12.06.2025).