Эталонные тесты XML СУБД
From <XAnswer Wiki>
Contents |
Что такое эталонный тест
Определение первое, очень узкое: Эталонный тест (benchmark) это результат исполнения некоторого программного кода с целью выяснения относительных характеристик одной или более измеряемых систем.
Определение второе, более широкое: Эталонным тестом называется спецификация, определяющая методы, исходные данные и оценочные критерии для выяснения относительных характеристик нескольких измеряемых систем. В эталонный тест также может входить программный код, выполняющий генерацию исходных данных, сеансы тестирования и анализ результатов. Как правило, эталонные тесты изучают какие-то определенные аспекты систем, которые мы будем называть измеряемыми аспектами
На жаргонном русском эталонный тест называют "пузомеркой".
Зачем нужны эталонные тесты
Эталонные тесты необходимы для того, чтобы выяснить, какая из систем имеет наилучшие характеристики измеряемого аспекта. На практике это бывает нужно, чтоб выбрать наилучшую систему или доказать экспериментом, что научная разработка как-то улучшила характеристики системы
Почему характеристики измеряются не в километрах в час
Первое, что приходит в голову после предложения "померяться" с чем-нибудь, это обогнать это самое что-нибудь в абсолютных цифрах. Скажем, что-нибудь выполняет запрос за 5 секунд, а мы вот сумели выполнить его за 4.5 секунды. Написали на Ассемблере, ага, чтоб быстрее гонялось. В большинстве научных исследований такой подход смысла не имеет. Потому что целью проведения тестов является доказательство того, что новшество позволило улучшить характеристики. То есть, сделать их лучше, чем они были раньше. Сравнение тут относительное, а абсолютные цифры, в общем-то, малоинтересны. Поэтому если тест доказывает, что новый алгоритм оптимизации ускоряет выполнение запроса в два раза по сравнению со старым (в тех же условиях, конечно), то это прекрасно, даже если они оба написаны на Java и работают в 20 раз медленнее чем движок, не использующий оптимизацию вообще, но написанный на Ассемблере
Ссылки
- XMark - The XML Benchmark Project (Free)
- The aim of the XMark project is to provide a benchmark suite that allows users and developers to gain insights into the characteristics of their XML repositories
- XML Persistence
- BumbleBee (Коммерческий продукт)
- Система автоматического тестирования XQuery процессоров. Поддерживаются Qexo, Qizx/open, Saxon, Cerisent, Ipedo, IPSI-XQ, X-Hive.
- XMach-1: A Benchmark for XML Data Management (Free)
- A reference implementation consisting of a data generator to populate the XML benchmark database and a query execution framework
- MemBeR: XQuery Micro-Benchmark Repository
