Семинары
RUS  ENG    ЖУРНАЛЫ   ПЕРСОНАЛИИ   ОРГАНИЗАЦИИ   КОНФЕРЕНЦИИ   СЕМИНАРЫ   ВИДЕОТЕКА   ПАКЕТ AMSBIB  
Календарь
Поиск
Регистрация семинара

RSS
Ближайшие семинары


Ежемесячный семинар Московской cекции ACM SIGMOD
27 апреля 2017 г. 16:20–19:00, г. Москва, ВМиК МГУ 		 

Эталонные тесты производительности СУБД: обзор и тенденции

А. В. Николаенко

IBS
Дополнительные материалы:
Adobe PDF 4.4 Mb

Количество просмотров:
Эта страница:228
Материалы:55

Аннотация: Совет по оценке производительности обработки транзакций (TPC.org) прикладывает немало усилий, чтобы создаваемые под его эгидой эталонные тесты для СУБД шли в ногу со временем, были объективными и нефальсифицируемыми, обеспечивали практическую сравнительную ценность результатов. Поддержка актуального профиля нагрузки информационных систем в TPC-E, универсальный аналитический бенчмарк TPC-DS, применимый как к реляционным СУБД, так и к системам на основе Spark, серия экспресс-тестов для систем из категории «больших данных» — всё это шаги навстречу современности. Но несмотря на все эти труды, востребованность тестов от TPC.org неуклонно снижается с середины 2000-х, результаты бенчмарков публикуются всё реже и реже, зато обретают популярность эталонные тесты новой волны, куда более поверхностные и страдающие болезнями, преодолёнными Советом ещё в начале 1990-х, неизбежно порождая новую волну «бенчмаркингового маркетинга». Не менее интересным в связи с этими обстоятельствами видится фокус производителей машин баз данных не на результатах синтетических тестов, а на атомарных показателях производительности, таких как число операций ввода-вывода на SQL-нагрузке и пропускная способность на SQL-нагрузке.
Данный доклад — широкий обзор существовавших и существующих эталонных тестов производительности, нацеленный на то, чтобы подобрать объяснение складывающейся ситуации, и наметить наиболее перспективные направления развития эталонного тестирования для СУБД.

Дополнительные материалы: db_benchmark_ovw_sigmod.pdf (4.4 Mb)

Website: https://synthesis.ipi.ac.ru/sigmod/seminar/s20170427

Список литературы
  1. Nambiar, Raghunath Othayoth and Poess, Meikel, “The Making of TPC-DS”, Proceedings of the 32$\mathrm{^{nd}}$ International Conference on Very Large Data Bases (VLDB ’06), VLDB Endowment, Seoul, Korea, 2006, 1049–1058 http://dl.acm.org/citation.cfm?id=1182635.1164217
  2. Llanos, Diego R., “TPCC-UVa: An Open-source TPC-C Implementation for Global Performance Measurement of Computer Systems”, SIGMOD Record, 35:4, December (2006), 6–15, ACM, NY  crossref
  3. Poess, Meikel, “Controlled SQL Query Evolution for Decision Support Benchmarks”, Proceedings of the 6$\mathrm{^{th}}$ International Workshop on Software and Performance (WOSP ’07), ACM, Buenos Aires, 2007, 38–41  crossref
  4. Chen, Shimin and Ailamaki, Anastasia and Athanassoulis, Manos and Gibbons, Phillip B. and Johnson, Ryan and Pandis, Ippokratis and Stoica, Radu, “TPC-E vs. TPC-C: Characterizing the New TPC-E Benchmark via an I/O Comparison Study”, SIGMOD Record, 39:3, September (2011), 5–10, ACM  crossref
  5. Nambiar, Raghunath and Poess, Meikel, “Keeping the TPC Relevant!”, Proc. VLDB Endowment, 6:11, August (2013), 1186–1187, VLDB Endowment  crossref
  6. Bog, Anja and Sachs, Kai and Zeier, Alexander, “Benchmarking Database Design for Mixed OLTP and OLAP Workloads”, Proceedings of the 2$\mathrm{^{nd}}$ ACM/SPEC International Conference on Performance Engineering (ICPE ’11), ACM, Karlsruhe, 2011, 417–418  crossref
  7. Tözün, Pinar and Pandis, Ippokratis and Kaynak, Cansu and Jevdjic, Djordje and Ailamaki, Anastasia, “From A to E: Analyzing TPC’s OLTP Benchmarks: The Obsolete, the Ubiquitous, the Unexplored”, Proceedings of the 16$\mathrm{^{th}}$ International Conference on Extending Database Technology (EDBT ’13), ACM, Genoa, 2013, 17–28  crossref
  8. Alexandrov, Alexander and Brücke, Christoph and Markl, Volker, “Issues in Big Data Testing and Benchmarking”, Proceedings of the Sixth International Workshop on Testing Database Systems (DBTest ’13), ACM, NY, 2013, 1, 1:1–1:5  crossref
  9. V. Kistowski, Jóakim and Arnold, Jeremy A. and Huppler, Karl and Lange, Klaus-Dieter and Henning, John L. and Cao, Paul, “How to Build a Benchmark”, Proceedings of the 6$\mathrm{^{th}}$ ACM/SPEC International Conference on Performance Engineering (ICPE ’15), ACM, Austin, Texas, 2015, 333–336  crossref
  10. Joishi, Jeevan and Sureka, Ashish, “Vishleshan: Performance Comparison and Programming Process Mining Algorithms in Graph-Oriented and Relational Database Query Languages”, Proceedings of the 19$\mathrm{^{th}}$ International Database Engineering & Applications Symposium (IDEAS ’15), ACM, Yokohama, 2014, 192–197  crossref
  11. Yassien, Amal W. and Desouky, Amr F., “RDBMS, NoSQL, Hadoop: A Performance-Based Empirical Analysis”, Proceedings of the 2$\mathrm{^{nd}}$ Africa and Middle East Conference on Software Engineering (AMECSE ’16), ACM, Cairo, 2016, 52–59  crossref
  12. Oliveira, Fábio Roberto and del Val Cura, Luis, “Performance Evaluation of NoSQL Multi-Model Data Stores in Polyglot Persistence Applications”, Proceedings of the 20$\mathrm{^{th}}$ International Database Engineering & Applications Symposium (IDEAS ’16), ACM, 2016 \publinfo Montreal, QC, 230–235  crossref
 
  Обратная связь:
  Пользовательское соглашение  Регистрация посетителей портала  Логотипы © Математический институт им. В. А. Стеклова РАН, 2024