Как появление IEM-систем
сделало ERP устаревшими >

Производительность

Касательно производительности — все просто. Слово фактам:

  • на практике: 4000+ одновременных активных пользователей, 17 млн строк документов ежедневно (бОльшее количество пока никто не запрашивал).
  • стендовые испытания: 18 000 одновременных активных пользователей, 96 млн строк документов в сутки.

    В сентябре 2013 года Ultimate и ФОРС Дистрибуция, представляющая интересы корпорации Oracle на территории Российской Федерации (и, что не менее важно, — перспективной IT-державы Монголии), провели совместное тестирование решения Ultimate e-Trade® на платформе Ultimate Solid.

    Тест последовательно запускался с нарастающей нагрузкой, начиная с 1500 конкурентных пользователей.
    Максимальной нагрузкой, на которой завершилось выполнение теста, стало 18 000 конкурентных пользователей.
    С такой нагрузкой тест исполнялся на 6-ти серверах приложений и Oracle Exadata Database Machine X2-2 с развернутым RAC из двух виртуальных серверов по 24 ядра.
    В качестве дискового хранилища использовалось 8 дисков в RAID 10 и 2 SSD диска в RAID 0.
    Средняя загрузка серверов приложений составила 85%, сервера базы данных — 70%.

    Для проверки реальных ощущений пользователей несколько операторов выполняли сценарии тестов в ручном режиме из главного клиентского приложения для оценки реальных задержек. При этом операторы отметили, что на сохранение клиентских заказов требовалось не более 1-2 секунд, создание отчетов занимало не более 2-х секунд, отображение списка товаров с текущими остатками, резервами, ценами и прочей аналитической информацией не более 1-й секунды.

    Таким образом:

    • работа пользователей и при достижении порога в 18 000 пользователей оставалась вполне комфортной;
    • указанные 18 000 пользователей — технический порог в условиях ограничений проведенных испытания, не являющийся пределом производительности протестированного решения Ultimate при условии наращивания серверных мощностей

     

    Особо отметим: в противовес обычной рыночной практике тестирования «сферических коней в вакууме» (причем параметры настройки вакуума тщательно подбираются для максимальной эксплуатации сильных и ретуширования слабых мест), в сабжевом тестировании эмулировалась нагрузка от работы реальных пользователей, профили активности которых были сняты с реальной базы одного из наших клиентов, крупнейшего интернет-ритейлера РФ.

    В процессе тестирования эмулировались все основные действия реальных пользователей — создание заказов (с учетом свободных остатков), их обработка, набор на складе, отгрузка, пополнение складских запасов, перемещение между складами для поддержания ассортимента и прочая рутинная хозяйственная деятельность.
    Распределение товаров между складами и внутри товарных категорий поддерживалось максимально близким к реальности.

    Заказы поставщикам для пополнения склада создавались с учетом текущего оборота по всей компании.
    Аналогично, заказы для пополнения запасов в магазинах/точках отгрузки/офисах продаж формировались в зависимости от реальных продаж склада и его лимитов (весо-габаритных, суммовых и т.д.)

    Пресс-релиз ФОРС Дистрибуция по итогам тестирования
     
    Подробнее

Сравнение с продуктами коллег

  Ultimate Solid c конфигурацией e-Trade Microsoft Dynamics®
AX 2012
SAP R/3 
 
Кол-во конкурентных
пользователей
18 000 5 000             
Время на создание
заказа на закупку
150 позиций
за 1,28 с
5 позиций
за 12,29 с
                       
                  
Время на создание
заказа на продажу
5-8 позиций
за 0,9 с
5 позиций
за 9,15 с
                     
             
Application-server 6 серверов
2 Core CPU 2.2 GHz,
2 Gb RAM
10 серверов
по 12 ядер,
16 Gb RAM
                 
                        
         
Database-server Oracle Exadata Database
Machine X2-2 48 Core CPU,
32 Gb RAM
4-processor
12 core (48 cores),
2.2 GHz AMD Opteron,
256 Gb RAM
                     
                
         
             

 

Развернутое описание теста Ultimate Solid PDF, 155Kb

Развернутое описание теста Microsoft Dynamics AX 2012® PDF, 400Kb

Развернутое описание теста SAP R/3... минуточку... а где же официальные данные по производительности Сапа?... Или неофициальные... 

Дорогие читатели!
Здесь мы к великому своему стыду вынуждены признать: у нас НЕТ никаких данных о производительности SAP.


Факт: потратив немало времени и денег на поиск соответствующей информации, мы не нашли ни-че-го. Ни один «сапер» ни при каких гарантиях конфиденциальности не смог сказать ничего вразумительного.

Update 01.09.2014

Доброжелатель, анонимность коего гарантирована, прислал нам пару ссылочек, а именно:

SAP SD Standard Application Benchmark Results, Three-Tier Internet Configuration

Пояснение по тесту (english)

Вынуждены к своему стыду признать — что, несмотря на немало затраченные на раскапывание информации о сапопроизводительности усилия, этот раздел на сайте SAP мы не обнаружили.

Наш стыд несколько смягчается двумя обстоятельствами:
— для всех наших знакомых сапововлеченных товарищей факт существования сей сверхважной информации оказался не меньшей новостью (sic!);
— особо критичному читателю предлагается самостоятельно оценить прелесть и удобство сайта германских коллег с точки зрения раскапывания хоть какой-то практически полезной информации. 

Однако — ближе к делу.
Что же мы видим, пройдя по вышеприведенным ссылкам?
Если вычесть массив белого шума, старательно напиханного в целях вящего усложнения восприятия
и, соответственно, наращивания наукообразности, то...

… официальная рецензия Ultimate на "тестирование" SAP, будет такая:

по вышеприведенной ссылке расположены результаты, в сущности, тестирования производительности дисковой подсистемы сервера базы данных.
А отнюдь НЕ тестирования производительности системы в условиях, приближенных к боевым.


В процессе упомянутого «тестирования» НЕ происходит моделирования работы предприятия (со всеми разумными допущениями сферического коня в вакууме). Напротив, мы наблюдаем результаты отработки некоей абсолютно синтетической процедуры, в рамках которой исключено возникновение блокировок базы данных, которые в действительности только и являются препятствием к бесконечному масштабированию системы.
Тем временем, именно способность избегать блокировок является основным фактором, определяющим настоящую производительность в условиях реальной эксплуатации.

Update 23.03.2016

Пишут:

---------- Forwarded message ---------- From: <s4hana@sigaint.org> Date: 2016-03-18 21:35 GMT+03:00 Subject: Volume testing for SAP S/4HANA and comparison with Ultimate To: sapleaks@ultimabusinessware.com Dear All, I'd like to ask you about a possibility to participate in the volume testing for the latest version of SAP S/4HANA (SAP In-Memory ERP). By using the same or similar data set for the volume testing of S/4HANA and Ultimate Solid, a comparison between SAP and Ultimate performance could be done more precisely. If you're interested, then I've outlined possible responsibilities of the parties below: 1. I provide VM with latest version of S/4HANA, upload it to your server and perform remote installation of it, perform SAP configuration to enable uploading of your data, develop tools for the data uploading, perform a mapping between your data structure and the structure of SAP business objects, develop short user guides for you to execute required procedures in SAP on your side. 2. You provide a server with required characteristics (either physical one or AWS instance), enable a remote access to this server for me, provide the information about data structures in your test database, and perform an upload of your data using SAP tools developed by me. If your data is not confidential, or in case you can anonymize it, then I can upload your data to SAP by myself. You also will have to develop tools to execute transactions on S/4HANA application server during volume testing using API provided by SAP, similarly to the approach you've used for Ultimate Solid volume testing (to bypass client level). Please tell me what do you think. Best regards, John Doe.

Отвечаем:

---------- Forwarded message ---------- From: Alexander Olefirenko <*****@ultimabusinessware.com> Date: 2016-03-22 16:34 GMT+03:00 Subject: Re: Volume testing for SAP S/4HANA and comparison with Ultimate To: s4hana@sigaint.org Having read your proposal we came to conclusion that we must refuse it and will not participate in the test procedure you have described. That's why: 1. The proposed benchmark scheme on a same data structures do not let to expose strengths and weaknesses of the competing solutions. Such a scheme only benchmarks database performance, but Oracle corporation have done it last year: http://www.oracle.com/technetwork/database/ in-memory/overview/benefits-of-dbim-for-sap-apps-2672504.html 2. We don't have neither SAP-qualified employees nor the expertise in SAP customization. So we cannot comply with the requirement to build a special tool to avoid client level. We believe it should be on the SAP side. 3. We believe benchmarking is good. But we sure benchmarking has to done based on same scripts, not data structures. And, these benchmark should run in top of "Basic" or "Standard" solution. The script must be based on real-life user profiles and routines. Upon development of our benchmark we started with Microsoft Axapta benchmark. (http://www.ultimatesolid.ru/performance/Microsoft-Dynamics- AX-2012-Day-in-the-Life-Benchmark-Summary.pdf). Competing on the similar scripts lets the solution show how it scalability, transaction processing performance, query optimization, how the platform and solution together can avoid lock and deadlocks. 4. If you want to continue conversation you have to deanonymize yourself because we need to know who are we talking to. We guarantee confidentiality to all respondents. Best regards, Alexander Olefirenko CIO, Head of R&D Dept.

Краткое изложение сути по-русски.

Засекреченный партайгеноссе, выступающий под англосаксонским юридическим псевдонимом John Doe, и пишущий с домена sigaint.org (почтового сервиса с гарантией анонимности), предлагает нам поучаствовать в сравнительном тестировании SAP и Ultimate.

То есть, на словах предлагается сравнение производительности ERP-решений SAP и Ultimate.
Однако — формулируемые таинственным Джоном Доу условия низводят затею до повторения профанации, разобранной в предыдущем апдейте от 01.09.2014.

Только на этот раз в качестве СУБД вместо MS SQL Server (и древнего хлама типа DB2) предлагается использовать SAP HANA  — прямой конкурент Oracle Database.

Соответственно, и сравнивать производительность SAP HANA разумно с Oracle Database.

К счастью, оное сравнение уже было произведено год назад.
Разочаровывающие результаты обретают дополнительные нотки пикантности на фоне того факта, что связка родных продуктов — бизнес-приложений SAP и SAP HANA безоговорочно проиграла связке бизнес-приложений SAP и Oracle Database.

Глубже интересующимся предлагается оценить ехидный троллинг немецких неудачников от Oracle (ENG): Развернуть

Interestingly, SAP has chosen not to publish results for any of their standard OLTP benchmarks for their HANA database; instead, SAP has created a new benchmark called SAP Business Warehouse Enhanced Mixed Workload (BW-EML).
...
Apparently, SAP does not want to disclose the performance of HANA on any of the other SAP Business Applications except for the BW application, making it impossible to tell how HANA compares to other databases running the SAP Business Applications benchmarks unless those databases run the SAP BW-EML benchmark.

P.S. Предположения, как называется компания, в PR-отделе которой подвизается Parteigenosse Джон Доу, оставляем дедуктивным способностям читателя.

Как появление IEM-систем сделало ERP устаревшими