Белорусские программисты играют ключевую роль в одной из популярных мировых платформ для организации контроля знаний. А недавно получили благодарность правительства Франции за проведенное общенациональное тестирование студентов. Как это работает?
Платформа для адаптивного компьютерного тестирования была разработана в Люксембурге почти 20 лет назад. Ее можно настроить под любого клиента, поэтому ее используют не только для проведения тестов для школьников или студентов (что-то вроде нашего ЦТ), но и в коммерческих целях, для оценки профессионального уровня работников. Например, в США тестировали экскаваторщиков и медсестер.
Белорусская компания 1PT Group участвует в проекте уже 7 лет и ее роль постоянно возрастает. На сегодняшний день около 20 инженеров работает над глобальным продуктом, кроме того, она полностью «закрывает» вопросы с контролем качества и обеспечивает техподдержку всех кампаний на платформе. Инженер-программист компании 1PT Group Иван Климчук, который руководит отделом по работе с платформой, рассказал о проекте.
Французский проект: 180 миллионов «учеток»!
— Он стал самым крупным в истории проекта. Всего было создано около 180 млн «учеток», а ежедневно на платформу заходило около 100 тысяч человек. Это очень серьезные нагрузки, учитывая, что никто из участников тестирования не должен испытывать дискомфорта.
А самым сложным, как часто это бывает, было решение проблемы с производительностью. Необходимо точно рассчитать, сколько серверов понадобится – мы их арендуем у провайдеров вроде Amazon и стоит это недешево. Лишние сервера – это зря потраченные деньги. А если серверов не хватит, то часть пользователей не сможет пользоваться системой. Кроме того, на платформе начнут появляться ошибки. В процессе тестирования никаких проблем не возникло – мы хорошо подготовились. Но, как всегда, на протяжении всей кампании за ее ходом круглосуточно следила «кавалерия» — отдел техподдержки 1PT Group.
В США пришлось добавлять поддержку русского языка
— Мы работали и работаем со многими странами на четырех континентах – Европе, Северной Америке, Азии и Африке. В Европе, например, у нас действующий большой проект с Италией. А в Норвегии платформу и вовсе интегрируют в образовательный процесс. Правительство этой страны серьезно занялось модернизацией системы образования и наш продукт станет ее частью. Они подключили своих, очень сильных разработчиков, с которыми очень интересно работать и многому можно научиться.
Работали и работаем с американцами. Но там проекты не столь глобальные и, в большей степени, относятся не к образованию, а к контролю профессиональных навыков. Так, мы тестировали медсестер и экскаваторщиков. В результате необходимо было подключать системы биллинга, так как важно было учесть, в каком из центров сертификации человек проходил тесты. Кроме того, для тестирования специалистов рабочих специальностей (экскаваторщиков, плотников, слесарей) пришлось добавить поддержку испанского и русского языков – оказалось, что на них говорит большой процент рабочих.
Проект постоянно расширяется и сейчас нам нужны программисты и инженеры высокого уровня.
Особенности японских школьников
— Обеспечить поддержку испанского и русского языков большой проблемой не было. А вот проект в Японии потребовал серьезного подхода. Дело в том, что в начальных классах Японии дети знают ограниченный набор иероглифов и для создания тестов надо было использовать только их. А для более старших классов поэтапно добавлять новые.
Но самым сложным с этой точки зрения стал проект, в котором используется арабский язык. Нам пришлось адаптировать всю систему для правописания справа налево.
У каждого клиента – свои потребности. Но сложнее всего работать с тестами по гуманитарным наукам, где студентам предлагают высказывать свое мнение или давать оценку. Как оценить смысловую нагрузку литературного эссе?
В результате нам пришлось создать отдельную базу, куда все ответы попадали анонимно. Учителя заходили в нее, оценивали результат – тоже анонимно, после чего оценка уходила в общую базу конкретному студенту.
Использовать ИИ не позволяет этика
— С технической стороны для 1PT Group возможно использовать искусственный интеллект. Хотя, конечно, требуется много времени и усилий чтобы «прокачать» ИИ до нужного уровня. Но возникает этическая проблема: получается, что машина будет оценивать когнитивные способности человека. И это, скорее всего, было бы очень неоднозначно воспринято самими студентами.
Тем не менее, машинную логику мы используем — в так называемых адаптивных тестах. Система оценивает ответ на вопрос и исходя из него выбирает следующий сложнее или проще. В таком случае студенту необязательно отвечать на все 200 вопросов из базы. Нам достаточно получить ответы на 20 вопросов, чтобы дать полностью корректную оценку знаний.
Политика благодарности, а не наказания
— Благодарности, такие, как мы получили от французского правительства, очень стимулируют, особенно тех, кто непосредственно участвует в кампании. Ведь, зачастую, программисты не видят результатов своей работы и оценки ее потребителем. В нашем же случае каждый участник команды понимает – его работа не осталась незамеченной.
У нас есть даже отдельный чат для благодарностей – как от клиентов, так и друг другу. Подобный подход создает хороший климат. И каждый понимает, что твой вклад в общее дело становится замеченным. Пожалуй, в этом одно из главных отличий европейского проекта от русскоязычных: все строится на благодарности за вклад, а не наказаниях за ошибки.
