A crowdsourcing engine for mechanized labor

Краудсорсинг на основе выполнения микрозадач предполагает разделение исходной задачи на множество менее крупных. Микрозадачи выполняются на специализированных человеко-машинных платформах, таких как CrowdFlower и Amazon Mechanical Turk, за что участники процесса краудсорсинга получают некоторое вознаграждение. Среди успешных примеров применения краудсорсинга следует отметить решение задач по оценке калорийности пищи, обработке естественного языка, обнаружению незаконного проникновения на территорию, и других «ИИ-трудных» задач. Существующие платформы для выполнения микрозадач являются закрытыми; для обеспечения качества результата разметки необходимо предпринимать дополнительные усилия по обработке данных. В данной статье представлен инструментарий для выполнения микрозадач с открытым исходным кодом, проведено описание архитектуры и деталей реализации. Инструментарий управляет всеми аспектами процесса выполнения микрозадач: осуществляет назначение заданий, оценку квалификации участников, агрегацию ответов и оценку их согласованности, а также включает иные подходы к обеспечению качества результата. Текущая версия инструментария реализована в виде трёхзвенной информационной системы, состоящей из уровня приложения с интерфейсом для участников, уровня Веб-сервиса для управления процессом, и уровня хранения данных. Взаимодействие с Веб-сервисом осуществляется при помощи программного интерфейса, построенного на основе архитектурного стиля передачи состояния представления. Методы управления разметкой реализуются в виде процессоров, инициализируемых при помощи механизма внедрения зависимостей для достижения принципа слабой связности системы. Работоспособность инструментария подтверждается наличием модульных тестов и успешным воспроизведением эксперимента по оценке семантической близости слов.