Changelog

4.14.1 — 2024.03.20

• Оптимизировали работу сервиса с изображениями. Благодаря этому, скорость обработки документов с высоким разрешением теперь не уступает скорости обработки документов с низким разрешением.

• Усовершенствовали алгоритм извлечения перфорированных символов. Это позволило улучшить распознавание зеркального текста. Такой текст часто встречается на развороте с пропиской в паспорте граждан РФ.

• Добавили возможность извлечения серии и номера из разворота 18-19 паспорта РФ. На этом развороте указывается информация о ранее выданных паспортах.

• Сервис теперь поддерживает извлечение номеров банковских карт нестандартной длины.

• Дата документа в СТС (свидетельстве о регистрации транспортного средства) теперь корректно возвращается в формате дд.мм.гггг.

4.12.0 — 2024.02.29

• Увеличили точность определения ориентации банковских карт и второстепенных разворотов паспорта РФ.

• Повысили точность извлечения данных из первичных документов.

4.11.0 — 2024.02.22

• Доработали алгоритм чтения нестандартных PDF-файлов, теперь он не совершает ошибок при извлечении изображений.

4.10.0 — 2024.02.14

• Добавили извлечение 66 новых полей из прописок. Полный перечень полей тут.

• Обновили нейросеть, определяющую источник изображения в сервисе «Приназки подделки». Теперь мы точнее определяем источник изображения: фото, скан, скриншот или фото экрана.

• Swagger в локальной версии сервиса больше не обращается в интернет.

4.9.2 — 2024.01.25

• Полностью обновили сервис извлечения данных из первичных документов. Он классифицирует бухгалтерские документы и извлекает данные из актов, счетов, накладных, УПД и договоров. Попробуйте его через веб-демо.

• Разработали новый сервис, который определяет наличие подписей и печатей на любых документах.

• Увеличили точность классификации и определения ориентации документов.

• Сервис извлечения данных теперь возвращает нумерацию страниц паспорта РФ. Например, для прописок это может быть 4-5, 6-7 и так далее.

• Подняли точность извлечения полей «Марка» и «Модель» в ПТС.

4.7.0 — 2023.12.14

• Добавили возврат корпуса/строения в адресе прописки в поле block

• Исправили баг с инвертированием итогового result в блоке логических проверок на признаки подделки

4.5.0 — 2023.11.21

• Добавили возврат координат документов в методе Извлечение данных, теперь они возвращаются в массиве doc_coords

• Исправили баги в логических проверках паспорта РФ в методе Антифрод

• Доработали визуальную часть демо-стенда

4.4.11 — 2023.11.10

• Обновили сервис извлечения данных из бухгалтерской первички. Теперь он точнее извлекает табличными данными. Попробуйте в веб-демо.

• Обучили новый движок распознавания текста, написанного перфорацией. Теперь сервис уверенно извлекает серию-номер с перфорированных страниц паспорта.

• Доработали извлечение данных из нестандартных банковских карт: с данными на одной стороне карты и с номером, написанным «лесенкой».

• Устранили баг из-за которого сервис замедлялся при работе с большими изображениями.

• Исправили баг, который приводил к путанице серии-номера на обратной стороне некоторых водительских удостоверений.

• Нашли и обезвредили баг, из-за которого случалось некорректное извлечение многострочного поля «Место рождения» в СНИЛС образца 2003 года.

4.4.9 — 2023.10.30

• Открыли доступ к новому методу проверки liveness людей на изображениях. Метод доступен по адресу https://latest.dbrain.io/v2/face/liveness. Полное описание читайте в документации.

• Обновили метод «Базовый OCR». Он доступен по адресу https://latest.dbrain.io/basic_ocr. Полное описание читайте в документации.

• Выпустили новую версию веб-демо — demo.dbrain.io. В ней доступен новый Антифрод.

• Теперь возвращаем в прописках раскладку адреса по классификатору адресов КЛАДР.

4.4.7 — 2023.10.16

• Открыли доступ к сервису проверки подлинности изображений документов. Метод доступен по адресу https://latest.dbrain.io/check/fraud. Полное описание читайте в документации.

• Реализовали новый метод проверки работоспособности сервиса. Метод доступен по адресу https://latest.dbrain.io/healthcheck. Более подробное описание читайте в документации.

• Исправили возврат координат полей в прописках.

4.4.4 — 2023.09.28

• Открыли доступ к новым методам сравнения лиц https://latest.dbrain.io/v2/face/distance и селфи https://latest.dbrain.io/v2/face/selfie. Чтобы начать ими пользоваться, перепишите интеграцию с нашим сервисом, используя документацию. От текущих версий этих методов откажемся со временем, поэтому рекомендуем начать переход на новые уже сейчас.

• Научили метод recognize возвращать область документа из изображения. Чтобы воспользоваться, передайте параметр return_crops=true, тогда в ответе появится массив doc_crops.

• Добавили виды топонимов в адресах прописок в полях address и street. Теперь вместо «Энтузиастов» возвращаем «Шоссе Энтузиастов».

• Снова доступен возврат даты регистрации в прописках.

4.2.5 — 2023.06.02

• Обновили классификатор документов — теперь он меньше путает типы документов. Обратные стороны водительских удостоверений, например.

• Вернули поддержку параметра doc_type в методе recognize. Теперь можно выбрать из каких типов документов, которые лежат в файле, сервис должен извлекать данные.

• Вернули извлечение следующих полей из штампов прописок:

  • код подразделения — subdivision_code

  • место выдачи — issuing_authority

  • регион — region

  • город — locality

  • улица — street

  • дом — house

  • квартира — apartment

• Теперь возвращаем из штампов прописок ещё два поля:

  • address_gar — адрес в формате муниципального деления по справочнику ГАР

  • fias_id — код адреса по справочнику ФИАС

• Включили нормализацию адреса по справочнику ФИАС в штампах прописок по умолчанию.

4.0.0 — 2023.03.29

Переписываем ядро системы сервисов распознавания. Переносим функционал в новую версию, но пока часть запросов будет продолжать обрабатываться через версию 3.7.8. И для локальной установки мы по-прежнему рекомендуем версию 3.7.8.

Основные моменты: 

• API сделали обратно-совместимым. На вашей стороне ничего не нужно менять.

• Скорость обработки одного документа сократилась до 1 секунды.

• Добавили извлечение поля «Серия и номер» с разворота «Место жительства» паспорта РФ.

3.7.8 — 2022.12.07

Обновления

• Обновили детектор отфотошопленных паспортов РФ. Теперь он идентифицирует больше способов подделки. Воспользоваться им можно с помощью параметра check_fake_visual методов recognize и classify.

• Обучили классификатор различать новые виды документов:

  • Паспорт: Азербайджан 2013, Кыргызстан 2021, Молдавия 2014, Армения, Беларусия 1996, Казахстан 2014, Узбекистан 2011 и 2020;

  • Загранпаспорт: Украина 2015;

  • Лицевая и обратная сторона ID-карт Азербайджана 2012 и 2018 годов.

• Переписали алгоритм, вычисляющий чёткость изображения. Теперь при оценке чёткости можно полностью полагаться на его показатели.

• Научили алгоритм вычислять уровень уверенности для поля «кем выдано» в штампах прописки.

• Дополнили ответ метода recognize координатами и ориентацией документа, по аналогии с ответом метода classify.

3.7.7 — 2022.10.05

Обновления

• Подняли точность детектора отфотошопленных паспортов РФ. Воспользоваться им можно с помощью параметра check_fake_visual методов recognize и classify

• Научили классификатор документов сообщать уровень уверенности в корректности классификации. Методы recognize и classify теперь возвращают параметр confidence

• Научились распознавать документы СТД-Р и 182н

Багфиксы

• Починили метод fulltext, он сломался в предыдущем релизе

3.7.5 — 2022.08.01

Обновления

• Научились классифицировать вид на жительство и свидетельство о регистрации по месту пребывания

• Добавили распознавание полей «название подразделения» и «код подразделения» в штампах о регистрации

Багфиксы

• Исправили ошибку с некорректной работой ручки face/distance на повёрнутых изображениях

3.7.4 — 2022.07.07

Обновления

• Обучили детектор отфотошопленных паспортов России. Воспользоваться им можно с помощью параметра check_fake_visual методов recognize и classify

• Научились распознавать ЭПТС

• Подняли качество распознавания обеих сторон СТС

• Добавили настройку предельного времени ручного распознавания с помощью параметра hitl_deadline_seconds

Багфиксы

• Исправили ошибку при чтения некоторых вариантов TIFF-файлов

3.7.3 — 2022.05.20

Обновления

• Обучили новый объединённый движок распознавания печатных и рукописных штампов прописок. Метрики точности печатных штампов выросли вдвое, рукописных — ещё на 6%

• Проапгрейдили рукописный OCR-движок для документов — теперь лучше извлекаем текст из рукописного паспорта России и европротокола

• Добавили возврат координат слов в ответ полнотекстового распознавания

Багфиксы

• В паспорте России, СТС, СНИЛС, свидетельстве о рождении и свидетельстве о браке отсутствовали координаты ряда полей

• Классификатор источника изображений не работал

• Бренд и марка в СТС без использования HITL возвращались одним полем

3.7.2 — 2022.04.29

Обновления

• Обучили новый движок распознавания рукописных штампов прописок в паспорте РФ: метрики точности выросли на порядок. Рекомендуем использовать нормализацию по ФИАС параметром normalization_fias=true. Это даёт дополнительный прирост качества

• Обновили алгоритм поиска последнего штампа прописки, теперь он меньше ошибается

• Заменили движок распознавания зоны MRZ в паспорте РФ, теперь символы в ней распознаются намного уверенней. В результате выросли метрики точности распознавания самих паспортов

• Освежили алгоритм распознавания лицевой стороны СТС — выросли метрики по большинству полей, добавили поддержку номеров ЭПТС

• Переписали сервис чтения файлов. Теперь он поддерживает конвертацию файлов без расширения и многостраничные TIFF-файлы.

3.7.1 — 2022.04.06

Обновления

• Обновили детектор документов на изображении: он стал вдвое быстрей и точней находит границы документов

• Повысили качество распознавания всех полей главного разворота паспорта РФ. Для этого мы научили сервис выбирать между данными из машиночитаемой зоны и обычными полями

• Переработали алгоритм нормализации поля «место выдачи» в паспорте РФ. Теперь мы применяем для него расширенный словарь собственной разработки. Рекомендуем включить нормализацию для всех запросов параметром use_internal_api=true

• Убрали из библиотеки документов водительские удостоверения по форме 1999 года

3.6.10 — 2021.10.21

Фичи

• Сократили время распознавания одного документа на 0,4-0,5 секунд

• Добавили нормализацию адреса прописки с возвратом кода ФИАС. Используйте параметр normalization_fias=true

• Научились извлекать из метаданных изображения широту, долготу, высоту и время снимка. Возвращаем их в поле image_exif

Багфиксы

• Исправили возврат в ответе некорректных координат полей в случае подачи на распознавание неправильно ориентированных документов

• Перестали путать пустые развороты паспорта с разворотом «Место жительства»

• Сократили число ошибок 500 при распознавании штампов прописок

• Уточнили зону замазывания даты регистрации в штампе прописок перед отправкой на ручное распознавание: она больше не перекрывает часть адреса

3.6.8 — 2021.10.12

Повысили качество

• 2-НДФЛ

Фичи

• Научили метод /fulltext_by_lines распознавать русский рукописный текст. Для распознавания укажите в параметре language значение handwritten_rus.

• Научили сервис обрабатывать изображения в формате HEIF.

• Добавили в методы /recognize и /classify массив task_tags, в котором можно указывать произвольные тэги запросов. Функцию можно использовать для сверки биллинга в случае с объединением документов в пакеты.

• Добавили в методы /recognize и /classify параметр return_crops. В положении false сервис перестаёт возвращать изображения. Функцию можно использовать для экономии трафика и для удобства отладки — с ней ответ сервиса становится более читабельным.

• Добавили в метод /recognize параметр first_occurrence_only. В положении true при обработке PDF сервис возвращает только первый найденный документ запрашиваемого класса. Это позволяет сократить время ответа сервиса.

• Сервис теперь замазывает дату регистрации в штампе прописки перед отправкой на ручное распознавание

3.5.12 — 2021.03.31

Фичи

• Добавили параметр merge_and_name в методе /recognize. Укажите в нём нужное вам название, чтобы объединить все распознанные поля всех документов в один документ.

• Dbrain теперь генерирует более осмысленные логи, которые удобней читать

Багфиксы

• Исправили возврат некорректных координат полей в методе /recognize

• Научились распознавать 2-НДФЛ и счета-фактуры в закрытом IT-контуре, раньше модель однократно подгружалась из Интернета

• Теперь возвращаем корректное значение серии-номера СТС на образцах, где ГИБДД продублировала их дважды

3.5.10 — 2021.03.05

Добавили документы

• Паспорт Украины 1994 года, машинопечатный образец, второй разворот

Повысили качество

• Обновили алгоритм распознавания полнотекстовых документов в методе fulltext_by_lines. Качество распознавания выросло. Метод теперь возвращает результаты в виде отдельных слов, а не строчек

• Усилили классификатор дополнительным обучением на паспортах Украины

• Научились лучше распознавать ФИО и даты на главном развороте паспортов Украины образца 1994 года

Багфиксы

• Исправили ошибку в эвристиках СТС. В единичных случаях баг приводил к возврату полей, не соответствующих документации

Фичи

• Добавили параметр hitl_field_to_recognize. В нём можно перечислить поля документа, которые нужно распознать вручную

• Методы /selfie , /distance и /face теперь возвращают вырезанные из изображений лица, их координаты и угол поворота; метод /selfieвозвращает тип документа на изображении

• Добавили возврат пороговых значений confidence для целевого уровня точности распознавания в методе /metrics

3.5.8 — 2021.02.19

Повысили качество

• Обновили алгоритмы поиска и сравнения лиц. Dbrain теперь лучше находит лица на сложных изображениях и обеспечивает отсутствие ложноположительных результатов сравнения

• Паспорт России, главный разворот: повысили качество распознавания серии-номера

• Паспорт Украины образца 2016 года: лицевая и обратная сторона

• Паспорт Украины образца 1994 года, машинопечатный образец, главный разворот

Багфиксы

• Исправили занижение confidence поля серия-номер на главном развороте паспорта России

• Исправили баг, который в ряде случаев мешал находить штамп о регистрации на странице прописок

• Исправили редкий баг, приводивший к ошибке 500 вместо результатов распознавания

Фичи

• Добавили новый класс документа — passport_registration_handwritten. Он присваивается страницам паспорта, в которых последняя печать о регистрации рукописная.

• Добавили возврат л.с. и кВт в ПТС отдельными полями engine_hp и engine_kw

• Добавили комплексную проверку паспорта по внешним источникам. Она доступна в параметре external_check_passport_complex

• Добавили возможность посимвольного возврата текста полей документов с ручного распознавания. За это отвечает новый параметр hitl_symbol_field. Для перечисленных в нём полей вернётся второй вариант ответа без нормализации по словарям и маскам.

3.5.7 — 2021.02.03

Добавили документы

• Удостоверение личности Казахстана 2014 года: лицевая и обратная сторона

• Удостоверение личности Казахстана 1994 года: лицевая и обратная сторона

Повысили качество

• Научились уверенно распознавать половинки разворотов ПТС

• Добавили эвристику к полю «Код подразделения» в Паспорте РФ, теперь поле возвращается строго по маске ddd-ddd

Багфиксы

• Исправили баг с некорректным значением параметра rotation в ответе классификатора

• Исправили ошибку при использовании параметра check_fake на некоторых изображениях

Фичи

• Оптимизировали работу решения под нагрузкой

• Локальные версии Dbrain теперь используют меньше подключений к MongoDB

• Полностью переписали алгоритм обработки PDF. Теперь не нужно указывать дополнительные параметры в запросе, а PDF обрабатываются намного быстрее.

• Научили классификатор возвращать четыре новых параметра, описывающих качество входящего изображения:

  • image_exposure

    • normal — нормальные

    • overexposed — переэкспонированные, пересвеченные

    • underexposed — недоэкспонированные, слишком тёмные

  • image_blured — смазанные

  • low_image_resolution — недостаточное разрешение изображения

  • low_image_weight — недостаточный вес изображения.

  Допустимые значения вы можете задать самостоятельно в запросе к классификатору.

• Добавили возможность распознавания смешанного русско-английского текста в неструктурированных документах в методе full_text_by_lines, для этого нужно выбрать язык multilang

• Научились распознавать QR-коды на документах

• Добавили возврат HTTP Status Code 213 для редких кейсов, когда ручное распознавание не уложилось в предельный SLA по времени

3.5.6 — 2020.12.23

Повысили качество

• Рукописный паспорт России

• Обратная сторона ВУ-2011 и ВУ-2014: поля «особые отметки», «серия-номер»

• Обратная сторона СТС

• 2-НДФЛ: поле «месяц»

• Алгоритм поиска границ документа теперь лучше справляется с разворотами документов, например с паспортами

Фичи

• Добавили проверки документов по базам через наших партнёров — IDX. За это отвечают параметры API external_check_***

• Добавили возможность указывать в конфигах локальной версии Dbrain параметры Redis: хост, порт, логин и пароль

3.5.5 — 2020.11.27

Добавили документы

• Рукописный паспорт России

• Паспорт Украины образца 2016 года: лицевая и обратная сторона

• Паспорт Украины образца 1994 года, машинопечатный образец, главный разворот

• Удостоверение личности Казахстана 2008 года: лицевая и обратная сторона

Повысили качество

• Машинопечатный паспорт России

• ПТС: лицевая сторона

• 2-НДФЛ — теперь распознаём все поля

Исправили

• Устранили редкую ситуацию с зависанием задачи

• Добавили обработку файлов с некорректным расширением, например image.jpg?=

• Исправили несколько сценариев в алгоритме распознавания, которые приводили к внутренней ошибке 500.

3.5.4 — 2020.11.03

Повысили качество

• Доработали распознавание «половинок» главного разворота Паспорта России и ПТС

• Обучили алгоритм поиска границ документов аккуратней обращаться с документами, в которых «подвал» находится на расстоянии от основной части документа.

Исправили

• Локальные версии Dbrain больше не пишут избыточный объём логов на накопитель

3.5.3 — 2020.10.30

Повысили качество

• Научили классификатор корректно обрабатывать половинки документов, например одну страницу паспорта вместо разворота.

Фичи

• Добавили параметр priority для асинхронных запросов. Чем больше число, тем раньше балансировщик возьмёт запрос из очереди в обработку.

• Добавили эндпоинт /cancel для асинхронных запросов. С его помощью можно отменить запрос, если он потерял актуальность. Это позволит быстрее получить результаты других запросов.

Прочие улучшения

• Dbrain теперь эффективно обрабатывает большое число одновременных запросов.

3.5.2 — 2020.09.30

Добавили документы

• Счёт-фактура rus_invoice

Повысили качество

• Обновили алгоритм вырезания документов из входящих изображений: теперь он лучше справляется со сложными случаями

• ВУ-2011, обратная сторона: улучшили распознавание поля «особые отметки»

• ВУ-1999, пластиковый образец: снизили число ложных распознаваний категории «А»

Фичи

• Добавили параметр API simple_cropper. В положении «true» применяется упрощённый алгоритм вырезания документа от фона. Результаты классификации и распознавания в этом режиме могут быть чуть менее точными. Используйте этот параметр, если экономия 1 секунды даёт вам преимущества. По умолчанию simple_cropper не используется.

3.5.1 — 2020.09.23

Повысили качество

• ПТС, лицевая сторона: значительно улучшили поля: марка, модель, VIN, шасси, кузов; улучшения по всем остальным полям

3.5.0 — 2020.09.22

Улучшения качества распознавания документов

• Паспорт России, главный разворот: все поля

• СТС, лицевая сторона, значительно улучшили поля: марка, модель, мощность двигателя, модель двигателя, номер двигателя, серия ПТС, номер ПТС, регистрационный знак, номер кузова, VIN; незначительные улучшения по другим полям

• СТС, обратная сторона, значительно улучшили поля: город, имя, фамилия, отчество, республика.

• Загранпаспорт России 2007, улучшили поля: имя, орган

• Загранпаспорт России 2014, улучшили поля: имя, место рождения

• ВУ-1999, бумажные, лицевая сторона: нижняя серия-номер теперь возвращается латиницей

Прочие улучшения

• Скорректировали подсчёт уровня уверенности распознавания confidence

• Обновили библиотеки обработки изображений и конвертации PDF

• Паспорт России, прописка: дополнительно возвращаем информацию из печати с разбивкой на поля

3.4.7 — 2020.09.19

Добавили документы

• СНИЛС: пластиковый образец

• Полис ОМС: пластиковый образец Москвы

Повысили качество

• Паспорт России, разворот с прописками: улучшили распознавание штампов прописки

• ВУ-2011, обратная сторона, улучшили поля: C, CE

• ВУ-2014, обратная сторона, улучшили поля: C, C1, CE, C1E

• СТС, обратная сторона, улучшены поля: фамилия, дата, серия, номер и город

• Свидетельство о рождении, добавили поля: место рождения, запись акта о рождении, место государственной регистрации, серия, номер

• Свидетельство о заключении брака, добавили поля: запись акта о заключении брака, место государственной регистрации, серия, номер

• Свидетельство о расторжении брака, добавили поля: запись акта о расторжении брака, место государственной регистрации, серия, номер

• Свидетельство о смерти, добавили поля: запись акта о смерти, место государственной регистрации, серия, номер

Исправили

• Устранили утечку памяти

3.4.6.1 — 2020.09.03

Фичи

• Новая веб-демо для локальной версии коробки по аналогии с demo.dbrain.io

• Новый параметр API hitl_async=true разрешает возврат неполного состава полей документа не дожидаясь окончания распознавания всех полей. Параметр работает только при использовании режима ручного распознавания документов with_hitl=true. В параметре hitl_required_fields нужно перечислить названия полей документа, после обработки которых HITL может возвращать неполный ответ. Ответ с неполным составом полей сопровождается кодом 202, полный — кодом 200.

• Параметр use_external_api получил статус устаревшего. Обогащение ответов из внешних источников теперь контролируется в конфигах локальных версий.

Исправили

• Вернули качество распознавания заграничных паспортов России 2007 и 2014 из версии 3.4.5.

• Добавили обнуление уверенности в распознавании поля confidence, если ответ системы не удалось привести к допустимому значению. В поле ответа в таком случае будет пустая строка "text": "" .

• Исправили поля серия и номер в заграничном паспорте России 2014 года, в версии 3.4.6 они были перепутаны.

3.4.6 — 2020.08.24

Добавили документы

• Свидетельство о рождении

• Свидетельство о заключении брака

• Свидетельство о расторжении брака

• Свидетельство о смерти

• Полис ОМС: пластиковый образец (лицевая и обратная сторона)

• Полис ОМС: бумажный образец (лицевая сторона)

Повысили качество

• СТС, лицевая сторона: улучшено поле «тип ТС»

Фичи

• Ускорили работу решения: модули классификации и распознавания работают на 2-3 секунды быстрее