Автор: В двух предыдущих статьях в рубрике «Разное» 02.03.2023 я уже описывал впечатления от использования всем известного GPT-чата. Впечатления оказались отнюдь не в пользу искусственного интеллекта — он был уличен в подтасовках исторических фактов (во время «беседы» об истории древнего мира — о Второй Пунической войне и карфагенском полководце Ганнибале), а также в полном отсутствии юмора. Но те статьи носили не слишком серьезный характер. Нам же с коллегами не давала покоя мысль — можно ли каким-то образом использовать Chat GPT в практической деятельности, или все-таки это пока высокотехнологичная игрушка?
Сегодня мы попробовали с помощью GPT-чата выполнить перевод с французского на русский язык реального делового документа — нотариальной доверенности с апостилем, оформленной одним из клиентов нашей компании во Франции в 2020 году.
А чтобы эксперимент не получился однобоким, заодно решили сравнить возможности Chat GPT и двух других общедоступных систем автоматического перевода текста — Яндекс-преводчика и Google-переводчика. Для проведения эксперимента использовался офисный персональный компьютер, мобильные версии указанных интернет-ресурсов не тестировались.
Итак, переводим так называемую «генеральную доверенность» на на распоряжение и управление имуществом. Вышеупомянутый клиент выдал ее находящейся в России родственнице. Для использования в РФ иностранной доверенности (как и других документов из «дальнего зарубежья») необходим ее нотариальный перевод на русский язык — он был выполнен нашим Бюро переводов. Результат работы переводчика-человека мы здесь также представим.
Ниже размещена скан-копия оригинала доверенности, на французском языке, на 2-х страницах. По понятным причинам фамилии, имена, отчества изменены, персональные данные доверителя и доверенного лица скрыты.
Текст доверенности был переведен из графического образа в редактируемый формат, после чего «предложен» для перевода с французского языка всем трем системам. Прежде чем приводить и обсуждать результаты, хотелось бы отметить, что данный эксперимент не претендует на объективность — ведь мы переводили только один документ. Для более объективной картины следовало бы использовать большой массив данных, но у нас нет такой возможности. Поэтому сказанное далее — лишь оценочное суждение.
1. Перевод с помощью Chat GPT.
Выполнить его оказалось не так просто. Один из основных недостатков GPT — он имеет ограничение на количество символов в ответах на вопросы пользователя. По достижении предела ответ обрывается на полуслове, вот так:
Здесь видно, что после загрузки в чат всего текста доверенности перевод полностью не был выполнен и оборвался на словосочетании «со всеми прав«. А нужно было бы написать «со всеми правами«! Волшебное слово «continue», которое в таких ситуациях обычно заставляет Chat GPT в следующие посте продолжить с места обрыва, в этом случае почему-то не помогло. GPT сбился и начал дублировать исходный текст с начала, причем на французском языке. Повторяли это действие дважды, с одним и тем же неудачным результатом.
Возможности команды «сontinue» мы несколько раз проверяли раньше, при прошлых подключениях. Чаще всего оно срабатывало, хотя и не всегда. Поэтому при общении с чатом GPT, по крайней мере на русском языке, категорически не рекомендуется использовать длинные тексты, предполагающие столь же длинный ответ «искусственного интеллекта».
Спросите, почему «сontinue», если мы пишем в чате по-русски? В самом начале общения с GPT пробовали другие варианты: «продолжай», «продолжи с места обрыва текста», и т.п. Это не работает. «Робот» либо спрашивает в ответ «Что именно я должен продолжить?» (в разных выражениях), либо начинает «тупить» и переходит на английский язык. Конечно, это сильно тормозит работу (сегодня ведь мы пытались именно РАБОТАТЬ с этой системой, а не беседовать «ради интереса»).
Перевести доверенность в итоге удалось, «скармливая» в Chat GPT исходный французский текст небольшими отрывками. Удобно ли это? Очевидно, нет. Но, может быть, качество перевода выше всяких похвал? Давайте посмотрим, вот что получилось в результате:
«Простыня» получилась длинной, при том, что текст на французском из скриншота был в большей части вырезан для экономии места (полный текст смотрите в оригинале доверенности, в начале статьи).
К грамматике перевода претензий нет. Но — чуда не случилось — много стилистических ляпов, которыми грешат все программы автоматического перевода. Самые «кричащие» подчеркнуты красным. Приведу только один «шедевр» компьютерной мысли:
«Просмотрен для подтверждения
Материальность подписи господина Иванова,
нанесенной ниже»
В переводе с «компьютерного на русский это должно означать:
«Свидетельствую верность подписи господина Иванова,
поставленной в настоящем документе» —
так это выражение переведено нашим специалистом.
Обращают на себя внимание и повторы слов, такие как: «залог и принимать в залог», «обжаловать решения, решения и постановления», и т.п. Также при переводе разных отрывков текста GPT по разному перевел название департамента (Уаза — Оаза) и фамилию нотариуса (Додруй — Додрю)…
В итоге мы видим: как некую основу (черновик) для официального перевода с французского языка на русский ответы Сhat GPT использовать можно, но они требуют тщательной проверки профессиональным переводчиком-человеком.
Что касается временных затрат, с учетом времени на авторизацию для получения доступа к чату, решение проблем с «continue», копирование и вставку текста в чат по частям — все это заняло минут 15-20. И это нам повезло — сервер GPT был не слишком загружен, чат не тормозил, и нас не разу не «выкинуло» из системы, а так бывает далеко не всегда.
Однако, посмотрим, какие результаты в «соревновании» покажут Яндекс и Гугл.
2. Яндекс Переводчик.
Яндексу был дан на перевод тот же самый текст, один в один. Техническая сторона дела здесь намного проще, чем у GPT — хотя бы потому, что использования сервиса не нужна регистрация пользователя и авторизация.
Поскольку «исходник» в виде, пригодном для копирования, уже был готов, все действия свелись к его выделению в текстовом редакторе, а далее — копирование «Ctrl — C» и вставка «Ctrl — V» на сайте Яндекса — проще некуда )). Язык переводимого текста (французский) Яндекс определил сам, а язык, на который требуется выполнить перевод, почему-то автоматом указал английский. Изменили на русский.
Возможно, в Яндекс Переводчике и установлен предельный объем вводимого текста, но мы об этом не узнали. Переводимый текст в нашем случае был целиком скопирован в предназначенное для этого окно в один прием, без разбиения на части.
Сам процесс перевода занял буквально пару секунд. Переведенный на русский язык текст практически синхронно со вставкой исходного текста появился на мониторе — впечатляющая скорость! Но что же с качеством?
К сожалению, интерфейс Яндекс Переводчика устроен так, что перевод выводится в окне фрейма (IT-шники меня поймут )), и если он полностью не помещается в этом окне, его можно скопировать, но нельзя сделать скриншот, а котором он был бы виден целиком. Поэтому здесь приводится скриншот только видимой части страницы:
Далее — полный текст перевода из Яндекс Переводчика:
Доверенность на распоряжение
всем имуществом и управление им (генеральная доверенность)
Франция, Санлис
Тридцатого Ноября Две Тысячи Двадцатого Года
Я, [Иванов Иван Иванович — ф. и. о. заменены], дата рождения: … … … [данные паспорта ]
настоящим уполномочиваю
[ Петрова Анна Сергеевна — ф. и. о. изменены ], дата рождения: … … … [данные паспорта ]
управлять и отчуждать все принадлежащее мне имущество, независимо от того, где оно находится, в соответствии с настоящей доверенностью, заключать все разрешенные законодательством сделки, в том числе с недвижимостью, в том числе: покупать, продавать, дарить, принимать в дар, обменивать, сдавать в аренду, реализовывать закладывать и принимать в залог недвижимость и другое имущество, определяя во всех случаях суммы, условия и иные условия по своему усмотрению; производить расчеты по заключенным сделкам, регистрировать их в случаях, предусмотренных действующим законодательством, в компетентных органах и получать соответствующие свидетельства о регистрации; принимать наследство с правом получения наследуемого имущества и отказывать в нем; получать причитающееся мне имущество по всему миру, деньги, ценные бумаги, а также документы всех видов от любых юридических и физических лиц, учреждений, предприятий, организаций, в том числе от государственных и других банков и сберегательных касс, почта, телеграфировать на любых основаниях; вести счета в Государственном банке, Внешторгбанке и любом другом банке, имеющем право открывать и закрывать счета; получать почту и посылки почтового, телеграфного, ценностного и любого рода; снять меня с регистрации по месту жительства и поставить на учет по новому месту жительства; вести свои дела во всех административных и судебных учреждениях со всеми правами, предоставляемыми действующим законодательством истцу, ответчику, третьей стороне, включая право полностью или частично отклонять претензии, признавать или изменять претензии, заключать полюбовные соглашения на приемлемых условиях. на наше усмотрение, получать копии судебных решений, обжаловать решения, постановления и постановления суда, получать исполнительные документы и представлять их для взыскания с правом получения имущества или денежных средств; в связи с этим я предоставляю право получать справки и другие документы, подавать различные заявления, подписываться за Моте и выполнять любые другие действия, связанные с выполнением этого поручения.
Г-Н Иван Иванов
/подпись/
Рассмотрено для
материального подтверждения подписи г-на Иванова
, проставленной напротив
Селинс, 30.11.2020
Г-н Жан-Шарль ДОДРЮИ
/подпись/
Печать: мэтр Жан-Шарль ДОДРЮИ * помощник нотариуса * Санлис (УАЗа)*
[от автора: переводчик подумал,что речь идет об автомобиле УАЗ ?]
Печать: генеральный прокурор при апелляционном суде Амьена
АПОСТИЛЬ
(Гаагская конвенция от 5 октября 1961 г.)
РОССИЯ
1. — Французская Республика
Настоящий публичный акт
2. — было подписано мной Жан-Шарлем ДОДРЮИ
3. — действуя в качестве нотариуса
4. — покрыто печатью этюда Жана-Шарля ДОДРЮИ, нотариуса в Санлисе (60) УАЗа
Засвидетельствованный
5. — в Амьене 6. — 04 декабря 2020 г.
7. — Генеральным прокурором при Апелляционном суде Амьена
8. — под номером 1545/2020 (2 страницы)
9. — Sce; 10. — подпись
/Подпись/
Заместитель генерального прокурора
Печать: генеральный прокурор при апелляционном суде Амьена
«Апостиль удостоверяет подлинность только подписи, печати или штампа, проставленных на документе. Это не означает, что содержание документа является правильным или что Французская Республика одобряет его содержание».
Явные ошибки выделены красным. Есть одна грамматическая: «за меня» переведено как «за Моте». Также вызывает вопрос перевод французского географического названия Oise как УАЗа — напрашивается аббревиатура УАЗ (Уральский Автомобильный Завод), но что имел ввиду Яндекс Переводчик — только ему ведомо…
И тем не менее — общее количество «компьютерных несуразностей» оказалось меньше, чем у разрекламированного Chat GPT. Мы, признаться, ожидали обратного результата и были приятно удивлены.
Пока на это остановимся, и протестируем Google. Это будет интересно — ведь и GPT, и Google — продукты, изначально рассчитанные на англоязычную аудиторию (в отличие от Яндекса). Следовательно, по идее Гугл и GPT-чат должны выдать схожие результаты. Так ли это на самом деле?
3. Google Переводчик.
Интерфейс Переводчика от Гулга практически идентичен яндексовскому (и наоборот )). Но, в отличие от Яндекса, здесь возможно делать полные скриншоты, чем и воспользуемся (для уменьшения «веса» графического файла на скриншоте представлена только правая колонка с переводом):
Как видите, по количеству красных подчеркиваний Google занял первое место (а по качеству перевода, увы, последнее в этом тесте). Не показал он себя знатоком литературного русского языка — и в этом плане он, к сожалению, схож со своим заморским «родственником» GPT. У Гугла неважно обстоят дела с употреблением множественного числа. «Принимать в качестве дарить», «принимать наследствА«, «получать… кореспонденциИ«, и т.д. — увы и ах! По-русски так не говорят.
Печать нотариуса Гугл почему-то не пожелал полностью переводить на русский (перевел только «Младший нотариус», остальной текст оставил на латинице).
И уже традиционное ))) :
«Видел для сертификации
Материал подписи г-на Иванова
ставится напротив»
Впрочем, справедливости ради — Яндекс с этим местом документа тоже не справился (см. выше).
4. Профессиональный переводчик — человек.
Поиздевались над «искусственными разумами», уступим место живым людям )). Далее — перевод этой же доверенности, выполненный дипломированным переводчиком:
Доверенность на распоряжение и управление
всем имуществом (генеральная доверенность)
Франция, Санлис
Тридцатое ноября две тысячи двадцатого года
Я, Иванов Иван Иванович, дата рождения: … , [паспортные данные],
настоящей доверенностью уполномочиваю
Петрову Анну Сергеевну, дата рождения: … , [паспортные данные],
управлять и распоряжаться всем принадлежащим мне имуществом, в чем бы оно ни заключалось и где бы ни находилось, в соответствии с этой доверенностью заключать все разрешенные законом сделки, в том числе с недвижимым имуществом, в частности: покупать, продавать, дарить, принимать в дар, обменивать, сдавать в аренду, закладывать и принимать в залог строения и другое имущество, определяя во всех случаях суммы, сроки и другие условия по своему усмотрению; производить расчеты по заключенным сделкам, регистрировать их в предусмотренных законом случаях в компетентных органах и получать соответствующие свидетельства о регистрации; принимать наследства с правом получения наследственного имущества и отказываться от них; получать где бы то ни было причитающееся мне имущество, деньги, ценные бумаги, а также документы по всем основаниям от всех юридических и физических лиц, учреждений, предприятий, организаций, в том числе из Государственного и других банков и сберегательных касс, почты, телеграфа по всем основаниям; распоряжаться счетами в Госбанке и Внешторгбанке и любых других банках с правом открытия и закрытия счетов; получать почтовую, телеграфную, ценную и всякого рода корреспонденцию и посылки; снимать меня с регистрационного учета по месту жительства и ставить на регистрационный учет по новому месту жительства; вести мои дела во всех административных и судебных учреждениях со всеми правами, предоставленными законом истцу, ответчику, третьему лицу, в том числе с правом полного или частичного отказа от исковых требований, признания или изменения исковых требований, заключения мировых соглашений на условиях по нашему усмотрению, получения копий решения суда, обжалования решений, определений и постановлений суда, получения исполнительных документов и предъявления их ко взысканию, с правом получения имущества или денег; в этих целях предоставляю право получать справки и иные документы, подавать различные заявления, расписываться за меня и совершать все прочие действия, связанные с выполнением настоящих поручений.
Господин Иван ИВАНОВ
Иванов Иван Иванович
/Подпись/
Свидетельствую верность подписи
Мэтр Жан-Шарль ДОДРЮИ
господина Иванова,
/Подпись/
поставленной в настоящем документе
/Печать: Мэтр Жан-Шарль ДОДРЮИ* Ассоциированный нотариус * Санлис (департамент Уаза) *
Санлис, 30.11.2020 года
/Печать: Генеральный прокурор Апелляционного суда в г. Амьене/
APOSTILLE — АПОСТИЛЬ
(Convention de la Haye du 5 octobre 1961 – ГаагскаяКонвенцияот 5 октября 1961 г.)
1. — Французская Республика
Настоящий официальный документ
2. – подписан мэтром Жаном-Шарлем ДОДРЮИ
3. – выступающим в качестве Нотариуса
4. – скреплен печатью Нотариальной конторы мэтра Жана-Шарля ДОДРЮИ, Нотариуса в Санлис (60), департамент Уаза
Удостоверено
5. — в г. Амьене 6. — 04 декабря 2020 года
7. – Генеральным прокурором Апелляционного суда в г. Амьене
8. – за номером 1545/2020 (2 страницы)
9. – Печать 10. – Подпись
/Подпись/
/неразборчиво/
Помощник генерального прокурора
/Печать: Генеральный прокурор Апелляционного суда в г. Амьене/
«Апостиль удостоверяет только подлинность подписи, печати или штампа, проставленного на документе. Он не означает, что содержание документа является правильным, или что Французская Республика одобряет его содержание»
Формат статьи в блоге, к сожалению, не позволяет опубликовать перевод с соблюдением верстки, близкой к оригиналу документа. При выполнении заказа клиента по переводу данной доверенности это, конечно, было сделано.
Легко увидеть, что системам автоматического компьютерного перевода до человеческого пока еще далековато. Машинам (и их разработчикам )) есть к чему стремиться. Хотя прогресс очевиден, если сравнивать с тем, что имелось лет десять назад.
Выводы:
Пора оценить результаты тестов. Как было сказано в начале статьи, эта оценка — субъективное мнение нашего небольшого коллектива, Ваше право с ней не согласиться ))
1. По нашему суждению, по совокупности трех факторов («человечности» речи, соблюдению норм грамматики и официально-делового стиля русского языка) первое место по в «соревновании» занял Яндекс Переводчик, второе место у Chat GPT, и «бронза» у Google.
2. Если Вам не нужен официальный перевод иностранного документа на русский язык, а требуется лишь понимание его смысла, можно воспользоваться любым из рассмотренных здесь общедоступных интернет-переводчиков, исходя из личных предпочтений. Что бы Вы не выбрали, результат будет достигнут — каждый из трех ресурсов выдает вполне понятный в смысловом отношении перевод, несмотря на описанные выше погрешности.
3. Если Вы — переводчик, и хотите облегчить себе жизнь, с большой осторожностью и оговорками, в каких-то случаях можно использовать автоматизированные системы с протестированных сегодня сайтов для подготовки… наверное, будет правильно назвать это черновиком черновика будущего перевода. При использовании материала, полученного в результате работы компьютерной программы, всегда есть опасность «прозевать» ее ошибки в переводе сложных терминов (особенно в областях, требующих специальных знаний), географических и прочих названий, наименований государственных органов на русском языке, и т.п.
Также системы автоперевода нередко переводят устоявшиеся выражения буквально, не учитывая тематику документа. Возьмем французское «recevoir des biens qui me sont dus partout dans le monde» из нашего примера. GPT перевел его как «получать мои долги и имущество во всем мире». Перевод Яндекса: «получать причитающееся мне имущество по всему миру». А по мнению Гугла: «получать причитающееся мне имущество во всем мире». Итак, три разных варианта (неясно, почему GPT добавил в перевод слово «долги», но не будем придираться). Все варианты верны, но такие выражения не соответствуют употребляемым в российском деловом стиле письменной речи, поэтому выглядят странно, «режут глаз». Стилистически верный перевод сделал только специалист-человек: «получать где бы то ни было причитающееся мне имущество».
Одним словом, за искусственным интеллектом нужен глаз да глаз, все его «творения» — по крайней мере сейчас — подлежат скрупулезной проверке.
4. Отдельно стоит сказать о Chat GPT. Пользоваться им для перевода документов с технической точки зрения им довольно муторно. Сложная регистрация, частные проблемы с авторизацией из—за перегруженности серверов, необходимость перевода больших текстов по частям (при том, что данная система не понимает, что только что переводила кусок этого же документа, и одинаковые слова и выражения может перевести по разному)…
Недостатки можно было бы терпеть, если бы чат GPT показал явное преимущество в качестве перевода по сравнению с конкурентами, но наш тест этого не подтвердил.
