Upload folder using huggingface_hub

.gitattributes

@@ -33,3 +33,7 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+checkpoint-1236/tokenizer.json filter=lfs diff=lfs merge=lfs -text
+checkpoint-1648/tokenizer.json filter=lfs diff=lfs merge=lfs -text
+checkpoint-824/tokenizer.json filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

checkpoint-1236/1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

checkpoint-1236/README.md

@@ -0,0 +1,1048 @@
+---
+language:
+- en
+license: apache-2.0
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:13186
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+base_model: nomic-ai/nomic-embed-text-v2-moe
+widget:
+- source_sentence: ООО "Сибирские ягоды" зарегистрировало географическое указание
+    на свою продукцию.  В связи с реорганизацией общества, оно изменило свое наименование
+    на АО "Ягодный край". Какие действия необходимо предпринять АО "Ягодный край"
+    в соответствии с предоставленным текстом статьи закона для внесения изменений
+    в Государственный реестр?
+  sentences:
+  - <p>5. Если в силу договора факторинга финансовый агент (фактор) несет обязанности
+    по оплате цены приобретенных им денежных требований, по предоставлению клиенту
+    займа (кредита) или по оказанию клиенту услуг, к отношениям сторон по договору
+    факторинга применяются правила соответственно о купле-продаже, займе (кредите),
+    возмездном оказании услуг постольку, поскольку это не противоречит положениям
+    настоящей главы и существу отношений по договору факторинга.</p><p>(Статья в редакции
+    Федерального закона <a href="102439953">от 26.07.2017 № 212-ФЗ</a>)</p>
+  - <p>1. В случае, когда договором купли-продажи предусмотрена оплата товара через
+    определенное время после его передачи покупателю (продажа товара в кредит), покупатель
+    должен произвести оплату в срок, предусмотренный договором, а если такой срок
+    договором не предусмотрен, в срок, определенный в соответствии со статьей 314
+    настоящего Кодекса.</p><p>2. В случае неисполнения продавцом обязанности по передаче
+    товара применяются правила, предусмотренные статьей 328 настоящего Кодекса.</p><p>3.
+    В случае, когда покупатель, получивший товар, не исполняет обязанность по его
+    оплате в установленный договором купли-продажи срок, продавец вправе потребовать
+    оплаты переданного товара или возврата неоплаченных товаров.</p><p>4. В случае,
+    когда покупатель не исполняет обязанность по оплате переданного товара в установленный
+    договором срок и иное не предусмотрено настоящим Кодексом или договором купли-продажи,
+    на просроченную сумму подлежат уплате проценты в соответствии со статьей 395 настоящего
+    Кодекса со дня, когда по договору товар должен был быть оплачен, до дня оплаты
+    товара покупателем.</p><p>Договором может быть предусмотрена обязанность покупателя
+    уплачивать проценты на сумму, соответствующую цене товара, начиная со дня передачи
+    товара продавцом.</p><p>5. Если иное не предусмотрено договором купли-продажи,
+    с момента передачи товара покупателю и до его оплаты товар, проданный в кредит,
+    признается находящимся в залоге у продавца для обеспечения исполнения покупателем
+    его обязанности по оплате товара.</p>
+  - <p>1. Федеральный орган исполнительной власти по интеллектуальной собственности
+    вносит по заявлению правообладателя в Государственный реестр указаний и ��аименований
+    изменения, относящиеся к государственной регистрации географического указания
+    или наименования места происхождения товара и предоставлению исключительного права
+    на географическое указание или наименование места происхождения товара (пункт
+    2 статьи 1529), в том числе к наименованию или имени правообладателя, его месту
+    нахождения или месту жительства, адресу для переписки, сведениям, касающимся перечня
+    лиц, имеющих право использования географического указания или наименования места
+    происхождения товара, условий использования географического указания или наименования
+    места происхождения товара входящими в объединение лицами, а также изменения для
+    исправления очевидных и технических ошибок.</p><p>2. К заявлению о внесении изменений
+    в сведения, относящиеся к государственной регистрации географического указания
+    или наименования места происхождения товара, в том числе указанные в подпунктах
+    1 - 4, 6 - 9 пункта 2 статьи 1522, пункте 1 статьи 15221 настоящего Кодекса, прилагаются
+    документы или заключение уполномоченного органа, подтверждающие обоснованность
+    и необходимость внесения таких изменений.</p><p class="P">(Статья в редакции Федерального
+    закона <a href="102577263">от 26.07.2019 № 230-ФЗ</a>)</p>
+- source_sentence: Какие возражения может выдвинуть должник против требования третьего
+    лица, если договор предусматривает исполнение в пользу третьего лица, но не указывает
+    его конкретно, и третье лицо заявило о своих правах?
+  sentences:
+  - <p>1. В случаях стихийных бедствий, аварий, эпидемий, эпизоотий и при иных обстоятельствах,
+    носящих чрезвычайный характер, имущество в интересах общества по решению государственных
+    органов может быть изъято у собственника в порядке и на условиях, установленных
+    законом, с выплатой ему стоимости имущества (реквизиция).</p><p>2. Оценка, по
+    которой собственнику возмещается стоимость реквизированного имущества, может быть
+    оспорена им в суде.</p><p>3. Лицо, имущество которого реквизировано, вправе при
+    прекращении действия обстоятельств, в связи с которыми произведена реквизиция,
+    требовать по суду возврата ему сохранившегося имущества.</p>
+  - <p>1. Собственники помещений в многоквартирном доме или нескольких многоквартирных
+    домах либо собственники нескольких жилых домов для совместного управления общим
+    имуществом в многоквартирном доме либо имуществом собственников помещений в нескольких
+    многоквартирных домах или имуществом собственников нескольких жилых домов и осуществления
+    деятельности по созданию, содержанию, сохранению и приращению такого имущества,
+    а также для осуществления иной деятельности, направленной на достижение целей
+    управления многоквартирными домами либо на совместное использование имущества,
+    принадлежащего собственникам помещений в нескольких м��огоквартирных домах, или
+    имущества собственников нескольких жилых домов, могут создавать товарищества собственников
+    жилья. (В редакции Федерального закона <a href="102387998">от 31.01.2016 № 7-ФЗ</a>)</p><p>2.
+    Товарищество собственников жилья является некоммерческой организацией, создаваемой
+    и действующей в соответствии с законом о товариществах собственников жилья.</p>
+  - <p>1. Договором в пользу третьего лица признается договор, в котором стороны установили,
+    что должник обязан произвести исполнение не кредитору, а указанному или не указанному
+    в договоре третьему лицу, имеющему право требовать от должника исполнения обязательства
+    в свою пользу.</p><p>2. Если иное не предусмотрено законом, иными правовыми актами
+    или договором, с момента выражения третьим лицом должнику намерения воспользоваться
+    своим правом по договору стороны не могут расторгать или изменять заключенный
+    ими договор без согласия третьего лица.</p><p>3. Должник в договоре вправе выдвигать
+    против требования третьего лица возражения, которые он мог бы выдвинуть против
+    кредитора.</p><p>4. В случае, когда третье лицо отказалось от права, предоставленного
+    ему по договору, кредитор может воспользоваться этим правом, если это не противоречит
+    закону, иным правовым актам и договору.</p>
+- source_sentence: Заявитель на полезную модель внес изменения в описание технического
+    результата через 14 месяцев после подачи заявки. Эти изменения касаются уточнения
+    способа достижения заявленного технического результата, но не меняют сам результат.
+    Будут ли эти изменения учтены при публикации сведений о заявке согласно пункту
+    5 статьи?
+  sentences:
+  - <p>указание на технический результат, который обеспечивается изобретением или
+    полезной моделью и не связан с техническим результатом, содержащимся в тех же
+    документах.</p><p>3. Дополнительные материалы изменяют заявку на промышленный
+    образец по существу, если они содержат изображения изделия, на которых:</p><p>представлен
+    иной промышленный образец, не удовлетворяющий требованию единства промышленного
+    образца в отношении промышленного образца или группы промышленных образцов, раскрытых
+    на изображениях, принятых к рассмотрению;</p><p>представлены существенные признаки
+    промышленного образца, отсутствующие на изображениях, представленных на дату подачи
+    заявки, либо представлены изображения изделия, с которых удалены существенные
+    признаки промышленного образца, имеющиеся на изображениях, представленных на дату
+    подачи заявки.</p><p>4. Изменения сведений об авторе, о заявителе, в том числе
+    при передаче права на получение патента другому лицу либо вследствие изменения
+    имени автора, имени или наименования заявителя, а также исправления очевидных
+    и технических ошибок могут быть внесены заявителем в документы заявки по ��обственной
+    инициативе до регистрации изобретения, полезной модели или промышленного образца.</p><p>5.
+    Изменения, внесенные заявителем в документы заявки на изобретение, учитываются
+    при публикации сведений о заявке, если такие изменения представлены в федеральный
+    орган исполнительной власти по интеллектуальной собственности в течение пятнадцати
+    месяцев с даты подачи заявки.</p><p>(Статья в редакции Федерального закона <a
+    href="102171743">от 12.03.2014 № 35-ФЗ</a>)</p>
+  - <p>1. Опекун или попечитель распоряжается доходами подопечного, в том числе доходами,
+    причитающимися подопечному от управления его имуществом, за исключением доходов,
+    которыми подопечный вправе распоряжаться самостоятельно, исключительно в интересах
+    подопечного и с предварительного разрешения органа опеки и попечительства. Суммы
+    алиментов, пенсий, пособий, возмещения вреда здоровью и вреда, понесенного в случае
+    смерти кормильца, а также иные выплачиваемые на содержание подопечного средства,
+    за исключением доходов, которыми подопечный вправе распоряжаться самостоятельно,
+    подлежат зачислению на отдельный номинальный счет, открываемый опекуном или попечителем
+    в соответствии с главой 45 настоящего Кодекса, и расходуются опекуном или попечителем
+    без предварительного разрешения органа опеки и попечительства. Опекун или попечитель
+    предоставляет отчет о расходовании сумм, зачисляемых на отдельный номинальный
+    счет, в порядке, установленном Федеральным законом <a href="102121401">"Об опеке
+    и попечительстве"</a>. Случаи, при которых опекун вправе не предоставлять отчет
+    о расходовании сумм, зачисляемых на отдельный номинальный счет, устанавливаются
+    Федеральным законом <a href="102121401">"Об опеке и попечительстве"</a>. (В редакции
+    федеральных законов <a href="102162486">от 30.12.2012 № 302-ФЗ</a>; <a href="102456108">от
+    29.12.2017 № 459-ФЗ</a>)</p><p>2. Опекун не вправе без предварительного разрешения
+    органа опеки и попечительства совершать, а попечитель - давать согласие на совершение
+    сделок по отчуждению, в том числе обмену или дарению имущества подопечного, сдаче
+    его внаем (в аренду), в безвозмездное пользование или в залог, сделок, влекущих
+    отказ от принадлежащих подопечному прав, раздел его имущества или выдел из него
+    долей, а также любых других действий, влекущих уменьшение имущества подопечного.
+    (В редакции Федерального закона <a href="102162486">от 30.12.2012 № 302-ФЗ</a>)</p>
+  - <p>1. Заказчик обязан в сроки и в порядке, которые предусмотрены договором подряда,
+    с участием подрядчика осмотреть и принять выполненную работу (ее результат), а
+    при обнаружении отступлений от договора, ухудшающих результат работы, или иных
+    недостатков в работе немедленно заявить об этом подрядчику.</p><p>2. Заказчик,
+    обнаруживший недостатки в работе при ее приемке, вправе ссылаться на них в случаях,
+    если в акте либо в ином документе, удостоверяющем приемку, были оговорены эти
+    недостатки либо возможность последующего предъявления требования об их устранении.</p><p>3.
+    Если иное не предусмотрено договором подряда, заказчик, принявший работу без проверки,
+    лишается права ссылаться на недостатки работы, которые могли быть установлены
+    при обычном способе ее приемки (явные недостатки).</p><p>4. Заказчик, обнаруживший
+    после приемки работы отступления в ней от договора подряда или иные недостатки,
+    которые не могли быть установлены при обычном способе приемки (скрытые недостатки),
+    в том числе такие, которые были умышленно скрыты подрядчиком, обязан известить
+    об этом подрядчика в разумный срок по их обнаружении.</p><p>5. При возникновении
+    между заказчиком и подрядчиком спора по поводу недостатков выполненной работы
+    или их причин по требованию любой из сторон должна быть назначена экспертиза.
+    Расходы на экспертизу несет подрядчик, за исключением случаев, когда экспертизой
+    установлено отсутствие нарушений подрядчиком договора подряда или причинной связи
+    между действиями подрядчика и обнаруженными недостатками. В указанных случаях
+    расходы на экспертизу несет сторона, потребовавшая назначения экспертизы, а если
+    она назначена по соглашению между сторонами, обе стороны поровну.</p>
+- source_sentence: Владелец квартиры на верхнем этаже многоквартирного дома хочет
+    установить кондиционер, труба которого будет проходить через стену соседней квартиры,
+    не затрагивая земельный участок. Может ли быть установлен сервитут на стену соседней
+    квартиры для прокладки трубы кондиционера, согласно приведенному тексту статьи?
+  sentences:
+  - <p>1. Комиссионер не отвечает перед комитентом за неисполнение третьим лицом сделки,
+    заключенной с ним за счет комитента, кроме случаев, когда комиссионер не проявил
+    необходимой осмотрительности в выборе этого лица либо принял на себя ручательство
+    за исполнение сделки (делькредере).</p><p>2. В случае неисполнения третьим лицом
+    сделки, заключенной с ним комиссионером, комиссионер обязан немедленно сообщить
+    об этом комитенту, собрать необходимые доказательства, а также по требованию комитента
+    передать ему права по такой сделке с соблюдением правил об уступке требования
+    (статьи 382 - 386, 388, 389).</p><p>3. Уступка прав комитенту по сделке на основании
+    пункта 2 настоящей статьи допускается независимо от соглашения комиссионера с
+    третьим лицом, запрещающего или ограничивающего такую уступку. Это не освобождает
+    комиссионера от ответственности перед третьим лицом в связи с уступкой права в
+    нарушение соглашения о ее запрете или об ограничении.</p>
+  - <p>Применительно к правилам, предусмотренным статьями 274 - 276 настоящего Кодекса,
+    сервитутом могут обременяться здания, сооружения и другое недвижимое иму��ество,
+    ограниченное пользование которым необходимо вне связи с пользованием земельным
+    участком.</p>
+  - <p>1. Завещатель вправе отменить или изменить составленное им завещание в любое
+    время после его совершения, не указывая при этом причины его отмены или изменения.</p><p>Для
+    отмены или изменения завещания не требуется чье-либо согласие, в том числе лиц,
+    назначенных наследниками в отменяемом или изменяемом завещании.</p><p>2. Завещатель
+    вправе посредством нового завещания отменить прежнее завещание в целом либо изменить
+    его посредством отмены или изменения отдельных содержащихся в нем завещательных
+    распоряжений.</p><p>Последующее завещание, не содержащее прямых указаний об отмене
+    прежнего завещания или отдельных содержащихся в нем завещательных распоряжений,
+    отменяет это прежнее завещание полностью или в части, в которой оно противоречит
+    последующему завещанию.</p><p>Завещание, отмененное полностью или частично последующим
+    завещанием, не восстанавливается, если последующее завещание отменено завещателем
+    полностью или в соответствующей части.</p><p>3. В случае недействительности последующего
+    завещания наследование осуществляется в соответствии с прежним завещанием.</p><p>4.
+    Завещание может быть отменено также посредством распоряжения о его отмене. Распоряжение
+    об отмене завещания должно быть совершено в форме, установленной настоящим Кодексом
+    для совершения завещания. К распоряжению об отмене завещания соответственно применяются
+    правила пункта 3 настоящей статьи.</p><p>5. Завещанием, совершенным в чрезвычайных
+    обстоятельствах (статья 1129), может быть отменено или изменено только такое же
+    завещание.</p><p>6. Завещательным распоряжением в банке (статья 1128) может быть
+    отменено или изменено только завещательное распоряжение правами на денежные средства
+    в соответствующем банке.</p>
+- source_sentence: Компания «Альфа» заключила договор с инженером Петровским на разработку
+    нового программного обеспечения.  В процессе работы Петровский создал изобретение,
+    защищаемое патентом. Договор не содержал пунктов, касающихся прав на интеллектуальную
+    собственность.  Кто является правообладателем патента на изобретение, и может
+    ли компания «Альфа» использовать это изобретение без выплаты дополнительного вознаграждения?
+  sentences:
+  - <p>передаче в порядке, установленном частью 11 статьи 154 Федерального закона
+    <a href="102088491">от 22 августа 2004 года № 122-ФЗ</a> "О внесении изменений
+    в законодательные акты Российской Федерации и признании утратившими силу некоторых
+    законодательных актов Российской Федерации в связи с принятием федеральных законов
+    <a href="102067003">"О внесении изменений и дополнений в Федеральный закон "Об
+    общих принципах организации законодательных (представительных) и исполнительных
+    органов государственной власти субъектов Российской Федерации"</a> и <a href="102083574">"Об
+    общих принципах организации местного самоуправления в Российской Федерации"</a>,
+    акций из федеральной собственности в собственность субъекта Российской Федерации
+    или муниципальную собственность, из собственности субъекта Российской Федерации
+    в федеральную собственность или муниципальную собственность, из муниципальной
+    собственности в федеральную собственность или собственность субъекта Российской
+    Федерации. (Дополнение абзацем - Федеральный закон <a href="102157372">от 14.06.2012
+    № 77-ФЗ</a>)</p>
+  - <p>4. Если учрежденное за границей юридическое лицо осуществляет свою предпринимательскую
+    деятельность преимущественно на территории Российской Федерации, к требованиям
+    об ответственности по обязательствам юридического лица его учредителей (участников),
+    других лиц, которые имеют право давать обязательные для него указания или иным
+    образом имеют возможность определять его действия, применяется российское право
+    либо по выбору кредитора личный закон такого юридического лица. (Дополнение пунктом
+    - Федеральный закон <a href="102168115">от 30.09.2013 № 260-ФЗ</a>)</p>
+  - <p>1. Право на получение патента и исключительное право на изобретение, полезную
+    модель или промышленный образец, созданные при выполнении договора подряда или
+    договора на выполнение научно-исследовательских, опытно-конструкторских или технологических
+    работ, которые прямо не предусматривали их создание, принадлежат подрядчику (исполнителю),
+    если договором между ним и заказчиком не предусмотрено иное. (В редакции Федерального
+    закона <a href="102171743">от 12.03.2014 № 35-ФЗ</a>)</p><p>В этом случае заказчик
+    вправе, если договором не предусмотрено иное, использовать созданные таким образом
+    изобретение, полезную модель или промышленный образец в целях, для достижения
+    которых был заключен соответствующий договор, на условиях простой (неисключительной)
+    лицензии в течение всего срока действия патента без выплаты за это использование
+    дополнительного вознаграждения. При передаче подрядчиком (исполнителем) права
+    на получение патента или отчуждении самого патента другому лицу заказчик сохраняет
+    право использования изобретения, полезной модели или промышленного образца на
+    указанных условиях.</p><p>2. В случае, когда в соответствии с договором между
+    подрядчиком (исполнителем) и заказчиком право на получение патента или исключительное
+    право на изобретение, полезную модель или промышленный образец передано заказчику
+    либо указанному им третьему лицу, подрядчик (исполнитель) вправе использовать
+    созданные изобретение, полезную модель или промышленный образец для собственных
+    нужд на условиях безвозмездной простой (неисключительной) лицензии в течение всего
+    срока действия патента, если договором не предусмотрено иное.</p><p>3. Автору
+    указанных в пункте 1 настоящей статьи изобретения, полезной модели или промышленного
+    образца, не являющемуся патентообладателем, выплачивается вознаграждение в соответствии
+    с пунктом 4 статьи 1370 настоящего Кодекса.</p>
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- cosine_accuracy@1
+- cosine_accuracy@3
+- cosine_accuracy@5
+- cosine_accuracy@10
+- cosine_precision@1
+- cosine_precision@3
+- cosine_precision@5
+- cosine_precision@10
+- cosine_recall@1
+- cosine_recall@3
+- cosine_recall@5
+- cosine_recall@10
+- cosine_ndcg@10
+- cosine_mrr@10
+- cosine_map@100
+model-index:
+- name: tuned nomic v2
+  results:
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 768
+      type: dim_768
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.004092769440654843
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.06412005457025921
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.4208731241473397
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7612551159618008
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.004092769440654843
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.021373351523419733
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.08417462482946794
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07612551159618008
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.004092769440654843
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.06412005457025921
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.4208731241473397
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7612551159618008
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.2986249242161157
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.15883599688169725
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.1714890252442529
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 512
+      type: dim_512
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.0068212824010914054
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.06753069577080491
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.41609822646657574
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7503410641200545
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.0068212824010914054
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.022510231923601638
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.08321964529331514
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07503410641200545
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.0068212824010914054
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.06753069577080491
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.41609822646657574
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7503410641200545
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.29545256337366416
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.15798631412546613
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.17102359712258386
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 256
+      type: dim_256
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.0034106412005457027
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.06616643929058663
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.417462482946794
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7223738062755798
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.0034106412005457027
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.022055479763528875
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.08349249658935878
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07223738062755797
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.0034106412005457027
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.06616643929058663
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.417462482946794
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7223738062755798
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.2841815053560014
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.15151719396262187
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.1659963653118235
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 128
+      type: dim_128
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.008185538881309686
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.05798090040927694
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.3860845839017735
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.694406548431105
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.008185538881309686
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.019326966803092312
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.07721691678035471
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.06944065484311049
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.008185538881309686
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.05798090040927694
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.3860845839017735
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.694406548431105
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.2749254568568281
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.14819208947789936
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.16363198200379098
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 64
+      type: dim_64
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.0068212824010914054
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.06684856753069578
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.36221009549795363
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.6323328785811733
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.0068212824010914054
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.022282855843565257
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.07244201909959072
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.06323328785811731
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.0068212824010914054
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.06684856753069578
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.36221009549795363
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.6323328785811733
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.25115836351492093
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.13584827519002
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.15255646759369407
+      name: Cosine Map@100
+---
+
+# tuned nomic v2
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [nomic-ai/nomic-embed-text-v2-moe](https://huggingface.co/nomic-ai/nomic-embed-text-v2-moe) on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [nomic-ai/nomic-embed-text-v2-moe](https://huggingface.co/nomic-ai/nomic-embed-text-v2-moe) <!-- at revision f6a8873b415144a69ffc529ec1e234d1e00ee765 -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+- **Training Dataset:**
+    - json
+- **Language:** en
+- **License:** apache-2.0
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: NomicBertModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'Компания «Альфа» заключила договор с инженером Петровским на разработку нового программного обеспечения.  В процессе работы Петровский создал изобретение, защищаемое патентом. Договор не содержал пунктов, касающихся прав на интеллектуальную собственность.  Кто является правообладателем патента на изобретение, и может ли компания «Альфа» использовать это изобретение без выплаты дополнительного вознаграждения?',
+    '<p>1. Право на получение патента и исключительное право на изобретение, полезную модель или промышленный образец, созданные при выполнении договора подряда или договора на выполнение научно-исследовательских, опытно-конструкторских или технологических работ, которые прямо не предусматривали их создание, принадлежат подрядчику (исполнителю), если договором между ним и заказчиком не предусмотрено иное. (В редакции Федерального закона <a href="102171743">от 12.03.2014 № 35-ФЗ</a>)</p><p>В этом случае заказчик вправе, если договором не предусмотрено иное, использовать созданные таким образом изобретение, полезную модель или промышленный образец в целях, для достижения которых был заключен соответствующий договор, на условиях простой (неисключительной) лицензии в течение всего срока действия патента без выплаты за это использование дополнительного вознаграждения. При передаче подрядчиком (исполнителем) права на получение патента или отчуждении самого патента другому лицу заказчик сохраняет право использования изобретения, полезной модели или промышленного образца на указанных условиях.</p><p>2. В случае, когда в соответствии с договором между подрядчиком (исполнителем) и заказчиком право на получение патента или исключительное право на изобретение, полезную модель или промышленный образец передано заказчику либо указанному им третьему лицу, подрядчик (исполнитель) вправе использовать созданные изобретение, полезную модель или промышленный образец для собственных нужд на условиях безвозмездной простой (неисключительной) лицензии в течение всего срока действия патента, если договором не предусмотрено иное.</p><p>3. Автору указанных в пункте 1 настоящей статьи изобретения, полезной модели или промышленного образца, не являющемуся патентообладателем, выплачивается вознаграждение в соответствии с пунктом 4 статьи 1370 настоящего Кодекса.</p>',
+    '<p>передаче в порядке, установленном частью 11 статьи 154 Федерального закона <a href="102088491">от 22 августа 2004 года № 122-ФЗ</a> "О внесении изменений в законодательные акты Российской Федерации и признании утратившими силу некоторых законодательных актов Российской Федерации в связи с принятием федеральных законов <a href="102067003">"О внесении изменений и дополнений в Федеральный закон "Об общих принципах организации законодательных (представительных) и исполнительных органов государственной власти субъектов Российской Федерации"</a> и <a href="102083574">"Об общих принципах организации местного самоуправления в Российской Федерации"</a>, акций из федеральной собственности в собственность субъекта Российской Федерации или муниципальную собственность, из собственности субъекта Российской Федерации в федеральную собственность или муниципальную собственность, из муниципальной собственности в федеральную собственность или собственность субъекта Российской Федерации. (Дополнение абзацем - Федеральный закон <a href="102157372">от 14.06.2012 № 77-ФЗ</a>)</p>',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Information Retrieval
+
+* Datasets: `dim_768`, `dim_512`, `dim_256`, `dim_128` and `dim_64`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | dim_768    | dim_512    | dim_256    | dim_128    | dim_64     |
+|:--------------------|:-----------|:-----------|:-----------|:-----------|:-----------|
+| cosine_accuracy@1   | 0.0041     | 0.0068     | 0.0034     | 0.0082     | 0.0068     |
+| cosine_accuracy@3   | 0.0641     | 0.0675     | 0.0662     | 0.058      | 0.0668     |
+| cosine_accuracy@5   | 0.4209     | 0.4161     | 0.4175     | 0.3861     | 0.3622     |
+| cosine_accuracy@10  | 0.7613     | 0.7503     | 0.7224     | 0.6944     | 0.6323     |
+| cosine_precision@1  | 0.0041     | 0.0068     | 0.0034     | 0.0082     | 0.0068     |
+| cosine_precision@3  | 0.0214     | 0.0225     | 0.0221     | 0.0193     | 0.0223     |
+| cosine_precision@5  | 0.0842     | 0.0832     | 0.0835     | 0.0772     | 0.0724     |
+| cosine_precision@10 | 0.0761     | 0.075      | 0.0722     | 0.0694     | 0.0632     |
+| cosine_recall@1     | 0.0041     | 0.0068     | 0.0034     | 0.0082     | 0.0068     |
+| cosine_recall@3     | 0.0641     | 0.0675     | 0.0662     | 0.058      | 0.0668     |
+| cosine_recall@5     | 0.4209     | 0.4161     | 0.4175     | 0.3861     | 0.3622     |
+| cosine_recall@10    | 0.7613     | 0.7503     | 0.7224     | 0.6944     | 0.6323     |
+| **cosine_ndcg@10**  | **0.2986** | **0.2955** | **0.2842** | **0.2749** | **0.2512** |
+| cosine_mrr@10       | 0.1588     | 0.158      | 0.1515     | 0.1482     | 0.1358     |
+| cosine_map@100      | 0.1715     | 0.171      | 0.166      | 0.1636     | 0.1526     |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### json
+
+* Dataset: json
+* Size: 13,186 training samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                              | positive                                                                             |
+  |:--------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                              | string                                                                               |
+  | details | <ul><li>min: 18 tokens</li><li>mean: 61.09 tokens</li><li>max: 162 tokens</li></ul> | <ul><li>min: 40 tokens</li><li>mean: 258.71 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                                                                                                                                                                                             | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
+  |:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Студент разработал базу данных и подал заявку на государственную регистрацию, приложив к ней описание базы данных,  реферат и заявление с указанием себя в качестве правообладателя и автора.  В заявке он указал две разные базы данных. Соответствует ли заявка студента требованиям статьи закона?</code> | <code><p>1. Правообладатель в течение срока действия исключительного права на программу для ЭВМ или на базу данных может по своему желанию зарегистрировать такую программу или такую базу данных в федеральном органе исполнительной власти по интеллектуальной собственности.</p><p>Программы для ЭВМ и базы данных, в которых содержатся сведения, составляющие государственную тайну, государственной регистрации не подлежат. Лицо, подавшее заявку на государственную регистрацию (заявитель), несет ответственность за разглашение сведений о программах для ЭВМ и базах данных, в которых содержатся сведения, составляющие государственную тайну, в соответствии с законодательством Российской Федерации.</p><p>2. Заявка на государственную регистрацию программы для ЭВМ или базы данных (заявка на регистрацию) должна относиться к одной программе для ЭВМ или к одной базе данных.</p><p>Заявка на регистрацию должна содержать:</p><p>заявление о государственной регистрации программы для ЭВМ или базы данных с указанием пр...</code> |
+  | <code>Предположим, наследственный договор предусматривает переход права собственности на дом к А, но А отказывается от наследства.  Может ли Б, другая сторона договора, потребовать исполнения договора в отношении дома, если договор не содержал бы условий о передаче дома Б в случае отказа А?</code>         | <code><p>1. Наследодатель вправе заключить с любым из лиц, которые могут призываться к наследованию (статья 1116), договор, условия которого определяют круг наследников и порядок перехода прав на имущество наследодателя после его смерти к пережившим наследодателя сторонам договора или к пережившим третьим лицам, которые могут призываться к наследованию (наследственный договор). Наследственный договор может также содержать условие о душеприказчике и возлагать на участвующих в наследственном договоре лиц, которые могут призываться к наследованию, обязанность совершить какие-либо не противоречащие закону действия имущественного или неимущественного характера, в том числе исполнить завещательные отказы или завещательные возложения.</p><p>Последствия, предусмотренные наследственным договором, могут быть поставлены в зависимость от наступивших ко дню открытия наследства обстоятельств, относительно которых при заключении наследственного договора было неизвестно, наступят они или не наступят, в том ...</code> |
+  | <code>В чем заключается различие в порядке оспаривания патента в зависимости от характера нарушения, указанного в пункте 1 настоящей статьи?</code>                                                                                                                                                                | <code><p>2. Патент на изобретение, полезную модель или промышленный образец в течение срока его действия, установленного пунктами 1 - 3 статьи 1363 настоящего Кодекса, может быть оспорен путем подачи возражения в федеральный орган исполнительной власти по интеллектуальной собственности любым лицом, которому стало известно о нарушениях, предусмотренных подпунктами 1 - 4 пункта 1 настоящей статьи.</p><p>Патент на изобретение, полезную модель или промышленный образец в течение срока его действия, установленного пунктами 1 - 3 статьи 1363 настоящего Кодекса, может быть оспорен в судебном порядке любым лицом, которому стало известно о нарушениях, предусмотренных подпунктом 5 пункта 1 настоящей статьи.</p><p>Патент на изобретение, полезную модель или промышленный образец может быть оспорен заинтересованным лицом и по истечении срока его действия по основаниям и в порядке, которые установлены абзацами первым и вторым настоящего пункта.</p></code>                                                                |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: epoch
+- `per_device_train_batch_size`: 2
+- `per_device_eval_batch_size`: 2
+- `gradient_accumulation_steps`: 16
+- `learning_rate`: 2e-05
+- `num_train_epochs`: 4
+- `lr_scheduler_type`: cosine
+- `warmup_ratio`: 0.1
+- `bf16`: True
+- `load_best_model_at_end`: True
+- `optim`: adamw_torch_fused
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: epoch
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 2
+- `per_device_eval_batch_size`: 2
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 16
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 4
+- `max_steps`: -1
+- `lr_scheduler_type`: cosine
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: False
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `eval_use_gather_object`: False
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+<details><summary>Click to expand</summary>
+
+| Epoch  | Step | Training Loss | dim_768_cosine_ndcg@10 | dim_512_cosine_ndcg@10 | dim_256_cosine_ndcg@10 | dim_128_cosine_ndcg@10 | dim_64_cosine_ndcg@10 |
+|:------:|:----:|:-------------:|:----------------------:|:----------------------:|:----------------------:|:----------------------:|:---------------------:|
+| 0.0243 | 10   | 0.2108        | -                      | -                      | -                      | -                      | -                     |
+| 0.0485 | 20   | 0.1169        | -                      | -                      | -                      | -                      | -                     |
+| 0.0728 | 30   | 0.1334        | -                      | -                      | -                      | -                      | -                     |
+| 0.0971 | 40   | 0.0963        | -                      | -                      | -                      | -                      | -                     |
+| 0.1213 | 50   | 0.127         | -                      | -                      | -                      | -                      | -                     |
+| 0.1456 | 60   | 0.1254        | -                      | -                      | -                      | -                      | -                     |
+| 0.1699 | 70   | 0.048         | -                      | -                      | -                      | -                      | -                     |
+| 0.1941 | 80   | 0.0358        | -                      | -                      | -                      | -                      | -                     |
+| 0.2184 | 90   | 0.0673        | -                      | -                      | -                      | -                      | -                     |
+| 0.2427 | 100  | 0.049         | -                      | -                      | -                      | -                      | -                     |
+| 0.2669 | 110  | 0.0222        | -                      | -                      | -                      | -                      | -                     |
+| 0.2912 | 120  | 0.0657        | -                      | -                      | -                      | -                      | -                     |
+| 0.3155 | 130  | 0.0878        | -                      | -                      | -                      | -                      | -                     |
+| 0.3398 | 140  | 0.0396        | -                      | -                      | -                      | -                      | -                     |
+| 0.3640 | 150  | 0.033         | -                      | -                      | -                      | -                      | -                     |
+| 0.3883 | 160  | 0.0562        | -                      | -                      | -                      | -                      | -                     |
+| 0.4126 | 170  | 0.0329        | -                      | -                      | -                      | -                      | -                     |
+| 0.4368 | 180  | 0.0918        | -                      | -                      | -                      | -                      | -                     |
+| 0.4611 | 190  | 0.0198        | -                      | -                      | -                      | -                      | -                     |
+| 0.4854 | 200  | 0.0181        | -                      | -                      | -                      | -                      | -                     |
+| 0.5096 | 210  | 0.0119        | -                      | -                      | -                      | -                      | -                     |
+| 0.5339 | 220  | 0.0139        | -                      | -                      | -                      | -                      | -                     |
+| 0.5582 | 230  | 0.057         | -                      | -                      | -                      | -                      | -                     |
+| 0.5824 | 240  | 0.0293        | -                      | -                      | -                      | -                      | -                     |
+| 0.6067 | 250  | 0.0482        | -                      | -                      | -                      | -                      | -                     |
+| 0.6310 | 260  | 0.017         | -                      | -                      | -                      | -                      | -                     |
+| 0.6552 | 270  | 0.0927        | -                      | -                      | -                      | -                      | -                     |
+| 0.6795 | 280  | 0.0187        | -                      | -                      | -                      | -                      | -                     |
+| 0.7038 | 290  | 0.0553        | -                      | -                      | -                      | -                      | -                     |
+| 0.7280 | 300  | 0.015         | -                      | -                      | -                      | -                      | -                     |
+| 0.7523 | 310  | 0.0438        | -                      | -                      | -                      | -                      | -                     |
+| 0.7766 | 320  | 0.0087        | -                      | -                      | -                      | -                      | -                     |
+| 0.8008 | 330  | 0.038         | -                      | -                      | -                      | -                      | -                     |
+| 0.8251 | 340  | 0.0243        | -                      | -                      | -                      | -                      | -                     |
+| 0.8494 | 350  | 0.015         | -                      | -                      | -                      | -                      | -                     |
+| 0.8737 | 360  | 0.0199        | -                      | -                      | -                      | -                      | -                     |
+| 0.8979 | 370  | 0.0516        | -                      | -                      | -                      | -                      | -                     |
+| 0.9222 | 380  | 0.0561        | -                      | -                      | -                      | -                      | -                     |
+| 0.9465 | 390  | 0.0851        | -                      | -                      | -                      | -                      | -                     |
+| 0.9707 | 400  | 0.0394        | -                      | -                      | -                      | -                      | -                     |
+| 0.9950 | 410  | 0.0114        | -                      | -                      | -                      | -                      | -                     |
+| 0.9998 | 412  | -             | 0.2806                 | 0.2779                 | 0.2742                 | 0.2597                 | 0.2253                |
+| 1.0193 | 420  | 0.0136        | -                      | -                      | -                      | -                      | -                     |
+| 1.0435 | 430  | 0.1219        | -                      | -                      | -                      | -                      | -                     |
+| 1.0678 | 440  | 0.0164        | -                      | -                      | -                      | -                      | -                     |
+| 1.0921 | 450  | 0.0927        | -                      | -                      | -                      | -                      | -                     |
+| 1.1163 | 460  | 0.0268        | -                      | -                      | -                      | -                      | -                     |
+| 1.1406 | 470  | 0.0384        | -                      | -                      | -                      | -                      | -                     |
+| 1.1649 | 480  | 0.0034        | -                      | -                      | -                      | -                      | -                     |
+| 1.1891 | 490  | 0.0183        | -                      | -                      | -                      | -                      | -                     |
+| 1.2134 | 500  | 0.0594        | -                      | -                      | -                      | -                      | -                     |
+| 1.2377 | 510  | 0.0145        | -                      | -                      | -                      | -                      | -                     |
+| 1.2619 | 520  | 0.0768        | -                      | -                      | -                      | -                      | -                     |
+| 1.2862 | 530  | 0.0084        | -                      | -                      | -                      | -                      | -                     |
+| 1.3105 | 540  | 0.0528        | -                      | -                      | -                      | -                      | -                     |
+| 1.3347 | 550  | 0.0619        | -                      | -                      | -                      | -                      | -                     |
+| 1.3590 | 560  | 0.0326        | -                      | -                      | -                      | -                      | -                     |
+| 1.3833 | 570  | 0.0135        | -                      | -                      | -                      | -                      | -                     |
+| 1.4076 | 580  | 0.0143        | -                      | -                      | -                      | -                      | -                     |
+| 1.4318 | 590  | 0.0952        | -                      | -                      | -                      | -                      | -                     |
+| 1.4561 | 600  | 0.0188        | -                      | -                      | -                      | -                      | -                     |
+| 1.4804 | 610  | 0.01          | -                      | -                      | -                      | -                      | -                     |
+| 1.5046 | 620  | 0.091         | -                      | -                      | -                      | -                      | -                     |
+| 1.5289 | 630  | 0.0205        | -                      | -                      | -                      | -                      | -                     |
+| 1.5532 | 640  | 0.0156        | -                      | -                      | -                      | -                      | -                     |
+| 1.5774 | 650  | 0.0101        | -                      | -                      | -                      | -                      | -                     |
+| 1.6017 | 660  | 0.022         | -                      | -                      | -                      | -                      | -                     |
+| 1.6260 | 670  | 0.0135        | -                      | -                      | -                      | -                      | -                     |
+| 1.6502 | 680  | 0.0226        | -                      | -                      | -                      | -                      | -                     |
+| 1.6745 | 690  | 0.0032        | -                      | -                      | -                      | -                      | -                     |
+| 1.6988 | 700  | 0.0071        | -                      | -                      | -                      | -                      | -                     |
+| 1.7230 | 710  | 0.028         | -                      | -                      | -                      | -                      | -                     |
+| 1.7473 | 720  | 0.0351        | -                      | -                      | -                      | -                      | -                     |
+| 1.7716 | 730  | 0.0021        | -                      | -                      | -                      | -                      | -                     |
+| 1.7958 | 740  | 0.0073        | -                      | -                      | -                      | -                      | -                     |
+| 1.8201 | 750  | 0.0103        | -                      | -                      | -                      | -                      | -                     |
+| 1.8444 | 760  | 0.0219        | -                      | -                      | -                      | -                      | -                     |
+| 1.8686 | 770  | 0.0035        | -                      | -                      | -                      | -                      | -                     |
+| 1.8929 | 780  | 0.0579        | -                      | -                      | -                      | -                      | -                     |
+| 1.9172 | 790  | 0.0298        | -                      | -                      | -                      | -                      | -                     |
+| 1.9415 | 800  | 0.0076        | -                      | -                      | -                      | -                      | -                     |
+| 1.9657 | 810  | 0.0038        | -                      | -                      | -                      | -                      | -                     |
+| 1.9900 | 820  | 0.0016        | -                      | -                      | -                      | -                      | -                     |
+| 1.9997 | 824  | -             | 0.2945                 | 0.2886                 | 0.2856                 | 0.2642                 | 0.2411                |
+| 2.0143 | 830  | 0.0715        | -                      | -                      | -                      | -                      | -                     |
+| 2.0385 | 840  | 0.0021        | -                      | -                      | -                      | -                      | -                     |
+| 2.0628 | 850  | 0.0065        | -                      | -                      | -                      | -                      | -                     |
+| 2.0871 | 860  | 0.0105        | -                      | -                      | -                      | -                      | -                     |
+| 2.1113 | 870  | 0.0024        | -                      | -                      | -                      | -                      | -                     |
+| 2.1356 | 880  | 0.0025        | -                      | -                      | -                      | -                      | -                     |
+| 2.1599 | 890  | 0.014         | -                      | -                      | -                      | -                      | -                     |
+| 2.1841 | 900  | 0.0016        | -                      | -                      | -                      | -                      | -                     |
+| 2.2084 | 910  | 0.008         | -                      | -                      | -                      | -                      | -                     |
+| 2.2327 | 920  | 0.0041        | -                      | -                      | -                      | -                      | -                     |
+| 2.2569 | 930  | 0.0308        | -                      | -                      | -                      | -                      | -                     |
+| 2.2812 | 940  | 0.011         | -                      | -                      | -                      | -                      | -                     |
+| 2.3055 | 950  | 0.0207        | -                      | -                      | -                      | -                      | -                     |
+| 2.3297 | 960  | 0.0048        | -                      | -                      | -                      | -                      | -                     |
+| 2.3540 | 970  | 0.0215        | -                      | -                      | -                      | -                      | -                     |
+| 2.3783 | 980  | 0.0061        | -                      | -                      | -                      | -                      | -                     |
+| 2.4025 | 990  | 0.0164        | -                      | -                      | -                      | -                      | -                     |
+| 2.4268 | 1000 | 0.0255        | -                      | -                      | -                      | -                      | -                     |
+| 2.4511 | 1010 | 0.0062        | -                      | -                      | -                      | -                      | -                     |
+| 2.4754 | 1020 | 0.0079        | -                      | -                      | -                      | -                      | -                     |
+| 2.4996 | 1030 | 0.005         | -                      | -                      | -                      | -                      | -                     |
+| 2.5239 | 1040 | 0.042         | -                      | -                      | -                      | -                      | -                     |
+| 2.5482 | 1050 | 0.0057        | -                      | -                      | -                      | -                      | -                     |
+| 2.5724 | 1060 | 0.0384        | -                      | -                      | -                      | -                      | -                     |
+| 2.5967 | 1070 | 0.009         | -                      | -                      | -                      | -                      | -                     |
+| 2.6210 | 1080 | 0.0089        | -                      | -                      | -                      | -                      | -                     |
+| 2.6452 | 1090 | 0.0034        | -                      | -                      | -                      | -                      | -                     |
+| 2.6695 | 1100 | 0.026         | -                      | -                      | -                      | -                      | -                     |
+| 2.6938 | 1110 | 0.0358        | -                      | -                      | -                      | -                      | -                     |
+| 2.7180 | 1120 | 0.0033        | -                      | -                      | -                      | -                      | -                     |
+| 2.7423 | 1130 | 0.0037        | -                      | -                      | -                      | -                      | -                     |
+| 2.7666 | 1140 | 0.0195        | -                      | -                      | -                      | -                      | -                     |
+| 2.7908 | 1150 | 0.0024        | -                      | -                      | -                      | -                      | -                     |
+| 2.8151 | 1160 | 0.0533        | -                      | -                      | -                      | -                      | -                     |
+| 2.8394 | 1170 | 0.0137        | -                      | -                      | -                      | -                      | -                     |
+| 2.8636 | 1180 | 0.0125        | -                      | -                      | -                      | -                      | -                     |
+| 2.8879 | 1190 | 0.0253        | -                      | -                      | -                      | -                      | -                     |
+| 2.9122 | 1200 | 0.0068        | -                      | -                      | -                      | -                      | -                     |
+| 2.9364 | 1210 | 0.0436        | -                      | -                      | -                      | -                      | -                     |
+| 2.9607 | 1220 | 0.0021        | -                      | -                      | -                      | -                      | -                     |
+| 2.9850 | 1230 | 0.0129        | -                      | -                      | -                      | -                      | -                     |
+| 2.9995 | 1236 | -             | 0.2986                 | 0.2955                 | 0.2842                 | 0.2749                 | 0.2512                |
+
+</details>
+
+### Framework Versions
+- Python: 3.11.11
+- Sentence Transformers: 3.4.1
+- Transformers: 4.43.0
+- PyTorch: 2.6.0+cu124
+- Accelerate: 1.3.0
+- Datasets: 3.3.2
+- Tokenizers: 0.19.1
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

checkpoint-1236/config.json

@@ -0,0 +1,74 @@
+{
+  "_name_or_path": "nomic-ai/nomic-embed-text-v2-moe",
+  "activation_function": "gelu",
+  "add_pooling_layer": false,
+  "architectures": [
+    "NomicBertModel"
+  ],
+  "attn_pdrop": 0.0,
+  "auto_map": {
+    "AutoConfig": "nomic-ai/nomic-bert-2048--configuration_hf_nomic_bert.NomicBertConfig",
+    "AutoModel": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertModel",
+    "AutoModelForMaskedLM": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForPreTraining",
+    "AutoModelForMultipleChoice": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForMultipleChoice",
+    "AutoModelForQuestionAnswering": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForQuestionAnswering",
+    "AutoModelForSequenceClassification": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForSequenceClassification",
+    "AutoModelForTokenClassification": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForTokenClassification"
+  },
+  "bos_token_id": null,
+  "causal": false,
+  "dense_seq_output": true,
+  "embd_pdrop": 0.1,
+  "eos_token_id": null,
+  "expert_choice_router": false,
+  "ffn_div": 1,
+  "fused_bias_fc": true,
+  "fused_dropout_add_ln": true,
+  "initializer_range": 0.02,
+  "layer_norm_epsilon": 1e-05,
+  "max_trained_positions": 2048,
+  "mlp_fc1_bias": true,
+  "mlp_fc2_bias": true,
+  "model_type": "nomic_bert",
+  "moe_every_n_layers": 2,
+  "moe_impl": "megablocks",
+  "moe_normalize_expert_weights": false,
+  "moe_resid_pdrop": 0.0,
+  "moe_top_k": 2,
+  "n_embd": 768,
+  "n_head": 12,
+  "n_inner": 3072,
+  "n_layer": 12,
+  "n_positions": 2048,
+  "num_experts": 8,
+  "num_shared_experts": 0,
+  "pad_token_id": 1,
+  "pad_vocab_size_multiple": 64,
+  "parallel_block": false,
+  "parallel_block_tied_norm": false,
+  "prenorm": false,
+  "qkv_proj_bias": true,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.0,
+  "rotary_emb_base": 10000,
+  "rotary_emb_fraction": 1.0,
+  "rotary_emb_interleaved": false,
+  "rotary_emb_scale_base": null,
+  "rotary_scaling_factor": null,
+  "router_aux_loss_coef": 0.1,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "torch_dtype": "float32",
+  "transformers_version": "4.43.0",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "use_flash_attn": true,
+  "use_rms_norm": null,
+  "use_xentropy": true,
+  "vocab_size": 250048
+}

checkpoint-1236/config_sentence_transformers.json

@@ -0,0 +1,20 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.4.1",
+    "transformers": "4.43.0",
+    "pytorch": "2.6.0+cu124"
+  },
+  "prompts": {
+    "query": "search_query: ",
+    "passage": "search_document: ",
+    "Classification": "classification: ",
+    "MultilabelClassification": "classification: ",
+    "Clustering": "clustering: ",
+    "PairClassification": "classification: ",
+    "STS": "classification: ",
+    "Summarization": "classification: ",
+    "Speed": "search_document: "
+  },
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

checkpoint-1236/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7e08adbc4d5c7264da0786a20312f6b903f7229aeae9c99bacbebcdac5b24f05
+size 1901187232

checkpoint-1236/modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

checkpoint-1236/optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:13d33a137a5db9b7f005e581020e88eec934dfb2510068c409c489ed33e11b83
+size 3802469370

checkpoint-1236/rng_state.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9b0e1d032a013d53dc2c63c4eb5f302acdd2786edf5d1298a2fb4a5e749b59e8
+size 14244

checkpoint-1236/scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1c37a3c8ceb14f3b84bb5cd5c64fb18105452f6ec7dd141e7e1c42ed20c8c9b3
+size 1064

checkpoint-1236/sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

checkpoint-1236/sentencepiece.bpe.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cfc8146abe2a0488e9e2a0c56de7952f7c11ab059eca145a0a727afce0db2865
+size 5069051

checkpoint-1236/special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

checkpoint-1236/tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:883b037111086fd4dfebbbc9b7cee11e1517b5e0c0514879478661440f137085
+size 17082987

checkpoint-1236/tokenizer_config.json

@@ -0,0 +1,54 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "250001": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "model_max_length": 512,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "XLMRobertaTokenizer",
+  "unk_token": "<unk>"
+}

checkpoint-1236/trainer_state.json

@@ -0,0 +1,1143 @@
+{
+  "best_metric": 0.2749254568568281,
+  "best_model_checkpoint": "Nomic/nomic-v2-tuned-1/checkpoint-1236",
+  "epoch": 2.9995449719399363,
+  "eval_steps": 500,
+  "global_step": 1236,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.024268163203397544,
+      "grad_norm": 6.184824466705322,
+      "learning_rate": 1.2121212121212122e-06,
+      "loss": 0.2108,
+      "step": 10
+    },
+    {
+      "epoch": 0.04853632640679509,
+      "grad_norm": 7.719327449798584,
+      "learning_rate": 2.4242424242424244e-06,
+      "loss": 0.1169,
+      "step": 20
+    },
+    {
+      "epoch": 0.07280448961019263,
+      "grad_norm": 4.0327959060668945,
+      "learning_rate": 3.6363636363636366e-06,
+      "loss": 0.1334,
+      "step": 30
+    },
+    {
+      "epoch": 0.09707265281359018,
+      "grad_norm": 5.168394088745117,
+      "learning_rate": 4.848484848484849e-06,
+      "loss": 0.0963,
+      "step": 40
+    },
+    {
+      "epoch": 0.12134081601698772,
+      "grad_norm": 14.108105659484863,
+      "learning_rate": 6.060606060606061e-06,
+      "loss": 0.127,
+      "step": 50
+    },
+    {
+      "epoch": 0.14560897922038527,
+      "grad_norm": 0.29993921518325806,
+      "learning_rate": 7.272727272727273e-06,
+      "loss": 0.1254,
+      "step": 60
+    },
+    {
+      "epoch": 0.1698771424237828,
+      "grad_norm": 1.5108305215835571,
+      "learning_rate": 8.484848484848486e-06,
+      "loss": 0.048,
+      "step": 70
+    },
+    {
+      "epoch": 0.19414530562718035,
+      "grad_norm": 2.570068836212158,
+      "learning_rate": 9.696969696969698e-06,
+      "loss": 0.0358,
+      "step": 80
+    },
+    {
+      "epoch": 0.21841346883057788,
+      "grad_norm": 13.097607612609863,
+      "learning_rate": 1.0909090909090909e-05,
+      "loss": 0.0673,
+      "step": 90
+    },
+    {
+      "epoch": 0.24268163203397544,
+      "grad_norm": 4.809088230133057,
+      "learning_rate": 1.2121212121212122e-05,
+      "loss": 0.049,
+      "step": 100
+    },
+    {
+      "epoch": 0.26694979523737294,
+      "grad_norm": 0.4637127220630646,
+      "learning_rate": 1.3333333333333333e-05,
+      "loss": 0.0222,
+      "step": 110
+    },
+    {
+      "epoch": 0.29121795844077053,
+      "grad_norm": 3.315945625305176,
+      "learning_rate": 1.4545454545454546e-05,
+      "loss": 0.0657,
+      "step": 120
+    },
+    {
+      "epoch": 0.31548612164416806,
+      "grad_norm": 1.816904067993164,
+      "learning_rate": 1.575757575757576e-05,
+      "loss": 0.0878,
+      "step": 130
+    },
+    {
+      "epoch": 0.3397542848475656,
+      "grad_norm": 0.5492209792137146,
+      "learning_rate": 1.6969696969696972e-05,
+      "loss": 0.0396,
+      "step": 140
+    },
+    {
+      "epoch": 0.3640224480509631,
+      "grad_norm": 0.6514124274253845,
+      "learning_rate": 1.8181818181818182e-05,
+      "loss": 0.033,
+      "step": 150
+    },
+    {
+      "epoch": 0.3882906112543607,
+      "grad_norm": 0.20525218546390533,
+      "learning_rate": 1.9393939393939395e-05,
+      "loss": 0.0562,
+      "step": 160
+    },
+    {
+      "epoch": 0.41255877445775824,
+      "grad_norm": 12.202320098876953,
+      "learning_rate": 1.999943905097692e-05,
+      "loss": 0.0329,
+      "step": 170
+    },
+    {
+      "epoch": 0.43682693766115577,
+      "grad_norm": 7.067898273468018,
+      "learning_rate": 1.9994951836381796e-05,
+      "loss": 0.0918,
+      "step": 180
+    },
+    {
+      "epoch": 0.4610951008645533,
+      "grad_norm": 0.13020876049995422,
+      "learning_rate": 1.998597942081397e-05,
+      "loss": 0.0198,
+      "step": 190
+    },
+    {
+      "epoch": 0.4853632640679509,
+      "grad_norm": 0.3073924779891968,
+      "learning_rate": 1.9972525830614725e-05,
+      "loss": 0.0181,
+      "step": 200
+    },
+    {
+      "epoch": 0.5096314272713484,
+      "grad_norm": 0.40409696102142334,
+      "learning_rate": 1.9954597103037342e-05,
+      "loss": 0.0119,
+      "step": 210
+    },
+    {
+      "epoch": 0.5338995904747459,
+      "grad_norm": 2.918846845626831,
+      "learning_rate": 1.9932201283537935e-05,
+      "loss": 0.0139,
+      "step": 220
+    },
+    {
+      "epoch": 0.5581677536781435,
+      "grad_norm": 8.526318550109863,
+      "learning_rate": 1.9905348422165075e-05,
+      "loss": 0.057,
+      "step": 230
+    },
+    {
+      "epoch": 0.5824359168815411,
+      "grad_norm": 10.81310749053955,
+      "learning_rate": 1.987405056904986e-05,
+      "loss": 0.0293,
+      "step": 240
+    },
+    {
+      "epoch": 0.6067040800849386,
+      "grad_norm": 0.8693222999572754,
+      "learning_rate": 1.9838321768998462e-05,
+      "loss": 0.0482,
+      "step": 250
+    },
+    {
+      "epoch": 0.6309722432883361,
+      "grad_norm": 5.930874347686768,
+      "learning_rate": 1.9798178055189563e-05,
+      "loss": 0.017,
+      "step": 260
+    },
+    {
+      "epoch": 0.6552404064917337,
+      "grad_norm": 4.582831859588623,
+      "learning_rate": 1.9753637441979533e-05,
+      "loss": 0.0927,
+      "step": 270
+    },
+    {
+      "epoch": 0.6795085696951312,
+      "grad_norm": 0.19732092320919037,
+      "learning_rate": 1.970471991681853e-05,
+      "loss": 0.0187,
+      "step": 280
+    },
+    {
+      "epoch": 0.7037767328985287,
+      "grad_norm": 0.7359830141067505,
+      "learning_rate": 1.9651447431281213e-05,
+      "loss": 0.0553,
+      "step": 290
+    },
+    {
+      "epoch": 0.7280448961019262,
+      "grad_norm": 0.4606100618839264,
+      "learning_rate": 1.9593843891216035e-05,
+      "loss": 0.015,
+      "step": 300
+    },
+    {
+      "epoch": 0.7523130593053239,
+      "grad_norm": 0.9894680380821228,
+      "learning_rate": 1.9531935146017595e-05,
+      "loss": 0.0438,
+      "step": 310
+    },
+    {
+      "epoch": 0.7765812225087214,
+      "grad_norm": 0.13739630579948425,
+      "learning_rate": 1.9465748977026782e-05,
+      "loss": 0.0087,
+      "step": 320
+    },
+    {
+      "epoch": 0.8008493857121189,
+      "grad_norm": 0.3315618336200714,
+      "learning_rate": 1.9395315085064007e-05,
+      "loss": 0.038,
+      "step": 330
+    },
+    {
+      "epoch": 0.8251175489155165,
+      "grad_norm": 0.17197982966899872,
+      "learning_rate": 1.9320665077101066e-05,
+      "loss": 0.0243,
+      "step": 340
+    },
+    {
+      "epoch": 0.849385712118914,
+      "grad_norm": 4.819814682006836,
+      "learning_rate": 1.92418324520776e-05,
+      "loss": 0.015,
+      "step": 350
+    },
+    {
+      "epoch": 0.8736538753223115,
+      "grad_norm": 4.6382365226745605,
+      "learning_rate": 1.9158852585868575e-05,
+      "loss": 0.0199,
+      "step": 360
+    },
+    {
+      "epoch": 0.8979220385257091,
+      "grad_norm": 0.15649013221263885,
+      "learning_rate": 1.9071762715409474e-05,
+      "loss": 0.0516,
+      "step": 370
+    },
+    {
+      "epoch": 0.9221902017291066,
+      "grad_norm": 9.212163925170898,
+      "learning_rate": 1.8980601921986332e-05,
+      "loss": 0.0561,
+      "step": 380
+    },
+    {
+      "epoch": 0.9464583649325041,
+      "grad_norm": 1.8409303426742554,
+      "learning_rate": 1.888541111369816e-05,
+      "loss": 0.0851,
+      "step": 390
+    },
+    {
+      "epoch": 0.9707265281359018,
+      "grad_norm": 0.0260617733001709,
+      "learning_rate": 1.878623300709957e-05,
+      "loss": 0.0394,
+      "step": 400
+    },
+    {
+      "epoch": 0.9949946913392993,
+      "grad_norm": 0.475887656211853,
+      "learning_rate": 1.8683112108031856e-05,
+      "loss": 0.0114,
+      "step": 410
+    },
+    {
+      "epoch": 0.9998483239799788,
+      "eval_dim_128_cosine_accuracy@1": 0.0034106412005457027,
+      "eval_dim_128_cosine_accuracy@10": 0.6609822646657572,
+      "eval_dim_128_cosine_accuracy@3": 0.06207366984993179,
+      "eval_dim_128_cosine_accuracy@5": 0.35129604365620737,
+      "eval_dim_128_cosine_map@100": 0.15352648780478836,
+      "eval_dim_128_cosine_mrr@10": 0.1384457762186259,
+      "eval_dim_128_cosine_ndcg@10": 0.25968761539611496,
+      "eval_dim_128_cosine_precision@1": 0.0034106412005457027,
+      "eval_dim_128_cosine_precision@10": 0.06609822646657572,
+      "eval_dim_128_cosine_precision@3": 0.020691223283310592,
+      "eval_dim_128_cosine_precision@5": 0.07025920873124147,
+      "eval_dim_128_cosine_recall@1": 0.0034106412005457027,
+      "eval_dim_128_cosine_recall@10": 0.6609822646657572,
+      "eval_dim_128_cosine_recall@3": 0.06207366984993179,
+      "eval_dim_128_cosine_recall@5": 0.35129604365620737,
+      "eval_dim_256_cosine_accuracy@1": 0.006139154160982265,
+      "eval_dim_256_cosine_accuracy@10": 0.6957708049113234,
+      "eval_dim_256_cosine_accuracy@3": 0.059345156889495224,
+      "eval_dim_256_cosine_accuracy@5": 0.3969986357435198,
+      "eval_dim_256_cosine_map@100": 0.1608969666312337,
+      "eval_dim_256_cosine_mrr@10": 0.14680563676129663,
+      "eval_dim_256_cosine_ndcg@10": 0.2742190784977125,
+      "eval_dim_256_cosine_precision@1": 0.006139154160982265,
+      "eval_dim_256_cosine_precision@10": 0.06957708049113233,
+      "eval_dim_256_cosine_precision@3": 0.019781718963165072,
+      "eval_dim_256_cosine_precision@5": 0.07939972714870396,
+      "eval_dim_256_cosine_recall@1": 0.006139154160982265,
+      "eval_dim_256_cosine_recall@10": 0.6957708049113234,
+      "eval_dim_256_cosine_recall@3": 0.059345156889495224,
+      "eval_dim_256_cosine_recall@5": 0.3969986357435198,
+      "eval_dim_512_cosine_accuracy@1": 0.004092769440654843,
+      "eval_dim_512_cosine_accuracy@10": 0.708731241473397,
+      "eval_dim_512_cosine_accuracy@3": 0.054570259208731244,
+      "eval_dim_512_cosine_accuracy@5": 0.4045020463847203,
+      "eval_dim_512_cosine_map@100": 0.16179009192949412,
+      "eval_dim_512_cosine_mrr@10": 0.14763068710885704,
+      "eval_dim_512_cosine_ndcg@10": 0.2778537691360626,
+      "eval_dim_512_cosine_precision@1": 0.004092769440654843,
+      "eval_dim_512_cosine_precision@10": 0.07087312414733969,
+      "eval_dim_512_cosine_precision@3": 0.01819008640291041,
+      "eval_dim_512_cosine_precision@5": 0.08090040927694407,
+      "eval_dim_512_cosine_recall@1": 0.004092769440654843,
+      "eval_dim_512_cosine_recall@10": 0.708731241473397,
+      "eval_dim_512_cosine_recall@3": 0.054570259208731244,
+      "eval_dim_512_cosine_recall@5": 0.4045020463847203,
+      "eval_dim_64_cosine_accuracy@1": 0.004092769440654843,
+      "eval_dim_64_cosine_accuracy@10": 0.5750341064120055,
+      "eval_dim_64_cosine_accuracy@3": 0.048431105047748974,
+      "eval_dim_64_cosine_accuracy@5": 0.3144611186903138,
+      "eval_dim_64_cosine_map@100": 0.1367884100889619,
+      "eval_dim_64_cosine_mrr@10": 0.11982692349336187,
+      "eval_dim_64_cosine_ndcg@10": 0.2252854715830182,
+      "eval_dim_64_cosine_precision@1": 0.004092769440654843,
+      "eval_dim_64_cosine_precision@10": 0.05750341064120054,
+      "eval_dim_64_cosine_precision@3": 0.01614370168258299,
+      "eval_dim_64_cosine_precision@5": 0.06289222373806276,
+      "eval_dim_64_cosine_recall@1": 0.004092769440654843,
+      "eval_dim_64_cosine_recall@10": 0.5750341064120055,
+      "eval_dim_64_cosine_recall@3": 0.048431105047748974,
+      "eval_dim_64_cosine_recall@5": 0.3144611186903138,
+      "eval_dim_768_cosine_accuracy@1": 0.002728512960436562,
+      "eval_dim_768_cosine_accuracy@10": 0.7175989085948158,
+      "eval_dim_768_cosine_accuracy@3": 0.059345156889495224,
+      "eval_dim_768_cosine_accuracy@5": 0.40109140518417463,
+      "eval_dim_768_cosine_map@100": 0.1621927494042191,
+      "eval_dim_768_cosine_mrr@10": 0.1485466878884321,
+      "eval_dim_768_cosine_ndcg@10": 0.2805856733257871,
+      "eval_dim_768_cosine_precision@1": 0.002728512960436562,
+      "eval_dim_768_cosine_precision@10": 0.07175989085948158,
+      "eval_dim_768_cosine_precision@3": 0.019781718963165072,
+      "eval_dim_768_cosine_precision@5": 0.08021828103683493,
+      "eval_dim_768_cosine_recall@1": 0.002728512960436562,
+      "eval_dim_768_cosine_recall@10": 0.7175989085948158,
+      "eval_dim_768_cosine_recall@3": 0.059345156889495224,
+      "eval_dim_768_cosine_recall@5": 0.40109140518417463,
+      "eval_runtime": 311.6214,
+      "eval_samples_per_second": 0.0,
+      "eval_sequential_score": 0.2252854715830182,
+      "eval_steps_per_second": 0.0,
+      "step": 412
+    },
+    {
+      "epoch": 1.0192628545426967,
+      "grad_norm": 0.07392042130231857,
+      "learning_rate": 1.8576094691651153e-05,
+      "loss": 0.0136,
+      "step": 420
+    },
+    {
+      "epoch": 1.0435310177460944,
+      "grad_norm": 3.5508384704589844,
+      "learning_rate": 1.8465228781662618e-05,
+      "loss": 0.1219,
+      "step": 430
+    },
+    {
+      "epoch": 1.0677991809494918,
+      "grad_norm": 5.711903095245361,
+      "learning_rate": 1.8350564128769955e-05,
+      "loss": 0.0164,
+      "step": 440
+    },
+    {
+      "epoch": 1.0920673441528894,
+      "grad_norm": 1.1452428102493286,
+      "learning_rate": 1.8232152188349946e-05,
+      "loss": 0.0927,
+      "step": 450
+    },
+    {
+      "epoch": 1.116335507356287,
+      "grad_norm": 1.4943727254867554,
+      "learning_rate": 1.8110046097362033e-05,
+      "loss": 0.0268,
+      "step": 460
+    },
+    {
+      "epoch": 1.1406036705596845,
+      "grad_norm": 1.8914352655410767,
+      "learning_rate": 1.7984300650503282e-05,
+      "loss": 0.0384,
+      "step": 470
+    },
+    {
+      "epoch": 1.1648718337630821,
+      "grad_norm": 0.11347553879022598,
+      "learning_rate": 1.7854972275619453e-05,
+      "loss": 0.0034,
+      "step": 480
+    },
+    {
+      "epoch": 1.1891399969664795,
+      "grad_norm": 8.961676597595215,
+      "learning_rate": 1.772211900838318e-05,
+      "loss": 0.0183,
+      "step": 490
+    },
+    {
+      "epoch": 1.2134081601698772,
+      "grad_norm": 21.69032096862793,
+      "learning_rate": 1.758580046625068e-05,
+      "loss": 0.0594,
+      "step": 500
+    },
+    {
+      "epoch": 1.2376763233732746,
+      "grad_norm": 3.1777877807617188,
+      "learning_rate": 1.7446077821708596e-05,
+      "loss": 0.0145,
+      "step": 510
+    },
+    {
+      "epoch": 1.2619444865766722,
+      "grad_norm": 1.400813102722168,
+      "learning_rate": 1.730301377482307e-05,
+      "loss": 0.0768,
+      "step": 520
+    },
+    {
+      "epoch": 1.2862126497800697,
+      "grad_norm": 0.12172400206327438,
+      "learning_rate": 1.715667252510329e-05,
+      "loss": 0.0084,
+      "step": 530
+    },
+    {
+      "epoch": 1.3104808129834673,
+      "grad_norm": 0.021951694041490555,
+      "learning_rate": 1.700711974269218e-05,
+      "loss": 0.0528,
+      "step": 540
+    },
+    {
+      "epoch": 1.334748976186865,
+      "grad_norm": 0.030643614009022713,
+      "learning_rate": 1.6854422538897136e-05,
+      "loss": 0.0619,
+      "step": 550
+    },
+    {
+      "epoch": 1.3590171393902624,
+      "grad_norm": 4.491604804992676,
+      "learning_rate": 1.6698649436074063e-05,
+      "loss": 0.0326,
+      "step": 560
+    },
+    {
+      "epoch": 1.38328530259366,
+      "grad_norm": 0.42146193981170654,
+      "learning_rate": 1.65398703368782e-05,
+      "loss": 0.0135,
+      "step": 570
+    },
+    {
+      "epoch": 1.4075534657970574,
+      "grad_norm": 0.09300685673952103,
+      "learning_rate": 1.6378156492895524e-05,
+      "loss": 0.0143,
+      "step": 580
+    },
+    {
+      "epoch": 1.431821629000455,
+      "grad_norm": 2.0742526054382324,
+      "learning_rate": 1.6213580472668856e-05,
+      "loss": 0.0952,
+      "step": 590
+    },
+    {
+      "epoch": 1.4560897922038527,
+      "grad_norm": 2.740499973297119,
+      "learning_rate": 1.604621612913297e-05,
+      "loss": 0.0188,
+      "step": 600
+    },
+    {
+      "epoch": 1.4803579554072501,
+      "grad_norm": 0.09577389806509018,
+      "learning_rate": 1.5876138566473327e-05,
+      "loss": 0.01,
+      "step": 610
+    },
+    {
+      "epoch": 1.5046261186106475,
+      "grad_norm": 1.9737666845321655,
+      "learning_rate": 1.5703424106423335e-05,
+      "loss": 0.091,
+      "step": 620
+    },
+    {
+      "epoch": 1.5288942818140452,
+      "grad_norm": 0.018516847863793373,
+      "learning_rate": 1.5528150254015225e-05,
+      "loss": 0.0205,
+      "step": 630
+    },
+    {
+      "epoch": 1.5531624450174428,
+      "grad_norm": 0.0974857360124588,
+      "learning_rate": 1.5350395662799925e-05,
+      "loss": 0.0156,
+      "step": 640
+    },
+    {
+      "epoch": 1.5774306082208402,
+      "grad_norm": 1.012096881866455,
+      "learning_rate": 1.5170240099551547e-05,
+      "loss": 0.0101,
+      "step": 650
+    },
+    {
+      "epoch": 1.6016987714242377,
+      "grad_norm": 0.4372600317001343,
+      "learning_rate": 1.4987764408472327e-05,
+      "loss": 0.022,
+      "step": 660
+    },
+    {
+      "epoch": 1.6259669346276353,
+      "grad_norm": 1.3607388734817505,
+      "learning_rate": 1.4803050474914034e-05,
+      "loss": 0.0135,
+      "step": 670
+    },
+    {
+      "epoch": 1.650235097831033,
+      "grad_norm": 0.1327061802148819,
+      "learning_rate": 1.4616181188632229e-05,
+      "loss": 0.0226,
+      "step": 680
+    },
+    {
+      "epoch": 1.6745032610344306,
+      "grad_norm": 0.31588563323020935,
+      "learning_rate": 1.4427240406589727e-05,
+      "loss": 0.0032,
+      "step": 690
+    },
+    {
+      "epoch": 1.698771424237828,
+      "grad_norm": 1.2134084701538086,
+      "learning_rate": 1.4236312915326108e-05,
+      "loss": 0.0071,
+      "step": 700
+    },
+    {
+      "epoch": 1.7230395874412254,
+      "grad_norm": 0.06816510111093521,
+      "learning_rate": 1.4043484392910014e-05,
+      "loss": 0.028,
+      "step": 710
+    },
+    {
+      "epoch": 1.747307750644623,
+      "grad_norm": 0.3962950110435486,
+      "learning_rate": 1.3848841370491416e-05,
+      "loss": 0.0351,
+      "step": 720
+    },
+    {
+      "epoch": 1.7715759138480207,
+      "grad_norm": 0.06974906474351883,
+      "learning_rate": 1.3652471193471049e-05,
+      "loss": 0.0021,
+      "step": 730
+    },
+    {
+      "epoch": 1.7958440770514181,
+      "grad_norm": 0.08050140738487244,
+      "learning_rate": 1.345446198230446e-05,
+      "loss": 0.0073,
+      "step": 740
+    },
+    {
+      "epoch": 1.8201122402548155,
+      "grad_norm": 0.04942511394619942,
+      "learning_rate": 1.3254902592958242e-05,
+      "loss": 0.0103,
+      "step": 750
+    },
+    {
+      "epoch": 1.8443804034582132,
+      "grad_norm": 0.17193569242954254,
+      "learning_rate": 1.3053882577036236e-05,
+      "loss": 0.0219,
+      "step": 760
+    },
+    {
+      "epoch": 1.8686485666616108,
+      "grad_norm": 0.011188509874045849,
+      "learning_rate": 1.2851492141593531e-05,
+      "loss": 0.0035,
+      "step": 770
+    },
+    {
+      "epoch": 1.8929167298650085,
+      "grad_norm": 21.107633590698242,
+      "learning_rate": 1.264782210865637e-05,
+      "loss": 0.0579,
+      "step": 780
+    },
+    {
+      "epoch": 1.917184893068406,
+      "grad_norm": 0.6288430690765381,
+      "learning_rate": 1.2442963874466044e-05,
+      "loss": 0.0298,
+      "step": 790
+    },
+    {
+      "epoch": 1.9414530562718033,
+      "grad_norm": 0.9807838201522827,
+      "learning_rate": 1.2237009368465171e-05,
+      "loss": 0.0076,
+      "step": 800
+    },
+    {
+      "epoch": 1.965721219475201,
+      "grad_norm": 0.4862402379512787,
+      "learning_rate": 1.2030051012044644e-05,
+      "loss": 0.0038,
+      "step": 810
+    },
+    {
+      "epoch": 1.9899893826785986,
+      "grad_norm": 0.32241472601890564,
+      "learning_rate": 1.1822181677069855e-05,
+      "loss": 0.0016,
+      "step": 820
+    },
+    {
+      "epoch": 1.9996966479599574,
+      "eval_dim_128_cosine_accuracy@1": 0.007503410641200546,
+      "eval_dim_128_cosine_accuracy@10": 0.665075034106412,
+      "eval_dim_128_cosine_accuracy@3": 0.06070941336971351,
+      "eval_dim_128_cosine_accuracy@5": 0.37312414733969984,
+      "eval_dim_128_cosine_map@100": 0.15984371570467878,
+      "eval_dim_128_cosine_mrr@10": 0.1428284501613273,
+      "eval_dim_128_cosine_ndcg@10": 0.2641617300886433,
+      "eval_dim_128_cosine_precision@1": 0.007503410641200546,
+      "eval_dim_128_cosine_precision@10": 0.0665075034106412,
+      "eval_dim_128_cosine_precision@3": 0.020236471123237832,
+      "eval_dim_128_cosine_precision@5": 0.07462482946793998,
+      "eval_dim_128_cosine_recall@1": 0.007503410641200546,
+      "eval_dim_128_cosine_recall@10": 0.665075034106412,
+      "eval_dim_128_cosine_recall@3": 0.06070941336971351,
+      "eval_dim_128_cosine_recall@5": 0.37312414733969984,
+      "eval_dim_256_cosine_accuracy@1": 0.009549795361527967,
+      "eval_dim_256_cosine_accuracy@10": 0.713506139154161,
+      "eval_dim_256_cosine_accuracy@3": 0.0723055934515689,
+      "eval_dim_256_cosine_accuracy@5": 0.4106412005457026,
+      "eval_dim_256_cosine_map@100": 0.17096884521775468,
+      "eval_dim_256_cosine_mrr@10": 0.1559981268541958,
+      "eval_dim_256_cosine_ndcg@10": 0.28559481472300186,
+      "eval_dim_256_cosine_precision@1": 0.009549795361527967,
+      "eval_dim_256_cosine_precision@10": 0.07135061391541608,
+      "eval_dim_256_cosine_precision@3": 0.024101864483856296,
+      "eval_dim_256_cosine_precision@5": 0.08212824010914052,
+      "eval_dim_256_cosine_recall@1": 0.009549795361527967,
+      "eval_dim_256_cosine_recall@10": 0.713506139154161,
+      "eval_dim_256_cosine_recall@3": 0.0723055934515689,
+      "eval_dim_256_cosine_recall@5": 0.4106412005457026,
+      "eval_dim_512_cosine_accuracy@1": 0.007503410641200546,
+      "eval_dim_512_cosine_accuracy@10": 0.7285129604365621,
+      "eval_dim_512_cosine_accuracy@3": 0.0688949522510232,
+      "eval_dim_512_cosine_accuracy@5": 0.40654843110504774,
+      "eval_dim_512_cosine_map@100": 0.1702634278904753,
+      "eval_dim_512_cosine_mrr@10": 0.15564731804499674,
+      "eval_dim_512_cosine_ndcg@10": 0.28864373602538085,
+      "eval_dim_512_cosine_precision@1": 0.007503410641200546,
+      "eval_dim_512_cosine_precision@10": 0.0728512960436562,
+      "eval_dim_512_cosine_precision@3": 0.022964984083674395,
+      "eval_dim_512_cosine_precision@5": 0.08130968622100954,
+      "eval_dim_512_cosine_recall@1": 0.007503410641200546,
+      "eval_dim_512_cosine_recall@10": 0.7285129604365621,
+      "eval_dim_512_cosine_recall@3": 0.0688949522510232,
+      "eval_dim_512_cosine_recall@5": 0.40654843110504774,
+      "eval_dim_64_cosine_accuracy@1": 0.0047748976807639835,
+      "eval_dim_64_cosine_accuracy@10": 0.6125511596180082,
+      "eval_dim_64_cosine_accuracy@3": 0.05798090040927694,
+      "eval_dim_64_cosine_accuracy@5": 0.33901773533424284,
+      "eval_dim_64_cosine_map@100": 0.14541967837644934,
+      "eval_dim_64_cosine_mrr@10": 0.12895282487710774,
+      "eval_dim_64_cosine_ndcg@10": 0.24113965638184232,
+      "eval_dim_64_cosine_precision@1": 0.0047748976807639835,
+      "eval_dim_64_cosine_precision@10": 0.06125511596180082,
+      "eval_dim_64_cosine_precision@3": 0.019326966803092312,
+      "eval_dim_64_cosine_precision@5": 0.06780354706684857,
+      "eval_dim_64_cosine_recall@1": 0.0047748976807639835,
+      "eval_dim_64_cosine_recall@10": 0.6125511596180082,
+      "eval_dim_64_cosine_recall@3": 0.05798090040927694,
+      "eval_dim_64_cosine_recall@5": 0.33901773533424284,
+      "eval_dim_768_cosine_accuracy@1": 0.008867667121418827,
+      "eval_dim_768_cosine_accuracy@10": 0.742837653478854,
+      "eval_dim_768_cosine_accuracy@3": 0.07025920873124147,
+      "eval_dim_768_cosine_accuracy@5": 0.40313778990450205,
+      "eval_dim_768_cosine_map@100": 0.17294783798650806,
+      "eval_dim_768_cosine_mrr@10": 0.15909747937373914,
+      "eval_dim_768_cosine_ndcg@10": 0.29453813752341906,
+      "eval_dim_768_cosine_precision@1": 0.008867667121418827,
+      "eval_dim_768_cosine_precision@10": 0.0742837653478854,
+      "eval_dim_768_cosine_precision@3": 0.023419736243747154,
+      "eval_dim_768_cosine_precision@5": 0.08062755798090042,
+      "eval_dim_768_cosine_recall@1": 0.008867667121418827,
+      "eval_dim_768_cosine_recall@10": 0.742837653478854,
+      "eval_dim_768_cosine_recall@3": 0.07025920873124147,
+      "eval_dim_768_cosine_recall@5": 0.40313778990450205,
+      "eval_runtime": 312.3268,
+      "eval_samples_per_second": 0.0,
+      "eval_sequential_score": 0.24113965638184232,
+      "eval_steps_per_second": 0.0,
+      "step": 824
+    },
+    {
+      "epoch": 2.0142575458819962,
+      "grad_norm": 0.6989903450012207,
+      "learning_rate": 1.1613494644204755e-05,
+      "loss": 0.0715,
+      "step": 830
+    },
+    {
+      "epoch": 2.0385257090853934,
+      "grad_norm": 0.031900301575660706,
+      "learning_rate": 1.1404083561052454e-05,
+      "loss": 0.0021,
+      "step": 840
+    },
+    {
+      "epoch": 2.062793872288791,
+      "grad_norm": 0.8742988109588623,
+      "learning_rate": 1.1194042400131213e-05,
+      "loss": 0.0065,
+      "step": 850
+    },
+    {
+      "epoch": 2.0870620354921887,
+      "grad_norm": 1.0062671899795532,
+      "learning_rate": 1.098346541670455e-05,
+      "loss": 0.0105,
+      "step": 860
+    },
+    {
+      "epoch": 2.1113301986955864,
+      "grad_norm": 0.1330879032611847,
+      "learning_rate": 1.0772447106484544e-05,
+      "loss": 0.0024,
+      "step": 870
+    },
+    {
+      "epoch": 2.1355983618989836,
+      "grad_norm": 1.5431034564971924,
+      "learning_rate": 1.0561082163227173e-05,
+      "loss": 0.0025,
+      "step": 880
+    },
+    {
+      "epoch": 2.159866525102381,
+      "grad_norm": 0.20452944934368134,
+      "learning_rate": 1.0349465436238826e-05,
+      "loss": 0.014,
+      "step": 890
+    },
+    {
+      "epoch": 2.184134688305779,
+      "grad_norm": 3.1080780029296875,
+      "learning_rate": 1.0137691887812994e-05,
+      "loss": 0.0016,
+      "step": 900
+    },
+    {
+      "epoch": 2.2084028515091765,
+      "grad_norm": 1.0478427410125732,
+      "learning_rate": 9.925856550616272e-06,
+      "loss": 0.008,
+      "step": 910
+    },
+    {
+      "epoch": 2.232671014712574,
+      "grad_norm": 0.037069372832775116,
+      "learning_rate": 9.714054485042734e-06,
+      "loss": 0.0041,
+      "step": 920
+    },
+    {
+      "epoch": 2.2569391779159713,
+      "grad_norm": 0.2362644523382187,
+      "learning_rate": 9.502380736555945e-06,
+      "loss": 0.0308,
+      "step": 930
+    },
+    {
+      "epoch": 2.281207341119369,
+      "grad_norm": 3.4790825843811035,
+      "learning_rate": 9.290930293037599e-06,
+      "loss": 0.011,
+      "step": 940
+    },
+    {
+      "epoch": 2.3054755043227666,
+      "grad_norm": 0.30720242857933044,
+      "learning_rate": 9.079798042162046e-06,
+      "loss": 0.0207,
+      "step": 950
+    },
+    {
+      "epoch": 2.3297436675261642,
+      "grad_norm": 0.33387142419815063,
+      "learning_rate": 8.86907872881575e-06,
+      "loss": 0.0048,
+      "step": 960
+    },
+    {
+      "epoch": 2.3540118307295614,
+      "grad_norm": 0.01000495720654726,
+      "learning_rate": 8.658866912580852e-06,
+      "loss": 0.0215,
+      "step": 970
+    },
+    {
+      "epoch": 2.378279993932959,
+      "grad_norm": 0.8057634234428406,
+      "learning_rate": 8.449256925301883e-06,
+      "loss": 0.0061,
+      "step": 980
+    },
+    {
+      "epoch": 2.4025481571363567,
+      "grad_norm": 3.0753707885742188,
+      "learning_rate": 8.24034282875464e-06,
+      "loss": 0.0164,
+      "step": 990
+    },
+    {
+      "epoch": 2.4268163203397544,
+      "grad_norm": 1.1145414113998413,
+      "learning_rate": 8.032218372436314e-06,
+      "loss": 0.0255,
+      "step": 1000
+    },
+    {
+      "epoch": 2.451084483543152,
+      "grad_norm": 0.014523504301905632,
+      "learning_rate": 7.824976951495696e-06,
+      "loss": 0.0062,
+      "step": 1010
+    },
+    {
+      "epoch": 2.475352646746549,
+      "grad_norm": 0.09692133218050003,
+      "learning_rate": 7.618711564822419e-06,
+      "loss": 0.0079,
+      "step": 1020
+    },
+    {
+      "epoch": 2.499620809949947,
+      "grad_norm": 0.9156332015991211,
+      "learning_rate": 7.413514773314043e-06,
+      "loss": 0.005,
+      "step": 1030
+    },
+    {
+      "epoch": 2.5238889731533445,
+      "grad_norm": 0.18534983694553375,
+      "learning_rate": 7.209478658339626e-06,
+      "loss": 0.042,
+      "step": 1040
+    },
+    {
+      "epoch": 2.548157136356742,
+      "grad_norm": 0.10605430603027344,
+      "learning_rate": 7.006694780418558e-06,
+      "loss": 0.0057,
+      "step": 1050
+    },
+    {
+      "epoch": 2.5724252995601393,
+      "grad_norm": 0.0882348120212555,
+      "learning_rate": 6.805254138133061e-06,
+      "loss": 0.0384,
+      "step": 1060
+    },
+    {
+      "epoch": 2.596693462763537,
+      "grad_norm": 0.7285648584365845,
+      "learning_rate": 6.605247127292887e-06,
+      "loss": 0.009,
+      "step": 1070
+    },
+    {
+      "epoch": 2.6209616259669346,
+      "grad_norm": 0.013403256423771381,
+      "learning_rate": 6.406763500370515e-06,
+      "loss": 0.0089,
+      "step": 1080
+    },
+    {
+      "epoch": 2.6452297891703322,
+      "grad_norm": 0.07016568630933762,
+      "learning_rate": 6.2098923262250075e-06,
+      "loss": 0.0034,
+      "step": 1090
+    },
+    {
+      "epoch": 2.66949795237373,
+      "grad_norm": 16.01243782043457,
+      "learning_rate": 6.014721950132694e-06,
+      "loss": 0.026,
+      "step": 1100
+    },
+    {
+      "epoch": 2.6937661155771275,
+      "grad_norm": 16.028738021850586,
+      "learning_rate": 5.821339954142486e-06,
+      "loss": 0.0358,
+      "step": 1110
+    },
+    {
+      "epoch": 2.7180342787805247,
+      "grad_norm": 0.19954819977283478,
+      "learning_rate": 5.629833117773755e-06,
+      "loss": 0.0033,
+      "step": 1120
+    },
+    {
+      "epoch": 2.7423024419839224,
+      "grad_norm": 0.07437506318092346,
+      "learning_rate": 5.440287379074321e-06,
+      "loss": 0.0037,
+      "step": 1130
+    },
+    {
+      "epoch": 2.76657060518732,
+      "grad_norm": 0.047555409371852875,
+      "learning_rate": 5.252787796056005e-06,
+      "loss": 0.0195,
+      "step": 1140
+    },
+    {
+      "epoch": 2.790838768390717,
+      "grad_norm": 0.12791568040847778,
+      "learning_rate": 5.067418508525181e-06,
+      "loss": 0.0024,
+      "step": 1150
+    },
+    {
+      "epoch": 2.815106931594115,
+      "grad_norm": 1.663771629333496,
+      "learning_rate": 4.884262700325282e-06,
+      "loss": 0.0533,
+      "step": 1160
+    },
+    {
+      "epoch": 2.8393750947975125,
+      "grad_norm": 0.5862261056900024,
+      "learning_rate": 4.703402562008355e-06,
+      "loss": 0.0137,
+      "step": 1170
+    },
+    {
+      "epoch": 2.86364325800091,
+      "grad_norm": 0.08700157701969147,
+      "learning_rate": 4.52491925395232e-06,
+      "loss": 0.0125,
+      "step": 1180
+    },
+    {
+      "epoch": 2.8879114212043078,
+      "grad_norm": 0.02824460342526436,
+      "learning_rate": 4.3488928699405135e-06,
+      "loss": 0.0253,
+      "step": 1190
+    },
+    {
+      "epoch": 2.9121795844077054,
+      "grad_norm": 0.005378555506467819,
+      "learning_rate": 4.175402401219894e-06,
+      "loss": 0.0068,
+      "step": 1200
+    },
+    {
+      "epoch": 2.9364477476111026,
+      "grad_norm": 0.2840709984302521,
+      "learning_rate": 4.004525701053964e-06,
+      "loss": 0.0436,
+      "step": 1210
+    },
+    {
+      "epoch": 2.9607159108145003,
+      "grad_norm": 0.3918948769569397,
+      "learning_rate": 3.836339449786396e-06,
+      "loss": 0.0021,
+      "step": 1220
+    },
+    {
+      "epoch": 2.984984074017898,
+      "grad_norm": 1.3828555345535278,
+      "learning_rate": 3.6709191204309845e-06,
+      "loss": 0.0129,
+      "step": 1230
+    },
+    {
+      "epoch": 2.9995449719399363,
+      "eval_dim_128_cosine_accuracy@1": 0.008185538881309686,
+      "eval_dim_128_cosine_accuracy@10": 0.694406548431105,
+      "eval_dim_128_cosine_accuracy@3": 0.05798090040927694,
+      "eval_dim_128_cosine_accuracy@5": 0.3860845839017735,
+      "eval_dim_128_cosine_map@100": 0.16363198200379098,
+      "eval_dim_128_cosine_mrr@10": 0.14819208947789936,
+      "eval_dim_128_cosine_ndcg@10": 0.2749254568568281,
+      "eval_dim_128_cosine_precision@1": 0.008185538881309686,
+      "eval_dim_128_cosine_precision@10": 0.06944065484311049,
+      "eval_dim_128_cosine_precision@3": 0.019326966803092312,
+      "eval_dim_128_cosine_precision@5": 0.07721691678035471,
+      "eval_dim_128_cosine_recall@1": 0.008185538881309686,
+      "eval_dim_128_cosine_recall@10": 0.694406548431105,
+      "eval_dim_128_cosine_recall@3": 0.05798090040927694,
+      "eval_dim_128_cosine_recall@5": 0.3860845839017735,
+      "eval_dim_256_cosine_accuracy@1": 0.0034106412005457027,
+      "eval_dim_256_cosine_accuracy@10": 0.7223738062755798,
+      "eval_dim_256_cosine_accuracy@3": 0.06616643929058663,
+      "eval_dim_256_cosine_accuracy@5": 0.417462482946794,
+      "eval_dim_256_cosine_map@100": 0.1659963653118235,
+      "eval_dim_256_cosine_mrr@10": 0.15151719396262187,
+      "eval_dim_256_cosine_ndcg@10": 0.2841815053560014,
+      "eval_dim_256_cosine_precision@1": 0.0034106412005457027,
+      "eval_dim_256_cosine_precision@10": 0.07223738062755797,
+      "eval_dim_256_cosine_precision@3": 0.022055479763528875,
+      "eval_dim_256_cosine_precision@5": 0.08349249658935878,
+      "eval_dim_256_cosine_recall@1": 0.0034106412005457027,
+      "eval_dim_256_cosine_recall@10": 0.7223738062755798,
+      "eval_dim_256_cosine_recall@3": 0.06616643929058663,
+      "eval_dim_256_cosine_recall@5": 0.417462482946794,
+      "eval_dim_512_cosine_accuracy@1": 0.0068212824010914054,
+      "eval_dim_512_cosine_accuracy@10": 0.7503410641200545,
+      "eval_dim_512_cosine_accuracy@3": 0.06753069577080491,
+      "eval_dim_512_cosine_accuracy@5": 0.41609822646657574,
+      "eval_dim_512_cosine_map@100": 0.17102359712258386,
+      "eval_dim_512_cosine_mrr@10": 0.15798631412546613,
+      "eval_dim_512_cosine_ndcg@10": 0.29545256337366416,
+      "eval_dim_512_cosine_precision@1": 0.0068212824010914054,
+      "eval_dim_512_cosine_precision@10": 0.07503410641200545,
+      "eval_dim_512_cosine_precision@3": 0.022510231923601638,
+      "eval_dim_512_cosine_precision@5": 0.08321964529331514,
+      "eval_dim_512_cosine_recall@1": 0.0068212824010914054,
+      "eval_dim_512_cosine_recall@10": 0.7503410641200545,
+      "eval_dim_512_cosine_recall@3": 0.06753069577080491,
+      "eval_dim_512_cosine_recall@5": 0.41609822646657574,
+      "eval_dim_64_cosine_accuracy@1": 0.0068212824010914054,
+      "eval_dim_64_cosine_accuracy@10": 0.6323328785811733,
+      "eval_dim_64_cosine_accuracy@3": 0.06684856753069578,
+      "eval_dim_64_cosine_accuracy@5": 0.36221009549795363,
+      "eval_dim_64_cosine_map@100": 0.15255646759369407,
+      "eval_dim_64_cosine_mrr@10": 0.13584827519002,
+      "eval_dim_64_cosine_ndcg@10": 0.25115836351492093,
+      "eval_dim_64_cosine_precision@1": 0.0068212824010914054,
+      "eval_dim_64_cosine_precision@10": 0.06323328785811731,
+      "eval_dim_64_cosine_precision@3": 0.022282855843565257,
+      "eval_dim_64_cosine_precision@5": 0.07244201909959072,
+      "eval_dim_64_cosine_recall@1": 0.0068212824010914054,
+      "eval_dim_64_cosine_recall@10": 0.6323328785811733,
+      "eval_dim_64_cosine_recall@3": 0.06684856753069578,
+      "eval_dim_64_cosine_recall@5": 0.36221009549795363,
+      "eval_dim_768_cosine_accuracy@1": 0.004092769440654843,
+      "eval_dim_768_cosine_accuracy@10": 0.7612551159618008,
+      "eval_dim_768_cosine_accuracy@3": 0.06412005457025921,
+      "eval_dim_768_cosine_accuracy@5": 0.4208731241473397,
+      "eval_dim_768_cosine_map@100": 0.1714890252442529,
+      "eval_dim_768_cosine_mrr@10": 0.15883599688169725,
+      "eval_dim_768_cosine_ndcg@10": 0.2986249242161157,
+      "eval_dim_768_cosine_precision@1": 0.004092769440654843,
+      "eval_dim_768_cosine_precision@10": 0.07612551159618008,
+      "eval_dim_768_cosine_precision@3": 0.021373351523419733,
+      "eval_dim_768_cosine_precision@5": 0.08417462482946794,
+      "eval_dim_768_cosine_recall@1": 0.004092769440654843,
+      "eval_dim_768_cosine_recall@10": 0.7612551159618008,
+      "eval_dim_768_cosine_recall@3": 0.06412005457025921,
+      "eval_dim_768_cosine_recall@5": 0.4208731241473397,
+      "eval_runtime": 311.0822,
+      "eval_samples_per_second": 0.0,
+      "eval_sequential_score": 0.25115836351492093,
+      "eval_steps_per_second": 0.0,
+      "step": 1236
+    }
+  ],
+  "logging_steps": 10,
+  "max_steps": 1648,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 4,
+  "save_steps": 500,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": false
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 0.0,
+  "train_batch_size": 2,
+  "trial_name": null,
+  "trial_params": null
+}

checkpoint-1236/training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c4cc2f888d304cc638d9229cee4d97273e72d5cd4109d5e994883f9da6feea4d
+size 5496

checkpoint-1648/1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

checkpoint-1648/README.md

@@ -0,0 +1,1090 @@
+---
+language:
+- en
+license: apache-2.0
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:13186
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+base_model: nomic-ai/nomic-embed-text-v2-moe
+widget:
+- source_sentence: ООО "Сибирские ягоды" зарегистрировало географическое указание
+    на свою продукцию.  В связи с реорганизацией общества, оно изменило свое наименование
+    на АО "Ягодный край". Какие действия необходимо предпринять АО "Ягодный край"
+    в соответствии с предоставленным текстом статьи закона для внесения изменений
+    в Государственный реестр?
+  sentences:
+  - <p>5. Если в силу договора факторинга финансовый агент (фактор) несет обязанности
+    по оплате цены приобретенных им денежных требований, по предоставлению клиенту
+    займа (кредита) или по оказанию клиенту услуг, к отношениям сторон по договору
+    факторинга применяются правила соответственно о купле-продаже, займе (кредите),
+    возмездном оказании услуг постольку, поскольку это не противоречит положениям
+    настоящей главы и существу отношений по договору факторинга.</p><p>(Статья в редакции
+    Федерального закона <a href="102439953">от 26.07.2017 № 212-ФЗ</a>)</p>
+  - <p>1. В случае, когда договором купли-продажи предусмотрена оплата товара через
+    определенное время после его передачи покупателю (продажа товара в кредит), покупатель
+    должен произвести оплату в срок, предусмотренный договором, а если такой срок
+    договором не предусмотрен, в срок, определенный в соответствии со статьей 314
+    настоящего Кодекса.</p><p>2. В случае неисполнения продавцом обязанности по передаче
+    товара применяются правила, предусмотренные статьей 328 настоящего Кодекса.</p><p>3.
+    В случае, когда покупатель, получивший товар, не исполняет обязанность по его
+    оплате в установленный договором купли-продажи срок, продавец вправе потребовать
+    оплаты переданного товара или возврата неоплаченных товаров.</p><p>4. В случае,
+    когда покупатель не исполняет обязанность по оплате переданного товара в установленный
+    договором срок и иное не предусмотрено настоящим Кодексом или договором купли-продажи,
+    на просроченную сумму подлежат уплате проценты в соответствии со статьей 395 настоящего
+    Кодекса со дня, когда по договору товар должен был быть оплачен, до дня оплаты
+    товара покупателем.</p><p>Договором может быть предусмотрена обязанность покупателя
+    уплачивать проценты на сумму, соответствующую цене товара, начиная со дня передачи
+    товара продавцом.</p><p>5. Если иное не предусмотрено договором купли-продажи,
+    с момента передачи товара покупателю и до его оплаты товар, проданный в кредит,
+    признается находящимся в залоге у продавца для обеспечения исполнения покупателем
+    его обязанности по оплате товара.</p>
+  - <p>1. Федеральный орган исполнительной власти по интеллектуальной собственности
+    вносит по заявлению правообладателя в Государственный реестр указаний и ��аименований
+    изменения, относящиеся к государственной регистрации географического указания
+    или наименования места происхождения товара и предоставлению исключительного права
+    на географическое указание или наименование места происхождения товара (пункт
+    2 статьи 1529), в том числе к наименованию или имени правообладателя, его месту
+    нахождения или месту жительства, адресу для переписки, сведениям, касающимся перечня
+    лиц, имеющих право использования географического указания или наименования места
+    происхождения товара, условий использования географического указания или наименования
+    места происхождения товара входящими в объединение лицами, а также изменения для
+    исправления очевидных и технических ошибок.</p><p>2. К заявлению о внесении изменений
+    в сведения, относящиеся к государственной регистрации географического указания
+    или наименования места происхождения товара, в том числе указанные в подпунктах
+    1 - 4, 6 - 9 пункта 2 статьи 1522, пункте 1 статьи 15221 настоящего Кодекса, прилагаются
+    документы или заключение уполномоченного органа, подтверждающие обоснованность
+    и необходимость внесения таких изменений.</p><p class="P">(Статья в редакции Федерального
+    закона <a href="102577263">от 26.07.2019 № 230-ФЗ</a>)</p>
+- source_sentence: Какие возражения может выдвинуть должник против требования третьего
+    лица, если договор предусматривает исполнение в пользу третьего лица, но не указывает
+    его конкретно, и третье лицо заявило о своих правах?
+  sentences:
+  - <p>1. В случаях стихийных бедствий, аварий, эпидемий, эпизоотий и при иных обстоятельствах,
+    носящих чрезвычайный характер, имущество в интересах общества по решению государственных
+    органов может быть изъято у собственника в порядке и на условиях, установленных
+    законом, с выплатой ему стоимости имущества (реквизиция).</p><p>2. Оценка, по
+    которой собственнику возмещается стоимость реквизированного имущества, может быть
+    оспорена им в суде.</p><p>3. Лицо, имущество которого реквизировано, вправе при
+    прекращении действия обстоятельств, в связи с которыми произведена реквизиция,
+    требовать по суду возврата ему сохранившегося имущества.</p>
+  - <p>1. Собственники помещений в многоквартирном доме или нескольких многоквартирных
+    домах либо собственники нескольких жилых домов для совместного управления общим
+    имуществом в многоквартирном доме либо имуществом собственников помещений в нескольких
+    многоквартирных домах или имуществом собственников нескольких жилых домов и осуществления
+    деятельности по созданию, содержанию, сохранению и приращению такого имущества,
+    а также для осуществления иной деятельности, направленной на достижение целей
+    управления многоквартирными домами либо на совместное использование имущества,
+    принадлежащего собственникам помещений в нескольких м��огоквартирных домах, или
+    имущества собственников нескольких жилых домов, могут создавать товарищества собственников
+    жилья. (В редакции Федерального закона <a href="102387998">от 31.01.2016 № 7-ФЗ</a>)</p><p>2.
+    Товарищество собственников жилья является некоммерческой организацией, создаваемой
+    и действующей в соответствии с законом о товариществах собственников жилья.</p>
+  - <p>1. Договором в пользу третьего лица признается договор, в котором стороны установили,
+    что должник обязан произвести исполнение не кредитору, а указанному или не указанному
+    в договоре третьему лицу, имеющему право требовать от должника исполнения обязательства
+    в свою пользу.</p><p>2. Если иное не предусмотрено законом, иными правовыми актами
+    или договором, с момента выражения третьим лицом должнику намерения воспользоваться
+    своим правом по договору стороны не могут расторгать или изменять заключенный
+    ими договор без согласия третьего лица.</p><p>3. Должник в договоре вправе выдвигать
+    против требования третьего лица возражения, которые он мог бы выдвинуть против
+    кредитора.</p><p>4. В случае, когда третье лицо отказалось от права, предоставленного
+    ему по договору, кредитор может воспользоваться этим правом, если это не противоречит
+    закону, иным правовым актам и договору.</p>
+- source_sentence: Заявитель на полезную модель внес изменения в описание технического
+    результата через 14 месяцев после подачи заявки. Эти изменения касаются уточнения
+    способа достижения заявленного технического результата, но не меняют сам результат.
+    Будут ли эти изменения учтены при публикации сведений о заявке согласно пункту
+    5 статьи?
+  sentences:
+  - <p>указание на технический результат, который обеспечивается изобретением или
+    полезной моделью и не связан с техническим результатом, содержащимся в тех же
+    документах.</p><p>3. Дополнительные материалы изменяют заявку на промышленный
+    образец по существу, если они содержат изображения изделия, на которых:</p><p>представлен
+    иной промышленный образец, не удовлетворяющий требованию единства промышленного
+    образца в отношении промышленного образца или группы промышленных образцов, раскрытых
+    на изображениях, принятых к рассмотрению;</p><p>представлены существенные признаки
+    промышленного образца, отсутствующие на изображениях, представленных на дату подачи
+    заявки, либо представлены изображения изделия, с которых удалены существенные
+    признаки промышленного образца, имеющиеся на изображениях, представленных на дату
+    подачи заявки.</p><p>4. Изменения сведений об авторе, о заявителе, в том числе
+    при передаче права на получение патента другому лицу либо вследствие изменения
+    имени автора, имени или наименования заявителя, а также исправления очевидных
+    и технических ошибок могут быть внесены заявителем в документы заявки по ��обственной
+    инициативе до регистрации изобретения, полезной модели или промышленного образца.</p><p>5.
+    Изменения, внесенные заявителем в документы заявки на изобретение, учитываются
+    при публикации сведений о заявке, если такие изменения представлены в федеральный
+    орган исполнительной власти по интеллектуальной собственности в течение пятнадцати
+    месяцев с даты подачи заявки.</p><p>(Статья в редакции Федерального закона <a
+    href="102171743">от 12.03.2014 № 35-ФЗ</a>)</p>
+  - <p>1. Опекун или попечитель распоряжается доходами подопечного, в том числе доходами,
+    причитающимися подопечному от управления его имуществом, за исключением доходов,
+    которыми подопечный вправе распоряжаться самостоятельно, исключительно в интересах
+    подопечного и с предварительного разрешения органа опеки и попечительства. Суммы
+    алиментов, пенсий, пособий, возмещения вреда здоровью и вреда, понесенного в случае
+    смерти кормильца, а также иные выплачиваемые на содержание подопечного средства,
+    за исключением доходов, которыми подопечный вправе распоряжаться самостоятельно,
+    подлежат зачислению на отдельный номинальный счет, открываемый опекуном или попечителем
+    в соответствии с главой 45 настоящего Кодекса, и расходуются опекуном или попечителем
+    без предварительного разрешения органа опеки и попечительства. Опекун или попечитель
+    предоставляет отчет о расходовании сумм, зачисляемых на отдельный номинальный
+    счет, в порядке, установленном Федеральным законом <a href="102121401">"Об опеке
+    и попечительстве"</a>. Случаи, при которых опекун вправе не предоставлять отчет
+    о расходовании сумм, зачисляемых на отдельный номинальный счет, устанавливаются
+    Федеральным законом <a href="102121401">"Об опеке и попечительстве"</a>. (В редакции
+    федеральных законов <a href="102162486">от 30.12.2012 № 302-ФЗ</a>; <a href="102456108">от
+    29.12.2017 № 459-ФЗ</a>)</p><p>2. Опекун не вправе без предварительного разрешения
+    органа опеки и попечительства совершать, а попечитель - давать согласие на совершение
+    сделок по отчуждению, в том числе обмену или дарению имущества подопечного, сдаче
+    его внаем (в аренду), в безвозмездное пользование или в залог, сделок, влекущих
+    отказ от принадлежащих подопечному прав, раздел его имущества или выдел из него
+    долей, а также любых других действий, влекущих уменьшение имущества подопечного.
+    (В редакции Федерального закона <a href="102162486">от 30.12.2012 № 302-ФЗ</a>)</p>
+  - <p>1. Заказчик обязан в сроки и в порядке, которые предусмотрены договором подряда,
+    с участием подрядчика осмотреть и принять выполненную работу (ее результат), а
+    при обнаружении отступлений от договора, ухудшающих результат работы, или иных
+    недостатков в работе немедленно заявить об этом подрядчику.</p><p>2. Заказчик,
+    обнаруживший недостатки в работе при ее приемке, вправе ссылаться на них в случаях,
+    если в акте либо в ином документе, удостоверяющем приемку, были оговорены эти
+    недостатки либо возможность последующего предъявления требования об их устранении.</p><p>3.
+    Если иное не предусмотрено договором подряда, заказчик, принявший работу без проверки,
+    лишается права ссылаться на недостатки работы, которые могли быть установлены
+    при обычном способе ее приемки (явные недостатки).</p><p>4. Заказчик, обнаруживший
+    после приемки работы отступления в ней от договора подряда или иные недостатки,
+    которые не могли быть установлены при обычном способе приемки (скрытые недостатки),
+    в том числе такие, которые были умышленно скрыты подрядчиком, обязан известить
+    об этом подрядчика в разумный срок по их обнаружении.</p><p>5. При возникновении
+    между заказчиком и подрядчиком спора по поводу недостатков выполненной работы
+    или их причин по требованию любой из сторон должна быть назначена экспертиза.
+    Расходы на экспертизу несет подрядчик, за исключением случаев, когда экспертизой
+    установлено отсутствие нарушений подрядчиком договора подряда или причинной связи
+    между действиями подрядчика и обнаруженными недостатками. В указанных случаях
+    расходы на экспертизу несет сторона, потребовавшая назначения экспертизы, а если
+    она назначена по соглашению между сторонами, обе стороны поровну.</p>
+- source_sentence: Владелец квартиры на верхнем этаже многоквартирного дома хочет
+    установить кондиционер, труба которого будет проходить через стену соседней квартиры,
+    не затрагивая земельный участок. Может ли быть установлен сервитут на стену соседней
+    квартиры для прокладки трубы кондиционера, согласно приведенному тексту статьи?
+  sentences:
+  - <p>1. Комиссионер не отвечает перед комитентом за неисполнение третьим лицом сделки,
+    заключенной с ним за счет комитента, кроме случаев, когда комиссионер не проявил
+    необходимой осмотрительности в выборе этого лица либо принял на себя ручательство
+    за исполнение сделки (делькредере).</p><p>2. В случае неисполнения третьим лицом
+    сделки, заключенной с ним комиссионером, комиссионер обязан немедленно сообщить
+    об этом комитенту, собрать необходимые доказательства, а также по требованию комитента
+    передать ему права по такой сделке с соблюдением правил об уступке требования
+    (статьи 382 - 386, 388, 389).</p><p>3. Уступка прав комитенту по сделке на основании
+    пункта 2 настоящей статьи допускается независимо от соглашения комиссионера с
+    третьим лицом, запрещающего или ограничивающего такую уступку. Это не освобождает
+    комиссионера от ответственности перед третьим лицом в связи с уступкой права в
+    нарушение соглашения о ее запрете или об ограничении.</p>
+  - <p>Применительно к правилам, предусмотренным статьями 274 - 276 настоящего Кодекса,
+    сервитутом могут обременяться здания, сооружения и другое недвижимое иму��ество,
+    ограниченное пользование которым необходимо вне связи с пользованием земельным
+    участком.</p>
+  - <p>1. Завещатель вправе отменить или изменить составленное им завещание в любое
+    время после его совершения, не указывая при этом причины его отмены или изменения.</p><p>Для
+    отмены или изменения завещания не требуется чье-либо согласие, в том числе лиц,
+    назначенных наследниками в отменяемом или изменяемом завещании.</p><p>2. Завещатель
+    вправе посредством нового завещания отменить прежнее завещание в целом либо изменить
+    его посредством отмены или изменения отдельных содержащихся в нем завещательных
+    распоряжений.</p><p>Последующее завещание, не содержащее прямых указаний об отмене
+    прежнего завещания или отдельных содержащихся в нем завещательных распоряжений,
+    отменяет это прежнее завещание полностью или в части, в которой оно противоречит
+    последующему завещанию.</p><p>Завещание, отмененное полностью или частично последующим
+    завещанием, не восстанавливается, если последующее завещание отменено завещателем
+    полностью или в соответствующей части.</p><p>3. В случае недействительности последующего
+    завещания наследование осуществляется в соответствии с прежним завещанием.</p><p>4.
+    Завещание может быть отменено также посредством распоряжения о его отмене. Распоряжение
+    об отмене завещания должно быть совершено в форме, установленной настоящим Кодексом
+    для совершения завещания. К распоряжению об отмене завещания соответственно применяются
+    правила пункта 3 настоящей статьи.</p><p>5. Завещанием, совершенным в чрезвычайных
+    обстоятельствах (статья 1129), может быть отменено или изменено только такое же
+    завещание.</p><p>6. Завещательным распоряжением в банке (статья 1128) может быть
+    отменено или изменено только завещательное распоряжение правами на денежные средства
+    в соответствующем банке.</p>
+- source_sentence: Компания «Альфа» заключила договор с инженером Петровским на разработку
+    нового программного обеспечения.  В процессе работы Петровский создал изобретение,
+    защищаемое патентом. Договор не содержал пунктов, касающихся прав на интеллектуальную
+    собственность.  Кто является правообладателем патента на изобретение, и может
+    ли компания «Альфа» использовать это изобретение без выплаты дополнительного вознаграждения?
+  sentences:
+  - <p>передаче в порядке, установленном частью 11 статьи 154 Федерального закона
+    <a href="102088491">от 22 августа 2004 года № 122-ФЗ</a> "О внесении изменений
+    в законодательные акты Российской Федерации и признании утратившими силу некоторых
+    законодательных актов Российской Федерации в связи с принятием федеральных законов
+    <a href="102067003">"О внесении изменений и дополнений в Федеральный закон "Об
+    общих принципах организации законодательных (представительных) и исполнительных
+    органов государственной власти субъектов Российской Федерации"</a> и <a href="102083574">"Об
+    общих принципах организации местного самоуправления в Российской Федерации"</a>,
+    акций из федеральной собственности в собственность субъекта Российской Федерации
+    или муниципальную собственность, из собственности субъекта Российской Федерации
+    в федеральную собственность или муниципальную собственность, из муниципальной
+    собственности в федеральную собственность или собственность субъекта Российской
+    Федерации. (Дополнение абзацем - Федеральный закон <a href="102157372">от 14.06.2012
+    № 77-ФЗ</a>)</p>
+  - <p>4. Если учрежденное за границей юридическое лицо осуществляет свою предпринимательскую
+    деятельность преимущественно на территории Российской Федерации, к требованиям
+    об ответственности по обязательствам юридического лица его учредителей (участников),
+    других лиц, которые имеют право давать обязательные для него указания или иным
+    образом имеют возможность определять его действия, применяется российское право
+    либо по выбору кредитора личный закон такого юридического лица. (Дополнение пунктом
+    - Федеральный закон <a href="102168115">от 30.09.2013 № 260-ФЗ</a>)</p>
+  - <p>1. Право на получение патента и исключительное право на изобретение, полезную
+    модель или промышленный образец, созданные при выполнении договора подряда или
+    договора на выполнение научно-исследовательских, опытно-конструкторских или технологических
+    работ, которые прямо не предусматривали их создание, принадлежат подрядчику (исполнителю),
+    если договором между ним и заказчиком не предусмотрено иное. (В редакции Федерального
+    закона <a href="102171743">от 12.03.2014 № 35-ФЗ</a>)</p><p>В этом случае заказчик
+    вправе, если договором не предусмотрено иное, использовать созданные таким образом
+    изобретение, полезную модель или промышленный образец в целях, для достижения
+    которых был заключен соответствующий договор, на условиях простой (неисключительной)
+    лицензии в течение всего срока действия патента без выплаты за это использование
+    дополнительного вознаграждения. При передаче подрядчиком (исполнителем) права
+    на получение патента или отчуждении самого патента другому лицу заказчик сохраняет
+    право использования изобретения, полезной модели или промышленного образца на
+    указанных условиях.</p><p>2. В случае, когда в соответствии с договором между
+    подрядчиком (исполнителем) и заказчиком право на получение патента или исключительное
+    право на изобретение, полезную модель или промышленный образец передано заказчику
+    либо указанному им третьему лицу, подрядчик (исполнитель) вправе использовать
+    созданные изобретение, полезную модель или промышленный образец для собственных
+    нужд на условиях безвозмездной простой (неисключительной) лицензии в течение всего
+    срока действия патента, если договором не предусмотрено иное.</p><p>3. Автору
+    указанных в пункте 1 настоящей статьи изобретения, полезной модели или промышленного
+    образца, не являющемуся патентообладателем, выплачивается вознаграждение в соответствии
+    с пунктом 4 статьи 1370 настоящего Кодекса.</p>
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- cosine_accuracy@1
+- cosine_accuracy@3
+- cosine_accuracy@5
+- cosine_accuracy@10
+- cosine_precision@1
+- cosine_precision@3
+- cosine_precision@5
+- cosine_precision@10
+- cosine_recall@1
+- cosine_recall@3
+- cosine_recall@5
+- cosine_recall@10
+- cosine_ndcg@10
+- cosine_mrr@10
+- cosine_map@100
+model-index:
+- name: tuned nomic v2
+  results:
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 768
+      type: dim_768
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.007503410641200546
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.06002728512960437
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.4304229195088677
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.76193724420191
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.007503410641200546
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.020009095043201454
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.08608458390177355
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07619372442019098
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.007503410641200546
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.06002728512960437
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.4304229195088677
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.76193724420191
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.3000127641618364
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.1604208622967127
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.17310179565186012
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 512
+      type: dim_512
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.0068212824010914054
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.059345156889495224
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.4311050477489768
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7448840381991815
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.0068212824010914054
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.019781718963165072
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.08622100954979535
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07448840381991814
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.0068212824010914054
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.059345156889495224
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.4311050477489768
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7448840381991815
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.29381415276343026
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.15735047315879294
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.1710230677531375
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 256
+      type: dim_256
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.008185538881309686
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.06207366984993179
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.41678035470668484
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7271487039563438
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.008185538881309686
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.020691223283310595
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.08335607094133697
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07271487039563437
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.008185538881309686
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.06207366984993179
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.41678035470668484
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7271487039563438
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.2876701680743724
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.15479628185971772
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.1692974551068429
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 128
+      type: dim_128
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.008185538881309686
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.05593451568894952
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.3840381991814461
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.6950886766712142
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.008185538881309686
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.018644838562983174
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.07680763983628923
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.0695088676671214
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.008185538881309686
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.05593451568894952
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.3840381991814461
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.6950886766712142
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.27519563194479246
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.14822809069057183
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.16389295635755213
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 64
+      type: dim_64
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.007503410641200546
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.06275579809004093
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.3792633015006821
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.6412005457025921
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.007503410641200546
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.020918599363346974
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.07585266030013643
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.0641200545702592
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.007503410641200546
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.06275579809004093
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.3792633015006821
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.6412005457025921
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.2546507438265754
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.13775254986032456
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.15410585003942584
+      name: Cosine Map@100
+---
+
+# tuned nomic v2
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [nomic-ai/nomic-embed-text-v2-moe](https://huggingface.co/nomic-ai/nomic-embed-text-v2-moe) on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [nomic-ai/nomic-embed-text-v2-moe](https://huggingface.co/nomic-ai/nomic-embed-text-v2-moe) <!-- at revision f6a8873b415144a69ffc529ec1e234d1e00ee765 -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+- **Training Dataset:**
+    - json
+- **Language:** en
+- **License:** apache-2.0
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: NomicBertModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'Компания «Альфа» заключила договор с инженером Петровским на разработку нового программного обеспечения.  В процессе работы Петровский создал изобретение, защищаемое патентом. Договор не содержал пунктов, касающихся прав на интеллектуальную собственность.  Кто является правообладателем патента на изобретение, и может ли компания «Альфа» использовать это изобретение без выплаты дополнительного вознаграждения?',
+    '<p>1. Право на получение патента и исключительное право на изобретение, полезную модель или промышленный образец, созданные при выполнении договора подряда или договора на выполнение научно-исследовательских, опытно-конструкторских или технологических работ, которые прямо не предусматривали их создание, принадлежат подрядчику (исполнителю), если договором между ним и заказчиком не предусмотрено иное. (В редакции Федерального закона <a href="102171743">от 12.03.2014 № 35-ФЗ</a>)</p><p>В этом случае заказчик вправе, если договором не предусмотрено иное, использовать созданные таким образом изобретение, полезную модель или промышленный образец в целях, для достижения которых был заключен соответствующий договор, на условиях простой (неисключительной) лицензии в течение всего срока действия патента без выплаты за это использование дополнительного вознаграждения. При передаче подрядчиком (исполнителем) права на получение патента или отчуждении самого патента другому лицу заказчик сохраняет право использования изобретения, полезной модели или промышленного образца на указанных условиях.</p><p>2. В случае, когда в соответствии с договором между подрядчиком (исполнителем) и заказчиком право на получение патента или исключительное право на изобретение, полезную модель или промышленный образец передано заказчику либо указанному им третьему лицу, подрядчик (исполнитель) вправе использовать созданные изобретение, полезную модель или промышленный образец для собственных нужд на условиях безвозмездной простой (неисключительной) лицензии в течение всего срока действия патента, если договором не предусмотрено иное.</p><p>3. Автору указанных в пункте 1 настоящей статьи изобретения, полезной модели или промышленного образца, не являющемуся патентообладателем, выплачивается вознаграждение в соответствии с пунктом 4 статьи 1370 настоящего Кодекса.</p>',
+    '<p>передаче в порядке, установленном частью 11 статьи 154 Федерального закона <a href="102088491">от 22 августа 2004 года № 122-ФЗ</a> "О внесении изменений в законодательные акты Российской Федерации и признании утратившими силу некоторых законодательных актов Российской Федерации в связи с принятием федеральных законов <a href="102067003">"О внесении изменений и дополнений в Федеральный закон "Об общих принципах организации законодательных (представительных) и исполнительных органов государственной власти субъектов Российской Федерации"</a> и <a href="102083574">"Об общих принципах организации местного самоуправления в Российской Федерации"</a>, акций из федеральной собственности в собственность субъекта Российской Федерации или муниципальную собственность, из собственности субъекта Российской Федерации в федеральную собственность или муниципальную собственность, из муниципальной собственности в федеральную собственность или собственность субъекта Российской Федерации. (Дополнение абзацем - Федеральный закон <a href="102157372">от 14.06.2012 № 77-ФЗ</a>)</p>',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Information Retrieval
+
+* Datasets: `dim_768`, `dim_512`, `dim_256`, `dim_128` and `dim_64`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | dim_768 | dim_512    | dim_256    | dim_128    | dim_64     |
+|:--------------------|:--------|:-----------|:-----------|:-----------|:-----------|
+| cosine_accuracy@1   | 0.0075  | 0.0068     | 0.0082     | 0.0082     | 0.0075     |
+| cosine_accuracy@3   | 0.06    | 0.0593     | 0.0621     | 0.0559     | 0.0628     |
+| cosine_accuracy@5   | 0.4304  | 0.4311     | 0.4168     | 0.384      | 0.3793     |
+| cosine_accuracy@10  | 0.7619  | 0.7449     | 0.7271     | 0.6951     | 0.6412     |
+| cosine_precision@1  | 0.0075  | 0.0068     | 0.0082     | 0.0082     | 0.0075     |
+| cosine_precision@3  | 0.02    | 0.0198     | 0.0207     | 0.0186     | 0.0209     |
+| cosine_precision@5  | 0.0861  | 0.0862     | 0.0834     | 0.0768     | 0.0759     |
+| cosine_precision@10 | 0.0762  | 0.0745     | 0.0727     | 0.0695     | 0.0641     |
+| cosine_recall@1     | 0.0075  | 0.0068     | 0.0082     | 0.0082     | 0.0075     |
+| cosine_recall@3     | 0.06    | 0.0593     | 0.0621     | 0.0559     | 0.0628     |
+| cosine_recall@5     | 0.4304  | 0.4311     | 0.4168     | 0.384      | 0.3793     |
+| cosine_recall@10    | 0.7619  | 0.7449     | 0.7271     | 0.6951     | 0.6412     |
+| **cosine_ndcg@10**  | **0.3** | **0.2938** | **0.2877** | **0.2752** | **0.2547** |
+| cosine_mrr@10       | 0.1604  | 0.1574     | 0.1548     | 0.1482     | 0.1378     |
+| cosine_map@100      | 0.1731  | 0.171      | 0.1693     | 0.1639     | 0.1541     |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### json
+
+* Dataset: json
+* Size: 13,186 training samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                              | positive                                                                             |
+  |:--------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                              | string                                                                               |
+  | details | <ul><li>min: 18 tokens</li><li>mean: 61.09 tokens</li><li>max: 162 tokens</li></ul> | <ul><li>min: 40 tokens</li><li>mean: 258.71 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                                                                                                                                                                                             | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
+  |:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Студент разработал базу данных и подал заявку на государственную регистрацию, приложив к ней описание базы данных,  реферат и заявление с указанием себя в качестве правообладателя и автора.  В заявке он указал две разные базы данных. Соответствует ли заявка студента требованиям статьи закона?</code> | <code><p>1. Правообладатель в течение срока действия исключительного права на программу для ЭВМ или на базу данных может по своему желанию зарегистрировать такую программу или такую базу данных в федеральном органе исполнительной власти по интеллектуальной собственности.</p><p>Программы для ЭВМ и базы данных, в которых содержатся сведения, составляющие государственную тайну, государственной регистрации не подлежат. Лицо, подавшее заявку на государственную регистрацию (заявитель), несет ответственность за разглашение сведений о программах для ЭВМ и базах данных, в которых содержатся сведения, составляющие государственную тайну, в соответствии с законодательством Российской Федерации.</p><p>2. Заявка на государственную регистрацию программы для ЭВМ или базы данных (заявка на регистрацию) должна относиться к одной программе для ЭВМ или к одной базе данных.</p><p>Заявка на регистрацию должна содержать:</p><p>заявление о государственной регистрации программы для ЭВМ или базы данных с указанием пр...</code> |
+  | <code>Предположим, наследственный договор предусматривает переход права собственности на дом к А, но А отказывается от наследства.  Может ли Б, другая сторона договора, потребовать исполнения договора в отношении дома, если договор не содержал бы условий о передаче дома Б в случае отказа А?</code>         | <code><p>1. Наследодатель вправе заключить с любым из лиц, которые могут призываться к наследованию (статья 1116), договор, условия которого определяют круг наследников и порядок перехода прав на имущество наследодателя после его смерти к пережившим наследодателя сторонам договора или к пережившим третьим лицам, которые могут призываться к наследованию (наследственный договор). Наследственный договор может также содержать условие о душеприказчике и возлагать на участвующих в наследственном договоре лиц, которые могут призываться к наследованию, обязанность совершить какие-либо не противоречащие закону действия имущественного или неимущественного характера, в том числе исполнить завещательные отказы или завещательные возложения.</p><p>Последствия, предусмотренные наследственным договором, могут быть поставлены в зависимость от наступивших ко дню открытия наследства обстоятельств, относительно которых при заключении наследственного договора было неизвестно, наступят они или не наступят, в том ...</code> |
+  | <code>В чем заключается различие в порядке оспаривания патента в зависимости от характера нарушения, указанного в пункте 1 настоящей статьи?</code>                                                                                                                                                                | <code><p>2. Патент на изобретение, полезную модель или промышленный образец в течение срока его действия, установленного пунктами 1 - 3 статьи 1363 настоящего Кодекса, может быть оспорен путем подачи возражения в федеральный орган исполнительной власти по интеллектуальной собственности любым лицом, которому стало известно о нарушениях, предусмотренных подпунктами 1 - 4 пункта 1 настоящей статьи.</p><p>Патент на изобретение, полезную модель или промышленный образец в течение срока его действия, установленного пунктами 1 - 3 статьи 1363 настоящего Кодекса, может быть оспорен в судебном порядке любым лицом, которому стало известно о нарушениях, предусмотренных подпунктом 5 пункта 1 настоящей статьи.</p><p>Патент на изобретение, полезную модель или промышленный образец может быть оспорен заинтересованным лицом и по истечении срока его действия по основаниям и в порядке, которые установлены абзацами первым и вторым настоящего пункта.</p></code>                                                                |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: epoch
+- `per_device_train_batch_size`: 2
+- `per_device_eval_batch_size`: 2
+- `gradient_accumulation_steps`: 16
+- `learning_rate`: 2e-05
+- `num_train_epochs`: 4
+- `lr_scheduler_type`: cosine
+- `warmup_ratio`: 0.1
+- `bf16`: True
+- `load_best_model_at_end`: True
+- `optim`: adamw_torch_fused
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: epoch
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 2
+- `per_device_eval_batch_size`: 2
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 16
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 4
+- `max_steps`: -1
+- `lr_scheduler_type`: cosine
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: False
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `eval_use_gather_object`: False
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+<details><summary>Click to expand</summary>
+
+| Epoch  | Step | Training Loss | dim_768_cosine_ndcg@10 | dim_512_cosine_ndcg@10 | dim_256_cosine_ndcg@10 | dim_128_cosine_ndcg@10 | dim_64_cosine_ndcg@10 |
+|:------:|:----:|:-------------:|:----------------------:|:----------------------:|:----------------------:|:----------------------:|:---------------------:|
+| 0.0243 | 10   | 0.2108        | -                      | -                      | -                      | -                      | -                     |
+| 0.0485 | 20   | 0.1169        | -                      | -                      | -                      | -                      | -                     |
+| 0.0728 | 30   | 0.1334        | -                      | -                      | -                      | -                      | -                     |
+| 0.0971 | 40   | 0.0963        | -                      | -                      | -                      | -                      | -                     |
+| 0.1213 | 50   | 0.127         | -                      | -                      | -                      | -                      | -                     |
+| 0.1456 | 60   | 0.1254        | -                      | -                      | -                      | -                      | -                     |
+| 0.1699 | 70   | 0.048         | -                      | -                      | -                      | -                      | -                     |
+| 0.1941 | 80   | 0.0358        | -                      | -                      | -                      | -                      | -                     |
+| 0.2184 | 90   | 0.0673        | -                      | -                      | -                      | -                      | -                     |
+| 0.2427 | 100  | 0.049         | -                      | -                      | -                      | -                      | -                     |
+| 0.2669 | 110  | 0.0222        | -                      | -                      | -                      | -                      | -                     |
+| 0.2912 | 120  | 0.0657        | -                      | -                      | -                      | -                      | -                     |
+| 0.3155 | 130  | 0.0878        | -                      | -                      | -                      | -                      | -                     |
+| 0.3398 | 140  | 0.0396        | -                      | -                      | -                      | -                      | -                     |
+| 0.3640 | 150  | 0.033         | -                      | -                      | -                      | -                      | -                     |
+| 0.3883 | 160  | 0.0562        | -                      | -                      | -                      | -                      | -                     |
+| 0.4126 | 170  | 0.0329        | -                      | -                      | -                      | -                      | -                     |
+| 0.4368 | 180  | 0.0918        | -                      | -                      | -                      | -                      | -                     |
+| 0.4611 | 190  | 0.0198        | -                      | -                      | -                      | -                      | -                     |
+| 0.4854 | 200  | 0.0181        | -                      | -                      | -                      | -                      | -                     |
+| 0.5096 | 210  | 0.0119        | -                      | -                      | -                      | -                      | -                     |
+| 0.5339 | 220  | 0.0139        | -                      | -                      | -                      | -                      | -                     |
+| 0.5582 | 230  | 0.057         | -                      | -                      | -                      | -                      | -                     |
+| 0.5824 | 240  | 0.0293        | -                      | -                      | -                      | -                      | -                     |
+| 0.6067 | 250  | 0.0482        | -                      | -                      | -                      | -                      | -                     |
+| 0.6310 | 260  | 0.017         | -                      | -                      | -                      | -                      | -                     |
+| 0.6552 | 270  | 0.0927        | -                      | -                      | -                      | -                      | -                     |
+| 0.6795 | 280  | 0.0187        | -                      | -                      | -                      | -                      | -                     |
+| 0.7038 | 290  | 0.0553        | -                      | -                      | -                      | -                      | -                     |
+| 0.7280 | 300  | 0.015         | -                      | -                      | -                      | -                      | -                     |
+| 0.7523 | 310  | 0.0438        | -                      | -                      | -                      | -                      | -                     |
+| 0.7766 | 320  | 0.0087        | -                      | -                      | -                      | -                      | -                     |
+| 0.8008 | 330  | 0.038         | -                      | -                      | -                      | -                      | -                     |
+| 0.8251 | 340  | 0.0243        | -                      | -                      | -                      | -                      | -                     |
+| 0.8494 | 350  | 0.015         | -                      | -                      | -                      | -                      | -                     |
+| 0.8737 | 360  | 0.0199        | -                      | -                      | -                      | -                      | -                     |
+| 0.8979 | 370  | 0.0516        | -                      | -                      | -                      | -                      | -                     |
+| 0.9222 | 380  | 0.0561        | -                      | -                      | -                      | -                      | -                     |
+| 0.9465 | 390  | 0.0851        | -                      | -                      | -                      | -                      | -                     |
+| 0.9707 | 400  | 0.0394        | -                      | -                      | -                      | -                      | -                     |
+| 0.9950 | 410  | 0.0114        | -                      | -                      | -                      | -                      | -                     |
+| 0.9998 | 412  | -             | 0.2806                 | 0.2779                 | 0.2742                 | 0.2597                 | 0.2253                |
+| 1.0193 | 420  | 0.0136        | -                      | -                      | -                      | -                      | -                     |
+| 1.0435 | 430  | 0.1219        | -                      | -                      | -                      | -                      | -                     |
+| 1.0678 | 440  | 0.0164        | -                      | -                      | -                      | -                      | -                     |
+| 1.0921 | 450  | 0.0927        | -                      | -                      | -                      | -                      | -                     |
+| 1.1163 | 460  | 0.0268        | -                      | -                      | -                      | -                      | -                     |
+| 1.1406 | 470  | 0.0384        | -                      | -                      | -                      | -                      | -                     |
+| 1.1649 | 480  | 0.0034        | -                      | -                      | -                      | -                      | -                     |
+| 1.1891 | 490  | 0.0183        | -                      | -                      | -                      | -                      | -                     |
+| 1.2134 | 500  | 0.0594        | -                      | -                      | -                      | -                      | -                     |
+| 1.2377 | 510  | 0.0145        | -                      | -                      | -                      | -                      | -                     |
+| 1.2619 | 520  | 0.0768        | -                      | -                      | -                      | -                      | -                     |
+| 1.2862 | 530  | 0.0084        | -                      | -                      | -                      | -                      | -                     |
+| 1.3105 | 540  | 0.0528        | -                      | -                      | -                      | -                      | -                     |
+| 1.3347 | 550  | 0.0619        | -                      | -                      | -                      | -                      | -                     |
+| 1.3590 | 560  | 0.0326        | -                      | -                      | -                      | -                      | -                     |
+| 1.3833 | 570  | 0.0135        | -                      | -                      | -                      | -                      | -                     |
+| 1.4076 | 580  | 0.0143        | -                      | -                      | -                      | -                      | -                     |
+| 1.4318 | 590  | 0.0952        | -                      | -                      | -                      | -                      | -                     |
+| 1.4561 | 600  | 0.0188        | -                      | -                      | -                      | -                      | -                     |
+| 1.4804 | 610  | 0.01          | -                      | -                      | -                      | -                      | -                     |
+| 1.5046 | 620  | 0.091         | -                      | -                      | -                      | -                      | -                     |
+| 1.5289 | 630  | 0.0205        | -                      | -                      | -                      | -                      | -                     |
+| 1.5532 | 640  | 0.0156        | -                      | -                      | -                      | -                      | -                     |
+| 1.5774 | 650  | 0.0101        | -                      | -                      | -                      | -                      | -                     |
+| 1.6017 | 660  | 0.022         | -                      | -                      | -                      | -                      | -                     |
+| 1.6260 | 670  | 0.0135        | -                      | -                      | -                      | -                      | -                     |
+| 1.6502 | 680  | 0.0226        | -                      | -                      | -                      | -                      | -                     |
+| 1.6745 | 690  | 0.0032        | -                      | -                      | -                      | -                      | -                     |
+| 1.6988 | 700  | 0.0071        | -                      | -                      | -                      | -                      | -                     |
+| 1.7230 | 710  | 0.028         | -                      | -                      | -                      | -                      | -                     |
+| 1.7473 | 720  | 0.0351        | -                      | -                      | -                      | -                      | -                     |
+| 1.7716 | 730  | 0.0021        | -                      | -                      | -                      | -                      | -                     |
+| 1.7958 | 740  | 0.0073        | -                      | -                      | -                      | -                      | -                     |
+| 1.8201 | 750  | 0.0103        | -                      | -                      | -                      | -                      | -                     |
+| 1.8444 | 760  | 0.0219        | -                      | -                      | -                      | -                      | -                     |
+| 1.8686 | 770  | 0.0035        | -                      | -                      | -                      | -                      | -                     |
+| 1.8929 | 780  | 0.0579        | -                      | -                      | -                      | -                      | -                     |
+| 1.9172 | 790  | 0.0298        | -                      | -                      | -                      | -                      | -                     |
+| 1.9415 | 800  | 0.0076        | -                      | -                      | -                      | -                      | -                     |
+| 1.9657 | 810  | 0.0038        | -                      | -                      | -                      | -                      | -                     |
+| 1.9900 | 820  | 0.0016        | -                      | -                      | -                      | -                      | -                     |
+| 1.9997 | 824  | -             | 0.2945                 | 0.2886                 | 0.2856                 | 0.2642                 | 0.2411                |
+| 2.0143 | 830  | 0.0715        | -                      | -                      | -                      | -                      | -                     |
+| 2.0385 | 840  | 0.0021        | -                      | -                      | -                      | -                      | -                     |
+| 2.0628 | 850  | 0.0065        | -                      | -                      | -                      | -                      | -                     |
+| 2.0871 | 860  | 0.0105        | -                      | -                      | -                      | -                      | -                     |
+| 2.1113 | 870  | 0.0024        | -                      | -                      | -                      | -                      | -                     |
+| 2.1356 | 880  | 0.0025        | -                      | -                      | -                      | -                      | -                     |
+| 2.1599 | 890  | 0.014         | -                      | -                      | -                      | -                      | -                     |
+| 2.1841 | 900  | 0.0016        | -                      | -                      | -                      | -                      | -                     |
+| 2.2084 | 910  | 0.008         | -                      | -                      | -                      | -                      | -                     |
+| 2.2327 | 920  | 0.0041        | -                      | -                      | -                      | -                      | -                     |
+| 2.2569 | 930  | 0.0308        | -                      | -                      | -                      | -                      | -                     |
+| 2.2812 | 940  | 0.011         | -                      | -                      | -                      | -                      | -                     |
+| 2.3055 | 950  | 0.0207        | -                      | -                      | -                      | -                      | -                     |
+| 2.3297 | 960  | 0.0048        | -                      | -                      | -                      | -                      | -                     |
+| 2.3540 | 970  | 0.0215        | -                      | -                      | -                      | -                      | -                     |
+| 2.3783 | 980  | 0.0061        | -                      | -                      | -                      | -                      | -                     |
+| 2.4025 | 990  | 0.0164        | -                      | -                      | -                      | -                      | -                     |
+| 2.4268 | 1000 | 0.0255        | -                      | -                      | -                      | -                      | -                     |
+| 2.4511 | 1010 | 0.0062        | -                      | -                      | -                      | -                      | -                     |
+| 2.4754 | 1020 | 0.0079        | -                      | -                      | -                      | -                      | -                     |
+| 2.4996 | 1030 | 0.005         | -                      | -                      | -                      | -                      | -                     |
+| 2.5239 | 1040 | 0.042         | -                      | -                      | -                      | -                      | -                     |
+| 2.5482 | 1050 | 0.0057        | -                      | -                      | -                      | -                      | -                     |
+| 2.5724 | 1060 | 0.0384        | -                      | -                      | -                      | -                      | -                     |
+| 2.5967 | 1070 | 0.009         | -                      | -                      | -                      | -                      | -                     |
+| 2.6210 | 1080 | 0.0089        | -                      | -                      | -                      | -                      | -                     |
+| 2.6452 | 1090 | 0.0034        | -                      | -                      | -                      | -                      | -                     |
+| 2.6695 | 1100 | 0.026         | -                      | -                      | -                      | -                      | -                     |
+| 2.6938 | 1110 | 0.0358        | -                      | -                      | -                      | -                      | -                     |
+| 2.7180 | 1120 | 0.0033        | -                      | -                      | -                      | -                      | -                     |
+| 2.7423 | 1130 | 0.0037        | -                      | -                      | -                      | -                      | -                     |
+| 2.7666 | 1140 | 0.0195        | -                      | -                      | -                      | -                      | -                     |
+| 2.7908 | 1150 | 0.0024        | -                      | -                      | -                      | -                      | -                     |
+| 2.8151 | 1160 | 0.0533        | -                      | -                      | -                      | -                      | -                     |
+| 2.8394 | 1170 | 0.0137        | -                      | -                      | -                      | -                      | -                     |
+| 2.8636 | 1180 | 0.0125        | -                      | -                      | -                      | -                      | -                     |
+| 2.8879 | 1190 | 0.0253        | -                      | -                      | -                      | -                      | -                     |
+| 2.9122 | 1200 | 0.0068        | -                      | -                      | -                      | -                      | -                     |
+| 2.9364 | 1210 | 0.0436        | -                      | -                      | -                      | -                      | -                     |
+| 2.9607 | 1220 | 0.0021        | -                      | -                      | -                      | -                      | -                     |
+| 2.9850 | 1230 | 0.0129        | -                      | -                      | -                      | -                      | -                     |
+| 2.9995 | 1236 | -             | 0.2986                 | 0.2955                 | 0.2842                 | 0.2749                 | 0.2512                |
+| 3.0093 | 1240 | 0.0037        | -                      | -                      | -                      | -                      | -                     |
+| 3.0335 | 1250 | 0.0161        | -                      | -                      | -                      | -                      | -                     |
+| 3.0578 | 1260 | 0.0164        | -                      | -                      | -                      | -                      | -                     |
+| 3.0821 | 1270 | 0.0007        | -                      | -                      | -                      | -                      | -                     |
+| 3.1063 | 1280 | 0.0023        | -                      | -                      | -                      | -                      | -                     |
+| 3.1306 | 1290 | 0.0073        | -                      | -                      | -                      | -                      | -                     |
+| 3.1549 | 1300 | 0.0134        | -                      | -                      | -                      | -                      | -                     |
+| 3.1791 | 1310 | 0.0021        | -                      | -                      | -                      | -                      | -                     |
+| 3.2034 | 1320 | 0.0571        | -                      | -                      | -                      | -                      | -                     |
+| 3.2277 | 1330 | 0.0376        | -                      | -                      | -                      | -                      | -                     |
+| 3.2519 | 1340 | 0.0049        | -                      | -                      | -                      | -                      | -                     |
+| 3.2762 | 1350 | 0.0151        | -                      | -                      | -                      | -                      | -                     |
+| 3.3005 | 1360 | 0.002         | -                      | -                      | -                      | -                      | -                     |
+| 3.3247 | 1370 | 0.0276        | -                      | -                      | -                      | -                      | -                     |
+| 3.3490 | 1380 | 0.0007        | -                      | -                      | -                      | -                      | -                     |
+| 3.3733 | 1390 | 0.0324        | -                      | -                      | -                      | -                      | -                     |
+| 3.3975 | 1400 | 0.0043        | -                      | -                      | -                      | -                      | -                     |
+| 3.4218 | 1410 | 0.0074        | -                      | -                      | -                      | -                      | -                     |
+| 3.4461 | 1420 | 0.005         | -                      | -                      | -                      | -                      | -                     |
+| 3.4703 | 1430 | 0.0066        | -                      | -                      | -                      | -                      | -                     |
+| 3.4946 | 1440 | 0.0039        | -                      | -                      | -                      | -                      | -                     |
+| 3.5189 | 1450 | 0.0056        | -                      | -                      | -                      | -                      | -                     |
+| 3.5432 | 1460 | 0.0039        | -                      | -                      | -                      | -                      | -                     |
+| 3.5674 | 1470 | 0.0148        | -                      | -                      | -                      | -                      | -                     |
+| 3.5917 | 1480 | 0.0029        | -                      | -                      | -                      | -                      | -                     |
+| 3.6160 | 1490 | 0.011         | -                      | -                      | -                      | -                      | -                     |
+| 3.6402 | 1500 | 0.0029        | -                      | -                      | -                      | -                      | -                     |
+| 3.6645 | 1510 | 0.0057        | -                      | -                      | -                      | -                      | -                     |
+| 3.6888 | 1520 | 0.0013        | -                      | -                      | -                      | -                      | -                     |
+| 3.7130 | 1530 | 0.0618        | -                      | -                      | -                      | -                      | -                     |
+| 3.7373 | 1540 | 0.0102        | -                      | -                      | -                      | -                      | -                     |
+| 3.7616 | 1550 | 0.0009        | -                      | -                      | -                      | -                      | -                     |
+| 3.7858 | 1560 | 0.023         | -                      | -                      | -                      | -                      | -                     |
+| 3.8101 | 1570 | 0.0067        | -                      | -                      | -                      | -                      | -                     |
+| 3.8344 | 1580 | 0.011         | -                      | -                      | -                      | -                      | -                     |
+| 3.8586 | 1590 | 0.0023        | -                      | -                      | -                      | -                      | -                     |
+| 3.8829 | 1600 | 0.0154        | -                      | -                      | -                      | -                      | -                     |
+| 3.9072 | 1610 | 0.0014        | -                      | -                      | -                      | -                      | -                     |
+| 3.9314 | 1620 | 0.0024        | -                      | -                      | -                      | -                      | -                     |
+| 3.9557 | 1630 | 0.0034        | -                      | -                      | -                      | -                      | -                     |
+| 3.9800 | 1640 | 0.0022        | -                      | -                      | -                      | -                      | -                     |
+| 3.9994 | 1648 | -             | 0.3000                 | 0.2938                 | 0.2877                 | 0.2752                 | 0.2547                |
+
+</details>
+
+### Framework Versions
+- Python: 3.11.11
+- Sentence Transformers: 3.4.1
+- Transformers: 4.43.0
+- PyTorch: 2.6.0+cu124
+- Accelerate: 1.3.0
+- Datasets: 3.3.2
+- Tokenizers: 0.19.1
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

checkpoint-1648/config.json

@@ -0,0 +1,74 @@
+{
+  "_name_or_path": "nomic-ai/nomic-embed-text-v2-moe",
+  "activation_function": "gelu",
+  "add_pooling_layer": false,
+  "architectures": [
+    "NomicBertModel"
+  ],
+  "attn_pdrop": 0.0,
+  "auto_map": {
+    "AutoConfig": "nomic-ai/nomic-bert-2048--configuration_hf_nomic_bert.NomicBertConfig",
+    "AutoModel": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertModel",
+    "AutoModelForMaskedLM": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForPreTraining",
+    "AutoModelForMultipleChoice": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForMultipleChoice",
+    "AutoModelForQuestionAnswering": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForQuestionAnswering",
+    "AutoModelForSequenceClassification": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForSequenceClassification",
+    "AutoModelForTokenClassification": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForTokenClassification"
+  },
+  "bos_token_id": null,
+  "causal": false,
+  "dense_seq_output": true,
+  "embd_pdrop": 0.1,
+  "eos_token_id": null,
+  "expert_choice_router": false,
+  "ffn_div": 1,
+  "fused_bias_fc": true,
+  "fused_dropout_add_ln": true,
+  "initializer_range": 0.02,
+  "layer_norm_epsilon": 1e-05,
+  "max_trained_positions": 2048,
+  "mlp_fc1_bias": true,
+  "mlp_fc2_bias": true,
+  "model_type": "nomic_bert",
+  "moe_every_n_layers": 2,
+  "moe_impl": "megablocks",
+  "moe_normalize_expert_weights": false,
+  "moe_resid_pdrop": 0.0,
+  "moe_top_k": 2,
+  "n_embd": 768,
+  "n_head": 12,
+  "n_inner": 3072,
+  "n_layer": 12,
+  "n_positions": 2048,
+  "num_experts": 8,
+  "num_shared_experts": 0,
+  "pad_token_id": 1,
+  "pad_vocab_size_multiple": 64,
+  "parallel_block": false,
+  "parallel_block_tied_norm": false,
+  "prenorm": false,
+  "qkv_proj_bias": true,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.0,
+  "rotary_emb_base": 10000,
+  "rotary_emb_fraction": 1.0,
+  "rotary_emb_interleaved": false,
+  "rotary_emb_scale_base": null,
+  "rotary_scaling_factor": null,
+  "router_aux_loss_coef": 0.1,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "torch_dtype": "float32",
+  "transformers_version": "4.43.0",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "use_flash_attn": true,
+  "use_rms_norm": null,
+  "use_xentropy": true,
+  "vocab_size": 250048
+}

checkpoint-1648/config_sentence_transformers.json

@@ -0,0 +1,20 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.4.1",
+    "transformers": "4.43.0",
+    "pytorch": "2.6.0+cu124"
+  },
+  "prompts": {
+    "query": "search_query: ",
+    "passage": "search_document: ",
+    "Classification": "classification: ",
+    "MultilabelClassification": "classification: ",
+    "Clustering": "clustering: ",
+    "PairClassification": "classification: ",
+    "STS": "classification: ",
+    "Summarization": "classification: ",
+    "Speed": "search_document: "
+  },
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

checkpoint-1648/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ee11369a5447fcd4949eae2793e3b88b867e1c80cd0ffbd764089500e3a62aa5
+size 1901187232

checkpoint-1648/modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

checkpoint-1648/optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:aa2be7f6d47529351a1c2ce91ee9d218e3574c86828d1a3906a456032b359163
+size 3802469370

checkpoint-1648/rng_state.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ae737c9b599a4e1c58e333b4550319a527b201b0662f6d4f5ff20fc26ebcee0f
+size 14244

checkpoint-1648/scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:22db1da62f9cbf355c11a9c7ab5e56a360cd75d32c539104bcfcfe0c3b8df122
+size 1064

checkpoint-1648/sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

checkpoint-1648/sentencepiece.bpe.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cfc8146abe2a0488e9e2a0c56de7952f7c11ab059eca145a0a727afce0db2865
+size 5069051

checkpoint-1648/special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

checkpoint-1648/tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:883b037111086fd4dfebbbc9b7cee11e1517b5e0c0514879478661440f137085
+size 17082987

checkpoint-1648/tokenizer_config.json

@@ -0,0 +1,54 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "250001": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "model_max_length": 512,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "XLMRobertaTokenizer",
+  "unk_token": "<unk>"
+}

checkpoint-1648/trainer_state.json

@@ -0,0 +1,1513 @@
+{
+  "best_metric": 0.27519563194479246,
+  "best_model_checkpoint": "Nomic/nomic-v2-tuned-1/checkpoint-1648",
+  "epoch": 3.999393295919915,
+  "eval_steps": 500,
+  "global_step": 1648,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.024268163203397544,
+      "grad_norm": 6.184824466705322,
+      "learning_rate": 1.2121212121212122e-06,
+      "loss": 0.2108,
+      "step": 10
+    },
+    {
+      "epoch": 0.04853632640679509,
+      "grad_norm": 7.719327449798584,
+      "learning_rate": 2.4242424242424244e-06,
+      "loss": 0.1169,
+      "step": 20
+    },
+    {
+      "epoch": 0.07280448961019263,
+      "grad_norm": 4.0327959060668945,
+      "learning_rate": 3.6363636363636366e-06,
+      "loss": 0.1334,
+      "step": 30
+    },
+    {
+      "epoch": 0.09707265281359018,
+      "grad_norm": 5.168394088745117,
+      "learning_rate": 4.848484848484849e-06,
+      "loss": 0.0963,
+      "step": 40
+    },
+    {
+      "epoch": 0.12134081601698772,
+      "grad_norm": 14.108105659484863,
+      "learning_rate": 6.060606060606061e-06,
+      "loss": 0.127,
+      "step": 50
+    },
+    {
+      "epoch": 0.14560897922038527,
+      "grad_norm": 0.29993921518325806,
+      "learning_rate": 7.272727272727273e-06,
+      "loss": 0.1254,
+      "step": 60
+    },
+    {
+      "epoch": 0.1698771424237828,
+      "grad_norm": 1.5108305215835571,
+      "learning_rate": 8.484848484848486e-06,
+      "loss": 0.048,
+      "step": 70
+    },
+    {
+      "epoch": 0.19414530562718035,
+      "grad_norm": 2.570068836212158,
+      "learning_rate": 9.696969696969698e-06,
+      "loss": 0.0358,
+      "step": 80
+    },
+    {
+      "epoch": 0.21841346883057788,
+      "grad_norm": 13.097607612609863,
+      "learning_rate": 1.0909090909090909e-05,
+      "loss": 0.0673,
+      "step": 90
+    },
+    {
+      "epoch": 0.24268163203397544,
+      "grad_norm": 4.809088230133057,
+      "learning_rate": 1.2121212121212122e-05,
+      "loss": 0.049,
+      "step": 100
+    },
+    {
+      "epoch": 0.26694979523737294,
+      "grad_norm": 0.4637127220630646,
+      "learning_rate": 1.3333333333333333e-05,
+      "loss": 0.0222,
+      "step": 110
+    },
+    {
+      "epoch": 0.29121795844077053,
+      "grad_norm": 3.315945625305176,
+      "learning_rate": 1.4545454545454546e-05,
+      "loss": 0.0657,
+      "step": 120
+    },
+    {
+      "epoch": 0.31548612164416806,
+      "grad_norm": 1.816904067993164,
+      "learning_rate": 1.575757575757576e-05,
+      "loss": 0.0878,
+      "step": 130
+    },
+    {
+      "epoch": 0.3397542848475656,
+      "grad_norm": 0.5492209792137146,
+      "learning_rate": 1.6969696969696972e-05,
+      "loss": 0.0396,
+      "step": 140
+    },
+    {
+      "epoch": 0.3640224480509631,
+      "grad_norm": 0.6514124274253845,
+      "learning_rate": 1.8181818181818182e-05,
+      "loss": 0.033,
+      "step": 150
+    },
+    {
+      "epoch": 0.3882906112543607,
+      "grad_norm": 0.20525218546390533,
+      "learning_rate": 1.9393939393939395e-05,
+      "loss": 0.0562,
+      "step": 160
+    },
+    {
+      "epoch": 0.41255877445775824,
+      "grad_norm": 12.202320098876953,
+      "learning_rate": 1.999943905097692e-05,
+      "loss": 0.0329,
+      "step": 170
+    },
+    {
+      "epoch": 0.43682693766115577,
+      "grad_norm": 7.067898273468018,
+      "learning_rate": 1.9994951836381796e-05,
+      "loss": 0.0918,
+      "step": 180
+    },
+    {
+      "epoch": 0.4610951008645533,
+      "grad_norm": 0.13020876049995422,
+      "learning_rate": 1.998597942081397e-05,
+      "loss": 0.0198,
+      "step": 190
+    },
+    {
+      "epoch": 0.4853632640679509,
+      "grad_norm": 0.3073924779891968,
+      "learning_rate": 1.9972525830614725e-05,
+      "loss": 0.0181,
+      "step": 200
+    },
+    {
+      "epoch": 0.5096314272713484,
+      "grad_norm": 0.40409696102142334,
+      "learning_rate": 1.9954597103037342e-05,
+      "loss": 0.0119,
+      "step": 210
+    },
+    {
+      "epoch": 0.5338995904747459,
+      "grad_norm": 2.918846845626831,
+      "learning_rate": 1.9932201283537935e-05,
+      "loss": 0.0139,
+      "step": 220
+    },
+    {
+      "epoch": 0.5581677536781435,
+      "grad_norm": 8.526318550109863,
+      "learning_rate": 1.9905348422165075e-05,
+      "loss": 0.057,
+      "step": 230
+    },
+    {
+      "epoch": 0.5824359168815411,
+      "grad_norm": 10.81310749053955,
+      "learning_rate": 1.987405056904986e-05,
+      "loss": 0.0293,
+      "step": 240
+    },
+    {
+      "epoch": 0.6067040800849386,
+      "grad_norm": 0.8693222999572754,
+      "learning_rate": 1.9838321768998462e-05,
+      "loss": 0.0482,
+      "step": 250
+    },
+    {
+      "epoch": 0.6309722432883361,
+      "grad_norm": 5.930874347686768,
+      "learning_rate": 1.9798178055189563e-05,
+      "loss": 0.017,
+      "step": 260
+    },
+    {
+      "epoch": 0.6552404064917337,
+      "grad_norm": 4.582831859588623,
+      "learning_rate": 1.9753637441979533e-05,
+      "loss": 0.0927,
+      "step": 270
+    },
+    {
+      "epoch": 0.6795085696951312,
+      "grad_norm": 0.19732092320919037,
+      "learning_rate": 1.970471991681853e-05,
+      "loss": 0.0187,
+      "step": 280
+    },
+    {
+      "epoch": 0.7037767328985287,
+      "grad_norm": 0.7359830141067505,
+      "learning_rate": 1.9651447431281213e-05,
+      "loss": 0.0553,
+      "step": 290
+    },
+    {
+      "epoch": 0.7280448961019262,
+      "grad_norm": 0.4606100618839264,
+      "learning_rate": 1.9593843891216035e-05,
+      "loss": 0.015,
+      "step": 300
+    },
+    {
+      "epoch": 0.7523130593053239,
+      "grad_norm": 0.9894680380821228,
+      "learning_rate": 1.9531935146017595e-05,
+      "loss": 0.0438,
+      "step": 310
+    },
+    {
+      "epoch": 0.7765812225087214,
+      "grad_norm": 0.13739630579948425,
+      "learning_rate": 1.9465748977026782e-05,
+      "loss": 0.0087,
+      "step": 320
+    },
+    {
+      "epoch": 0.8008493857121189,
+      "grad_norm": 0.3315618336200714,
+      "learning_rate": 1.9395315085064007e-05,
+      "loss": 0.038,
+      "step": 330
+    },
+    {
+      "epoch": 0.8251175489155165,
+      "grad_norm": 0.17197982966899872,
+      "learning_rate": 1.9320665077101066e-05,
+      "loss": 0.0243,
+      "step": 340
+    },
+    {
+      "epoch": 0.849385712118914,
+      "grad_norm": 4.819814682006836,
+      "learning_rate": 1.92418324520776e-05,
+      "loss": 0.015,
+      "step": 350
+    },
+    {
+      "epoch": 0.8736538753223115,
+      "grad_norm": 4.6382365226745605,
+      "learning_rate": 1.9158852585868575e-05,
+      "loss": 0.0199,
+      "step": 360
+    },
+    {
+      "epoch": 0.8979220385257091,
+      "grad_norm": 0.15649013221263885,
+      "learning_rate": 1.9071762715409474e-05,
+      "loss": 0.0516,
+      "step": 370
+    },
+    {
+      "epoch": 0.9221902017291066,
+      "grad_norm": 9.212163925170898,
+      "learning_rate": 1.8980601921986332e-05,
+      "loss": 0.0561,
+      "step": 380
+    },
+    {
+      "epoch": 0.9464583649325041,
+      "grad_norm": 1.8409303426742554,
+      "learning_rate": 1.888541111369816e-05,
+      "loss": 0.0851,
+      "step": 390
+    },
+    {
+      "epoch": 0.9707265281359018,
+      "grad_norm": 0.0260617733001709,
+      "learning_rate": 1.878623300709957e-05,
+      "loss": 0.0394,
+      "step": 400
+    },
+    {
+      "epoch": 0.9949946913392993,
+      "grad_norm": 0.475887656211853,
+      "learning_rate": 1.8683112108031856e-05,
+      "loss": 0.0114,
+      "step": 410
+    },
+    {
+      "epoch": 0.9998483239799788,
+      "eval_dim_128_cosine_accuracy@1": 0.0034106412005457027,
+      "eval_dim_128_cosine_accuracy@10": 0.6609822646657572,
+      "eval_dim_128_cosine_accuracy@3": 0.06207366984993179,
+      "eval_dim_128_cosine_accuracy@5": 0.35129604365620737,
+      "eval_dim_128_cosine_map@100": 0.15352648780478836,
+      "eval_dim_128_cosine_mrr@10": 0.1384457762186259,
+      "eval_dim_128_cosine_ndcg@10": 0.25968761539611496,
+      "eval_dim_128_cosine_precision@1": 0.0034106412005457027,
+      "eval_dim_128_cosine_precision@10": 0.06609822646657572,
+      "eval_dim_128_cosine_precision@3": 0.020691223283310592,
+      "eval_dim_128_cosine_precision@5": 0.07025920873124147,
+      "eval_dim_128_cosine_recall@1": 0.0034106412005457027,
+      "eval_dim_128_cosine_recall@10": 0.6609822646657572,
+      "eval_dim_128_cosine_recall@3": 0.06207366984993179,
+      "eval_dim_128_cosine_recall@5": 0.35129604365620737,
+      "eval_dim_256_cosine_accuracy@1": 0.006139154160982265,
+      "eval_dim_256_cosine_accuracy@10": 0.6957708049113234,
+      "eval_dim_256_cosine_accuracy@3": 0.059345156889495224,
+      "eval_dim_256_cosine_accuracy@5": 0.3969986357435198,
+      "eval_dim_256_cosine_map@100": 0.1608969666312337,
+      "eval_dim_256_cosine_mrr@10": 0.14680563676129663,
+      "eval_dim_256_cosine_ndcg@10": 0.2742190784977125,
+      "eval_dim_256_cosine_precision@1": 0.006139154160982265,
+      "eval_dim_256_cosine_precision@10": 0.06957708049113233,
+      "eval_dim_256_cosine_precision@3": 0.019781718963165072,
+      "eval_dim_256_cosine_precision@5": 0.07939972714870396,
+      "eval_dim_256_cosine_recall@1": 0.006139154160982265,
+      "eval_dim_256_cosine_recall@10": 0.6957708049113234,
+      "eval_dim_256_cosine_recall@3": 0.059345156889495224,
+      "eval_dim_256_cosine_recall@5": 0.3969986357435198,
+      "eval_dim_512_cosine_accuracy@1": 0.004092769440654843,
+      "eval_dim_512_cosine_accuracy@10": 0.708731241473397,
+      "eval_dim_512_cosine_accuracy@3": 0.054570259208731244,
+      "eval_dim_512_cosine_accuracy@5": 0.4045020463847203,
+      "eval_dim_512_cosine_map@100": 0.16179009192949412,
+      "eval_dim_512_cosine_mrr@10": 0.14763068710885704,
+      "eval_dim_512_cosine_ndcg@10": 0.2778537691360626,
+      "eval_dim_512_cosine_precision@1": 0.004092769440654843,
+      "eval_dim_512_cosine_precision@10": 0.07087312414733969,
+      "eval_dim_512_cosine_precision@3": 0.01819008640291041,
+      "eval_dim_512_cosine_precision@5": 0.08090040927694407,
+      "eval_dim_512_cosine_recall@1": 0.004092769440654843,
+      "eval_dim_512_cosine_recall@10": 0.708731241473397,
+      "eval_dim_512_cosine_recall@3": 0.054570259208731244,
+      "eval_dim_512_cosine_recall@5": 0.4045020463847203,
+      "eval_dim_64_cosine_accuracy@1": 0.004092769440654843,
+      "eval_dim_64_cosine_accuracy@10": 0.5750341064120055,
+      "eval_dim_64_cosine_accuracy@3": 0.048431105047748974,
+      "eval_dim_64_cosine_accuracy@5": 0.3144611186903138,
+      "eval_dim_64_cosine_map@100": 0.1367884100889619,
+      "eval_dim_64_cosine_mrr@10": 0.11982692349336187,
+      "eval_dim_64_cosine_ndcg@10": 0.2252854715830182,
+      "eval_dim_64_cosine_precision@1": 0.004092769440654843,
+      "eval_dim_64_cosine_precision@10": 0.05750341064120054,
+      "eval_dim_64_cosine_precision@3": 0.01614370168258299,
+      "eval_dim_64_cosine_precision@5": 0.06289222373806276,
+      "eval_dim_64_cosine_recall@1": 0.004092769440654843,
+      "eval_dim_64_cosine_recall@10": 0.5750341064120055,
+      "eval_dim_64_cosine_recall@3": 0.048431105047748974,
+      "eval_dim_64_cosine_recall@5": 0.3144611186903138,
+      "eval_dim_768_cosine_accuracy@1": 0.002728512960436562,
+      "eval_dim_768_cosine_accuracy@10": 0.7175989085948158,
+      "eval_dim_768_cosine_accuracy@3": 0.059345156889495224,
+      "eval_dim_768_cosine_accuracy@5": 0.40109140518417463,
+      "eval_dim_768_cosine_map@100": 0.1621927494042191,
+      "eval_dim_768_cosine_mrr@10": 0.1485466878884321,
+      "eval_dim_768_cosine_ndcg@10": 0.2805856733257871,
+      "eval_dim_768_cosine_precision@1": 0.002728512960436562,
+      "eval_dim_768_cosine_precision@10": 0.07175989085948158,
+      "eval_dim_768_cosine_precision@3": 0.019781718963165072,
+      "eval_dim_768_cosine_precision@5": 0.08021828103683493,
+      "eval_dim_768_cosine_recall@1": 0.002728512960436562,
+      "eval_dim_768_cosine_recall@10": 0.7175989085948158,
+      "eval_dim_768_cosine_recall@3": 0.059345156889495224,
+      "eval_dim_768_cosine_recall@5": 0.40109140518417463,
+      "eval_runtime": 311.6214,
+      "eval_samples_per_second": 0.0,
+      "eval_sequential_score": 0.2252854715830182,
+      "eval_steps_per_second": 0.0,
+      "step": 412
+    },
+    {
+      "epoch": 1.0192628545426967,
+      "grad_norm": 0.07392042130231857,
+      "learning_rate": 1.8576094691651153e-05,
+      "loss": 0.0136,
+      "step": 420
+    },
+    {
+      "epoch": 1.0435310177460944,
+      "grad_norm": 3.5508384704589844,
+      "learning_rate": 1.8465228781662618e-05,
+      "loss": 0.1219,
+      "step": 430
+    },
+    {
+      "epoch": 1.0677991809494918,
+      "grad_norm": 5.711903095245361,
+      "learning_rate": 1.8350564128769955e-05,
+      "loss": 0.0164,
+      "step": 440
+    },
+    {
+      "epoch": 1.0920673441528894,
+      "grad_norm": 1.1452428102493286,
+      "learning_rate": 1.8232152188349946e-05,
+      "loss": 0.0927,
+      "step": 450
+    },
+    {
+      "epoch": 1.116335507356287,
+      "grad_norm": 1.4943727254867554,
+      "learning_rate": 1.8110046097362033e-05,
+      "loss": 0.0268,
+      "step": 460
+    },
+    {
+      "epoch": 1.1406036705596845,
+      "grad_norm": 1.8914352655410767,
+      "learning_rate": 1.7984300650503282e-05,
+      "loss": 0.0384,
+      "step": 470
+    },
+    {
+      "epoch": 1.1648718337630821,
+      "grad_norm": 0.11347553879022598,
+      "learning_rate": 1.7854972275619453e-05,
+      "loss": 0.0034,
+      "step": 480
+    },
+    {
+      "epoch": 1.1891399969664795,
+      "grad_norm": 8.961676597595215,
+      "learning_rate": 1.772211900838318e-05,
+      "loss": 0.0183,
+      "step": 490
+    },
+    {
+      "epoch": 1.2134081601698772,
+      "grad_norm": 21.69032096862793,
+      "learning_rate": 1.758580046625068e-05,
+      "loss": 0.0594,
+      "step": 500
+    },
+    {
+      "epoch": 1.2376763233732746,
+      "grad_norm": 3.1777877807617188,
+      "learning_rate": 1.7446077821708596e-05,
+      "loss": 0.0145,
+      "step": 510
+    },
+    {
+      "epoch": 1.2619444865766722,
+      "grad_norm": 1.400813102722168,
+      "learning_rate": 1.730301377482307e-05,
+      "loss": 0.0768,
+      "step": 520
+    },
+    {
+      "epoch": 1.2862126497800697,
+      "grad_norm": 0.12172400206327438,
+      "learning_rate": 1.715667252510329e-05,
+      "loss": 0.0084,
+      "step": 530
+    },
+    {
+      "epoch": 1.3104808129834673,
+      "grad_norm": 0.021951694041490555,
+      "learning_rate": 1.700711974269218e-05,
+      "loss": 0.0528,
+      "step": 540
+    },
+    {
+      "epoch": 1.334748976186865,
+      "grad_norm": 0.030643614009022713,
+      "learning_rate": 1.6854422538897136e-05,
+      "loss": 0.0619,
+      "step": 550
+    },
+    {
+      "epoch": 1.3590171393902624,
+      "grad_norm": 4.491604804992676,
+      "learning_rate": 1.6698649436074063e-05,
+      "loss": 0.0326,
+      "step": 560
+    },
+    {
+      "epoch": 1.38328530259366,
+      "grad_norm": 0.42146193981170654,
+      "learning_rate": 1.65398703368782e-05,
+      "loss": 0.0135,
+      "step": 570
+    },
+    {
+      "epoch": 1.4075534657970574,
+      "grad_norm": 0.09300685673952103,
+      "learning_rate": 1.6378156492895524e-05,
+      "loss": 0.0143,
+      "step": 580
+    },
+    {
+      "epoch": 1.431821629000455,
+      "grad_norm": 2.0742526054382324,
+      "learning_rate": 1.6213580472668856e-05,
+      "loss": 0.0952,
+      "step": 590
+    },
+    {
+      "epoch": 1.4560897922038527,
+      "grad_norm": 2.740499973297119,
+      "learning_rate": 1.604621612913297e-05,
+      "loss": 0.0188,
+      "step": 600
+    },
+    {
+      "epoch": 1.4803579554072501,
+      "grad_norm": 0.09577389806509018,
+      "learning_rate": 1.5876138566473327e-05,
+      "loss": 0.01,
+      "step": 610
+    },
+    {
+      "epoch": 1.5046261186106475,
+      "grad_norm": 1.9737666845321655,
+      "learning_rate": 1.5703424106423335e-05,
+      "loss": 0.091,
+      "step": 620
+    },
+    {
+      "epoch": 1.5288942818140452,
+      "grad_norm": 0.018516847863793373,
+      "learning_rate": 1.5528150254015225e-05,
+      "loss": 0.0205,
+      "step": 630
+    },
+    {
+      "epoch": 1.5531624450174428,
+      "grad_norm": 0.0974857360124588,
+      "learning_rate": 1.5350395662799925e-05,
+      "loss": 0.0156,
+      "step": 640
+    },
+    {
+      "epoch": 1.5774306082208402,
+      "grad_norm": 1.012096881866455,
+      "learning_rate": 1.5170240099551547e-05,
+      "loss": 0.0101,
+      "step": 650
+    },
+    {
+      "epoch": 1.6016987714242377,
+      "grad_norm": 0.4372600317001343,
+      "learning_rate": 1.4987764408472327e-05,
+      "loss": 0.022,
+      "step": 660
+    },
+    {
+      "epoch": 1.6259669346276353,
+      "grad_norm": 1.3607388734817505,
+      "learning_rate": 1.4803050474914034e-05,
+      "loss": 0.0135,
+      "step": 670
+    },
+    {
+      "epoch": 1.650235097831033,
+      "grad_norm": 0.1327061802148819,
+      "learning_rate": 1.4616181188632229e-05,
+      "loss": 0.0226,
+      "step": 680
+    },
+    {
+      "epoch": 1.6745032610344306,
+      "grad_norm": 0.31588563323020935,
+      "learning_rate": 1.4427240406589727e-05,
+      "loss": 0.0032,
+      "step": 690
+    },
+    {
+      "epoch": 1.698771424237828,
+      "grad_norm": 1.2134084701538086,
+      "learning_rate": 1.4236312915326108e-05,
+      "loss": 0.0071,
+      "step": 700
+    },
+    {
+      "epoch": 1.7230395874412254,
+      "grad_norm": 0.06816510111093521,
+      "learning_rate": 1.4043484392910014e-05,
+      "loss": 0.028,
+      "step": 710
+    },
+    {
+      "epoch": 1.747307750644623,
+      "grad_norm": 0.3962950110435486,
+      "learning_rate": 1.3848841370491416e-05,
+      "loss": 0.0351,
+      "step": 720
+    },
+    {
+      "epoch": 1.7715759138480207,
+      "grad_norm": 0.06974906474351883,
+      "learning_rate": 1.3652471193471049e-05,
+      "loss": 0.0021,
+      "step": 730
+    },
+    {
+      "epoch": 1.7958440770514181,
+      "grad_norm": 0.08050140738487244,
+      "learning_rate": 1.345446198230446e-05,
+      "loss": 0.0073,
+      "step": 740
+    },
+    {
+      "epoch": 1.8201122402548155,
+      "grad_norm": 0.04942511394619942,
+      "learning_rate": 1.3254902592958242e-05,
+      "loss": 0.0103,
+      "step": 750
+    },
+    {
+      "epoch": 1.8443804034582132,
+      "grad_norm": 0.17193569242954254,
+      "learning_rate": 1.3053882577036236e-05,
+      "loss": 0.0219,
+      "step": 760
+    },
+    {
+      "epoch": 1.8686485666616108,
+      "grad_norm": 0.011188509874045849,
+      "learning_rate": 1.2851492141593531e-05,
+      "loss": 0.0035,
+      "step": 770
+    },
+    {
+      "epoch": 1.8929167298650085,
+      "grad_norm": 21.107633590698242,
+      "learning_rate": 1.264782210865637e-05,
+      "loss": 0.0579,
+      "step": 780
+    },
+    {
+      "epoch": 1.917184893068406,
+      "grad_norm": 0.6288430690765381,
+      "learning_rate": 1.2442963874466044e-05,
+      "loss": 0.0298,
+      "step": 790
+    },
+    {
+      "epoch": 1.9414530562718033,
+      "grad_norm": 0.9807838201522827,
+      "learning_rate": 1.2237009368465171e-05,
+      "loss": 0.0076,
+      "step": 800
+    },
+    {
+      "epoch": 1.965721219475201,
+      "grad_norm": 0.4862402379512787,
+      "learning_rate": 1.2030051012044644e-05,
+      "loss": 0.0038,
+      "step": 810
+    },
+    {
+      "epoch": 1.9899893826785986,
+      "grad_norm": 0.32241472601890564,
+      "learning_rate": 1.1822181677069855e-05,
+      "loss": 0.0016,
+      "step": 820
+    },
+    {
+      "epoch": 1.9996966479599574,
+      "eval_dim_128_cosine_accuracy@1": 0.007503410641200546,
+      "eval_dim_128_cosine_accuracy@10": 0.665075034106412,
+      "eval_dim_128_cosine_accuracy@3": 0.06070941336971351,
+      "eval_dim_128_cosine_accuracy@5": 0.37312414733969984,
+      "eval_dim_128_cosine_map@100": 0.15984371570467878,
+      "eval_dim_128_cosine_mrr@10": 0.1428284501613273,
+      "eval_dim_128_cosine_ndcg@10": 0.2641617300886433,
+      "eval_dim_128_cosine_precision@1": 0.007503410641200546,
+      "eval_dim_128_cosine_precision@10": 0.0665075034106412,
+      "eval_dim_128_cosine_precision@3": 0.020236471123237832,
+      "eval_dim_128_cosine_precision@5": 0.07462482946793998,
+      "eval_dim_128_cosine_recall@1": 0.007503410641200546,
+      "eval_dim_128_cosine_recall@10": 0.665075034106412,
+      "eval_dim_128_cosine_recall@3": 0.06070941336971351,
+      "eval_dim_128_cosine_recall@5": 0.37312414733969984,
+      "eval_dim_256_cosine_accuracy@1": 0.009549795361527967,
+      "eval_dim_256_cosine_accuracy@10": 0.713506139154161,
+      "eval_dim_256_cosine_accuracy@3": 0.0723055934515689,
+      "eval_dim_256_cosine_accuracy@5": 0.4106412005457026,
+      "eval_dim_256_cosine_map@100": 0.17096884521775468,
+      "eval_dim_256_cosine_mrr@10": 0.1559981268541958,
+      "eval_dim_256_cosine_ndcg@10": 0.28559481472300186,
+      "eval_dim_256_cosine_precision@1": 0.009549795361527967,
+      "eval_dim_256_cosine_precision@10": 0.07135061391541608,
+      "eval_dim_256_cosine_precision@3": 0.024101864483856296,
+      "eval_dim_256_cosine_precision@5": 0.08212824010914052,
+      "eval_dim_256_cosine_recall@1": 0.009549795361527967,
+      "eval_dim_256_cosine_recall@10": 0.713506139154161,
+      "eval_dim_256_cosine_recall@3": 0.0723055934515689,
+      "eval_dim_256_cosine_recall@5": 0.4106412005457026,
+      "eval_dim_512_cosine_accuracy@1": 0.007503410641200546,
+      "eval_dim_512_cosine_accuracy@10": 0.7285129604365621,
+      "eval_dim_512_cosine_accuracy@3": 0.0688949522510232,
+      "eval_dim_512_cosine_accuracy@5": 0.40654843110504774,
+      "eval_dim_512_cosine_map@100": 0.1702634278904753,
+      "eval_dim_512_cosine_mrr@10": 0.15564731804499674,
+      "eval_dim_512_cosine_ndcg@10": 0.28864373602538085,
+      "eval_dim_512_cosine_precision@1": 0.007503410641200546,
+      "eval_dim_512_cosine_precision@10": 0.0728512960436562,
+      "eval_dim_512_cosine_precision@3": 0.022964984083674395,
+      "eval_dim_512_cosine_precision@5": 0.08130968622100954,
+      "eval_dim_512_cosine_recall@1": 0.007503410641200546,
+      "eval_dim_512_cosine_recall@10": 0.7285129604365621,
+      "eval_dim_512_cosine_recall@3": 0.0688949522510232,
+      "eval_dim_512_cosine_recall@5": 0.40654843110504774,
+      "eval_dim_64_cosine_accuracy@1": 0.0047748976807639835,
+      "eval_dim_64_cosine_accuracy@10": 0.6125511596180082,
+      "eval_dim_64_cosine_accuracy@3": 0.05798090040927694,
+      "eval_dim_64_cosine_accuracy@5": 0.33901773533424284,
+      "eval_dim_64_cosine_map@100": 0.14541967837644934,
+      "eval_dim_64_cosine_mrr@10": 0.12895282487710774,
+      "eval_dim_64_cosine_ndcg@10": 0.24113965638184232,
+      "eval_dim_64_cosine_precision@1": 0.0047748976807639835,
+      "eval_dim_64_cosine_precision@10": 0.06125511596180082,
+      "eval_dim_64_cosine_precision@3": 0.019326966803092312,
+      "eval_dim_64_cosine_precision@5": 0.06780354706684857,
+      "eval_dim_64_cosine_recall@1": 0.0047748976807639835,
+      "eval_dim_64_cosine_recall@10": 0.6125511596180082,
+      "eval_dim_64_cosine_recall@3": 0.05798090040927694,
+      "eval_dim_64_cosine_recall@5": 0.33901773533424284,
+      "eval_dim_768_cosine_accuracy@1": 0.008867667121418827,
+      "eval_dim_768_cosine_accuracy@10": 0.742837653478854,
+      "eval_dim_768_cosine_accuracy@3": 0.07025920873124147,
+      "eval_dim_768_cosine_accuracy@5": 0.40313778990450205,
+      "eval_dim_768_cosine_map@100": 0.17294783798650806,
+      "eval_dim_768_cosine_mrr@10": 0.15909747937373914,
+      "eval_dim_768_cosine_ndcg@10": 0.29453813752341906,
+      "eval_dim_768_cosine_precision@1": 0.008867667121418827,
+      "eval_dim_768_cosine_precision@10": 0.0742837653478854,
+      "eval_dim_768_cosine_precision@3": 0.023419736243747154,
+      "eval_dim_768_cosine_precision@5": 0.08062755798090042,
+      "eval_dim_768_cosine_recall@1": 0.008867667121418827,
+      "eval_dim_768_cosine_recall@10": 0.742837653478854,
+      "eval_dim_768_cosine_recall@3": 0.07025920873124147,
+      "eval_dim_768_cosine_recall@5": 0.40313778990450205,
+      "eval_runtime": 312.3268,
+      "eval_samples_per_second": 0.0,
+      "eval_sequential_score": 0.24113965638184232,
+      "eval_steps_per_second": 0.0,
+      "step": 824
+    },
+    {
+      "epoch": 2.0142575458819962,
+      "grad_norm": 0.6989903450012207,
+      "learning_rate": 1.1613494644204755e-05,
+      "loss": 0.0715,
+      "step": 830
+    },
+    {
+      "epoch": 2.0385257090853934,
+      "grad_norm": 0.031900301575660706,
+      "learning_rate": 1.1404083561052454e-05,
+      "loss": 0.0021,
+      "step": 840
+    },
+    {
+      "epoch": 2.062793872288791,
+      "grad_norm": 0.8742988109588623,
+      "learning_rate": 1.1194042400131213e-05,
+      "loss": 0.0065,
+      "step": 850
+    },
+    {
+      "epoch": 2.0870620354921887,
+      "grad_norm": 1.0062671899795532,
+      "learning_rate": 1.098346541670455e-05,
+      "loss": 0.0105,
+      "step": 860
+    },
+    {
+      "epoch": 2.1113301986955864,
+      "grad_norm": 0.1330879032611847,
+      "learning_rate": 1.0772447106484544e-05,
+      "loss": 0.0024,
+      "step": 870
+    },
+    {
+      "epoch": 2.1355983618989836,
+      "grad_norm": 1.5431034564971924,
+      "learning_rate": 1.0561082163227173e-05,
+      "loss": 0.0025,
+      "step": 880
+    },
+    {
+      "epoch": 2.159866525102381,
+      "grad_norm": 0.20452944934368134,
+      "learning_rate": 1.0349465436238826e-05,
+      "loss": 0.014,
+      "step": 890
+    },
+    {
+      "epoch": 2.184134688305779,
+      "grad_norm": 3.1080780029296875,
+      "learning_rate": 1.0137691887812994e-05,
+      "loss": 0.0016,
+      "step": 900
+    },
+    {
+      "epoch": 2.2084028515091765,
+      "grad_norm": 1.0478427410125732,
+      "learning_rate": 9.925856550616272e-06,
+      "loss": 0.008,
+      "step": 910
+    },
+    {
+      "epoch": 2.232671014712574,
+      "grad_norm": 0.037069372832775116,
+      "learning_rate": 9.714054485042734e-06,
+      "loss": 0.0041,
+      "step": 920
+    },
+    {
+      "epoch": 2.2569391779159713,
+      "grad_norm": 0.2362644523382187,
+      "learning_rate": 9.502380736555945e-06,
+      "loss": 0.0308,
+      "step": 930
+    },
+    {
+      "epoch": 2.281207341119369,
+      "grad_norm": 3.4790825843811035,
+      "learning_rate": 9.290930293037599e-06,
+      "loss": 0.011,
+      "step": 940
+    },
+    {
+      "epoch": 2.3054755043227666,
+      "grad_norm": 0.30720242857933044,
+      "learning_rate": 9.079798042162046e-06,
+      "loss": 0.0207,
+      "step": 950
+    },
+    {
+      "epoch": 2.3297436675261642,
+      "grad_norm": 0.33387142419815063,
+      "learning_rate": 8.86907872881575e-06,
+      "loss": 0.0048,
+      "step": 960
+    },
+    {
+      "epoch": 2.3540118307295614,
+      "grad_norm": 0.01000495720654726,
+      "learning_rate": 8.658866912580852e-06,
+      "loss": 0.0215,
+      "step": 970
+    },
+    {
+      "epoch": 2.378279993932959,
+      "grad_norm": 0.8057634234428406,
+      "learning_rate": 8.449256925301883e-06,
+      "loss": 0.0061,
+      "step": 980
+    },
+    {
+      "epoch": 2.4025481571363567,
+      "grad_norm": 3.0753707885742188,
+      "learning_rate": 8.24034282875464e-06,
+      "loss": 0.0164,
+      "step": 990
+    },
+    {
+      "epoch": 2.4268163203397544,
+      "grad_norm": 1.1145414113998413,
+      "learning_rate": 8.032218372436314e-06,
+      "loss": 0.0255,
+      "step": 1000
+    },
+    {
+      "epoch": 2.451084483543152,
+      "grad_norm": 0.014523504301905632,
+      "learning_rate": 7.824976951495696e-06,
+      "loss": 0.0062,
+      "step": 1010
+    },
+    {
+      "epoch": 2.475352646746549,
+      "grad_norm": 0.09692133218050003,
+      "learning_rate": 7.618711564822419e-06,
+      "loss": 0.0079,
+      "step": 1020
+    },
+    {
+      "epoch": 2.499620809949947,
+      "grad_norm": 0.9156332015991211,
+      "learning_rate": 7.413514773314043e-06,
+      "loss": 0.005,
+      "step": 1030
+    },
+    {
+      "epoch": 2.5238889731533445,
+      "grad_norm": 0.18534983694553375,
+      "learning_rate": 7.209478658339626e-06,
+      "loss": 0.042,
+      "step": 1040
+    },
+    {
+      "epoch": 2.548157136356742,
+      "grad_norm": 0.10605430603027344,
+      "learning_rate": 7.006694780418558e-06,
+      "loss": 0.0057,
+      "step": 1050
+    },
+    {
+      "epoch": 2.5724252995601393,
+      "grad_norm": 0.0882348120212555,
+      "learning_rate": 6.805254138133061e-06,
+      "loss": 0.0384,
+      "step": 1060
+    },
+    {
+      "epoch": 2.596693462763537,
+      "grad_norm": 0.7285648584365845,
+      "learning_rate": 6.605247127292887e-06,
+      "loss": 0.009,
+      "step": 1070
+    },
+    {
+      "epoch": 2.6209616259669346,
+      "grad_norm": 0.013403256423771381,
+      "learning_rate": 6.406763500370515e-06,
+      "loss": 0.0089,
+      "step": 1080
+    },
+    {
+      "epoch": 2.6452297891703322,
+      "grad_norm": 0.07016568630933762,
+      "learning_rate": 6.2098923262250075e-06,
+      "loss": 0.0034,
+      "step": 1090
+    },
+    {
+      "epoch": 2.66949795237373,
+      "grad_norm": 16.01243782043457,
+      "learning_rate": 6.014721950132694e-06,
+      "loss": 0.026,
+      "step": 1100
+    },
+    {
+      "epoch": 2.6937661155771275,
+      "grad_norm": 16.028738021850586,
+      "learning_rate": 5.821339954142486e-06,
+      "loss": 0.0358,
+      "step": 1110
+    },
+    {
+      "epoch": 2.7180342787805247,
+      "grad_norm": 0.19954819977283478,
+      "learning_rate": 5.629833117773755e-06,
+      "loss": 0.0033,
+      "step": 1120
+    },
+    {
+      "epoch": 2.7423024419839224,
+      "grad_norm": 0.07437506318092346,
+      "learning_rate": 5.440287379074321e-06,
+      "loss": 0.0037,
+      "step": 1130
+    },
+    {
+      "epoch": 2.76657060518732,
+      "grad_norm": 0.047555409371852875,
+      "learning_rate": 5.252787796056005e-06,
+      "loss": 0.0195,
+      "step": 1140
+    },
+    {
+      "epoch": 2.790838768390717,
+      "grad_norm": 0.12791568040847778,
+      "learning_rate": 5.067418508525181e-06,
+      "loss": 0.0024,
+      "step": 1150
+    },
+    {
+      "epoch": 2.815106931594115,
+      "grad_norm": 1.663771629333496,
+      "learning_rate": 4.884262700325282e-06,
+      "loss": 0.0533,
+      "step": 1160
+    },
+    {
+      "epoch": 2.8393750947975125,
+      "grad_norm": 0.5862261056900024,
+      "learning_rate": 4.703402562008355e-06,
+      "loss": 0.0137,
+      "step": 1170
+    },
+    {
+      "epoch": 2.86364325800091,
+      "grad_norm": 0.08700157701969147,
+      "learning_rate": 4.52491925395232e-06,
+      "loss": 0.0125,
+      "step": 1180
+    },
+    {
+      "epoch": 2.8879114212043078,
+      "grad_norm": 0.02824460342526436,
+      "learning_rate": 4.3488928699405135e-06,
+      "loss": 0.0253,
+      "step": 1190
+    },
+    {
+      "epoch": 2.9121795844077054,
+      "grad_norm": 0.005378555506467819,
+      "learning_rate": 4.175402401219894e-06,
+      "loss": 0.0068,
+      "step": 1200
+    },
+    {
+      "epoch": 2.9364477476111026,
+      "grad_norm": 0.2840709984302521,
+      "learning_rate": 4.004525701053964e-06,
+      "loss": 0.0436,
+      "step": 1210
+    },
+    {
+      "epoch": 2.9607159108145003,
+      "grad_norm": 0.3918948769569397,
+      "learning_rate": 3.836339449786396e-06,
+      "loss": 0.0021,
+      "step": 1220
+    },
+    {
+      "epoch": 2.984984074017898,
+      "grad_norm": 1.3828555345535278,
+      "learning_rate": 3.6709191204309845e-06,
+      "loss": 0.0129,
+      "step": 1230
+    },
+    {
+      "epoch": 2.9995449719399363,
+      "eval_dim_128_cosine_accuracy@1": 0.008185538881309686,
+      "eval_dim_128_cosine_accuracy@10": 0.694406548431105,
+      "eval_dim_128_cosine_accuracy@3": 0.05798090040927694,
+      "eval_dim_128_cosine_accuracy@5": 0.3860845839017735,
+      "eval_dim_128_cosine_map@100": 0.16363198200379098,
+      "eval_dim_128_cosine_mrr@10": 0.14819208947789936,
+      "eval_dim_128_cosine_ndcg@10": 0.2749254568568281,
+      "eval_dim_128_cosine_precision@1": 0.008185538881309686,
+      "eval_dim_128_cosine_precision@10": 0.06944065484311049,
+      "eval_dim_128_cosine_precision@3": 0.019326966803092312,
+      "eval_dim_128_cosine_precision@5": 0.07721691678035471,
+      "eval_dim_128_cosine_recall@1": 0.008185538881309686,
+      "eval_dim_128_cosine_recall@10": 0.694406548431105,
+      "eval_dim_128_cosine_recall@3": 0.05798090040927694,
+      "eval_dim_128_cosine_recall@5": 0.3860845839017735,
+      "eval_dim_256_cosine_accuracy@1": 0.0034106412005457027,
+      "eval_dim_256_cosine_accuracy@10": 0.7223738062755798,
+      "eval_dim_256_cosine_accuracy@3": 0.06616643929058663,
+      "eval_dim_256_cosine_accuracy@5": 0.417462482946794,
+      "eval_dim_256_cosine_map@100": 0.1659963653118235,
+      "eval_dim_256_cosine_mrr@10": 0.15151719396262187,
+      "eval_dim_256_cosine_ndcg@10": 0.2841815053560014,
+      "eval_dim_256_cosine_precision@1": 0.0034106412005457027,
+      "eval_dim_256_cosine_precision@10": 0.07223738062755797,
+      "eval_dim_256_cosine_precision@3": 0.022055479763528875,
+      "eval_dim_256_cosine_precision@5": 0.08349249658935878,
+      "eval_dim_256_cosine_recall@1": 0.0034106412005457027,
+      "eval_dim_256_cosine_recall@10": 0.7223738062755798,
+      "eval_dim_256_cosine_recall@3": 0.06616643929058663,
+      "eval_dim_256_cosine_recall@5": 0.417462482946794,
+      "eval_dim_512_cosine_accuracy@1": 0.0068212824010914054,
+      "eval_dim_512_cosine_accuracy@10": 0.7503410641200545,
+      "eval_dim_512_cosine_accuracy@3": 0.06753069577080491,
+      "eval_dim_512_cosine_accuracy@5": 0.41609822646657574,
+      "eval_dim_512_cosine_map@100": 0.17102359712258386,
+      "eval_dim_512_cosine_mrr@10": 0.15798631412546613,
+      "eval_dim_512_cosine_ndcg@10": 0.29545256337366416,
+      "eval_dim_512_cosine_precision@1": 0.0068212824010914054,
+      "eval_dim_512_cosine_precision@10": 0.07503410641200545,
+      "eval_dim_512_cosine_precision@3": 0.022510231923601638,
+      "eval_dim_512_cosine_precision@5": 0.08321964529331514,
+      "eval_dim_512_cosine_recall@1": 0.0068212824010914054,
+      "eval_dim_512_cosine_recall@10": 0.7503410641200545,
+      "eval_dim_512_cosine_recall@3": 0.06753069577080491,
+      "eval_dim_512_cosine_recall@5": 0.41609822646657574,
+      "eval_dim_64_cosine_accuracy@1": 0.0068212824010914054,
+      "eval_dim_64_cosine_accuracy@10": 0.6323328785811733,
+      "eval_dim_64_cosine_accuracy@3": 0.06684856753069578,
+      "eval_dim_64_cosine_accuracy@5": 0.36221009549795363,
+      "eval_dim_64_cosine_map@100": 0.15255646759369407,
+      "eval_dim_64_cosine_mrr@10": 0.13584827519002,
+      "eval_dim_64_cosine_ndcg@10": 0.25115836351492093,
+      "eval_dim_64_cosine_precision@1": 0.0068212824010914054,
+      "eval_dim_64_cosine_precision@10": 0.06323328785811731,
+      "eval_dim_64_cosine_precision@3": 0.022282855843565257,
+      "eval_dim_64_cosine_precision@5": 0.07244201909959072,
+      "eval_dim_64_cosine_recall@1": 0.0068212824010914054,
+      "eval_dim_64_cosine_recall@10": 0.6323328785811733,
+      "eval_dim_64_cosine_recall@3": 0.06684856753069578,
+      "eval_dim_64_cosine_recall@5": 0.36221009549795363,
+      "eval_dim_768_cosine_accuracy@1": 0.004092769440654843,
+      "eval_dim_768_cosine_accuracy@10": 0.7612551159618008,
+      "eval_dim_768_cosine_accuracy@3": 0.06412005457025921,
+      "eval_dim_768_cosine_accuracy@5": 0.4208731241473397,
+      "eval_dim_768_cosine_map@100": 0.1714890252442529,
+      "eval_dim_768_cosine_mrr@10": 0.15883599688169725,
+      "eval_dim_768_cosine_ndcg@10": 0.2986249242161157,
+      "eval_dim_768_cosine_precision@1": 0.004092769440654843,
+      "eval_dim_768_cosine_precision@10": 0.07612551159618008,
+      "eval_dim_768_cosine_precision@3": 0.021373351523419733,
+      "eval_dim_768_cosine_precision@5": 0.08417462482946794,
+      "eval_dim_768_cosine_recall@1": 0.004092769440654843,
+      "eval_dim_768_cosine_recall@10": 0.7612551159618008,
+      "eval_dim_768_cosine_recall@3": 0.06412005457025921,
+      "eval_dim_768_cosine_recall@5": 0.4208731241473397,
+      "eval_runtime": 311.0822,
+      "eval_samples_per_second": 0.0,
+      "eval_sequential_score": 0.25115836351492093,
+      "eval_steps_per_second": 0.0,
+      "step": 1236
+    },
+    {
+      "epoch": 3.0092522372212955,
+      "grad_norm": 0.058822404593229294,
+      "learning_rate": 3.508338944803371e-06,
+      "loss": 0.0037,
+      "step": 1240
+    },
+    {
+      "epoch": 3.0335204004246927,
+      "grad_norm": 2.0644218921661377,
+      "learning_rate": 3.3486718802097904e-06,
+      "loss": 0.0161,
+      "step": 1250
+    },
+    {
+      "epoch": 3.0577885636280904,
+      "grad_norm": 0.24226796627044678,
+      "learning_rate": 3.1919895767077024e-06,
+      "loss": 0.0164,
+      "step": 1260
+    },
+    {
+      "epoch": 3.082056726831488,
+      "grad_norm": 0.004309698939323425,
+      "learning_rate": 3.038362344953082e-06,
+      "loss": 0.0007,
+      "step": 1270
+    },
+    {
+      "epoch": 3.1063248900348857,
+      "grad_norm": 0.0222060177475214,
+      "learning_rate": 2.8878591246487496e-06,
+      "loss": 0.0023,
+      "step": 1280
+    },
+    {
+      "epoch": 3.130593053238283,
+      "grad_norm": 0.15199095010757446,
+      "learning_rate": 2.7405474536079112e-06,
+      "loss": 0.0073,
+      "step": 1290
+    },
+    {
+      "epoch": 3.1548612164416805,
+      "grad_norm": 3.450101375579834,
+      "learning_rate": 2.5964934374467886e-06,
+      "loss": 0.0134,
+      "step": 1300
+    },
+    {
+      "epoch": 3.179129379645078,
+      "grad_norm": 0.2848964035511017,
+      "learning_rate": 2.4557617199199455e-06,
+      "loss": 0.0021,
+      "step": 1310
+    },
+    {
+      "epoch": 3.2033975428484758,
+      "grad_norm": 0.048863932490348816,
+      "learning_rate": 2.318415453911623e-06,
+      "loss": 0.0571,
+      "step": 1320
+    },
+    {
+      "epoch": 3.227665706051873,
+      "grad_norm": 0.018151430413126945,
+      "learning_rate": 2.184516273096099e-06,
+      "loss": 0.0376,
+      "step": 1330
+    },
+    {
+      "epoch": 3.2519338692552706,
+      "grad_norm": 0.29090723395347595,
+      "learning_rate": 2.054124264279781e-06,
+      "loss": 0.0049,
+      "step": 1340
+    },
+    {
+      "epoch": 3.2762020324586683,
+      "grad_norm": 0.12183438986539841,
+      "learning_rate": 1.927297940437457e-06,
+      "loss": 0.0151,
+      "step": 1350
+    },
+    {
+      "epoch": 3.300470195662066,
+      "grad_norm": 0.023617880418896675,
+      "learning_rate": 1.8040942144547847e-06,
+      "loss": 0.002,
+      "step": 1360
+    },
+    {
+      "epoch": 3.3247383588654635,
+      "grad_norm": 0.026082368567585945,
+      "learning_rate": 1.6845683735888362e-06,
+      "loss": 0.0276,
+      "step": 1370
+    },
+    {
+      "epoch": 3.3490065220688607,
+      "grad_norm": 0.17559580504894257,
+      "learning_rate": 1.5687740546581309e-06,
+      "loss": 0.0007,
+      "step": 1380
+    },
+    {
+      "epoch": 3.3732746852722584,
+      "grad_norm": 0.6238240599632263,
+      "learning_rate": 1.4567632199732795e-06,
+      "loss": 0.0324,
+      "step": 1390
+    },
+    {
+      "epoch": 3.397542848475656,
+      "grad_norm": 0.05853324756026268,
+      "learning_rate": 1.3485861340190853e-06,
+      "loss": 0.0043,
+      "step": 1400
+    },
+    {
+      "epoch": 3.4218110116790537,
+      "grad_norm": 5.688457489013672,
+      "learning_rate": 1.2442913408985247e-06,
+      "loss": 0.0074,
+      "step": 1410
+    },
+    {
+      "epoch": 3.446079174882451,
+      "grad_norm": 0.014380146749317646,
+      "learning_rate": 1.143925642548729e-06,
+      "loss": 0.005,
+      "step": 1420
+    },
+    {
+      "epoch": 3.4703473380858485,
+      "grad_norm": 0.004129716195166111,
+      "learning_rate": 1.0475340777387988e-06,
+      "loss": 0.0066,
+      "step": 1430
+    },
+    {
+      "epoch": 3.494615501289246,
+      "grad_norm": 2.045743465423584,
+      "learning_rate": 9.55159901858783e-07,
+      "loss": 0.0039,
+      "step": 1440
+    },
+    {
+      "epoch": 3.518883664492644,
+      "grad_norm": 0.14692433178424835,
+      "learning_rate": 8.668445675089843e-07,
+      "loss": 0.0056,
+      "step": 1450
+    },
+    {
+      "epoch": 3.5431518276960414,
+      "grad_norm": 0.016420599073171616,
+      "learning_rate": 7.826277058982401e-07,
+      "loss": 0.0039,
+      "step": 1460
+    },
+    {
+      "epoch": 3.567419990899439,
+      "grad_norm": 0.018839633092284203,
+      "learning_rate": 7.025471090595459e-07,
+      "loss": 0.0148,
+      "step": 1470
+    },
+    {
+      "epoch": 3.5916881541028363,
+      "grad_norm": 0.10725314170122147,
+      "learning_rate": 6.266387128910167e-07,
+      "loss": 0.0029,
+      "step": 1480
+    },
+    {
+      "epoch": 3.615956317306234,
+      "grad_norm": 0.3421079218387604,
+      "learning_rate": 5.549365810297646e-07,
+      "loss": 0.011,
+      "step": 1490
+    },
+    {
+      "epoch": 3.6402244805096315,
+      "grad_norm": 0.10575210303068161,
+      "learning_rate": 4.874728895659664e-07,
+      "loss": 0.0029,
+      "step": 1500
+    },
+    {
+      "epoch": 3.6644926437130287,
+      "grad_norm": 0.37251242995262146,
+      "learning_rate": 4.242779126039387e-07,
+      "loss": 0.0057,
+      "step": 1510
+    },
+    {
+      "epoch": 3.6887608069164264,
+      "grad_norm": 0.06366808712482452,
+      "learning_rate": 3.653800086767489e-07,
+      "loss": 0.0013,
+      "step": 1520
+    },
+    {
+      "epoch": 3.713028970119824,
+      "grad_norm": 0.03356878086924553,
+      "learning_rate": 3.108056080204136e-07,
+      "loss": 0.0618,
+      "step": 1530
+    },
+    {
+      "epoch": 3.7372971333232217,
+      "grad_norm": 0.009979511611163616,
+      "learning_rate": 2.6057920071341115e-07,
+      "loss": 0.0102,
+      "step": 1540
+    },
+    {
+      "epoch": 3.7615652965266193,
+      "grad_norm": 0.009158286266028881,
+      "learning_rate": 2.147233256868564e-07,
+      "loss": 0.0009,
+      "step": 1550
+    },
+    {
+      "epoch": 3.785833459730017,
+      "grad_norm": 0.745036780834198,
+      "learning_rate": 1.7325856061022106e-07,
+      "loss": 0.023,
+      "step": 1560
+    },
+    {
+      "epoch": 3.810101622933414,
+      "grad_norm": 0.15607702732086182,
+      "learning_rate": 1.362035126571748e-07,
+      "loss": 0.0067,
+      "step": 1570
+    },
+    {
+      "epoch": 3.834369786136812,
+      "grad_norm": 0.025057826191186905,
+      "learning_rate": 1.0357481015568217e-07,
+      "loss": 0.011,
+      "step": 1580
+    },
+    {
+      "epoch": 3.8586379493402094,
+      "grad_norm": 0.2385823130607605,
+      "learning_rate": 7.538709512609488e-08,
+      "loss": 0.0023,
+      "step": 1590
+    },
+    {
+      "epoch": 3.8829061125436066,
+      "grad_norm": 0.34772989153862,
+      "learning_rate": 5.165301671059331e-08,
+      "loss": 0.0154,
+      "step": 1600
+    },
+    {
+      "epoch": 3.9071742757470043,
+      "grad_norm": 0.3472934663295746,
+      "learning_rate": 3.2383225496929185e-08,
+      "loss": 0.0014,
+      "step": 1610
+    },
+    {
+      "epoch": 3.931442438950402,
+      "grad_norm": 0.021597877144813538,
+      "learning_rate": 1.7586368739005433e-08,
+      "loss": 0.0024,
+      "step": 1620
+    },
+    {
+      "epoch": 3.9557106021537995,
+      "grad_norm": 2.3207926750183105,
+      "learning_rate": 7.269086476456855e-09,
+      "loss": 0.0034,
+      "step": 1630
+    },
+    {
+      "epoch": 3.979978765357197,
+      "grad_norm": 0.03757787495851517,
+      "learning_rate": 1.4360085549480762e-09,
+      "loss": 0.0022,
+      "step": 1640
+    },
+    {
+      "epoch": 3.999393295919915,
+      "eval_dim_128_cosine_accuracy@1": 0.008185538881309686,
+      "eval_dim_128_cosine_accuracy@10": 0.6950886766712142,
+      "eval_dim_128_cosine_accuracy@3": 0.05593451568894952,
+      "eval_dim_128_cosine_accuracy@5": 0.3840381991814461,
+      "eval_dim_128_cosine_map@100": 0.16389295635755213,
+      "eval_dim_128_cosine_mrr@10": 0.14822809069057183,
+      "eval_dim_128_cosine_ndcg@10": 0.27519563194479246,
+      "eval_dim_128_cosine_precision@1": 0.008185538881309686,
+      "eval_dim_128_cosine_precision@10": 0.0695088676671214,
+      "eval_dim_128_cosine_precision@3": 0.018644838562983174,
+      "eval_dim_128_cosine_precision@5": 0.07680763983628923,
+      "eval_dim_128_cosine_recall@1": 0.008185538881309686,
+      "eval_dim_128_cosine_recall@10": 0.6950886766712142,
+      "eval_dim_128_cosine_recall@3": 0.05593451568894952,
+      "eval_dim_128_cosine_recall@5": 0.3840381991814461,
+      "eval_dim_256_cosine_accuracy@1": 0.008185538881309686,
+      "eval_dim_256_cosine_accuracy@10": 0.7271487039563438,
+      "eval_dim_256_cosine_accuracy@3": 0.06207366984993179,
+      "eval_dim_256_cosine_accuracy@5": 0.41678035470668484,
+      "eval_dim_256_cosine_map@100": 0.1692974551068429,
+      "eval_dim_256_cosine_mrr@10": 0.15479628185971772,
+      "eval_dim_256_cosine_ndcg@10": 0.2876701680743724,
+      "eval_dim_256_cosine_precision@1": 0.008185538881309686,
+      "eval_dim_256_cosine_precision@10": 0.07271487039563437,
+      "eval_dim_256_cosine_precision@3": 0.020691223283310595,
+      "eval_dim_256_cosine_precision@5": 0.08335607094133697,
+      "eval_dim_256_cosine_recall@1": 0.008185538881309686,
+      "eval_dim_256_cosine_recall@10": 0.7271487039563438,
+      "eval_dim_256_cosine_recall@3": 0.06207366984993179,
+      "eval_dim_256_cosine_recall@5": 0.41678035470668484,
+      "eval_dim_512_cosine_accuracy@1": 0.0068212824010914054,
+      "eval_dim_512_cosine_accuracy@10": 0.7448840381991815,
+      "eval_dim_512_cosine_accuracy@3": 0.059345156889495224,
+      "eval_dim_512_cosine_accuracy@5": 0.4311050477489768,
+      "eval_dim_512_cosine_map@100": 0.1710230677531375,
+      "eval_dim_512_cosine_mrr@10": 0.15735047315879294,
+      "eval_dim_512_cosine_ndcg@10": 0.29381415276343026,
+      "eval_dim_512_cosine_precision@1": 0.0068212824010914054,
+      "eval_dim_512_cosine_precision@10": 0.07448840381991814,
+      "eval_dim_512_cosine_precision@3": 0.019781718963165072,
+      "eval_dim_512_cosine_precision@5": 0.08622100954979535,
+      "eval_dim_512_cosine_recall@1": 0.0068212824010914054,
+      "eval_dim_512_cosine_recall@10": 0.7448840381991815,
+      "eval_dim_512_cosine_recall@3": 0.059345156889495224,
+      "eval_dim_512_cosine_recall@5": 0.4311050477489768,
+      "eval_dim_64_cosine_accuracy@1": 0.007503410641200546,
+      "eval_dim_64_cosine_accuracy@10": 0.6412005457025921,
+      "eval_dim_64_cosine_accuracy@3": 0.06275579809004093,
+      "eval_dim_64_cosine_accuracy@5": 0.3792633015006821,
+      "eval_dim_64_cosine_map@100": 0.15410585003942584,
+      "eval_dim_64_cosine_mrr@10": 0.13775254986032456,
+      "eval_dim_64_cosine_ndcg@10": 0.2546507438265754,
+      "eval_dim_64_cosine_precision@1": 0.007503410641200546,
+      "eval_dim_64_cosine_precision@10": 0.0641200545702592,
+      "eval_dim_64_cosine_precision@3": 0.020918599363346974,
+      "eval_dim_64_cosine_precision@5": 0.07585266030013643,
+      "eval_dim_64_cosine_recall@1": 0.007503410641200546,
+      "eval_dim_64_cosine_recall@10": 0.6412005457025921,
+      "eval_dim_64_cosine_recall@3": 0.06275579809004093,
+      "eval_dim_64_cosine_recall@5": 0.3792633015006821,
+      "eval_dim_768_cosine_accuracy@1": 0.007503410641200546,
+      "eval_dim_768_cosine_accuracy@10": 0.76193724420191,
+      "eval_dim_768_cosine_accuracy@3": 0.06002728512960437,
+      "eval_dim_768_cosine_accuracy@5": 0.4304229195088677,
+      "eval_dim_768_cosine_map@100": 0.17310179565186012,
+      "eval_dim_768_cosine_mrr@10": 0.1604208622967127,
+      "eval_dim_768_cosine_ndcg@10": 0.3000127641618364,
+      "eval_dim_768_cosine_precision@1": 0.007503410641200546,
+      "eval_dim_768_cosine_precision@10": 0.07619372442019098,
+      "eval_dim_768_cosine_precision@3": 0.020009095043201454,
+      "eval_dim_768_cosine_precision@5": 0.08608458390177355,
+      "eval_dim_768_cosine_recall@1": 0.007503410641200546,
+      "eval_dim_768_cosine_recall@10": 0.76193724420191,
+      "eval_dim_768_cosine_recall@3": 0.06002728512960437,
+      "eval_dim_768_cosine_recall@5": 0.4304229195088677,
+      "eval_runtime": 311.0424,
+      "eval_samples_per_second": 0.0,
+      "eval_sequential_score": 0.2546507438265754,
+      "eval_steps_per_second": 0.0,
+      "step": 1648
+    }
+  ],
+  "logging_steps": 10,
+  "max_steps": 1648,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 4,
+  "save_steps": 500,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": true
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 0.0,
+  "train_batch_size": 2,
+  "trial_name": null,
+  "trial_params": null
+}

checkpoint-1648/training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c4cc2f888d304cc638d9229cee4d97273e72d5cd4109d5e994883f9da6feea4d
+size 5496

checkpoint-824/1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

checkpoint-824/README.md

@@ -0,0 +1,1003 @@
+---
+language:
+- en
+license: apache-2.0
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:13186
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+base_model: nomic-ai/nomic-embed-text-v2-moe
+widget:
+- source_sentence: ООО "Сибирские ягоды" зарегистрировало географическое указание
+    на свою продукцию.  В связи с реорганизацией общества, оно изменило свое наименование
+    на АО "Ягодный край". Какие действия необходимо предпринять АО "Ягодный край"
+    в соответствии с предоставленным текстом статьи закона для внесения изменений
+    в Государственный реестр?
+  sentences:
+  - <p>5. Если в силу договора факторинга финансовый агент (фактор) несет обязанности
+    по оплате цены приобретенных им денежных требований, по предоставлению клиенту
+    займа (кредита) или по оказанию клиенту услуг, к отношениям сторон по договору
+    факторинга применяются правила соответственно о купле-продаже, займе (кредите),
+    возмездном оказании услуг постольку, поскольку это не противоречит положениям
+    настоящей главы и существу отношений по договору факторинга.</p><p>(Статья в редакции
+    Федерального закона <a href="102439953">от 26.07.2017 № 212-ФЗ</a>)</p>
+  - <p>1. В случае, когда договором купли-продажи предусмотрена оплата товара через
+    определенное время после его передачи покупателю (продажа товара в кредит), покупатель
+    должен произвести оплату в срок, предусмотренный договором, а если такой срок
+    договором не предусмотрен, в срок, определенный в соответствии со статьей 314
+    настоящего Кодекса.</p><p>2. В случае неисполнения продавцом обязанности по передаче
+    товара применяются правила, предусмотренные статьей 328 настоящего Кодекса.</p><p>3.
+    В случае, когда покупатель, получивший товар, не исполняет обязанность по его
+    оплате в установленный договором купли-продажи срок, продавец вправе потребовать
+    оплаты переданного товара или возврата неоплаченных товаров.</p><p>4. В случае,
+    когда покупатель не исполняет обязанность по оплате переданного товара в установленный
+    договором срок и иное не предусмотрено настоящим Кодексом или договором купли-продажи,
+    на просроченную сумму подлежат уплате проценты в соответствии со статьей 395 настоящего
+    Кодекса со дня, когда по договору товар должен был быть оплачен, до дня оплаты
+    товара покупателем.</p><p>Договором может быть предусмотрена обязанность покупателя
+    уплачивать проценты на сумму, соответствующую цене товара, начиная со дня передачи
+    товара продавцом.</p><p>5. Если иное не предусмотрено договором купли-продажи,
+    с момента передачи товара покупателю и до его оплаты товар, проданный в кредит,
+    признается находящимся в залоге у продавца для обеспечения исполнения покупателем
+    его обязанности по оплате товара.</p>
+  - <p>1. Федеральный орган исполнительной власти по интеллектуальной собственности
+    вносит по заявлению правообладателя в Государственный реестр указаний и ��аименований
+    изменения, относящиеся к государственной регистрации географического указания
+    или наименования места происхождения товара и предоставлению исключительного права
+    на географическое указание или наименование места происхождения товара (пункт
+    2 статьи 1529), в том числе к наименованию или имени правообладателя, его месту
+    нахождения или месту жительства, адресу для переписки, сведениям, касающимся перечня
+    лиц, имеющих право использования географического указания или наименования места
+    происхождения товара, условий использования географического указания или наименования
+    места происхождения товара входящими в объединение лицами, а также изменения для
+    исправления очевидных и технических ошибок.</p><p>2. К заявлению о внесении изменений
+    в сведения, относящиеся к государственной регистрации географического указания
+    или наименования места происхождения товара, в том числе указанные в подпунктах
+    1 - 4, 6 - 9 пункта 2 статьи 1522, пункте 1 статьи 15221 настоящего Кодекса, прилагаются
+    документы или заключение уполномоченного органа, подтверждающие обоснованность
+    и необходимость внесения таких изменений.</p><p class="P">(Статья в редакции Федерального
+    закона <a href="102577263">от 26.07.2019 № 230-ФЗ</a>)</p>
+- source_sentence: Какие возражения может выдвинуть должник против требования третьего
+    лица, если договор предусматривает исполнение в пользу третьего лица, но не указывает
+    его конкретно, и третье лицо заявило о своих правах?
+  sentences:
+  - <p>1. В случаях стихийных бедствий, аварий, эпидемий, эпизоотий и при иных обстоятельствах,
+    носящих чрезвычайный характер, имущество в интересах общества по решению государственных
+    органов может быть изъято у собственника в порядке и на условиях, установленных
+    законом, с выплатой ему стоимости имущества (реквизиция).</p><p>2. Оценка, по
+    которой собственнику возмещается стоимость реквизированного имущества, может быть
+    оспорена им в суде.</p><p>3. Лицо, имущество которого реквизировано, вправе при
+    прекращении действия обстоятельств, в связи с которыми произведена реквизиция,
+    требовать по суду возврата ему сохранившегося имущества.</p>
+  - <p>1. Собственники помещений в многоквартирном доме или нескольких многоквартирных
+    домах либо собственники нескольких жилых домов для совместного управления общим
+    имуществом в многоквартирном доме либо имуществом собственников помещений в нескольких
+    многоквартирных домах или имуществом собственников нескольких жилых домов и осуществления
+    деятельности по созданию, содержанию, сохранению и приращению такого имущества,
+    а также для осуществления иной деятельности, направленной на достижение целей
+    управления многоквартирными домами либо на совместное использование имущества,
+    принадлежащего собственникам помещений в нескольких м��огоквартирных домах, или
+    имущества собственников нескольких жилых домов, могут создавать товарищества собственников
+    жилья. (В редакции Федерального закона <a href="102387998">от 31.01.2016 № 7-ФЗ</a>)</p><p>2.
+    Товарищество собственников жилья является некоммерческой организацией, создаваемой
+    и действующей в соответствии с законом о товариществах собственников жилья.</p>
+  - <p>1. Договором в пользу третьего лица признается договор, в котором стороны установили,
+    что должник обязан произвести исполнение не кредитору, а указанному или не указанному
+    в договоре третьему лицу, имеющему право требовать от должника исполнения обязательства
+    в свою пользу.</p><p>2. Если иное не предусмотрено законом, иными правовыми актами
+    или договором, с момента выражения третьим лицом должнику намерения воспользоваться
+    своим правом по договору стороны не могут расторгать или изменять заключенный
+    ими договор без согласия третьего лица.</p><p>3. Должник в договоре вправе выдвигать
+    против требования третьего лица возражения, которые он мог бы выдвинуть против
+    кредитора.</p><p>4. В случае, когда третье лицо отказалось от права, предоставленного
+    ему по договору, кредитор может воспользоваться этим правом, если это не противоречит
+    закону, иным правовым актам и договору.</p>
+- source_sentence: Заявитель на полезную модель внес изменения в описание технического
+    результата через 14 месяцев после подачи заявки. Эти изменения касаются уточнения
+    способа достижения заявленного технического результата, но не меняют сам результат.
+    Будут ли эти изменения учтены при публикации сведений о заявке согласно пункту
+    5 статьи?
+  sentences:
+  - <p>указание на технический результат, который обеспечивается изобретением или
+    полезной моделью и не связан с техническим результатом, содержащимся в тех же
+    документах.</p><p>3. Дополнительные материалы изменяют заявку на промышленный
+    образец по существу, если они содержат изображения изделия, на которых:</p><p>представлен
+    иной промышленный образец, не удовлетворяющий требованию единства промышленного
+    образца в отношении промышленного образца или группы промышленных образцов, раскрытых
+    на изображениях, принятых к рассмотрению;</p><p>представлены существенные признаки
+    промышленного образца, отсутствующие на изображениях, представленных на дату подачи
+    заявки, либо представлены изображения изделия, с которых удалены существенные
+    признаки промышленного образца, имеющиеся на изображениях, представленных на дату
+    подачи заявки.</p><p>4. Изменения сведений об авторе, о заявителе, в том числе
+    при передаче права на получение патента другому лицу либо вследствие изменения
+    имени автора, имени или наименования заявителя, а также исправления очевидных
+    и технических ошибок могут быть внесены заявителем в документы заявки по ��обственной
+    инициативе до регистрации изобретения, полезной модели или промышленного образца.</p><p>5.
+    Изменения, внесенные заявителем в документы заявки на изобретение, учитываются
+    при публикации сведений о заявке, если такие изменения представлены в федеральный
+    орган исполнительной власти по интеллектуальной собственности в течение пятнадцати
+    месяцев с даты подачи заявки.</p><p>(Статья в редакции Федерального закона <a
+    href="102171743">от 12.03.2014 № 35-ФЗ</a>)</p>
+  - <p>1. Опекун или попечитель распоряжается доходами подопечного, в том числе доходами,
+    причитающимися подопечному от управления его имуществом, за исключением доходов,
+    которыми подопечный вправе распоряжаться самостоятельно, исключительно в интересах
+    подопечного и с предварительного разрешения органа опеки и попечительства. Суммы
+    алиментов, пенсий, пособий, возмещения вреда здоровью и вреда, понесенного в случае
+    смерти кормильца, а также иные выплачиваемые на содержание подопечного средства,
+    за исключением доходов, которыми подопечный вправе распоряжаться самостоятельно,
+    подлежат зачислению на отдельный номинальный счет, открываемый опекуном или попечителем
+    в соответствии с главой 45 настоящего Кодекса, и расходуются опекуном или попечителем
+    без предварительного разрешения органа опеки и попечительства. Опекун или попечитель
+    предоставляет отчет о расходовании сумм, зачисляемых на отдельный номинальный
+    счет, в порядке, установленном Федеральным законом <a href="102121401">"Об опеке
+    и попечительстве"</a>. Случаи, при которых опекун вправе не предоставлять отчет
+    о расходовании сумм, зачисляемых на отдельный номинальный счет, устанавливаются
+    Федеральным законом <a href="102121401">"Об опеке и попечительстве"</a>. (В редакции
+    федеральных законов <a href="102162486">от 30.12.2012 № 302-ФЗ</a>; <a href="102456108">от
+    29.12.2017 № 459-ФЗ</a>)</p><p>2. Опекун не вправе без предварительного разрешения
+    органа опеки и попечительства совершать, а попечитель - давать согласие на совершение
+    сделок по отчуждению, в том числе обмену или дарению имущества подопечного, сдаче
+    его внаем (в аренду), в безвозмездное пользование или в залог, сделок, влекущих
+    отказ от принадлежащих подопечному прав, раздел его имущества или выдел из него
+    долей, а также любых других действий, влекущих уменьшение имущества подопечного.
+    (В редакции Федерального закона <a href="102162486">от 30.12.2012 № 302-ФЗ</a>)</p>
+  - <p>1. Заказчик обязан в сроки и в порядке, которые предусмотрены договором подряда,
+    с участием подрядчика осмотреть и принять выполненную работу (ее результат), а
+    при обнаружении отступлений от договора, ухудшающих результат работы, или иных
+    недостатков в работе немедленно заявить об этом подрядчику.</p><p>2. Заказчик,
+    обнаруживший недостатки в работе при ее приемке, вправе ссылаться на них в случаях,
+    если в акте либо в ином документе, удостоверяющем приемку, были оговорены эти
+    недостатки либо возможность последующего предъявления требования об их устранении.</p><p>3.
+    Если иное не предусмотрено договором подряда, заказчик, принявший работу без проверки,
+    лишается права ссылаться на недостатки работы, которые могли быть установлены
+    при обычном способе ее приемки (явные недостатки).</p><p>4. Заказчик, обнаруживший
+    после приемки работы отступления в ней от договора подряда или иные недостатки,
+    которые не могли быть установлены при обычном способе приемки (скрытые недостатки),
+    в том числе такие, которые были умышленно скрыты подрядчиком, обязан известить
+    об этом подрядчика в разумный срок по их обнаружении.</p><p>5. При возникновении
+    между заказчиком и подрядчиком спора по поводу недостатков выполненной работы
+    или их причин по требованию любой из сторон должна быть назначена экспертиза.
+    Расходы на экспертизу несет подрядчик, за исключением случаев, когда экспертизой
+    установлено отсутствие нарушений подрядчиком договора подряда или причинной связи
+    между действиями подрядчика и обнаруженными недостатками. В указанных случаях
+    расходы на экспертизу несет сторона, потребовавшая назначения экспертизы, а если
+    она назначена по соглашению между сторонами, обе стороны поровну.</p>
+- source_sentence: Владелец квартиры на верхнем этаже многоквартирного дома хочет
+    установить кондиционер, труба которого будет проходить через стену соседней квартиры,
+    не затрагивая земельный участок. Может ли быть установлен сервитут на стену соседней
+    квартиры для прокладки трубы кондиционера, согласно приведенному тексту статьи?
+  sentences:
+  - <p>1. Комиссионер не отвечает перед комитентом за неисполнение третьим лицом сделки,
+    заключенной с ним за счет комитента, кроме случаев, когда комиссионер не проявил
+    необходимой осмотрительности в выборе этого лица либо принял на себя ручательство
+    за исполнение сделки (делькредере).</p><p>2. В случае неисполнения третьим лицом
+    сделки, заключенной с ним комиссионером, комиссионер обязан немедленно сообщить
+    об этом комитенту, собрать необходимые доказательства, а также по требованию комитента
+    передать ему права по такой сделке с соблюдением правил об уступке требования
+    (статьи 382 - 386, 388, 389).</p><p>3. Уступка прав комитенту по сделке на основании
+    пункта 2 настоящей статьи допускается независимо от соглашения комиссионера с
+    третьим лицом, запрещающего или ограничивающего такую уступку. Это не освобождает
+    комиссионера от ответственности перед третьим лицом в связи с уступкой права в
+    нарушение соглашения о ее запрете или об ограничении.</p>
+  - <p>Применительно к правилам, предусмотренным статьями 274 - 276 настоящего Кодекса,
+    сервитутом могут обременяться здания, сооружения и другое недвижимое иму��ество,
+    ограниченное пользование которым необходимо вне связи с пользованием земельным
+    участком.</p>
+  - <p>1. Завещатель вправе отменить или изменить составленное им завещание в любое
+    время после его совершения, не указывая при этом причины его отмены или изменения.</p><p>Для
+    отмены или изменения завещания не требуется чье-либо согласие, в том числе лиц,
+    назначенных наследниками в отменяемом или изменяемом завещании.</p><p>2. Завещатель
+    вправе посредством нового завещания отменить прежнее завещание в целом либо изменить
+    его посредством отмены или изменения отдельных содержащихся в нем завещательных
+    распоряжений.</p><p>Последующее завещание, не содержащее прямых указаний об отмене
+    прежнего завещания или отдельных содержащихся в нем завещательных распоряжений,
+    отменяет это прежнее завещание полностью или в части, в которой оно противоречит
+    последующему завещанию.</p><p>Завещание, отмененное полностью или частично последующим
+    завещанием, не восстанавливается, если последующее завещание отменено завещателем
+    полностью или в соответствующей части.</p><p>3. В случае недействительности последующего
+    завещания наследование осуществляется в соответствии с прежним завещанием.</p><p>4.
+    Завещание может быть отменено также посредством распоряжения о его отмене. Распоряжение
+    об отмене завещания должно быть совершено в форме, установленной настоящим Кодексом
+    для совершения завещания. К распоряжению об отмене завещания соответственно применяются
+    правила пункта 3 настоящей статьи.</p><p>5. Завещанием, совершенным в чрезвычайных
+    обстоятельствах (статья 1129), может быть отменено или изменено только такое же
+    завещание.</p><p>6. Завещательным распоряжением в банке (статья 1128) может быть
+    отменено или изменено только завещательное распоряжение правами на денежные средства
+    в соответствующем банке.</p>
+- source_sentence: Компания «Альфа» заключила договор с инженером Петровским на разработку
+    нового программного обеспечения.  В процессе работы Петровский создал изобретение,
+    защищаемое патентом. Договор не содержал пунктов, касающихся прав на интеллектуальную
+    собственность.  Кто является правообладателем патента на изобретение, и может
+    ли компания «Альфа» использовать это изобретение без выплаты дополнительного вознаграждения?
+  sentences:
+  - <p>передаче в порядке, установленном частью 11 статьи 154 Федерального закона
+    <a href="102088491">от 22 августа 2004 года № 122-ФЗ</a> "О внесении изменений
+    в законодательные акты Российской Федерации и признании утратившими силу некоторых
+    законодательных актов Российской Федерации в связи с принятием федеральных законов
+    <a href="102067003">"О внесении изменений и дополнений в Федеральный закон "Об
+    общих принципах организации законодательных (представительных) и исполнительных
+    органов государственной власти субъектов Российской Федерации"</a> и <a href="102083574">"Об
+    общих принципах организации местного самоуправления в Российской Федерации"</a>,
+    акций из федеральной собственности в собственность субъекта Российской Федерации
+    или муниципальную собственность, из собственности субъекта Российской Федерации
+    в федеральную собственность или муниципальную собственность, из муниципальной
+    собственности в федеральную собственность или собственность субъекта Российской
+    Федерации. (Дополнение абзацем - Федеральный закон <a href="102157372">от 14.06.2012
+    № 77-ФЗ</a>)</p>
+  - <p>4. Если учрежденное за границей юридическое лицо осуществляет свою предпринимательскую
+    деятельность преимущественно на территории Российской Федерации, к требованиям
+    об ответственности по обязательствам юридического лица его учредителей (участников),
+    других лиц, которые имеют право давать обязательные для него указания или иным
+    образом имеют возможность определять его действия, применяется российское право
+    либо по выбору кредитора личный закон такого юридического лица. (Дополнение пунктом
+    - Федеральный закон <a href="102168115">от 30.09.2013 № 260-ФЗ</a>)</p>
+  - <p>1. Право на получение патента и исключительное право на изобретение, полезную
+    модель или промышленный образец, созданные при выполнении договора подряда или
+    договора на выполнение научно-исследовательских, опытно-конструкторских или технологических
+    работ, которые прямо не предусматривали их создание, принадлежат подрядчику (исполнителю),
+    если договором между ним и заказчиком не предусмотрено иное. (В редакции Федерального
+    закона <a href="102171743">от 12.03.2014 № 35-ФЗ</a>)</p><p>В этом случае заказчик
+    вправе, если договором не предусмотрено иное, использовать созданные таким образом
+    изобретение, полезную модель или промышленный образец в целях, для достижения
+    которых был заключен соответствующий договор, на условиях простой (неисключительной)
+    лицензии в течение всего срока действия патента без выплаты за это использование
+    дополнительного вознаграждения. При передаче подрядчиком (исполнителем) права
+    на получение патента или отчуждении самого патента другому лицу заказчик сохраняет
+    право использования изобретения, полезной модели или промышленного образца на
+    указанных условиях.</p><p>2. В случае, когда в соответствии с договором между
+    подрядчиком (исполнителем) и заказчиком право на получение патента или исключительное
+    право на изобретение, полезную модель или промышленный образец передано заказчику
+    либо указанному им третьему лицу, подрядчик (исполнитель) вправе использовать
+    созданные изобретение, полезную модель или промышленный образец для собственных
+    нужд на условиях безвозмездной простой (неисключительной) лицензии в течение всего
+    срока действия патента, если договором не предусмотрено иное.</p><p>3. Автору
+    указанных в пункте 1 настоящей статьи изобретения, полезной модели или промышленного
+    образца, не являющемуся патентообладателем, выплачивается вознаграждение в соответствии
+    с пунктом 4 статьи 1370 настоящего Кодекса.</p>
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- cosine_accuracy@1
+- cosine_accuracy@3
+- cosine_accuracy@5
+- cosine_accuracy@10
+- cosine_precision@1
+- cosine_precision@3
+- cosine_precision@5
+- cosine_precision@10
+- cosine_recall@1
+- cosine_recall@3
+- cosine_recall@5
+- cosine_recall@10
+- cosine_ndcg@10
+- cosine_mrr@10
+- cosine_map@100
+model-index:
+- name: tuned nomic v2
+  results:
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 768
+      type: dim_768
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.008867667121418827
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.07025920873124147
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.40313778990450205
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.742837653478854
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.008867667121418827
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.023419736243747154
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.08062755798090042
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.0742837653478854
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.008867667121418827
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.07025920873124147
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.40313778990450205
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.742837653478854
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.29453813752341906
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.15909747937373914
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.17294783798650806
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 512
+      type: dim_512
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.007503410641200546
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.0688949522510232
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.40654843110504774
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7285129604365621
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.007503410641200546
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.022964984083674395
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.08130968622100954
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.0728512960436562
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.007503410641200546
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.0688949522510232
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.40654843110504774
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7285129604365621
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.28864373602538085
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.15564731804499674
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.1702634278904753
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 256
+      type: dim_256
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.009549795361527967
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.0723055934515689
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.4106412005457026
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.713506139154161
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.009549795361527967
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.024101864483856296
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.08212824010914052
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07135061391541608
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.009549795361527967
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.0723055934515689
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.4106412005457026
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.713506139154161
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.28559481472300186
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.1559981268541958
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.17096884521775468
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 128
+      type: dim_128
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.007503410641200546
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.06070941336971351
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.37312414733969984
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.665075034106412
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.007503410641200546
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.020236471123237832
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.07462482946793998
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.0665075034106412
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.007503410641200546
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.06070941336971351
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.37312414733969984
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.665075034106412
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.2641617300886433
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.1428284501613273
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.15984371570467878
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 64
+      type: dim_64
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.0047748976807639835
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.05798090040927694
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.33901773533424284
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.6125511596180082
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.0047748976807639835
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.019326966803092312
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.06780354706684857
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.06125511596180082
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.0047748976807639835
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.05798090040927694
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.33901773533424284
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.6125511596180082
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.24113965638184232
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.12895282487710774
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.14541967837644934
+      name: Cosine Map@100
+---
+
+# tuned nomic v2
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [nomic-ai/nomic-embed-text-v2-moe](https://huggingface.co/nomic-ai/nomic-embed-text-v2-moe) on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [nomic-ai/nomic-embed-text-v2-moe](https://huggingface.co/nomic-ai/nomic-embed-text-v2-moe) <!-- at revision f6a8873b415144a69ffc529ec1e234d1e00ee765 -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+- **Training Dataset:**
+    - json
+- **Language:** en
+- **License:** apache-2.0
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: NomicBertModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'Компания «Альфа» заключила договор с инженером Петровским на разработку нового программного обеспечения.  В процессе работы Петровский создал изобретение, защищаемое патентом. Договор не содержал пунктов, касающихся прав на интеллектуальную собственность.  Кто является правообладателем патента на изобретение, и может ли компания «Альфа» использовать это изобретение без выплаты дополнительного вознаграждения?',
+    '<p>1. Право на получение патента и исключительное право на изобретение, полезную модель или промышленный образец, созданные при выполнении договора подряда или договора на выполнение научно-исследовательских, опытно-конструкторских или технологических работ, которые прямо не предусматривали их создание, принадлежат подрядчику (исполнителю), если договором между ним и заказчиком не предусмотрено иное. (В редакции Федерального закона <a href="102171743">от 12.03.2014 № 35-ФЗ</a>)</p><p>В этом случае заказчик вправе, если договором не предусмотрено иное, использовать созданные таким образом изобретение, полезную модель или промышленный образец в целях, для достижения которых был заключен соответствующий договор, на условиях простой (неисключительной) лицензии в течение всего срока действия патента без выплаты за это использование дополнительного вознаграждения. При передаче подрядчиком (исполнителем) права на получение патента или отчуждении самого патента другому лицу заказчик сохраняет право использования изобретения, полезной модели или промышленного образца на указанных условиях.</p><p>2. В случае, когда в соответствии с договором между подрядчиком (исполнителем) и заказчиком право на получение патента или исключительное право на изобретение, полезную модель или промышленный образец передано заказчику либо указанному им третьему лицу, подрядчик (исполнитель) вправе использовать созданные изобретение, полезную модель или промышленный образец для собственных нужд на условиях безвозмездной простой (неисключительной) лицензии в течение всего срока действия патента, если договором не предусмотрено иное.</p><p>3. Автору указанных в пункте 1 настоящей статьи изобретения, полезной модели или промышленного образца, не являющемуся патентообладателем, выплачивается вознаграждение в соответствии с пунктом 4 статьи 1370 настоящего Кодекса.</p>',
+    '<p>передаче в порядке, установленном частью 11 статьи 154 Федерального закона <a href="102088491">от 22 августа 2004 года № 122-ФЗ</a> "О внесении изменений в законодательны�� акты Российской Федерации и признании утратившими силу некоторых законодательных актов Российской Федерации в связи с принятием федеральных законов <a href="102067003">"О внесении изменений и дополнений в Федеральный закон "Об общих принципах организации законодательных (представительных) и исполнительных органов государственной власти субъектов Российской Федерации"</a> и <a href="102083574">"Об общих принципах организации местного самоуправления в Российской Федерации"</a>, акций из федеральной собственности в собственность субъекта Российской Федерации или муниципальную собственность, из собственности субъекта Российской Федерации в федеральную собственность или муниципальную собственность, из муниципальной собственности в федеральную собственность или собственность субъекта Российской Федерации. (Дополнение абзацем - Федеральный закон <a href="102157372">от 14.06.2012 № 77-ФЗ</a>)</p>',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Information Retrieval
+
+* Datasets: `dim_768`, `dim_512`, `dim_256`, `dim_128` and `dim_64`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | dim_768    | dim_512    | dim_256    | dim_128    | dim_64     |
+|:--------------------|:-----------|:-----------|:-----------|:-----------|:-----------|
+| cosine_accuracy@1   | 0.0089     | 0.0075     | 0.0095     | 0.0075     | 0.0048     |
+| cosine_accuracy@3   | 0.0703     | 0.0689     | 0.0723     | 0.0607     | 0.058      |
+| cosine_accuracy@5   | 0.4031     | 0.4065     | 0.4106     | 0.3731     | 0.339      |
+| cosine_accuracy@10  | 0.7428     | 0.7285     | 0.7135     | 0.6651     | 0.6126     |
+| cosine_precision@1  | 0.0089     | 0.0075     | 0.0095     | 0.0075     | 0.0048     |
+| cosine_precision@3  | 0.0234     | 0.023      | 0.0241     | 0.0202     | 0.0193     |
+| cosine_precision@5  | 0.0806     | 0.0813     | 0.0821     | 0.0746     | 0.0678     |
+| cosine_precision@10 | 0.0743     | 0.0729     | 0.0714     | 0.0665     | 0.0613     |
+| cosine_recall@1     | 0.0089     | 0.0075     | 0.0095     | 0.0075     | 0.0048     |
+| cosine_recall@3     | 0.0703     | 0.0689     | 0.0723     | 0.0607     | 0.058      |
+| cosine_recall@5     | 0.4031     | 0.4065     | 0.4106     | 0.3731     | 0.339      |
+| cosine_recall@10    | 0.7428     | 0.7285     | 0.7135     | 0.6651     | 0.6126     |
+| **cosine_ndcg@10**  | **0.2945** | **0.2886** | **0.2856** | **0.2642** | **0.2411** |
+| cosine_mrr@10       | 0.1591     | 0.1556     | 0.156      | 0.1428     | 0.129      |
+| cosine_map@100      | 0.1729     | 0.1703     | 0.171      | 0.1598     | 0.1454     |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### json
+
+* Dataset: json
+* Size: 13,186 training samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                              | positive                                                                             |
+  |:--------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                              | string                                                                               |
+  | details | <ul><li>min: 18 tokens</li><li>mean: 61.09 tokens</li><li>max: 162 tokens</li></ul> | <ul><li>min: 40 tokens</li><li>mean: 258.71 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                                                                                                                                                                                             | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
+  |:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Студент разработал базу данных и подал заявку на государственную регистрацию, приложив к ней описание базы данных,  реферат и заявление с указанием себя в качестве правообладателя и автора.  В заявке он указал две разные базы данных. Соответствует ли заявка студента требованиям статьи закона?</code> | <code><p>1. Правообладатель в течение срока действия исключительного права на программу для ЭВМ или на базу данных может по своему желанию зарегистрировать такую программу или такую базу данных в федеральном органе исполнительной власти по интеллектуальной собственности.</p><p>Программы для ЭВМ и базы данных, в которых содержатся сведения, составляющие государственную тайну, государственной регистрации не подлежат. Лицо, подавшее заявку на государственную регистрацию (заявитель), несет ответственность за разглашение сведений о программах для ЭВМ и базах данных, в которых содержатся сведения, составляющие государственную тайну, в соответствии с законодательством Российской Федерации.</p><p>2. Заявка на государственную регистрацию программы для ЭВМ или базы данных (заявка на регистрацию) должна относиться к одной программе для ЭВМ или к одной базе данных.</p><p>Заявка на регистрацию должна содержать:</p><p>заявление о государственной регистрации программы для ЭВМ или базы данных с указанием пр...</code> |
+  | <code>Предположим, наследственный договор предусматривает переход права собственности на дом к А, но А отказывается от наследства.  Может ли Б, другая сторона договора, потребовать исполнения договора в отношении дома, если договор не содержал бы условий о передаче дома Б в случае отказа А?</code>         | <code><p>1. Наследодатель вправе заключить с любым из лиц, которые могут призываться к наследованию (статья 1116), договор, условия которого определяют круг наследников и порядок перехода прав на имущество наследодателя после его смерти к пережившим наследодателя сторонам договора или к пережившим третьим лицам, которые могут призываться к наследованию (наследственный договор). Наследственный договор может также содержать условие о душеприказчике и возлагать на участвующих в наследственном договоре лиц, которые могут призываться к наследованию, обязанность совершить какие-либо не противоречащие закону действия имущественного или неимущественного характера, в том числе исполнить завещательные отказы или завещательные возложения.</p><p>Последствия, предусмотренные наследственным договором, могут быть поставлены в зависимость от наступивших ко дню открытия наследства обстоятельств, относительно которых при заключении наследственного договора было неизвестно, наступят они или не наступят, в том ...</code> |
+  | <code>В чем заключается различие в порядке оспаривания патента в зависимости от характера нарушения, указанного в пункте 1 настоящей статьи?</code>                                                                                                                                                                | <code><p>2. Патент на изобретение, полезную модель или промышленный образец в течение срока его действия, установленного пунктами 1 - 3 статьи 1363 настоящего Кодекса, может быть оспорен путем подачи возражения в федеральный орган исполнительной власти по интеллектуальной собственности любым лицом, которому стало известно о нарушениях, предусмотренных подпунктами 1 - 4 пункта 1 настоящей статьи.</p><p>Патент на изобретение, полезную модель или промышленный образец в течение срока его действия, установленного пунктами 1 - 3 статьи 1363 настоящего Кодекса, может быть оспорен в судебном порядке любым лицом, которому стало известно о нарушениях, предусмотренных подпунктом 5 пункта 1 настоящей статьи.</p><p>Патент на изобретение, полезную модель или промышленный образец может быть оспорен заинтересованным лицом и по истечении срока его действия по основаниям и в порядке, которые установлены абзацами первым и вторым настоящего пункта.</p></code>                                                                |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: epoch
+- `per_device_train_batch_size`: 2
+- `per_device_eval_batch_size`: 2
+- `gradient_accumulation_steps`: 16
+- `learning_rate`: 2e-05
+- `num_train_epochs`: 4
+- `lr_scheduler_type`: cosine
+- `warmup_ratio`: 0.1
+- `bf16`: True
+- `load_best_model_at_end`: True
+- `optim`: adamw_torch_fused
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: epoch
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 2
+- `per_device_eval_batch_size`: 2
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 16
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 4
+- `max_steps`: -1
+- `lr_scheduler_type`: cosine
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: False
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `eval_use_gather_object`: False
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch  | Step | Training Loss | dim_768_cosine_ndcg@10 | dim_512_cosine_ndcg@10 | dim_256_cosine_ndcg@10 | dim_128_cosine_ndcg@10 | dim_64_cosine_ndcg@10 |
+|:------:|:----:|:-------------:|:----------------------:|:----------------------:|:----------------------:|:----------------------:|:---------------------:|
+| 0.0243 | 10   | 0.2108        | -                      | -                      | -                      | -                      | -                     |
+| 0.0485 | 20   | 0.1169        | -                      | -                      | -                      | -                      | -                     |
+| 0.0728 | 30   | 0.1334        | -                      | -                      | -                      | -                      | -                     |
+| 0.0971 | 40   | 0.0963        | -                      | -                      | -                      | -                      | -                     |
+| 0.1213 | 50   | 0.127         | -                      | -                      | -                      | -                      | -                     |
+| 0.1456 | 60   | 0.1254        | -                      | -                      | -                      | -                      | -                     |
+| 0.1699 | 70   | 0.048         | -                      | -                      | -                      | -                      | -                     |
+| 0.1941 | 80   | 0.0358        | -                      | -                      | -                      | -                      | -                     |
+| 0.2184 | 90   | 0.0673        | -                      | -                      | -                      | -                      | -                     |
+| 0.2427 | 100  | 0.049         | -                      | -                      | -                      | -                      | -                     |
+| 0.2669 | 110  | 0.0222        | -                      | -                      | -                      | -                      | -                     |
+| 0.2912 | 120  | 0.0657        | -                      | -                      | -                      | -                      | -                     |
+| 0.3155 | 130  | 0.0878        | -                      | -                      | -                      | -                      | -                     |
+| 0.3398 | 140  | 0.0396        | -                      | -                      | -                      | -                      | -                     |
+| 0.3640 | 150  | 0.033         | -                      | -                      | -                      | -                      | -                     |
+| 0.3883 | 160  | 0.0562        | -                      | -                      | -                      | -                      | -                     |
+| 0.4126 | 170  | 0.0329        | -                      | -                      | -                      | -                      | -                     |
+| 0.4368 | 180  | 0.0918        | -                      | -                      | -                      | -                      | -                     |
+| 0.4611 | 190  | 0.0198        | -                      | -                      | -                      | -                      | -                     |
+| 0.4854 | 200  | 0.0181        | -                      | -                      | -                      | -                      | -                     |
+| 0.5096 | 210  | 0.0119        | -                      | -                      | -                      | -                      | -                     |
+| 0.5339 | 220  | 0.0139        | -                      | -                      | -                      | -                      | -                     |
+| 0.5582 | 230  | 0.057         | -                      | -                      | -                      | -                      | -                     |
+| 0.5824 | 240  | 0.0293        | -                      | -                      | -                      | -                      | -                     |
+| 0.6067 | 250  | 0.0482        | -                      | -                      | -                      | -                      | -                     |
+| 0.6310 | 260  | 0.017         | -                      | -                      | -                      | -                      | -                     |
+| 0.6552 | 270  | 0.0927        | -                      | -                      | -                      | -                      | -                     |
+| 0.6795 | 280  | 0.0187        | -                      | -                      | -                      | -                      | -                     |
+| 0.7038 | 290  | 0.0553        | -                      | -                      | -                      | -                      | -                     |
+| 0.7280 | 300  | 0.015         | -                      | -                      | -                      | -                      | -                     |
+| 0.7523 | 310  | 0.0438        | -                      | -                      | -                      | -                      | -                     |
+| 0.7766 | 320  | 0.0087        | -                      | -                      | -                      | -                      | -                     |
+| 0.8008 | 330  | 0.038         | -                      | -                      | -                      | -                      | -                     |
+| 0.8251 | 340  | 0.0243        | -                      | -                      | -                      | -                      | -                     |
+| 0.8494 | 350  | 0.015         | -                      | -                      | -                      | -                      | -                     |
+| 0.8737 | 360  | 0.0199        | -                      | -                      | -                      | -                      | -                     |
+| 0.8979 | 370  | 0.0516        | -                      | -                      | -                      | -                      | -                     |
+| 0.9222 | 380  | 0.0561        | -                      | -                      | -                      | -                      | -                     |
+| 0.9465 | 390  | 0.0851        | -                      | -                      | -                      | -                      | -                     |
+| 0.9707 | 400  | 0.0394        | -                      | -                      | -                      | -                      | -                     |
+| 0.9950 | 410  | 0.0114        | -                      | -                      | -                      | -                      | -                     |
+| 0.9998 | 412  | -             | 0.2806                 | 0.2779                 | 0.2742                 | 0.2597                 | 0.2253                |
+| 1.0193 | 420  | 0.0136        | -                      | -                      | -                      | -                      | -                     |
+| 1.0435 | 430  | 0.1219        | -                      | -                      | -                      | -                      | -                     |
+| 1.0678 | 440  | 0.0164        | -                      | -                      | -                      | -                      | -                     |
+| 1.0921 | 450  | 0.0927        | -                      | -                      | -                      | -                      | -                     |
+| 1.1163 | 460  | 0.0268        | -                      | -                      | -                      | -                      | -                     |
+| 1.1406 | 470  | 0.0384        | -                      | -                      | -                      | -                      | -                     |
+| 1.1649 | 480  | 0.0034        | -                      | -                      | -                      | -                      | -                     |
+| 1.1891 | 490  | 0.0183        | -                      | -                      | -                      | -                      | -                     |
+| 1.2134 | 500  | 0.0594        | -                      | -                      | -                      | -                      | -                     |
+| 1.2377 | 510  | 0.0145        | -                      | -                      | -                      | -                      | -                     |
+| 1.2619 | 520  | 0.0768        | -                      | -                      | -                      | -                      | -                     |
+| 1.2862 | 530  | 0.0084        | -                      | -                      | -                      | -                      | -                     |
+| 1.3105 | 540  | 0.0528        | -                      | -                      | -                      | -                      | -                     |
+| 1.3347 | 550  | 0.0619        | -                      | -                      | -                      | -                      | -                     |
+| 1.3590 | 560  | 0.0326        | -                      | -                      | -                      | -                      | -                     |
+| 1.3833 | 570  | 0.0135        | -                      | -                      | -                      | -                      | -                     |
+| 1.4076 | 580  | 0.0143        | -                      | -                      | -                      | -                      | -                     |
+| 1.4318 | 590  | 0.0952        | -                      | -                      | -                      | -                      | -                     |
+| 1.4561 | 600  | 0.0188        | -                      | -                      | -                      | -                      | -                     |
+| 1.4804 | 610  | 0.01          | -                      | -                      | -                      | -                      | -                     |
+| 1.5046 | 620  | 0.091         | -                      | -                      | -                      | -                      | -                     |
+| 1.5289 | 630  | 0.0205        | -                      | -                      | -                      | -                      | -                     |
+| 1.5532 | 640  | 0.0156        | -                      | -                      | -                      | -                      | -                     |
+| 1.5774 | 650  | 0.0101        | -                      | -                      | -                      | -                      | -                     |
+| 1.6017 | 660  | 0.022         | -                      | -                      | -                      | -                      | -                     |
+| 1.6260 | 670  | 0.0135        | -                      | -                      | -                      | -                      | -                     |
+| 1.6502 | 680  | 0.0226        | -                      | -                      | -                      | -                      | -                     |
+| 1.6745 | 690  | 0.0032        | -                      | -                      | -                      | -                      | -                     |
+| 1.6988 | 700  | 0.0071        | -                      | -                      | -                      | -                      | -                     |
+| 1.7230 | 710  | 0.028         | -                      | -                      | -                      | -                      | -                     |
+| 1.7473 | 720  | 0.0351        | -                      | -                      | -                      | -                      | -                     |
+| 1.7716 | 730  | 0.0021        | -                      | -                      | -                      | -                      | -                     |
+| 1.7958 | 740  | 0.0073        | -                      | -                      | -                      | -                      | -                     |
+| 1.8201 | 750  | 0.0103        | -                      | -                      | -                      | -                      | -                     |
+| 1.8444 | 760  | 0.0219        | -                      | -                      | -                      | -                      | -                     |
+| 1.8686 | 770  | 0.0035        | -                      | -                      | -                      | -                      | -                     |
+| 1.8929 | 780  | 0.0579        | -                      | -                      | -                      | -                      | -                     |
+| 1.9172 | 790  | 0.0298        | -                      | -                      | -                      | -                      | -                     |
+| 1.9415 | 800  | 0.0076        | -                      | -                      | -                      | -                      | -                     |
+| 1.9657 | 810  | 0.0038        | -                      | -                      | -                      | -                      | -                     |
+| 1.9900 | 820  | 0.0016        | -                      | -                      | -                      | -                      | -                     |
+| 1.9997 | 824  | -             | 0.2945                 | 0.2886                 | 0.2856                 | 0.2642                 | 0.2411                |
+
+
+### Framework Versions
+- Python: 3.11.11
+- Sentence Transformers: 3.4.1
+- Transformers: 4.43.0
+- PyTorch: 2.6.0+cu124
+- Accelerate: 1.3.0
+- Datasets: 3.3.2
+- Tokenizers: 0.19.1
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

checkpoint-824/config.json

@@ -0,0 +1,74 @@
+{
+  "_name_or_path": "nomic-ai/nomic-embed-text-v2-moe",
+  "activation_function": "gelu",
+  "add_pooling_layer": false,
+  "architectures": [
+    "NomicBertModel"
+  ],
+  "attn_pdrop": 0.0,
+  "auto_map": {
+    "AutoConfig": "nomic-ai/nomic-bert-2048--configuration_hf_nomic_bert.NomicBertConfig",
+    "AutoModel": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertModel",
+    "AutoModelForMaskedLM": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForPreTraining",
+    "AutoModelForMultipleChoice": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForMultipleChoice",
+    "AutoModelForQuestionAnswering": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForQuestionAnswering",
+    "AutoModelForSequenceClassification": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForSequenceClassification",
+    "AutoModelForTokenClassification": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForTokenClassification"
+  },
+  "bos_token_id": null,
+  "causal": false,
+  "dense_seq_output": true,
+  "embd_pdrop": 0.1,
+  "eos_token_id": null,
+  "expert_choice_router": false,
+  "ffn_div": 1,
+  "fused_bias_fc": true,
+  "fused_dropout_add_ln": true,
+  "initializer_range": 0.02,
+  "layer_norm_epsilon": 1e-05,
+  "max_trained_positions": 2048,
+  "mlp_fc1_bias": true,
+  "mlp_fc2_bias": true,
+  "model_type": "nomic_bert",
+  "moe_every_n_layers": 2,
+  "moe_impl": "megablocks",
+  "moe_normalize_expert_weights": false,
+  "moe_resid_pdrop": 0.0,
+  "moe_top_k": 2,
+  "n_embd": 768,
+  "n_head": 12,
+  "n_inner": 3072,
+  "n_layer": 12,
+  "n_positions": 2048,
+  "num_experts": 8,
+  "num_shared_experts": 0,
+  "pad_token_id": 1,
+  "pad_vocab_size_multiple": 64,
+  "parallel_block": false,
+  "parallel_block_tied_norm": false,
+  "prenorm": false,
+  "qkv_proj_bias": true,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.0,
+  "rotary_emb_base": 10000,
+  "rotary_emb_fraction": 1.0,
+  "rotary_emb_interleaved": false,
+  "rotary_emb_scale_base": null,
+  "rotary_scaling_factor": null,
+  "router_aux_loss_coef": 0.1,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "torch_dtype": "float32",
+  "transformers_version": "4.43.0",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "use_flash_attn": true,
+  "use_rms_norm": null,
+  "use_xentropy": true,
+  "vocab_size": 250048
+}

checkpoint-824/config_sentence_transformers.json

@@ -0,0 +1,20 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.4.1",
+    "transformers": "4.43.0",
+    "pytorch": "2.6.0+cu124"
+  },
+  "prompts": {
+    "query": "search_query: ",
+    "passage": "search_document: ",
+    "Classification": "classification: ",
+    "MultilabelClassification": "classification: ",
+    "Clustering": "clustering: ",
+    "PairClassification": "classification: ",
+    "STS": "classification: ",
+    "Summarization": "classification: ",
+    "Speed": "search_document: "
+  },
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

checkpoint-824/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:68f2f4ba072bfa7c6627b309c57fecf3fb2906e1c2c335b351950b19645d224c
+size 1901187232

checkpoint-824/modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

checkpoint-824/optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:55a9b814f52a6e224cb9d7b4865d3be8baa7e34f8f7fdd1ce8b6125599ed7d03
+size 3802469370

checkpoint-824/rng_state.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:906504a436fbb1c5d023f09ec27c57dc3e2511770b1be28fd786d515abcb25f0
+size 14244

checkpoint-824/scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e31275b8609ead53eee7566b29cc534ba993ece49f2d45fa4ebb91647939b16e
+size 1064

checkpoint-824/sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

checkpoint-824/sentencepiece.bpe.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cfc8146abe2a0488e9e2a0c56de7952f7c11ab059eca145a0a727afce0db2865
+size 5069051

checkpoint-824/special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

checkpoint-824/tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:883b037111086fd4dfebbbc9b7cee11e1517b5e0c0514879478661440f137085
+size 17082987

checkpoint-824/tokenizer_config.json

@@ -0,0 +1,54 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "250001": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "model_max_length": 512,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "XLMRobertaTokenizer",
+  "unk_token": "<unk>"
+}

checkpoint-824/trainer_state.json

@@ -0,0 +1,773 @@
+{
+  "best_metric": 0.2641617300886433,
+  "best_model_checkpoint": "Nomic/nomic-v2-tuned-1/checkpoint-824",
+  "epoch": 1.9996966479599574,
+  "eval_steps": 500,
+  "global_step": 824,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.024268163203397544,
+      "grad_norm": 6.184824466705322,
+      "learning_rate": 1.2121212121212122e-06,
+      "loss": 0.2108,
+      "step": 10
+    },
+    {
+      "epoch": 0.04853632640679509,
+      "grad_norm": 7.719327449798584,
+      "learning_rate": 2.4242424242424244e-06,
+      "loss": 0.1169,
+      "step": 20
+    },
+    {
+      "epoch": 0.07280448961019263,
+      "grad_norm": 4.0327959060668945,
+      "learning_rate": 3.6363636363636366e-06,
+      "loss": 0.1334,
+      "step": 30
+    },
+    {
+      "epoch": 0.09707265281359018,
+      "grad_norm": 5.168394088745117,
+      "learning_rate": 4.848484848484849e-06,
+      "loss": 0.0963,
+      "step": 40
+    },
+    {
+      "epoch": 0.12134081601698772,
+      "grad_norm": 14.108105659484863,
+      "learning_rate": 6.060606060606061e-06,
+      "loss": 0.127,
+      "step": 50
+    },
+    {
+      "epoch": 0.14560897922038527,
+      "grad_norm": 0.29993921518325806,
+      "learning_rate": 7.272727272727273e-06,
+      "loss": 0.1254,
+      "step": 60
+    },
+    {
+      "epoch": 0.1698771424237828,
+      "grad_norm": 1.5108305215835571,
+      "learning_rate": 8.484848484848486e-06,
+      "loss": 0.048,
+      "step": 70
+    },
+    {
+      "epoch": 0.19414530562718035,
+      "grad_norm": 2.570068836212158,
+      "learning_rate": 9.696969696969698e-06,
+      "loss": 0.0358,
+      "step": 80
+    },
+    {
+      "epoch": 0.21841346883057788,
+      "grad_norm": 13.097607612609863,
+      "learning_rate": 1.0909090909090909e-05,
+      "loss": 0.0673,
+      "step": 90
+    },
+    {
+      "epoch": 0.24268163203397544,
+      "grad_norm": 4.809088230133057,
+      "learning_rate": 1.2121212121212122e-05,
+      "loss": 0.049,
+      "step": 100
+    },
+    {
+      "epoch": 0.26694979523737294,
+      "grad_norm": 0.4637127220630646,
+      "learning_rate": 1.3333333333333333e-05,
+      "loss": 0.0222,
+      "step": 110
+    },
+    {
+      "epoch": 0.29121795844077053,
+      "grad_norm": 3.315945625305176,
+      "learning_rate": 1.4545454545454546e-05,
+      "loss": 0.0657,
+      "step": 120
+    },
+    {
+      "epoch": 0.31548612164416806,
+      "grad_norm": 1.816904067993164,
+      "learning_rate": 1.575757575757576e-05,
+      "loss": 0.0878,
+      "step": 130
+    },
+    {
+      "epoch": 0.3397542848475656,
+      "grad_norm": 0.5492209792137146,
+      "learning_rate": 1.6969696969696972e-05,
+      "loss": 0.0396,
+      "step": 140
+    },
+    {
+      "epoch": 0.3640224480509631,
+      "grad_norm": 0.6514124274253845,
+      "learning_rate": 1.8181818181818182e-05,
+      "loss": 0.033,
+      "step": 150
+    },
+    {
+      "epoch": 0.3882906112543607,
+      "grad_norm": 0.20525218546390533,
+      "learning_rate": 1.9393939393939395e-05,
+      "loss": 0.0562,
+      "step": 160
+    },
+    {
+      "epoch": 0.41255877445775824,
+      "grad_norm": 12.202320098876953,
+      "learning_rate": 1.999943905097692e-05,
+      "loss": 0.0329,
+      "step": 170
+    },
+    {
+      "epoch": 0.43682693766115577,
+      "grad_norm": 7.067898273468018,
+      "learning_rate": 1.9994951836381796e-05,
+      "loss": 0.0918,
+      "step": 180
+    },
+    {
+      "epoch": 0.4610951008645533,
+      "grad_norm": 0.13020876049995422,
+      "learning_rate": 1.998597942081397e-05,
+      "loss": 0.0198,
+      "step": 190
+    },
+    {
+      "epoch": 0.4853632640679509,
+      "grad_norm": 0.3073924779891968,
+      "learning_rate": 1.9972525830614725e-05,
+      "loss": 0.0181,
+      "step": 200
+    },
+    {
+      "epoch": 0.5096314272713484,
+      "grad_norm": 0.40409696102142334,
+      "learning_rate": 1.9954597103037342e-05,
+      "loss": 0.0119,
+      "step": 210
+    },
+    {
+      "epoch": 0.5338995904747459,
+      "grad_norm": 2.918846845626831,
+      "learning_rate": 1.9932201283537935e-05,
+      "loss": 0.0139,
+      "step": 220
+    },
+    {
+      "epoch": 0.5581677536781435,
+      "grad_norm": 8.526318550109863,
+      "learning_rate": 1.9905348422165075e-05,
+      "loss": 0.057,
+      "step": 230
+    },
+    {
+      "epoch": 0.5824359168815411,
+      "grad_norm": 10.81310749053955,
+      "learning_rate": 1.987405056904986e-05,
+      "loss": 0.0293,
+      "step": 240
+    },
+    {
+      "epoch": 0.6067040800849386,
+      "grad_norm": 0.8693222999572754,
+      "learning_rate": 1.9838321768998462e-05,
+      "loss": 0.0482,
+      "step": 250
+    },
+    {
+      "epoch": 0.6309722432883361,
+      "grad_norm": 5.930874347686768,
+      "learning_rate": 1.9798178055189563e-05,
+      "loss": 0.017,
+      "step": 260
+    },
+    {
+      "epoch": 0.6552404064917337,
+      "grad_norm": 4.582831859588623,
+      "learning_rate": 1.9753637441979533e-05,
+      "loss": 0.0927,
+      "step": 270
+    },
+    {
+      "epoch": 0.6795085696951312,
+      "grad_norm": 0.19732092320919037,
+      "learning_rate": 1.970471991681853e-05,
+      "loss": 0.0187,
+      "step": 280
+    },
+    {
+      "epoch": 0.7037767328985287,
+      "grad_norm": 0.7359830141067505,
+      "learning_rate": 1.9651447431281213e-05,
+      "loss": 0.0553,
+      "step": 290
+    },
+    {
+      "epoch": 0.7280448961019262,
+      "grad_norm": 0.4606100618839264,
+      "learning_rate": 1.9593843891216035e-05,
+      "loss": 0.015,
+      "step": 300
+    },
+    {
+      "epoch": 0.7523130593053239,
+      "grad_norm": 0.9894680380821228,
+      "learning_rate": 1.9531935146017595e-05,
+      "loss": 0.0438,
+      "step": 310
+    },
+    {
+      "epoch": 0.7765812225087214,
+      "grad_norm": 0.13739630579948425,
+      "learning_rate": 1.9465748977026782e-05,
+      "loss": 0.0087,
+      "step": 320
+    },
+    {
+      "epoch": 0.8008493857121189,
+      "grad_norm": 0.3315618336200714,
+      "learning_rate": 1.9395315085064007e-05,
+      "loss": 0.038,
+      "step": 330
+    },
+    {
+      "epoch": 0.8251175489155165,
+      "grad_norm": 0.17197982966899872,
+      "learning_rate": 1.9320665077101066e-05,
+      "loss": 0.0243,
+      "step": 340
+    },
+    {
+      "epoch": 0.849385712118914,
+      "grad_norm": 4.819814682006836,
+      "learning_rate": 1.92418324520776e-05,
+      "loss": 0.015,
+      "step": 350
+    },
+    {
+      "epoch": 0.8736538753223115,
+      "grad_norm": 4.6382365226745605,
+      "learning_rate": 1.9158852585868575e-05,
+      "loss": 0.0199,
+      "step": 360
+    },
+    {
+      "epoch": 0.8979220385257091,
+      "grad_norm": 0.15649013221263885,
+      "learning_rate": 1.9071762715409474e-05,
+      "loss": 0.0516,
+      "step": 370
+    },
+    {
+      "epoch": 0.9221902017291066,
+      "grad_norm": 9.212163925170898,
+      "learning_rate": 1.8980601921986332e-05,
+      "loss": 0.0561,
+      "step": 380
+    },
+    {
+      "epoch": 0.9464583649325041,
+      "grad_norm": 1.8409303426742554,
+      "learning_rate": 1.888541111369816e-05,
+      "loss": 0.0851,
+      "step": 390
+    },
+    {
+      "epoch": 0.9707265281359018,
+      "grad_norm": 0.0260617733001709,
+      "learning_rate": 1.878623300709957e-05,
+      "loss": 0.0394,
+      "step": 400
+    },
+    {
+      "epoch": 0.9949946913392993,
+      "grad_norm": 0.475887656211853,
+      "learning_rate": 1.8683112108031856e-05,
+      "loss": 0.0114,
+      "step": 410
+    },
+    {
+      "epoch": 0.9998483239799788,
+      "eval_dim_128_cosine_accuracy@1": 0.0034106412005457027,
+      "eval_dim_128_cosine_accuracy@10": 0.6609822646657572,
+      "eval_dim_128_cosine_accuracy@3": 0.06207366984993179,
+      "eval_dim_128_cosine_accuracy@5": 0.35129604365620737,
+      "eval_dim_128_cosine_map@100": 0.15352648780478836,
+      "eval_dim_128_cosine_mrr@10": 0.1384457762186259,
+      "eval_dim_128_cosine_ndcg@10": 0.25968761539611496,
+      "eval_dim_128_cosine_precision@1": 0.0034106412005457027,
+      "eval_dim_128_cosine_precision@10": 0.06609822646657572,
+      "eval_dim_128_cosine_precision@3": 0.020691223283310592,
+      "eval_dim_128_cosine_precision@5": 0.07025920873124147,
+      "eval_dim_128_cosine_recall@1": 0.0034106412005457027,
+      "eval_dim_128_cosine_recall@10": 0.6609822646657572,
+      "eval_dim_128_cosine_recall@3": 0.06207366984993179,
+      "eval_dim_128_cosine_recall@5": 0.35129604365620737,
+      "eval_dim_256_cosine_accuracy@1": 0.006139154160982265,
+      "eval_dim_256_cosine_accuracy@10": 0.6957708049113234,
+      "eval_dim_256_cosine_accuracy@3": 0.059345156889495224,
+      "eval_dim_256_cosine_accuracy@5": 0.3969986357435198,
+      "eval_dim_256_cosine_map@100": 0.1608969666312337,
+      "eval_dim_256_cosine_mrr@10": 0.14680563676129663,
+      "eval_dim_256_cosine_ndcg@10": 0.2742190784977125,
+      "eval_dim_256_cosine_precision@1": 0.006139154160982265,
+      "eval_dim_256_cosine_precision@10": 0.06957708049113233,
+      "eval_dim_256_cosine_precision@3": 0.019781718963165072,
+      "eval_dim_256_cosine_precision@5": 0.07939972714870396,
+      "eval_dim_256_cosine_recall@1": 0.006139154160982265,
+      "eval_dim_256_cosine_recall@10": 0.6957708049113234,
+      "eval_dim_256_cosine_recall@3": 0.059345156889495224,
+      "eval_dim_256_cosine_recall@5": 0.3969986357435198,
+      "eval_dim_512_cosine_accuracy@1": 0.004092769440654843,
+      "eval_dim_512_cosine_accuracy@10": 0.708731241473397,
+      "eval_dim_512_cosine_accuracy@3": 0.054570259208731244,
+      "eval_dim_512_cosine_accuracy@5": 0.4045020463847203,
+      "eval_dim_512_cosine_map@100": 0.16179009192949412,
+      "eval_dim_512_cosine_mrr@10": 0.14763068710885704,
+      "eval_dim_512_cosine_ndcg@10": 0.2778537691360626,
+      "eval_dim_512_cosine_precision@1": 0.004092769440654843,
+      "eval_dim_512_cosine_precision@10": 0.07087312414733969,
+      "eval_dim_512_cosine_precision@3": 0.01819008640291041,
+      "eval_dim_512_cosine_precision@5": 0.08090040927694407,
+      "eval_dim_512_cosine_recall@1": 0.004092769440654843,
+      "eval_dim_512_cosine_recall@10": 0.708731241473397,
+      "eval_dim_512_cosine_recall@3": 0.054570259208731244,
+      "eval_dim_512_cosine_recall@5": 0.4045020463847203,
+      "eval_dim_64_cosine_accuracy@1": 0.004092769440654843,
+      "eval_dim_64_cosine_accuracy@10": 0.5750341064120055,
+      "eval_dim_64_cosine_accuracy@3": 0.048431105047748974,
+      "eval_dim_64_cosine_accuracy@5": 0.3144611186903138,
+      "eval_dim_64_cosine_map@100": 0.1367884100889619,
+      "eval_dim_64_cosine_mrr@10": 0.11982692349336187,
+      "eval_dim_64_cosine_ndcg@10": 0.2252854715830182,
+      "eval_dim_64_cosine_precision@1": 0.004092769440654843,
+      "eval_dim_64_cosine_precision@10": 0.05750341064120054,
+      "eval_dim_64_cosine_precision@3": 0.01614370168258299,
+      "eval_dim_64_cosine_precision@5": 0.06289222373806276,
+      "eval_dim_64_cosine_recall@1": 0.004092769440654843,
+      "eval_dim_64_cosine_recall@10": 0.5750341064120055,
+      "eval_dim_64_cosine_recall@3": 0.048431105047748974,
+      "eval_dim_64_cosine_recall@5": 0.3144611186903138,
+      "eval_dim_768_cosine_accuracy@1": 0.002728512960436562,
+      "eval_dim_768_cosine_accuracy@10": 0.7175989085948158,
+      "eval_dim_768_cosine_accuracy@3": 0.059345156889495224,
+      "eval_dim_768_cosine_accuracy@5": 0.40109140518417463,
+      "eval_dim_768_cosine_map@100": 0.1621927494042191,
+      "eval_dim_768_cosine_mrr@10": 0.1485466878884321,
+      "eval_dim_768_cosine_ndcg@10": 0.2805856733257871,
+      "eval_dim_768_cosine_precision@1": 0.002728512960436562,
+      "eval_dim_768_cosine_precision@10": 0.07175989085948158,
+      "eval_dim_768_cosine_precision@3": 0.019781718963165072,
+      "eval_dim_768_cosine_precision@5": 0.08021828103683493,
+      "eval_dim_768_cosine_recall@1": 0.002728512960436562,
+      "eval_dim_768_cosine_recall@10": 0.7175989085948158,
+      "eval_dim_768_cosine_recall@3": 0.059345156889495224,
+      "eval_dim_768_cosine_recall@5": 0.40109140518417463,
+      "eval_runtime": 311.6214,
+      "eval_samples_per_second": 0.0,
+      "eval_sequential_score": 0.2252854715830182,
+      "eval_steps_per_second": 0.0,
+      "step": 412
+    },
+    {
+      "epoch": 1.0192628545426967,
+      "grad_norm": 0.07392042130231857,
+      "learning_rate": 1.8576094691651153e-05,
+      "loss": 0.0136,
+      "step": 420
+    },
+    {
+      "epoch": 1.0435310177460944,
+      "grad_norm": 3.5508384704589844,
+      "learning_rate": 1.8465228781662618e-05,
+      "loss": 0.1219,
+      "step": 430
+    },
+    {
+      "epoch": 1.0677991809494918,
+      "grad_norm": 5.711903095245361,
+      "learning_rate": 1.8350564128769955e-05,
+      "loss": 0.0164,
+      "step": 440
+    },
+    {
+      "epoch": 1.0920673441528894,
+      "grad_norm": 1.1452428102493286,
+      "learning_rate": 1.8232152188349946e-05,
+      "loss": 0.0927,
+      "step": 450
+    },
+    {
+      "epoch": 1.116335507356287,
+      "grad_norm": 1.4943727254867554,
+      "learning_rate": 1.8110046097362033e-05,
+      "loss": 0.0268,
+      "step": 460
+    },
+    {
+      "epoch": 1.1406036705596845,
+      "grad_norm": 1.8914352655410767,
+      "learning_rate": 1.7984300650503282e-05,
+      "loss": 0.0384,
+      "step": 470
+    },
+    {
+      "epoch": 1.1648718337630821,
+      "grad_norm": 0.11347553879022598,
+      "learning_rate": 1.7854972275619453e-05,
+      "loss": 0.0034,
+      "step": 480
+    },
+    {
+      "epoch": 1.1891399969664795,
+      "grad_norm": 8.961676597595215,
+      "learning_rate": 1.772211900838318e-05,
+      "loss": 0.0183,
+      "step": 490
+    },
+    {
+      "epoch": 1.2134081601698772,
+      "grad_norm": 21.69032096862793,
+      "learning_rate": 1.758580046625068e-05,
+      "loss": 0.0594,
+      "step": 500
+    },
+    {
+      "epoch": 1.2376763233732746,
+      "grad_norm": 3.1777877807617188,
+      "learning_rate": 1.7446077821708596e-05,
+      "loss": 0.0145,
+      "step": 510
+    },
+    {
+      "epoch": 1.2619444865766722,
+      "grad_norm": 1.400813102722168,
+      "learning_rate": 1.730301377482307e-05,
+      "loss": 0.0768,
+      "step": 520
+    },
+    {
+      "epoch": 1.2862126497800697,
+      "grad_norm": 0.12172400206327438,
+      "learning_rate": 1.715667252510329e-05,
+      "loss": 0.0084,
+      "step": 530
+    },
+    {
+      "epoch": 1.3104808129834673,
+      "grad_norm": 0.021951694041490555,
+      "learning_rate": 1.700711974269218e-05,
+      "loss": 0.0528,
+      "step": 540
+    },
+    {
+      "epoch": 1.334748976186865,
+      "grad_norm": 0.030643614009022713,
+      "learning_rate": 1.6854422538897136e-05,
+      "loss": 0.0619,
+      "step": 550
+    },
+    {
+      "epoch": 1.3590171393902624,
+      "grad_norm": 4.491604804992676,
+      "learning_rate": 1.6698649436074063e-05,
+      "loss": 0.0326,
+      "step": 560
+    },
+    {
+      "epoch": 1.38328530259366,
+      "grad_norm": 0.42146193981170654,
+      "learning_rate": 1.65398703368782e-05,
+      "loss": 0.0135,
+      "step": 570
+    },
+    {
+      "epoch": 1.4075534657970574,
+      "grad_norm": 0.09300685673952103,
+      "learning_rate": 1.6378156492895524e-05,
+      "loss": 0.0143,
+      "step": 580
+    },
+    {
+      "epoch": 1.431821629000455,
+      "grad_norm": 2.0742526054382324,
+      "learning_rate": 1.6213580472668856e-05,
+      "loss": 0.0952,
+      "step": 590
+    },
+    {
+      "epoch": 1.4560897922038527,
+      "grad_norm": 2.740499973297119,
+      "learning_rate": 1.604621612913297e-05,
+      "loss": 0.0188,
+      "step": 600
+    },
+    {
+      "epoch": 1.4803579554072501,
+      "grad_norm": 0.09577389806509018,
+      "learning_rate": 1.5876138566473327e-05,
+      "loss": 0.01,
+      "step": 610
+    },
+    {
+      "epoch": 1.5046261186106475,
+      "grad_norm": 1.9737666845321655,
+      "learning_rate": 1.5703424106423335e-05,
+      "loss": 0.091,
+      "step": 620
+    },
+    {
+      "epoch": 1.5288942818140452,
+      "grad_norm": 0.018516847863793373,
+      "learning_rate": 1.5528150254015225e-05,
+      "loss": 0.0205,
+      "step": 630
+    },
+    {
+      "epoch": 1.5531624450174428,
+      "grad_norm": 0.0974857360124588,
+      "learning_rate": 1.5350395662799925e-05,
+      "loss": 0.0156,
+      "step": 640
+    },
+    {
+      "epoch": 1.5774306082208402,
+      "grad_norm": 1.012096881866455,
+      "learning_rate": 1.5170240099551547e-05,
+      "loss": 0.0101,
+      "step": 650
+    },
+    {
+      "epoch": 1.6016987714242377,
+      "grad_norm": 0.4372600317001343,
+      "learning_rate": 1.4987764408472327e-05,
+      "loss": 0.022,
+      "step": 660
+    },
+    {
+      "epoch": 1.6259669346276353,
+      "grad_norm": 1.3607388734817505,
+      "learning_rate": 1.4803050474914034e-05,
+      "loss": 0.0135,
+      "step": 670
+    },
+    {
+      "epoch": 1.650235097831033,
+      "grad_norm": 0.1327061802148819,
+      "learning_rate": 1.4616181188632229e-05,
+      "loss": 0.0226,
+      "step": 680
+    },
+    {
+      "epoch": 1.6745032610344306,
+      "grad_norm": 0.31588563323020935,
+      "learning_rate": 1.4427240406589727e-05,
+      "loss": 0.0032,
+      "step": 690
+    },
+    {
+      "epoch": 1.698771424237828,
+      "grad_norm": 1.2134084701538086,
+      "learning_rate": 1.4236312915326108e-05,
+      "loss": 0.0071,
+      "step": 700
+    },
+    {
+      "epoch": 1.7230395874412254,
+      "grad_norm": 0.06816510111093521,
+      "learning_rate": 1.4043484392910014e-05,
+      "loss": 0.028,
+      "step": 710
+    },
+    {
+      "epoch": 1.747307750644623,
+      "grad_norm": 0.3962950110435486,
+      "learning_rate": 1.3848841370491416e-05,
+      "loss": 0.0351,
+      "step": 720
+    },
+    {
+      "epoch": 1.7715759138480207,
+      "grad_norm": 0.06974906474351883,
+      "learning_rate": 1.3652471193471049e-05,
+      "loss": 0.0021,
+      "step": 730
+    },
+    {
+      "epoch": 1.7958440770514181,
+      "grad_norm": 0.08050140738487244,
+      "learning_rate": 1.345446198230446e-05,
+      "loss": 0.0073,
+      "step": 740
+    },
+    {
+      "epoch": 1.8201122402548155,
+      "grad_norm": 0.04942511394619942,
+      "learning_rate": 1.3254902592958242e-05,
+      "loss": 0.0103,
+      "step": 750
+    },
+    {
+      "epoch": 1.8443804034582132,
+      "grad_norm": 0.17193569242954254,
+      "learning_rate": 1.3053882577036236e-05,
+      "loss": 0.0219,
+      "step": 760
+    },
+    {
+      "epoch": 1.8686485666616108,
+      "grad_norm": 0.011188509874045849,
+      "learning_rate": 1.2851492141593531e-05,
+      "loss": 0.0035,
+      "step": 770
+    },
+    {
+      "epoch": 1.8929167298650085,
+      "grad_norm": 21.107633590698242,
+      "learning_rate": 1.264782210865637e-05,
+      "loss": 0.0579,
+      "step": 780
+    },
+    {
+      "epoch": 1.917184893068406,
+      "grad_norm": 0.6288430690765381,
+      "learning_rate": 1.2442963874466044e-05,
+      "loss": 0.0298,
+      "step": 790
+    },
+    {
+      "epoch": 1.9414530562718033,
+      "grad_norm": 0.9807838201522827,
+      "learning_rate": 1.2237009368465171e-05,
+      "loss": 0.0076,
+      "step": 800
+    },
+    {
+      "epoch": 1.965721219475201,
+      "grad_norm": 0.4862402379512787,
+      "learning_rate": 1.2030051012044644e-05,
+      "loss": 0.0038,
+      "step": 810
+    },
+    {
+      "epoch": 1.9899893826785986,
+      "grad_norm": 0.32241472601890564,
+      "learning_rate": 1.1822181677069855e-05,
+      "loss": 0.0016,
+      "step": 820
+    },
+    {
+      "epoch": 1.9996966479599574,
+      "eval_dim_128_cosine_accuracy@1": 0.007503410641200546,
+      "eval_dim_128_cosine_accuracy@10": 0.665075034106412,
+      "eval_dim_128_cosine_accuracy@3": 0.06070941336971351,
+      "eval_dim_128_cosine_accuracy@5": 0.37312414733969984,
+      "eval_dim_128_cosine_map@100": 0.15984371570467878,
+      "eval_dim_128_cosine_mrr@10": 0.1428284501613273,
+      "eval_dim_128_cosine_ndcg@10": 0.2641617300886433,
+      "eval_dim_128_cosine_precision@1": 0.007503410641200546,
+      "eval_dim_128_cosine_precision@10": 0.0665075034106412,
+      "eval_dim_128_cosine_precision@3": 0.020236471123237832,
+      "eval_dim_128_cosine_precision@5": 0.07462482946793998,
+      "eval_dim_128_cosine_recall@1": 0.007503410641200546,
+      "eval_dim_128_cosine_recall@10": 0.665075034106412,
+      "eval_dim_128_cosine_recall@3": 0.06070941336971351,
+      "eval_dim_128_cosine_recall@5": 0.37312414733969984,
+      "eval_dim_256_cosine_accuracy@1": 0.009549795361527967,
+      "eval_dim_256_cosine_accuracy@10": 0.713506139154161,
+      "eval_dim_256_cosine_accuracy@3": 0.0723055934515689,
+      "eval_dim_256_cosine_accuracy@5": 0.4106412005457026,
+      "eval_dim_256_cosine_map@100": 0.17096884521775468,
+      "eval_dim_256_cosine_mrr@10": 0.1559981268541958,
+      "eval_dim_256_cosine_ndcg@10": 0.28559481472300186,
+      "eval_dim_256_cosine_precision@1": 0.009549795361527967,
+      "eval_dim_256_cosine_precision@10": 0.07135061391541608,
+      "eval_dim_256_cosine_precision@3": 0.024101864483856296,
+      "eval_dim_256_cosine_precision@5": 0.08212824010914052,
+      "eval_dim_256_cosine_recall@1": 0.009549795361527967,
+      "eval_dim_256_cosine_recall@10": 0.713506139154161,
+      "eval_dim_256_cosine_recall@3": 0.0723055934515689,
+      "eval_dim_256_cosine_recall@5": 0.4106412005457026,
+      "eval_dim_512_cosine_accuracy@1": 0.007503410641200546,
+      "eval_dim_512_cosine_accuracy@10": 0.7285129604365621,
+      "eval_dim_512_cosine_accuracy@3": 0.0688949522510232,
+      "eval_dim_512_cosine_accuracy@5": 0.40654843110504774,
+      "eval_dim_512_cosine_map@100": 0.1702634278904753,
+      "eval_dim_512_cosine_mrr@10": 0.15564731804499674,
+      "eval_dim_512_cosine_ndcg@10": 0.28864373602538085,
+      "eval_dim_512_cosine_precision@1": 0.007503410641200546,
+      "eval_dim_512_cosine_precision@10": 0.0728512960436562,
+      "eval_dim_512_cosine_precision@3": 0.022964984083674395,
+      "eval_dim_512_cosine_precision@5": 0.08130968622100954,
+      "eval_dim_512_cosine_recall@1": 0.007503410641200546,
+      "eval_dim_512_cosine_recall@10": 0.7285129604365621,
+      "eval_dim_512_cosine_recall@3": 0.0688949522510232,
+      "eval_dim_512_cosine_recall@5": 0.40654843110504774,
+      "eval_dim_64_cosine_accuracy@1": 0.0047748976807639835,
+      "eval_dim_64_cosine_accuracy@10": 0.6125511596180082,
+      "eval_dim_64_cosine_accuracy@3": 0.05798090040927694,
+      "eval_dim_64_cosine_accuracy@5": 0.33901773533424284,
+      "eval_dim_64_cosine_map@100": 0.14541967837644934,
+      "eval_dim_64_cosine_mrr@10": 0.12895282487710774,
+      "eval_dim_64_cosine_ndcg@10": 0.24113965638184232,
+      "eval_dim_64_cosine_precision@1": 0.0047748976807639835,
+      "eval_dim_64_cosine_precision@10": 0.06125511596180082,
+      "eval_dim_64_cosine_precision@3": 0.019326966803092312,
+      "eval_dim_64_cosine_precision@5": 0.06780354706684857,
+      "eval_dim_64_cosine_recall@1": 0.0047748976807639835,
+      "eval_dim_64_cosine_recall@10": 0.6125511596180082,
+      "eval_dim_64_cosine_recall@3": 0.05798090040927694,
+      "eval_dim_64_cosine_recall@5": 0.33901773533424284,
+      "eval_dim_768_cosine_accuracy@1": 0.008867667121418827,
+      "eval_dim_768_cosine_accuracy@10": 0.742837653478854,
+      "eval_dim_768_cosine_accuracy@3": 0.07025920873124147,
+      "eval_dim_768_cosine_accuracy@5": 0.40313778990450205,
+      "eval_dim_768_cosine_map@100": 0.17294783798650806,
+      "eval_dim_768_cosine_mrr@10": 0.15909747937373914,
+      "eval_dim_768_cosine_ndcg@10": 0.29453813752341906,
+      "eval_dim_768_cosine_precision@1": 0.008867667121418827,
+      "eval_dim_768_cosine_precision@10": 0.0742837653478854,
+      "eval_dim_768_cosine_precision@3": 0.023419736243747154,
+      "eval_dim_768_cosine_precision@5": 0.08062755798090042,
+      "eval_dim_768_cosine_recall@1": 0.008867667121418827,
+      "eval_dim_768_cosine_recall@10": 0.742837653478854,
+      "eval_dim_768_cosine_recall@3": 0.07025920873124147,
+      "eval_dim_768_cosine_recall@5": 0.40313778990450205,
+      "eval_runtime": 312.3268,
+      "eval_samples_per_second": 0.0,
+      "eval_sequential_score": 0.24113965638184232,
+      "eval_steps_per_second": 0.0,
+      "step": 824
+    }
+  ],
+  "logging_steps": 10,
+  "max_steps": 1648,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 4,
+  "save_steps": 500,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": false
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 0.0,
+  "train_batch_size": 2,
+  "trial_name": null,
+  "trial_params": null
+}