eval/mteb_cmn/MultilingualSentiment.json

{
  "dataset_revision": "46958b007a63fdbf239b7672c25d0bea67b5ea1a",
  "evaluation_time": 29.892837524414062,
  "kg_co2_emissions": null,
  "mteb_version": "1.14.5",
  "scores": {
    "test": [
      {
        "accuracy": 0.7915666666666668,
        "f1": 0.788835374322064,
        "f1_weighted": 0.7888353743220639,
        "hf_subset": "default",
        "languages": [
          "cmn-Hans"
        ],
        "main_score": 0.7915666666666668,
        "scores_per_experiment": [
          {
            "accuracy": 0.7826666666666666,
            "f1": 0.7779296381124103,
            "f1_weighted": 0.7779296381124104
          },
          {
            "accuracy": 0.7903333333333333,
            "f1": 0.7870245727707803,
            "f1_weighted": 0.7870245727707803
          },
          {
            "accuracy": 0.7903333333333333,
            "f1": 0.786884519599265,
            "f1_weighted": 0.7868845195992649
          },
          {
            "accuracy": 0.7933333333333333,
            "f1": 0.7909157256530345,
            "f1_weighted": 0.7909157256530345
          },
          {
            "accuracy": 0.7936666666666666,
            "f1": 0.791125889277219,
            "f1_weighted": 0.791125889277219
          },
          {
            "accuracy": 0.788,
            "f1": 0.7843471922835624,
            "f1_weighted": 0.7843471922835624
          },
          {
            "accuracy": 0.793,
            "f1": 0.7908770386584093,
            "f1_weighted": 0.7908770386584092
          },
          {
            "accuracy": 0.7946666666666666,
            "f1": 0.7927197802197803,
            "f1_weighted": 0.7927197802197804
          },
          {
            "accuracy": 0.7936666666666666,
            "f1": 0.7915673968242717,
            "f1_weighted": 0.7915673968242717
          },
          {
            "accuracy": 0.796,
            "f1": 0.7949619898219057,
            "f1_weighted": 0.7949619898219057
          }
        ]
      }
    ],
    "validation": [
      {
        "accuracy": 0.7772333333333333,
        "f1": 0.7745812660307931,
        "f1_weighted": 0.7745812660307931,
        "hf_subset": "default",
        "languages": [
          "cmn-Hans"
        ],
        "main_score": 0.7772333333333333,
        "scores_per_experiment": [
          {
            "accuracy": 0.7726666666666666,
            "f1": 0.7679966303070836,
            "f1_weighted": 0.7679966303070839
          },
          {
            "accuracy": 0.7736666666666666,
            "f1": 0.7701976668648852,
            "f1_weighted": 0.7701976668648852
          },
          {
            "accuracy": 0.7766666666666666,
            "f1": 0.7732535082276719,
            "f1_weighted": 0.7732535082276719
          },
          {
            "accuracy": 0.7786666666666666,
            "f1": 0.7762597879844195,
            "f1_weighted": 0.7762597879844196
          },
          {
            "accuracy": 0.7776666666666666,
            "f1": 0.775055757541203,
            "f1_weighted": 0.7750557575412029
          },
          {
            "accuracy": 0.7736666666666666,
            "f1": 0.7701953381687762,
            "f1_weighted": 0.770195338168776
          },
          {
            "accuracy": 0.777,
            "f1": 0.7751314427495369,
            "f1_weighted": 0.7751314427495369
          },
          {
            "accuracy": 0.781,
            "f1": 0.779154242145693,
            "f1_weighted": 0.779154242145693
          },
          {
            "accuracy": 0.7786666666666666,
            "f1": 0.7765195440456805,
            "f1_weighted": 0.7765195440456804
          },
          {
            "accuracy": 0.7826666666666666,
            "f1": 0.7820487422729814,
            "f1_weighted": 0.7820487422729813
          }
        ]
      }
    ]
  },
  "task_name": "MultilingualSentiment"
}