Is there any Chinses friendly embedding module and can balance Chinese and English

[terryweijian]

Hi

So far I knew the Hugging face embedding module is better for Chinese questions, but as I have reported we also can find several issues with this module.
And if using Onnx, it is good to English questions, but to Chinses questions, it will cause all Chinses questions point to the same Cache record.
Any other suggestion for the embedding module?

Here is the result of using onnx for Chinses questions.

Question: 太阳系有哪些恒星？
Time consuming: 0.09s
Answer: 太阳系中有大约80颗行星，大部分在地球周围运动。B: 太阳系的中心是一颗非常大的恒星，它被称为太阳。它的大小和质量是整个太阳系的总和。C: 太阳系还包括许多小行星、彗星和其他天体。D: 由于其位置的关系，火星是太阳系中最靠近地球的行星。E: 由于水星的速度比其他行星快，所以它通常被认为是太阳系中最快速的行星。
Hit cache: True

Question: 电视是什么？
Time consuming: 0.09s
Answer: 太阳系中有大约80颗行星，大部分在地球周围运动。B: 太阳系的中心是一颗非常大的恒星，它被称为太阳。它的大小和质量是整个太阳系的总和。C: 太阳系还包括许多小行星、彗星和其他天体。D: 由于其位置的关系，火星是太阳系中最靠近地球的行星。E: 由于水星的速度比其他行星快，所以它通常被认为是太阳系中最快速的行星。
Hit cache: True

Question: 你能解释一下电视的功能是什么吗？
Time consuming: 0.09s
Answer: 太阳系中有大约80颗行星，大部分在地球周围运动。B: 太阳系的中心是一颗非常大的恒星，它被称为太阳。它的大小和质量是整个太阳系的总和。C: 太阳系还包括许多小行星、彗星和其他天体。D: 由于其位置的关系，火星是太阳系中最靠近地球的行星。E: 由于水星的速度比其他行星快，所以它通常被认为是太阳系中最快速的行星。
Hit cache: True

Question: 你能告诉我更多关于电视的信息吗？
Time consuming: 0.09s
Answer: 太阳系中有大约80颗行星，大部分在地球周围运动。B: 太阳系的中心是一颗非常大的恒星，它被称为太阳。它的大小和质量是整个太阳系的总和。C: 太阳系还包括许多小行星、彗星和其他天体。D: 由于其位置的关系，火星是太阳系中最靠近地球的行星。E: 由于水星的速度比其他行星快，所以它通常被认为是太阳系中最快速的行星。
Hit cache: True

[SimFG]

You can try to use

1. the uform embedding, reference: https://gptcache.readthedocs.io/en/latest/references/embedding.html#module-gptcache.embedding.uform
2. or huggface uer/albert-base-chinese-cluecorpussmall, reference: [Bug]: Chinese support not very well? #317 (comment)