Lisoniy logosi — oq L harfi va patli qalam, ko'k fon ustida
lisoniy ai nlp dataset o'zbek tili open source llm

Lisoniy — O'zbek tili uchun universal raqamli ekotizim

O'zbek tilini sun'iy intellekt va zamonaviy texnologiyalar olamiga integratsiya qilishga qaratilgan ochiq manbali platforma. Datasetlar, lingvistik vositalar va hamjamiyat — bir nuqtada.

Qahorov Zamon

Lisoniy — o’zbek tilini sun’iy intellekt va zamonaviy texnologiyalar olamiga integratsiya qilishni maqsad qilgan ochiq manbali (open-source) platforma. Biz o’zbek tili uchun yuqori sifatli datasetlar, lingvistik vositalar va hamjamiyatni bir nuqtada birlashtiramiz.

🎯 Loyihaning maqsadi

Lisoniyning asosiy maqsadi — o’zbek tilining raqamli merosini yaratish va boyitish. Biz tilimizni shunchaki muloqot vositasi emas, balki sun’iy intellekt tillarida “gaplasha oladigan” va texnologik jarayonlarni boshqara oladigan darajaga olib chiqishni niyat qilganmiz.

🚀 Vazifalarimiz

Loyihamiz oldiga qo’yilgan asosiy strategik vazifalar:

1. Sifatli datasetlar omborini yaratish

LLM (Large Language Models) modellarini o’qitish uchun zarur bo’lgan ma’lumotlar to’plamini shakllantirish:

  • Instruction Tuning — yo’riqnomalarni tushunuvchi modellar uchun o’zbekcha buyruqlar to’plami.
  • Parallel Korpus — mashina tarjimasi uchun o’zbek-ingliz / rus tillaridagi mos matnlar.
  • NER & NLP Data — atoqli otlarni aniqlash va boshqa lingvistik tahlillar uchun belgilangan (tagged) ma’lumotlar.

2. Lingvistik utilitalarni rivojlantirish

Dasturchilar va tadqiqotchilar uchun tayyor vositalar taqdim etish:

  • Morfologik analizator — so’zlarni o’zak va qo’shimchalarga avtomatik ajratish.
  • Transliteratsiya — lotin va kirill alifbolari o’rtasida xatosiz o’tkazish.
  • Imlo tekshirgich — aqlli algoritmlar yordamida matn xatolarini tuzatish.

3. Bilimlar markazi va forum

Tilshunoslar va AI muhandislari o’rtasida ko’prik o’rnatish:

  • O’zbek tili morfologiyasi va sintaksisiga oid raqamli darsliklar yaratish.
  • Hamjamiyat uchun ilmiy maqolalar va muhokamalar maydonini taqdim etish.

4. Ochiq ma’lumotlar (Open Data) madaniyati

Barcha yig’ilgan datasetlarni ochiq manba ko’rinishida taqdim etish orqali milliy startaplar va ilmiy tadqiqotlar uchun poydevor yaratish.

💎 Darajalar va rag’bat

Lisoniy — bu jamoaviy mehnat mahsuli. Shuning uchun bizda hissa qo’shuvchilar (contributors) uchun maxsus reyting tizimi mavjud:

Ishtirokchi → Tadqiqotchi → Ekspert → Bilimdon → Navoiyning izdoshi

Har bir qo’shilgan termin, tasdiqlangan tarjima yoki yozilgan maqola sizni millat tiliga xizmat qilishdek sharafli cho’qqiga yaqinlashtiradi.

✨ Asosiy imkoniyatlar

  • Dataset boshqaruvi — jamoaga ochiq (public) yoki shaxsiy (private) datasetlar yaratish.
  • Turli dataset turlari:
    • Instruction Dataset — buyruq-javob juftliklari.
    • Parallel Corpus — tarjima modellari uchun parallel matnlar.
    • NER Dataset — nomlangan entity’larni aniqlash uchun belgilangan matnlar.
    • QA Dataset — savol-javob juftliklari.
    • Sentiment / Classification — matn tahlili va tasniflash.
  • Tez kiritish (Quick Add) — har bir dataset turi uchun optimallashtirilgan tezkor ma’lumot kiritish formasi (Ctrl+Enter qo’llab-quvvatlanadi).
  • Profil va statistika — foydalanuvchi yutuqlari, reytingi va faoliyati statistikasi.
  • Ijtimoiy funktsiyalar — datasetlarni yulduzchalar (star) bilan belgilash va ommaboplik tahlili.
  • Xavfsizlik — har bir foydalanuvchi uchun alohida kirish va ma’lumotlar himoyasi.

🛠 Texnologiyalar to’plami

Frontend

  • React — interaktiv foydalanuvchi interfeysi.
  • TypeScript — kod sifatini ta’minlash.
  • Tailwind CSS — zamonaviy va moslashuvchan dizayn.
  • shadcn/ui — premium UI komponentlar kutubxonasi.
  • Lucide Icons — vizual piktogrammalar.
  • Zustand / Auth Store — holatni boshqarish.

Backend

  • FastAPI — yuqori unumdorlikka ega Python asosi.
  • PostgreSQL — ishonchli relyatsion ma’lumotlar bazasi.
  • SQLAlchemy (Async) — ma’lumotlar bazasi bilan asinxron ishlash.
  • Docker & Docker Compose — oson joylashtirish va muhitni boshqarish.

📦 O’rnatish va ishga tushirish

Talablar

  • Docker va Docker Compose
  • Node.js (frontend uchun alohida ishlab chiqishda)
  • Python 3.9+ (backend uchun alohida ishlab chiqishda)

Ishga tushirish

  1. Loyihani yuklab oling:

    git clone https://github.com/username/lisoniy.git
cd lisoniy

  2. Docker orqali ishga tushiring:

    docker compose up --build

  3. Brauzerda quyidagi manzillarni oching:

    • Frontend: http://localhost:5173
    • Backend API: http://localhost:8000/docs

📁 Loyiha tuzilmasi

Loyiha ikkita asosiy qismdan iborat:

  • lisoniy_app/ — frontend qismi (React + Vite).
    • src/api/ — API servislar va turlar.
    • src/pages/ — sahifalar (Dashboard, Explore, Dataset Detail va h.k.).
    • src/app/components/ — qayta ishlatiladigan UI komponentlar.
    • src/store/ — auth va global holat boshqaruvi.
  • lisoniy_server/ — backend qismi (FastAPI).
    • app/api/ — API routerlari va endpointlar.
    • app/models/ — SQLAlchemy ma’lumotlar bazasi modellari.
    • app/schemas/ — Pydantic validatsiya sxemalari.
    • app/services/ — biznes mantiqi va baza bilan ishlash servislari.

📡 API endpointlari haqida qisqacha

Platforma quyidagi asosiy API resurslarini taqdim etadi:

  • /auth — ro’yxatdan o’tish va login (JWT orqali).
  • /datasets — datasetlarni yaratish, o’chirish, tahrirlash va qidirish.
  • /datasets/{id}/meta — dataset metama’lumotlari (yulduzchalar, ko’rishlar).
  • /datasets/{id}/entries — dataset ichidagi yozuvlarni boshqarish.
  • /user-meta — foydalanuvchi profili va statistikasi.

🤝 Hissa qo’shish

Biz loyihani rivojlantirish uchun har qanday yordamni (kod, xatoliklar haqida xabar, yangi g’oyalar) olqishlaymiz!

  1. Loyihani Fork qiling.
  2. Yangi funksiya uchun Branch yarating: git checkout -b feature/YangiImkoniyat
  3. O’zgarishlarni Commit qiling: git commit -m 'Yangi imkoniyat qo'shildi'
  4. Push qiling: git push origin feature/YangiImkoniyat
  5. Pull Request yuboring.

🗺 Kelajakdagi rejalar

  • Datasetlarni .csv va .jsonl formatlarida eksport qilish.
  • Jamoaviy tahrirlash (collaborative labeling) tizimi.
  • Ma’lumotlarni avtomatik validatsiya qiluvchi AI agentlari integratsiyasi.
  • O’zbek tili uchun maxsus pre-trained modellarni platforma orqali yuklab olish.

Yakuniy so’z

Millatimiz tili kelajagini birgalikda quramiz. Agar sizda datasetlar, lingvistik g’oyalar yoki dasturlash ko’nikmalari bo’lsa — marhamat, loyihada ishtirok eting.

O’zbek tilini AI tili darajasiga birga olib chiqamiz!

Batafsil ma’lumot uchun: lisoniy.uz

Lisoniy — o’zbek tili uchun AI texnologiyalarini rivojlantirish yo’lida.

Oldingi maqola

Mobil ilovalar orqali yuzni aniqlash