Fond birjasi qanday ishlaydi

Bu darsda nima o‘rganasiz

Telefoningizdagi broker ilovasida “Sotib olish” tugmasini bosdingiz: 10 ta aksiya, narxi 100.50 dan oshmasin. Taxminan bir soniyadan keyin ekranda “Bajarildi: 10 ta, 100.48” degan yozuv chiqadi. Shu bir soniya ichida buyurtmangiz brokerning serverlariga, undan birjaga yetib bordi, birjada boshqa bir odamning “100.48 dan sotaman” degan buyurtmasi bilan juftlandi, bitim qayd etildi, va bu haqida xabar butun dunyodagi minglab treyderlarning ekraniga tarqaldi. Birjaning o‘zida bu ishning asosiy qismi mikrosekundlarda — soniyaning milliondan bir ulushlarida — bajariladi.

Fond birjasi — dunyodagi eng talabchan dasturiy tizimlardan biri. U bir vaqtning o‘zida to‘rtta qiyin shartni bajarishi kerak:

1. Mutlaq aniqlik. Bitta tiyinlik xato — birovning puli. Ikki marta bajarilgan buyurtma, yo‘qolgan bitim yoki noto‘g‘ri narx — sud ishi va regulyator jarimasi. Bu yerda “deyarli to‘g‘ri” degan tushuncha yo‘q.

2. Tezlik. Katta birjalar sekundiga yuz minglab–millionlab xabarni qabul qiladi va har biriga o‘nlab mikrosekundda javob beradi. Muhimi — nafaqat o‘rtacha tezlik, balki barqarorlik: bitta sekin javob ham kimgadir pul yo‘qotish degani.

3. Adolat. Kim birinchi kelgan bo‘lsa — o‘sha birinchi. Hamma bir xil ma’lumotni bir vaqtda ko‘rishi kerak. Birja qaysidir mijozga yashirin ustunlik bersa — bu dasturiy xato emas, jinoyat.

4. Ishonchlilik. Savdo soatlarida birja to‘xtashga haqli emas, va server o‘lsa ham birorta tasdiqlangan bitim yo‘qolmasligi kerak.

Dars shu to‘rt talabga qanday javob berilishini noldan, bitta Python ro‘yxatidan boshlab ko‘rsatadi. Yo‘lda uchta katta g‘oyani o‘rganasiz: buyurtmalar kitobi va narx-vaqt ustuvorligi (bozor narxi qanday tug‘iladi), sekvenser va deterministik jurnal (nega eng tez birjalar bitta ipda ishlaydi va qanday qilib server o‘lsa ham hech narsa yo‘qolmaydi), va bozor ma’lumotlari oqimi (millionlab odam bitta kitobning nusxasini qanday ushlab turadi).

Har yangi tushuncha avval oddiy tilda, keyin mexanizm sifatida, oxirida raqam bilan beriladi. Dars oxirida — butun darsning o‘n gaplik xulosasi. Oldingi darslardan foydali: Kafka darsidagi jurnal va offset g‘oyasi (bu yerda u yanada qat’iy ko‘rinishda), Airbnb darsidagi idempotentlik va Redis darsidagi “bitta ip — qulf yo‘q” tamoyili.

1. Muammo: minglab odam bitta narx haqida kelishadi

1.1 Birja aslida nima qiladi

Oddiy tilda: birja — bozor, lekin olma o‘rniga kompaniyalarning ulushlari (aksiyalar) sotiladi. Bozorda sotuvchi “kilosi 12 ming” deydi, xaridor “10 mingga beraymi?” deb so‘raydi, va ular qayerdadir kelishadi. Birjada ham xuddi shunday, faqat sotuvchi va xaridorlar bir-birini ko‘rmaydi, minglab va bir vaqtda savdolashadi, va kelishuv qoidalari qat’iy yozilgan.

Birjaning asosiy vazifasi uchta:

Juftlash (matching). Kim qancha narxda qancha olmoqchi yoki sotmoqchi — shu takliflarni yig‘ish va mos kelganlarini qat’iy qoida bo‘yicha juftlash. Buni matching engine (juftlash mexanizmi) qiladi.

Narxni e’lon qilish (market data). Hozir eng yaxshi taklif qancha, oxirgi bitim qancha narxda bo‘ldi — hammaga, bir vaqtda.

Bitimlarni yakunlash (clearing va settlement). Bitim bo‘ldi — endi pul xaridordan sotuvchiga, aksiya sotuvchidan xaridorga o‘tishi kerak. Bu odatda birjadan keyingi alohida tashkilotlarda, bir kundan keyin bo‘ladi (13-qadam).

Oddiy odam birjaga to‘g‘ridan-to‘g‘ri ulanmaydi: uning buyurtmasini broker (birja a’zosi) olib boradi. Broker o‘z mijozlarini tekshiradi (pul bormi?), buyurtmalarni birjaga yuboradi va natijani qaytaradi.

1.2 Talablar

Ikkinchi qator — bu darsning kaliti. Oddiy veb-tizimda “bir xil so‘rov har doim bir xil natija bermasa” ham ko‘pincha hech narsa bo‘lmaydi. Birjada esa determinizm — ishonchlilik (8-bo‘lim), audit va adolatning (12-qadam) asosi.

1.3 Konvert orqasidagi hisob

2. Nol nuqta: buyurtmalar kitobi

2.1 Buyurtma: “qancha, qanchadan, qaysi tomonga”

Oddiy tilda: buyurtma — bu birjaga yozilgan xat: “Men 100 ta aksiyani 100.50 dan qimmat bo‘lmagan narxda sotib olmoqchiman”. Unda uchta asosiy narsa bor: tomon (olish yoki sotish), miqdor va narx chegarasi.

Ikki asosiy turi bor:

Limit buyurtma — narx chegarasi bilan. “100.50 dan qimmat emas” (xarid) yoki “100.40 dan arzon emas” (sotuv). Mos taklif hozir bo‘lmasa, buyurtma kutib turadi — kitobga yoziladi.

Bozor (market) buyurtmasi — narx chegarasisiz: “hozir, qanday narx bo‘lsa ham”. U kutmaydi: bor takliflar bilan darhol bajariladi. Tez, lekin xavfli — kitob yupqa bo‘lsa, kutilganidan ancha yomon narx chiqishi mumkin (4.7 va 11-bo‘lim).

2.2 Kitob: ikki navbat va ular orasidagi bo‘shliq

Kutib turgan limit buyurtmalar buyurtmalar kitobiga (order book) yoziladi. Kitobning ikki tomoni bor: xaridorlar (bid) va sotuvchilar (ask yoki offer).

                 SOTUVCHILAR (ask)
   narx      miqdor    buyurtmalar (kelish tartibida)
  100.53       900    [#41: 500] [#57: 400]
  100.52       300    [#38: 300]
  100.51       700    [#12: 200] [#44: 500]        <- eng yaxshi ask
  ---------------------------------------------   spred = 0.02
  100.49       400    [#09: 400]                   <- eng yaxshi bid
  100.48     1 200    [#15: 1000] [#61: 200]
  100.47       500    [#33: 500]
                 XARIDORLAR (bid)

Eng yaxshi bid — eng yuqori xarid narxi (100.49): kimdir hozir shuncha to‘lashga tayyor. Eng yaxshi ask — eng past sotuv narxi (100.51). Ular orasidagi farq — spred (0.02). Kitob kesishmaydi: agar kimdir 100.51 dan olishga tayyor bo‘lsa, u allaqachon sotuvchi bilan juftlangan bo‘lardi. Kitobda qolganlar — hali kelisha olmaganlar.

Har narx darajasida bir nechta buyurtma bo‘lishi mumkin, va ular kelish tartibida navbatda turadi. Kitobning shu “ichki” ko‘rinishi — bu darsning asosiy ma’lumot tuzilmasi.

2.3 Juftlash: narx-vaqt ustuvorligi

Yangi buyurtma kelganda matching engine bitta qat’iy qoidani qo‘llaydi — narx-vaqt ustuvorligi (price-time priority, FIFO):

1. Avval eng yaxshi narxdagi qarshi buyurtmalar bilan.
2. Bir narxda — eng oldin kelgan buyurtma bilan.
3. Bitim narxi — kitobda kutib turgan buyurtmaning narxi.

Kitobda kutib turgan buyurtma maker (likvidlik yaratuvchi), kelib uni “olgan” buyurtma taker (likvidlik oluvchi) deyiladi.

Bitim narxi nega maker’niki? Chunki maker o‘z narxini oldin e’lon qilgan va boshqalar uni ko‘rib qaror qilgan. Taker “100.52 gacha tayyorman” desa ham, kitobda 100.51 lik taklif turgan ekan — u 100.51 to‘laydi. Bu xaridor uchun adolatli (yaxshiroq narx) va sotuvchi uchun ham (u aynan so‘ragan narxini oldi).

2.4 Nega aynan shu qoida

Narx-vaqt ustuvorligi ikki narsani rag‘batlantiradi. Yaxshi narx taklif qilishni — yaxshiroq narx har doim oldinda. Erta taklif qilishni — bir narxda birinchi bo‘lgan birinchi bajariladi. Ikkalasi ham bozorni likvid (har doim kimdir savdoga tayyor) va tor spredli qiladi.

Yagona qoida emas: ba’zi bozorlarda (masalan, ayrim fyuchers va obligatsiya bozorlari) bir narxdagi buyurtmalar hajmga mutanosib (pro-rata) bo‘linadi. Ikkala yondashuvning farqi — 16-bo‘limda. Bu darsda asosiy model — FIFO, chunki aksiyalar birjalarining ko‘pchiligi shunday ishlaydi va u eng sodda, eng deterministik qoida.

3. v0: bitta server, bitta ro‘yxat

Eng sodda matching engine — barcha buyurtmalar bitta ro‘yxatda. Yangi buyurtma kelganda qarshi tomondagi mos buyurtmalarni saralab, bittalab juftlaymiz:

import itertools

class Exchange:
    def __init__(self):
        self.book = []                    # hamma kutayotgan buyurtmalar
        self.clock = itertools.count()    # kelish tartibi

    def submit(self, oid, side, qty, price):
        t = next(self.clock)
        opp = [o for o in self.book if o["side"] != side and
               (price >= o["price"] if side == "B" else price <= o["price"])]
        # eng yaxshi narx, keyin eng oldin kelgan
        opp.sort(key=lambda o: (o["price"] if side == "B" else -o["price"], o["t"]))
        trades = []
        for o in opp:
            if qty == 0:
                break
            q = min(qty, o["qty"])
            trades.append((oid, o["oid"], o["price"], q))
            o["qty"] -= q
            qty -= q
        self.book = [o for o in self.book if o["qty"] > 0]
        if qty > 0:
            self.book.append({"oid": oid, "side": side, "qty": qty, "price": price, "t": t})
        return trades

Bu v0 to‘g‘ri ishlaydi: narx-vaqt ustuvorligi, maker narxi, qisman bajarilish — hammasi bor. Aynan shu kod amaliyotdagi check.py ichida “sodda model” sifatida sizning tez kitobingizni tekshiradi. Kichik bozorda — kuniga bir necha ming buyurtma — u yetarli. Muammolar kattalik, pul, nosozliklar va adolat bilan chiqadi.

4. Nima sindi

v0 ga 1-bo‘limdagi talablarni qo‘yamiz: cho‘qqida sekundiga yuz minglab xabar, pul bilan ishlash, server o‘limi, minglab bir vaqtdagi mijoz. Har muammo 5-bo‘limdagi bir yoki bir nechta qadamga olib keladi.

4.1 Har buyurtma butun kitobni saralaydi

Oddiy tilda: har yangi mijoz kelganda bozordagi hamma sotuvchilarni qaytadan safga turg‘izish. Sotuvchilar 10 ta bo‘lsa — sezilmaydi. 20 000 ta bo‘lsa — bozor to‘xtaydi.

4.2 Float bilan pul

v0 da narx — Python’ning float soni. Birinchi qarashda muammo yo‘q: 100.51 — oddiy son. Lekin kompyuterda 0.1 + 0.2 aynan 0.3 ga teng emas (0.30000000000000004). Pul hisobida bu kichik xatolar yig‘iladi, va eng yomoni — ikki server bir xil hisobni turlicha yaxlitlashi mumkin. Birjada bu ikki xavf: noto‘g‘ri summa va zaxira server asosiydan farqli natija olishi (4.3, 8-bo‘lim).

4.3 Server o‘ldi — kitob ham

v0 da kitob faqat xotirada. Server o‘lsa, minglab mijozlarning kutib turgan buyurtmalari yo‘qoladi. Undan ham yomoni: bitim bo‘ldi, mijozga “bajarildi” deb javob ketdi, lekin bu hech qayerda yozilmagan. Qayta ishga tushgan birja bu bitim haqida bilmaydi, mijoz esa biladi. Kimning hisobiga ishonish kerak? Bu — birja uchun eng qo‘rqinchli holat.

4.4 Ikki mijoz bir vaqtda

v0 ni tezlashtirishning birinchi fikri — ko‘p ip (thread): har mijozning buyurtmasi o‘z ipida. Lekin ikki buyurtma bir vaqtda kitobga tegsa, ular bir-birini buzadi (ikkalasi ham bitta sotuvchining 100 ta aksiyasini “oladi”). Qulf (lock) qo‘ysak — to‘g‘ri bo‘ladi, lekin kim birinchi ekanini operatsion tizimning ip rejalashtiruvchisi hal qiladi: tasodifiy. Adolat va determinizm yo‘qoladi. Bu muammoning yechimi hayratlanarli — 5-bo‘lim, 4–5-qadamlar.

4.5 Hamma narxni so‘raydi

Mijozlar joriy narxni bilishi kerak. v0 da ular birjadan “kitob qanday?” deb so‘raydi. 10 000 mijoz har 10 ms da so‘rasa — sekundiga 1 million so‘rov, har biri butun kitobni o‘qiydi. Matching engine savdo qilish o‘rniga ma’lumot tarqatish bilan band bo‘ladi. Bundan tashqari, “qaysi mijoz birinchi bo‘lib so‘radi” — yana adolat muammosi.

4.6 Bitta buyurtma — ikki marta

Mijoz buyurtma yubordi, javob kelmadi (tarmoq uzildi). Qayta yuborsa — ikki buyurtma, ikki bitim, ikki barobar aksiya va pul. Yubormasa — balki birinchisi ham yetib bormagan. Airbnb darsidagi “ikki marta yechish” muammosi, faqat bu yerda mikrosekundlarda va milliardlab so‘mda.

4.7 Xato buyurtma

Treyder “100 ta” o‘rniga “100 000 ta” yozdi, yoki algoritmdagi xato sekundiga minglab buyurtma yubora boshladi. v0 hammasini bajaradi. Real tarixda bunday xato kompaniyani 45 daqiqada bankrot qilgan (10.2). Birjada tekshiruvlar — narx va miqdor chegaralari, “o‘chirish tugmasi” (kill switch) — shart (7-qadam).

4.8 Muammolar ro‘yxati

5. Evolyutsiya: o‘n to‘rt qadam

Har qadam 4-bo‘limdagi bitta muammoni hal qiladi va o‘z narxini to‘laydi. Qadamlar taxminan tarixiy tartibda: 1–3 — kitobning o‘zi, 4–6 — tartib va ishonchlilik yuragi, 7–8 — tashqi dunyo bilan aloqa, 9–14 — masshtab, tezlik, adolat va bozor atrofidagi tizimlar.

1. Narx darajalari (har tomon uchun alohida):
     narxlar tartiblangan -> eng yaxshisi: xaridda eng kattasi, sotuvda eng kichigi
2. Har daraja — FIFO navbat:  100.51 -> [#12: 200] -> [#44: 500]
     boshidan olish — O(1), oxiriga qo'shish — O(1),
     o'rtasidan o'chirish (bekor qilish) — O(1) (ikki tomonlama bog'langan ro'yxat)
3. Indeks: buyurtma raqami -> (tomon, narx, navbatdagi tugun)
     bekor qilish uchun qidirish shart emas

kirish ipi(lar):   tarmoqdan o'qish, dekodlash, tekshirish
        |
        v   halqali bufer (ring buffer) — qulfsiz
asosiy ip:         FAQAT kitob va juftlash — hamma narsa xotirada
        |
        v   halqali bufer
chiqish ipi(lar):  javoblar, bozor ma'lumotlari, jurnal, replikatsiya

halqa: [ 0 ][ 1 ][ 2 ][ 3 ] ... [ N-1 ]   (i-katak = seq mod N)

yozuvchi:   next = yozildi + 1; katakka yozadi; keyin "yozildi = next" e'lon qiladi
o'quvchi:   "yozildi" ni o'qiydi; o'zidan to o'sha raqamgacha hammasini ishlaydi
            (to'plab! bir o'qishda 1 yoki 1 000 ta xabar)
yozuvchi to'lib qolmasligi uchun: eng sekin o'quvchi hisoblagichini kuzatadi

shlyuz A: #OID-7 yangi        \
shlyuz B: #OID-9 bekor         >-- sekvenser --> 1001: A yangi
shlyuz C: #OID-2 o'zgartirish /                  1002: C o'zgartirish
                                                 1003: B bekor
                                                   |
                         +-------------------------+----------------------+
                         v                         v                      v
                  matching engine            jurnal (disk)        zaxira engine
                  (1001, 1002, 1003)         (1001, 1002, 1003)   (1001, 1002, 1003)

holat = f(boshlang'ich holat, raqamlangan xabarlar ketma-ketligi)

Agar f deterministik bo'lsa:
  * zaxira server bir xil xabarlarni oladi -> bir xil holat, bir xil bitimlar
  * kunni qayta o'ynash -> bir xil natija (audit, xatolarni tekshirish)
  * yangi versiyani eski kun jurnalida sinash -> farqlarni topish

Jurnal: 1 ................................ 400 000 000
Suratlar:        #1 (100 M)    #2 (200 M)    #3 (300 M)

Tiklash: surat #3 ni yuklash + 300 000 001 dan oxirigacha qayta o'ynash
  = 100 M xabar x ~0.2 us = ~20 s
Surat bo'lmasa: 400 M x 0.2 us = ~80 s

narx    xaridga tayyor (>=)   sotuvga tayyor (<=)   bajariladi
100.60          200                1 400                200
100.55          600                1 100                600
100.50        1 000                  900                900   <- eng ko'p
100.45        1 300                  500                500
100.40        1 700                  200                200

Auksion narxi: 100.50, hajm: 900
  xaridorlar 1 000 tayyor, 900 bajariladi -> 100 ta ortiqcha xarid
  (vaqt ustuvorligi bo'yicha oxirgilari bajarilmay qoladi)

6. Bitta buyurtmaning hayoti

6.1 Qadam-baqadam

Kirish qismidagi misolga qaytamiz: 10 ta aksiya, 100.50 gacha. Mijozning bosishidan “bajarildi” yozuvigacha bo‘lgan yo‘l:

1. Ilova buyurtmani brokerga yuboradi (internet orqali — o‘nlab ms).
2. Broker mijozning pulini va o‘z risk qoidalarini tekshiradi, keyin buyurtmani birja bilan doimiy sessiya orqali yuboradi.
3. Shlyuz sessiya tartib raqamini, ClOrdID takrorini, narx yoqasini va limitlarni tekshiradi (7-qadam). Rad etilsa — javob shu yerdan qaytadi, engine’gacha yetmaydi.
4. Sekvenser xabarga global raqam va vaqt belgisini beradi (5-qadam).
5. Replikatsiya: xabar zaxira engine’ga (yoki jurnalga) yetadi va tasdiqlanadi (6-qadam).
6. Matching engine kitob bo‘yicha juftlaydi: 100.48 dagi sotuv buyurtmasi bilan bitim.
7. Javoblar: ikkala tomonga “ijro hisoboti” (execution report) va bozorga — yangilangan kitob va bitim haqida xabar (8-qadam).
8. Kliring kun oxirida bitimni yig‘adi, keyingi ish kuni pul va aksiya o‘tadi (13-qadam).

Muhim tartib: 5-qadam 6-qadamdan oldin yoki kamida javob yuborishdan oldin. Birja “bajarildi” deb aytgan hamma narsa zaxirada bo‘lishi kerak — aks holda asosiy server o‘lganda zaxira bu bitimni bilmaydi.

6.2 Buyurtmaning holatlari

Har buyurtma aniq holatlar mashinasi bo‘yicha yashaydi, va har o‘tish mijozga ijro hisoboti bilan xabar qilinadi:

                  +--> RAD ETILDI (tekshiruvdan o'tmadi)
                  |
YUBORILDI --> QABUL QILINDI --> QISMAN BAJARILDI --> TO'LIQ BAJARILDI
                  |                    |
                  +--> BEKOR QILINDI <-+   (mijoz, IOC/FOK qoldig'i, STP,
                                            kun tugashi, kill switch)

Qoida: har buyurtma uchun bajarilgan + bekor qilingan + kitobdagi qoldiq = boshlang‘ich miqdor. Bu tenglik birjaning eng muhim ichki invariantlaridan biri: uni har kun oxirida (va testlarda — har qadamda) tekshirish mumkin.

6.3 Nega bitta ip ko‘p ipdan tez

Ip 1 (yadro 1): kitobning 100.51 darajasini o'zgartirdi
   -> bu xotira qatori yadro 1 ning keshida "o'zgartirilgan"
Ip 2 (yadro 2): shu darajani o'qimoqchi
   -> protsessorlar kesh qatorini "ko'chiradi": ~50-100 ns
   -> qulf ham kerak: yana o'nlab ns, raqobatda — mikrosekundlar

7. Bozor ma’lumotlari: millionlab nusxa bitta kitobdan

7.1 Kitob nusxasi qanday quriladi

Kitob birjada — bittagina. Lekin minglab treyder, broker va algoritm o‘z ekranida va xotirasida uning nusxasini ushlab turadi. Nusxa birjaning e’lon qilgan xabarlaridan quriladi: “100.51 darajasi endi 700” (L2) yoki “#44 buyurtma 500 ta bilan 100.51 ga qo‘shildi” (L3).

L3 oqimda xabarlar turi kam, lekin har biri aniq ma’noli:

QO'SHILDI   oid=44  tomon=S  narx=100.51  miqdor=500
BAJARILDI   oid=12  miqdor=200  (bitim raqami 9 912 004)
BEKOR       oid=57  miqdor=400
O'ZGARDI    oid=44  yangi_miqdor=300
SAVDO_HOLATI  "to'xtatildi" / "auksion" / "ochiq"

Mijoz shu xabarlarni o‘z kitobiga qo‘llaydi — xuddi birja kabi, lekin juftlashsiz: u faqat natijalarni takrorlaydi.

7.2 Yo‘qolgan xabar: aniqlash va tiklash

Tiklash qoidalari (amaliyotdagi feed.py):

1. Keyingi kutilgan raqam kelsa — qo‘llash.
2. Eski yoki takror raqam — tashlash (qiymat absolyut, eskisi zararli).
3. Bo‘shliq — nusxa endi ishonchsiz: kutish holatiga o‘tish, hamma kelgan xabarlarni buferga yig‘ish, surat so‘rash.
4. Surat keldi — nusxani almashtirish, buferdan suratdan keyingi xabarlarni tartib bilan qo‘llash; yana bo‘shliq bo‘lsa — yana surat.

7.3 Kim birinchi ko‘radi

Birja X ---- to'g'ridan-to'g'ri oqim ----------------> Tez treyder  (t + 5 us)
     \
      \---> SIP (yig'ish, birlashtirish) ---------> Broker, SIP orqali (t + 20-500 us)

8. Nosozliklarga chidamlilik

8.1 Asosiy server o‘ldi

Zaxira engine (6-qadam) doim asosiy bilan bir xil holatda: bir xil xabarlarni, bir xil tartibda ishlagan. Asosiy o‘lsa, zaxiraga faqat javob berishni boshlash qoladi. Qiyin qismi — “asosiy haqiqatan o‘ldimi?” degan savol.

8.2 Ikki “asosiy” — eng yomon holat

Tarmoq uzildi: zaxira asosiyni ko‘rmayapti va o‘zini asosiy deb e’lon qildi. Lekin asosiy aslida tirik va mijozlarga javob berishda davom etmoqda. Endi ikkita matching engine turli bitimlar qilmoqda — “bo‘lingan miya” (split brain). Bu, sekin ishlashdan ancha yomon.

Himoya — fencing: yangi asosiy ishga tushishdan oldin eskisi aniq to‘xtatilgan bo‘lishi kerak. Usullar: uchinchi “hakam” komponent (nazoratchi) qaror qiladi; sekvenserda “davr raqami” (epoch) bor va eski davrning xabarlari rad etiladi (Kafka darsidagi leader epoch kabi); tarmoq kalitida eski serverning portini o‘chirish.

8.3 Determinizmni nima buzadi

Buzuvchi                      Misol                                   Himoya
soat                          "agar hozir 16:00 dan keyin bo'lsa"     vaqtni faqat xabardan olish
tasodifiy sonlar              tasodifiy tanlov, UUID                  engine ichida taqiqlangan
hash jadval tartibi           dict/set bo'yicha aylanish              tartiblangan tuzilmalar
float                         turli protsessor/kompilyator yaxlitlashi butun sonlar (2-qadam)
iplar                         "qaysi ip oldin tugadi"                 bitta ip (4-qadam)
tashqi so'rovlar              bazadan narx o'qish                     hamma kirish — sekvenserdan
kod versiyasi                 asosiy yangilandi, zaxira yo'q          bir xil versiya, kun boshida
xotira manzillari             obyekt manzili bo'yicha saralash        faqat ma'lumot bo'yicha saralash

9. Bugungi arxitektura

Rasmning markazida — raqamlangan xabarlar ketma-ketligi. Hamma narsa undan kelib chiqadi: kitob (engine), zaxira (bir xil ketma-ketlikni o‘ynaydi), bozor ma’lumotlari (natijalar raqamlangan oqimi), audit (jurnal arxivi). Birjani “jurnal + deterministik funksiya” deb tasvirlash mumkin — Kafka darsidagi g‘oyaning eng qat’iy ko‘rinishi.

10. Ishonchlilik

10.1 Nosozliklar taksonomiyasi

Oltinchi qator ko‘pchilikni ajablantiradi: birjalarning eng mashhur uzilishlari uskuna emas, o‘zgarishlar sababli bo‘lgan. Masalan, 2015-yil 8-iyulda NYSE yangi dastur versiyasi bilan bog‘liq muammo sababli 3.5 soatga yaqin savdoni to‘xtatgan. Kod va sozlamani chiqarish — birja uchun eng xavfli kundalik amal.

10.2 Bitta hodisa: 45 daqiqa va 460 million dollar

2012-yil 1-avgustda AQSh’ning yirik bozor qiluvchilaridan biri Knight Capital o‘z savdo tizimidagi xato tufayli 45 daqiqada 460 million dollardan ortiq zarar ko‘rdi. Bu birja emas, qatnashchining xatosi — lekin u birjalar va qatnashchilarning risk nazoratini tubdan o‘zgartirdi. Voqealar (AQSh qimmatli qog‘ozlar komissiyasi — SEC hisobotiga ko‘ra):

Saboqlar birjalar uchun ham to‘g‘ridan-to‘g‘ri: eski kodni o‘chiring, ishlatilmayotgan bayroqni qayta ishlatmang; chiqarishni avtomatlashtiring va hamma serverda versiyani tekshiring; ogohlantirish — faqat odam uni ko‘rsa va nima qilishni bilsa ogohlantirish; har qatnashchi uchun kill switch va avtomatik limitlar birja tomonida ham bo‘lsin (7-qadam).

11. Xavfsizlik va bozor yaxlitligi

11.1 Kim nimaga ulanadi

Birjaning savdo tarmog‘i internetdan ajratilgan: qatnashchilar maxsus liniyalar yoki kolokatsiya orqali ulanadi. Har sessiya — ma’lum a’zo, ma’lum IP va sertifikat bilan; har a’zoning huquqlari aniq (qaysi instrumentlar, qaysi buyurtma turlari, qancha xabar). Ichkarida esa vazifalar ajratilgan: savdo tarmog‘i, boshqaruv tarmog‘i va ofis tarmog‘i bir-biriga bog‘liq emas. Matching engine serveriga “SSH qilib, tezda tuzatish” — savdo soatlarida umuman mumkin emas.

11.2 Bozor manipulyatsiyasi va nazorat

Birja nafaqat buyurtmalarni juftlaydi, balki bozorning halolligini kuzatadi. Jurnalda har xabar bor, shuning uchun manipulyatsiyani keyin aniq ko‘rish mumkin.

1. Treyder sotmoqchi, lekin qimmatroq.
2. Xarid tomoniga katta buyurtmalar qo'yadi: 100.47 da 50 000, 100.46 da 80 000
   ("layering" — bir necha qatlam) -> kitob "xaridorlar ko'p" ko'rinadi
3. Boshqa algoritmlar narxni ko'taradi; treyder o'zining kichik sotuv
   buyurtmasini yuqoriroq narxda bajaradi
4. Katta xarid buyurtmalarini millisekundlarda BEKOR qiladi — ular hech
   qachon bajarilmagan

12. Iqtisod: birja nimadan pul topadi

12.1 Uch daromad manbai

Birja daromadi uch qismdan: savdo komissiyalari (har bitimdan), bozor ma’lumotlari (oqimlarni sotish) va ulanish (kolokatsiya, portlar, liniyalar). Yirik birja guruhlarida so‘nggi ikki manba ko‘pincha savdo komissiyalaridan kam emas — texnologiya va ma’lumot biznesi.

13. Sig‘im rejalashtirish

13.1 Cho‘qqi — bir necha soniya

Birja yuklamasi tekis emas: kunning boshida va oxirida, va har muhim yangilikda soniyalar ichida o‘n barobar oshadi. Sig‘im eng yomon soniya uchun rejalashtiriladi, va ko‘p birjalar kuzatilgan eng katta cho‘qqining bir necha barobari zaxirasini talab qiladi.

13.2 Qayerda cheklov

Har komponentning o‘z chegarasi bor: shlyuz (sessiyalar soni va dekodlash), sekvenser (xabar/s), engine guruhi (eng faol instrumentlar), replikatsiya (tarmoq kechikishi), bozor oqimi (Mbit/s va mijozlarning qabul qilish tezligi). Eng zaif bo‘g‘in butun birjaning sig‘imi.

1. Oldindan: eng faol instrumentlar turli guruhlarda, har biri
   "o'z" yadrosida — issiq aksiya faqat o'z guruhini sekinlashtiradi
2. Engine'ni shu yuk uchun sinash: bitta instrumentga 1-2 M xabar/s
   (sintetik yuk, qayta o'ynalgan eng og'ir kunlar)
3. Qatnashchi limitlari: bitta sessiyadan sekundiga N xabardan ko'p emas
   (7-qadam) — bitta "shovqinli" algoritm hammani to'xtatmasin
4. Oxirgi chora: volatillik to'xtatishi (11-qadam) — auksion rejimida
   buyurtmalar faqat yig'iladi, juftlash yuki yo'q

14. Kuzatuv

14.1 Nima o‘lchanadi

O‘rtacha kechikish birja uchun deyarli foydasiz: u “hammasi yaxshi” ko‘rsatadi, hatto har 10 000-xabar 5 ms kutsa ham. Shuning uchun gistogrammalar — har bir xabarning kechikishi yozib boriladi va foizliklar (percentile) aniq hisoblanadi.

14.2 Uchidan-uchiga tekshiruv

Ichki metrikalardan tashqari birjalar sintetik qatnashchi ishlatadi: kolokatsiyadagi sinov serveri har soniyada kichik, bajarilmaydigan buyurtma yuboradi va bekor qiladi, javob va bozor oqimidagi aks sadosini o‘lchaydi. Bu tashqi mijoz ko‘radigan haqiqiy tajriba: shlyuz, sekvenser, engine, oqim — hammasi birga.

Bundan tashqari, passiv o‘lchash: tarmoq kalitlarida paketlar nusxasi aniq vaqt belgilari bilan yoziladi (maxsus kartalar, nanosekund aniqlikda), va har buyurtma paketi hamda unga javob paketi juftlanadi. Bu dasturiy ta’minotga tegmasdan, “simdan” o‘lchangan haqiqiy kechikish.

15. Antinaqshlar

Talab                         SQL baza                      Birja yadrosi
bitta xabar                   ~100 us - 1 ms (disk, qulf)   ~1 us (xotira)
tartib                        tranzaksiyalar izolyatsiyasi   yagona raqamlangan ketma-ketlik
                              (parallel, qulflar bilan)
kechikish dumi                qulf kutish, vakuum, checkpoint barqaror
saqlanish                     WAL + fsync                    replikatsiya + jurnal
qayta o'ynash                 mumkin, lekin tartib murakkab  tabiiy: holat = f(jurnal)

16. Trade-off‘lar

Butun dars o‘nta gapda

1. Birja — buyurtmalar kitobi va qat’iy qoida: eng yaxshi narx birinchi, bir narxda — kim oldin kelgan, bitim — maker narxida (2-bo‘lim).
2. Kitob — narx darajalari, FIFO navbatlar va indeks: eng yaxshi narx va bekor qilish — O(1), har xabar yuzlab nanosekund (1-qadam).
3. Pul — faqat butun sonlarda: narx tick’larda, float yo‘q; aks holda noto‘g‘ri summa va ajralgan zaxira (2-qadam, 4.2).
4. Bitta ip — tezlik va adolat: qulfsiz, keshda yashaydigan kitob, aniq tartib; ko‘p yadro — atrofdagi ishlar va instrument guruhlari uchun (4, 9-qadamlar).
5. Sekvenser tartibni beradi, soat emas: har xabar raqam oladi, va butun tizim bitta tarixni ko‘radi (5-qadam).
6. Holat = f(jurnal): deterministik engine bilan zaxira, tiklash, audit va sinov — bitta mexanizm (6-qadam, 8-bo‘lim).
7. “Bajarildi” — va’da: javobdan oldin xabar kamida ikki mustaqil joyda bo‘lishi kerak (6.1).
8. Bozor ma’lumotlari — raqamlangan multicast oqim: bo‘shliqni sezish, buferlash, suratdan tiklash; eski xabar — eng xavfli (8-qadam, 7-bo‘lim).
9. Himoya qatlamlari: sessiya va idempotentlik, risk limitlari, yoqalar, kill switch, to‘xtatish mexanizmlari — xato bir kun baribir bo‘ladi (7, 11-qadamlar, 10.2).
10. Dum kechikish va bo‘sh sig‘im — mahsulotning o‘zi: o‘rtacha emas, p99.99 va cho‘qqi; 90% band birja — muammo (13–14-bo‘limlar).

17. Intervyu savollari

17.1 Kitob va juftlash

17.2 Tartib, determinizm va ishonchlilik

17.3 Bozor ma’lumotlari, adolat va ekspluatatsiya

18. Amaliyot

To‘rt daraja. Ikkinchi daraja uchun kod docs/amaliyot/stock-exchange/ da: book.py — buyurtmalar kitobi, to‘qqizta usul TODO; feed.py — L2 oqimi mijozi, ikkita usul TODO; model.py — tayyor buyurtma va hodisa turlari; exchange.py — tayyor sekvenser, jurnal va L2 oqimi; check.py — 21 ta tekshiruv, taxminan 6 soniya. Faqat Python standart kutubxonasi.

har seed uchun (40 ta), har qadamda (1 200 ta):
  buyruq = tasodifiy: yangi (GTC/IOC/FOK, market, post-only, xato
           miqdor/narx, takror oid) | bekor | o'zgartirish
  siz  = sizning_kitob.buyruq(...)
  hakam = Naive.buyruq(...)
  talab: siz == hakam            (hodisalar ro'yxati aynan)
         holat(siz) == holat(hakam)  (har daraja, har navbat tartibi)
         best_bid, best_ask, depth mos

19. Lug‘at

20. Raqamlar manbasi

Birjaning kunlik xabarlari va ularning turlari, cho‘qqi koeffitsiyentlari, kechikish budjeti qismlari, engine va sekvenser sig‘imi, kitob hajmlari, paket yo‘qolish ehtimoli, komissiya va chegirma darajalari, uskuna va daromad raqamlari, nazorat ma’lumotlari hajmi — illyustratsiya uchun taxminiy. Haqiqiy birjalarning ichki arxitekturasi va raqamlari to‘liq ochiq emas va bir-biridan sezilarli farq qiladi; darsdagi mexanizmlar ochiq manbalar (maqolalar, regulyator hujjatlari, protokol spetsifikatsiyalari, muhandislar chiqishlari) va sohaning umumiy tamoyillariga asoslangan. Asosiy xulosalar — bitta ipli deterministik yadro, sekvenser va jurnal, butun sonli pul, raqamlangan oqim va tiklash, dum kechikish va bo‘sh sig‘im — bu raqamlarning bir necha barobarlik xatosiga ham chidamli.

21. Manbalar

• Martin Fowler (2011), “The LMAX Architecture”, martinfowler.com
• LMAX Exchange, “Disruptor: High performance alternative to bounded queues for exchanging data between concurrent threads” (texnik hujjat)
• Martin Thompson, “Mechanical Sympathy” blogi va chiqishlari
• SEC (2013), Knight Capital Americas LLC ishi bo‘yicha qaror (Release No. 70694)
• SEC va CFTC (2010), “Findings Regarding the Market Events of May 6, 2010”
• Eric Budish, Peter Cramton, John Shim (2015), “The High-Frequency Trading Arms Race: Frequent Batch Auctions as a Market Design Response”, Quarterly Journal of Economics
• Michael Lewis (2014), “Flash Boys” (IEX va tezlik poygasi tarixi)
• SEC (2005), Regulation NMS (Reg NMS)
• Yevropa Ittifoqi, MiFID II va RTS 25 (soatlar sinxronizatsiyasi)
• Nasdaq, TotalView-ITCH va OUCH protokol spetsifikatsiyalari
• FIX Trading Community, FIX protokoli spetsifikatsiyasi
• SEC (2023), T+1 hisob-kitob muddatiga o‘tish qoidasi
• Larry Harris (2003), “Trading and Exchanges: Market Microstructure for Practitioners”, Oxford University Press