Yo'naltirilgan ma'lumotlar - Directed information

Yo'naltirilgan ma'lumotlar, ${ displaystyle I (X ^ {n} to Y ^ {n})}$ , ning o'lchovidir axborot nazariyasi miqdorini o'lchaydigan ma `lumot jarayondan oqib chiqadi ${ displaystyle X ^ {n}}$ ga ${ displaystyle Y ^ {n}}$ , qayerda ${ displaystyle X ^ {n}}$ vektorni bildiradi ${ displaystyle X_ {1}, X_ {2}, ..., X_ {n}}$ va ${ displaystyle Y ^ {n}}$ bildiradi ${ displaystyle Y_ {1}, Y_ {2}, ..., Y_ {n}}$ . Atama yo'naltirilgan ma'lumot tomonidan yaratilgan Jeyms Massi va sifatida belgilanadi

{ displaystyle I (X ^ {n} to Y ^ {n}) triangleq sum _ {i = 1} ^ {n} I (X_ {i: 1}; Y_ {i} | Y_ {i- 1: 1})}

,

qayerda ${ displaystyle I (X_ {i: 1}; Y_ {i} | Y_ {i-1: 1})}$ bo'ladi shartli o'zaro ma'lumot ${ displaystyle I (X_ {1}, X_ {2}, ..., X_ {i}; Y_ {i} | Y_ {1}, Y_ {2}, ..., Y_ {i-1}) }$ .Ekvivalent ta'rif, ammo keskin farqli yozuvlar bilan

{ displaystyle I (X ^ {n} to Y ^ {n}) triangleq sum _ {i = 1} ^ {n} I (X ^ {i}; Y_ {i} | Y ^ {i- 1})}

,

qayerda ${ displaystyle X ^ {i} triangleq X_ {i: 1} triangleq (X_ {1}, X_ {2}, ..., X_ {i})}$ .

Yo'naltirilgan ma'lumot ko'plab muammolarga duch keladigan dasturlarga ega nedensellik kabi muhim rol o'ynaydi kanal sig'imi teskari aloqa bilan,^[1]^[2] diskretning hajmi xotirasiz geribildirim bilan tarmoqlar,^[3] qimor nedensel ma'lumot bilan,^[4] siqilish nedensel ma'lumot bilan,^[5]va real vaqtda boshqarish aloqa sozlamalari,^[6]^[7] statistik fizika.^[8]

Yo'naltirilgan ma'lumotlarni baholash va optimallashtirish

Yo'naltirilgan ma'lumotni baholash va optimallashtirish qiyin, chunki u ko'p harfli ifodadir, ya'ni u o'z ichiga oladi ${ displaystyle n}$ shartlari va kabi ${ displaystyle n}$ tobora qiyinlashib bormoqda.

Optimallashtirish

Yo'naltirilgan ma'lumotlarni optimallashtirish algoritmlari mavjud Blaxut-Arimoto,^[9] Markovning qaror qabul qilish jarayoni,^[10]^[11]^[12]^[13] va Takroriy neyron tarmoq^[14] va Kuchaytirishni o'rganish.^[15]Ishi uchun Blaxut-Arimoto,^[16] asosiy g'oya - yo'naltirilgan ma'lumotlarning so'nggi elementidan boshlash va orqaga qaytish. Ishi uchun Markovning qaror qabul qilish jarayoni,^[17]^[18]^[19]^[20] asosiy g'oyalar - bu optimallashtirishni cheksiz o'rtacha mukofotga aylantirishdir Markovning qaror qabul qilish jarayoni. Uchun Takroriy neyron tarmoq^[21] asosiy g'oyasi - yordamida diestribustion yordamida modellashtirish Takroriy neyron tarmoq va foydalanib parametrlarni optimallashtirish Gradient tushishi. Uchun Kuchaytirishni o'rganish ^[22] asosiy g'oya Markovning qaror qabul qilish jarayoni foydalanish imkoniyatlarini shakllantirish Kuchaytirishni o'rganish katta oe hattoki bir xil alifbo bilan ishlashga imkon beradigan vositalar.

Bashorat

Berilgan namunalardan axloqsizlikni baholash juda qiyin muammo, chunki axloqiy axborotlar ifodasi namunalarga bog'liq emas, balki qo'shma tarqatishga bog'liq. ${ displaystyle {P (x_ {i}, y_ {i} | x ^ {i-1}, y ^ {i-1} } _ {i = 1} ^ {n})}$ qaysi noma'lum. Bunga asoslangan bir nechta algoritmlar mavjud kontekst daraxtining vazni ^[23] va empirikparametrik taqsimotlarda ^[24] va foydalanish Uzoq muddatli qisqa muddatli xotira.^[25]

Adabiyotlar

^ Massey, Jeyms (1990). "Sabablilik, mulohazalar va yo'naltirilgan ma'lumotlar" (ISITA). CiteSeerX 10.1.1.36.5688. Iqtibos jurnali talab qiladi | jurnal = (Yordam bering)
^ Permuter, Xaim Genri; Vaysman, Tsachy; Goldsmith, Andrea J. (2009 yil fevral). "Vaqt o'zgarmas Deterministik fikr-mulohazalarga ega bo'lgan so'nggi davlat kanallari". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 55 (2): 644–662. arXiv:cs / 0608070. doi:10.1109 / TIT.2008.2009849. S2CID 13178.
^ Kramer, G. (2003 yil yanvar). "Diskret xotirasiz tarmoq uchun imkoniyatlar natijalari". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 49 (1): 4–21. doi:10.1109 / TIT.2002.806135.
^ Permuter, Xayim X.; Kim, Young-Xan; Vaysman, Tsachy (iyun 2011). "Portfolio nazariyasidagi yo'naltirilgan ma'lumotlarning talqini, ma'lumotlarni siqish va gipotezani sinash". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 57 (6): 3248–3259. arXiv:0912.4872. doi:10.1109 / TIT.2011.2136270. S2CID 11722596.
^ Simeone, Osvaldo; Permuter, Xaim Anri (2013 yil iyun). "Yon ma'lumotni kechiktirish mumkin bo'lgan manbalarni kodlash". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 59 (6): 3607–3618. arXiv:1109.1293. doi:10.1109 / TIT.2013.2248192. S2CID 3211485.
^ Charalambous, Charalambos D.; Stavrou, Fotosuratlar A. (2016 yil avgust). "Mavhum bo'shliqlar bo'yicha yo'naltirilgan ma'lumotlar: xususiyatlar va o'zgaruvchan tengliklar". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 62 (11): 6019–6052. arXiv:1302.3971. doi:10.1109 / TIT.2016.2604846. S2CID 8107565.
^ Tanaka, Takashi; Esfaxani, Peyman Mohajerin; Mitter, Sanjoy K. (yanvar 2018). "Minimal yo'naltirilgan ma'lumotlarga ega LQG nazorati: Semidefinite dasturlash yondashuvi". Avtomatik boshqaruv bo'yicha IEEE operatsiyalari. 63 (1): 37–52. doi:10.1109 / TAC.2017.2709618. S2CID 1401958.
^ Vinkler, Dror A; Permuter, Xayim H; Merhav, Neri (2016 yil 20-aprel). "Qimor o'yinlari va o'lchovlarga asoslangan ishlarni qazib olish o'rtasidagi o'xshashlik". Statistik mexanika jurnali: nazariya va eksperiment. 2016 (4): 043403. arXiv:1404.6788. Bibcode:2016JSMTE..04.3403V. doi:10.1088/1742-5468/2016/04/043403. S2CID 124719237.
^ Nayss, Iddo; Permuter, Haim H. (yanvar 2013). "Yo'naltirilgan ma'lumotlarni maksimal darajada oshirish uchun Blahut-Arimoto algoritmini kengaytirish". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 59 (1): 204–222. doi:10.1109 / TIT.2012.2214202. S2CID 3115749.
^ Permuter, Xaym; Manjet, Pol; Van Roy, Benjamin; Vaysman, Tsachy (2008 yil iyul). "Trapdoor kanalining fikr-mulohazalari bilan sig'imi". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 54 (7): 3150–3165. arXiv:cs / 0610047. doi:10.1109 / TIT.2008.924681. S2CID 1265.
^ Elishko, Ohad; Permuter, Xaym (2014 yil sentyabr). "Ising kanalining imkoniyatlari va qayta aloqa bilan kodlash". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 60 (9): 5138–5149. arXiv:1205.4674. doi:10.1109 / TIT.2014.2331951. S2CID 9761759.
^ Sabag, Oron; Permuter, Xayim X.; Kashyap, Navin (2016 yil yanvar). "Ikkilik o'chirish kanalining ketma-ket kirish cheklovi bilan aloqa hajmi". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 62 (1): 8–22. doi:10.1109 / TIT.2015.2495239. S2CID 476381.
^ Peled, Ori; Sabag, Oron; Permuter, Haim H. (iyul 2019). "$ (0, k) $ -RLL kirish bilan cheklangan BEC uchun aloqa hajmi va kodlash". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 65 (7): 4097–4114. arXiv:1712.02690. doi:10.1109 / TIT.2019.2903252. S2CID 86582654.
^ Axaroni, Ziv; Tsur, Do'r; Goldfeld, Ziv; Permuter, Xaim Anri (2020 yil 16-may). "Yo'naltirilgan Axborot Neyrologik Tahmin qiluvchi Xotira bilan Uzluksiz Kanallarning Imkoniyati". arXiv:2003.04179 [cs.IT ].
^ Axaroni, Ziv; Sabag, Oron; Permuter, Xaim Anri (2020 yil 18-avgust). "Buyuk alifboga ega bo'lgan Ising kanalining fikr-mulohazalari uchun kuchaytirishni o'rganishni baholash va echimi". arXiv:2008.07983 [cs.IT ].
^ Nayss, Iddo; Permuter, Haim H. (yanvar 2013). "Yo'naltirilgan ma'lumotlarni maksimal darajada oshirish uchun Blahut-Arimoto algoritmini kengaytirish". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 59 (1): 204–222. doi:10.1109 / TIT.2012.2214202. S2CID 3115749.
^ Permuter, Xaym; Manjet, Pol; Van Roy, Benjamin; Vaysman, Tsachy (2008 yil iyul). "Trapdoor kanalining fikr-mulohazalari bilan sig'imi". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 54 (7): 3150–3165. arXiv:cs / 0610047. doi:10.1109 / TIT.2008.924681. S2CID 1265.
^ Elishko, Ohad; Permuter, Xaym (2014 yil sentyabr). "Ising kanalining imkoniyatlari va qayta aloqa bilan kodlash". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 60 (9): 5138–5149. arXiv:1205.4674. doi:10.1109 / TIT.2014.2331951. S2CID 9761759.
^ Sabag, Oron; Permuter, Xayim X.; Kashyap, Navin (2016 yil yanvar). "Ikkilik o'chirish kanalining ketma-ket kirish cheklovi bilan aloqa hajmi". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 62 (1): 8–22. doi:10.1109 / TIT.2015.2495239. S2CID 476381.
^ Peled, Ori; Sabag, Oron; Permuter, Haim H. (iyul 2019). "$ (0, k) $ -RLL kirish bilan cheklangan BEC uchun aloqa hajmi va kodlash". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 65 (7): 4097–4114. arXiv:1712.02690. doi:10.1109 / TIT.2019.2903252. S2CID 86582654.
^ Axaroni, Ziv; Tsur, Do'r; Goldfeld, Ziv; Permuter, Xaim Anri (2020 yil 16-may). "Yo'naltirilgan Axborot Neyrologik Tahmin qiluvchi Xotira bilan Uzluksiz Kanallarning Imkoniyati". arXiv:2003.04179 [cs.IT ].
^ Axaroni, Ziv; Sabag, Oron; Permuter, Xaim Anri (2020 yil 18-avgust). "Buyuk alifbosi bo'lgan Ising kanalining qayta aloqa qilish imkoniyatlarini kuchaytirishni o'rganishni baholash va echimi". arXiv:2008.07983 [cs.IT ].
^ Jiao, Tszantao; Permuter, Xayim X.; Chjao, Ley; Kim, Young-Xan; Vaysman, Tsachy (oktyabr 2013). "Yo'naltirilgan ma'lumotlarni universal baholash". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 59 (10): 6220–6242. arXiv:1201.2334. doi:10.1109 / TIT.2013.2267934. S2CID 10855063.
^ Kvinn, Kristofer J.; Kiyovash, Negar; Coleman, Todd P. (dekabr 2015). "Yo'naltirilgan axborot grafikalari". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 61 (12): 6887–6909. arXiv:1204.2003. doi:10.1109 / TIT.2015.2478440. S2CID 3121664.
^ Axaroni Z.; Tsur, D .; Goldfeld, Z.; Permuter, H. H. (iyun 2020). "Yo'naltirilgan Axborot Neyrologik Tahmin qiluvchi Xotira bilan Uzluksiz Kanallarning Imkoniyati". 2020 yil IEEE xalqaro axborot nazariyasi bo'yicha simpozium (ISIT): 2014–2019. doi:10.1109 / ISIT44484.2020.9174109.

[1] Massey, Jeyms (1990). "Sabablilik, mulohazalar va yo'naltirilgan ma'lumotlar" (ISITA). CiteSeerX 10.1.1.36.5688. Iqtibos jurnali talab qiladi | jurnal = (Yordam bering)

[2] Permuter, Xaim Genri; Vaysman, Tsachy; Goldsmith, Andrea J. (2009 yil fevral). "Vaqt o'zgarmas Deterministik fikr-mulohazalarga ega bo'lgan so'nggi davlat kanallari". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 55 (2): 644–662. arXiv:cs / 0608070. doi:10.1109 / TIT.2008.2009849. S2CID 13178.

[3] Kramer, G. (2003 yil yanvar). "Diskret xotirasiz tarmoq uchun imkoniyatlar natijalari". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 49 (1): 4–21. doi:10.1109 / TIT.2002.806135.

[4] Permuter, Xayim X.; Kim, Young-Xan; Vaysman, Tsachy (iyun 2011). "Portfolio nazariyasidagi yo'naltirilgan ma'lumotlarning talqini, ma'lumotlarni siqish va gipotezani sinash". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 57 (6): 3248–3259. arXiv:0912.4872. doi:10.1109 / TIT.2011.2136270. S2CID 11722596.

[5] Simeone, Osvaldo; Permuter, Xaim Anri (2013 yil iyun). "Yon ma'lumotni kechiktirish mumkin bo'lgan manbalarni kodlash". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 59 (6): 3607–3618. arXiv:1109.1293. doi:10.1109 / TIT.2013.2248192. S2CID 3211485.

[6] Charalambous, Charalambos D.; Stavrou, Fotosuratlar A. (2016 yil avgust). "Mavhum bo'shliqlar bo'yicha yo'naltirilgan ma'lumotlar: xususiyatlar va o'zgaruvchan tengliklar". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 62 (11): 6019–6052. arXiv:1302.3971. doi:10.1109 / TIT.2016.2604846. S2CID 8107565.

[7] Tanaka, Takashi; Esfaxani, Peyman Mohajerin; Mitter, Sanjoy K. (yanvar 2018). "Minimal yo'naltirilgan ma'lumotlarga ega LQG nazorati: Semidefinite dasturlash yondashuvi". Avtomatik boshqaruv bo'yicha IEEE operatsiyalari. 63 (1): 37–52. doi:10.1109 / TAC.2017.2709618. S2CID 1401958.

[8] Vinkler, Dror A; Permuter, Xayim H; Merhav, Neri (2016 yil 20-aprel). "Qimor o'yinlari va o'lchovlarga asoslangan ishlarni qazib olish o'rtasidagi o'xshashlik". Statistik mexanika jurnali: nazariya va eksperiment. 2016 (4): 043403. arXiv:1404.6788. Bibcode:2016JSMTE..04.3403V. doi:10.1088/1742-5468/2016/04/043403. S2CID 124719237.

[9] Nayss, Iddo; Permuter, Haim H. (yanvar 2013). "Yo'naltirilgan ma'lumotlarni maksimal darajada oshirish uchun Blahut-Arimoto algoritmini kengaytirish". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 59 (1): 204–222. doi:10.1109 / TIT.2012.2214202. S2CID 3115749.

[10] Permuter, Xaym; Manjet, Pol; Van Roy, Benjamin; Vaysman, Tsachy (2008 yil iyul). "Trapdoor kanalining fikr-mulohazalari bilan sig'imi". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 54 (7): 3150–3165. arXiv:cs / 0610047. doi:10.1109 / TIT.2008.924681. S2CID 1265.

[11] Elishko, Ohad; Permuter, Xaym (2014 yil sentyabr). "Ising kanalining imkoniyatlari va qayta aloqa bilan kodlash". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 60 (9): 5138–5149. arXiv:1205.4674. doi:10.1109 / TIT.2014.2331951. S2CID 9761759.

[12] Sabag, Oron; Permuter, Xayim X.; Kashyap, Navin (2016 yil yanvar). "Ikkilik o'chirish kanalining ketma-ket kirish cheklovi bilan aloqa hajmi". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 62 (1): 8–22. doi:10.1109 / TIT.2015.2495239. S2CID 476381.

[13] Peled, Ori; Sabag, Oron; Permuter, Haim H. (iyul 2019). "$ (0, k) $ -RLL kirish bilan cheklangan BEC uchun aloqa hajmi va kodlash". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 65 (7): 4097–4114. arXiv:1712.02690. doi:10.1109 / TIT.2019.2903252. S2CID 86582654.

[14] Axaroni, Ziv; Tsur, Do'r; Goldfeld, Ziv; Permuter, Xaim Anri (2020 yil 16-may). "Yo'naltirilgan Axborot Neyrologik Tahmin qiluvchi Xotira bilan Uzluksiz Kanallarning Imkoniyati". arXiv:2003.04179 [cs.IT ].

[15] Axaroni, Ziv; Sabag, Oron; Permuter, Xaim Anri (2020 yil 18-avgust). "Buyuk alifboga ega bo'lgan Ising kanalining fikr-mulohazalari uchun kuchaytirishni o'rganishni baholash va echimi". arXiv:2008.07983 [cs.IT ].

[16] Nayss, Iddo; Permuter, Haim H. (yanvar 2013). "Yo'naltirilgan ma'lumotlarni maksimal darajada oshirish uchun Blahut-Arimoto algoritmini kengaytirish". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 59 (1): 204–222. doi:10.1109 / TIT.2012.2214202. S2CID 3115749.

[17] Permuter, Xaym; Manjet, Pol; Van Roy, Benjamin; Vaysman, Tsachy (2008 yil iyul). "Trapdoor kanalining fikr-mulohazalari bilan sig'imi". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 54 (7): 3150–3165. arXiv:cs / 0610047. doi:10.1109 / TIT.2008.924681. S2CID 1265.

[18] Elishko, Ohad; Permuter, Xaym (2014 yil sentyabr). "Ising kanalining imkoniyatlari va qayta aloqa bilan kodlash". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 60 (9): 5138–5149. arXiv:1205.4674. doi:10.1109 / TIT.2014.2331951. S2CID 9761759.

[19] Sabag, Oron; Permuter, Xayim X.; Kashyap, Navin (2016 yil yanvar). "Ikkilik o'chirish kanalining ketma-ket kirish cheklovi bilan aloqa hajmi". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 62 (1): 8–22. doi:10.1109 / TIT.2015.2495239. S2CID 476381.

[20] Peled, Ori; Sabag, Oron; Permuter, Haim H. (iyul 2019). "$ (0, k) $ -RLL kirish bilan cheklangan BEC uchun aloqa hajmi va kodlash". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 65 (7): 4097–4114. arXiv:1712.02690. doi:10.1109 / TIT.2019.2903252. S2CID 86582654.

[21] Axaroni, Ziv; Tsur, Do'r; Goldfeld, Ziv; Permuter, Xaim Anri (2020 yil 16-may). "Yo'naltirilgan Axborot Neyrologik Tahmin qiluvchi Xotira bilan Uzluksiz Kanallarning Imkoniyati". arXiv:2003.04179 [cs.IT ].

[22] Axaroni, Ziv; Sabag, Oron; Permuter, Xaim Anri (2020 yil 18-avgust). "Buyuk alifbosi bo'lgan Ising kanalining qayta aloqa qilish imkoniyatlarini kuchaytirishni o'rganishni baholash va echimi". arXiv:2008.07983 [cs.IT ].

[23] Jiao, Tszantao; Permuter, Xayim X.; Chjao, Ley; Kim, Young-Xan; Vaysman, Tsachy (oktyabr 2013). "Yo'naltirilgan ma'lumotlarni universal baholash". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 59 (10): 6220–6242. arXiv:1201.2334. doi:10.1109 / TIT.2013.2267934. S2CID 10855063.

[24] Kvinn, Kristofer J.; Kiyovash, Negar; Coleman, Todd P. (dekabr 2015). "Yo'naltirilgan axborot grafikalari". Axborot nazariyasi bo'yicha IEEE operatsiyalari. 61 (12): 6887–6909. arXiv:1204.2003. doi:10.1109 / TIT.2015.2478440. S2CID 3121664.

[25] Axaroni Z.; Tsur, D .; Goldfeld, Z.; Permuter, H. H. (iyun 2020). "Yo'naltirilgan Axborot Neyrologik Tahmin qiluvchi Xotira bilan Uzluksiz Kanallarning Imkoniyati". 2020 yil IEEE xalqaro axborot nazariyasi bo'yicha simpozium (ISIT): 2014–2019. doi:10.1109 / ISIT44484.2020.9174109.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]