A köztudatban az európai zsidók az askenáziak, az Észak-Afrikából és Spanyolországból származók pedig a szefárdok. Ennél azért jóval árnyaltabb a paletta, de annyi bizonyos, hogy a jemeni zsidókat általában egy harmadik, önálló kategóriába sorolják, maguk pedig ironikusan azt szokták mondani világosbarna bőrszínükre utalva, hogy ők a szefárdok között askenáziaknak számítanak és fordítva: az askenáziak között szefárdoknak. Az ősi zsidó hithez tartozásuk azonban annyira nyilvánvaló, hogy azt soha senki nem kérdőjelezte meg.
Letelepedésüket Jemenben az első Szentély lerombolása utáni időszakra teszik a kutatók. Mivel szigorúan vallásos életvitelt folytattak és sok-sok éven át elszigetelve éltek a világ többi zsidó közösségétől, megőrizték egyedülálló hagyományaikat, mint pl. a héber és az arámi szavak sajátos szabályok szerinti kiejtését vagy egyes liturgikus szövegek egyedi változatát. Jemenen belül is elkülönülve éltek: vagy kis falvakban, zárt közösségben, vagy a városok zsidó kerületeiben. Sorsuk mindig az aktuális uralkodó kegyeitől függött. Volt, hogy a szegénység, a járványok és az aszályos időszakok nehézségei mellett a hatalom részéről rájuk rótt súlyos terheket is el kellett viselniük.
A szentföldi bevándorlás kezdete és a külföldi zsidó közösségekkel történt kapcsolatfelvétel után a rituális különbségek csökkentek. Általában az európai bevándorlási hullámokkal egyidőben érkeztek Erec Israelbe: az első csoportok 1881–82-ben, az akkor oszmán török fennhatóság alatt álló Jemenből. Az ún. második alija idején (1904–1914) és a brit mandátum alatt (1920–1948) folytatódott bevándorlásuk; a második világháború kitörésekor mintegy 28.000 jemeni zsidó erősítette a jisuvot.
1948. május 14., Izrael Állam megalakulása következményeként Jemenben a zsidó lakosok ellen irányuló zavargások törtek ki. Egy 1949 májusában kezdődött akció keretében izraeli kommandósok, Szaúd-Arábia együttműködésével, közel 50 ezer zsidót menekítettek ki, többségüket a háború dúlta Jemenből, mintegy 2.000 főt pedig Eritreából és Dzsibutiból. Az akció eredeti neve – Sasok szárnyán – egy tórai idézetre utal: „Ti láttátok, mit tettem Egyiptommal, hogy vittelek benneteket sasszárnyakon és hoztalak benneteket énhozzám” (Mózes II. 19. 4). A külföldi újságírók azonban szívesebben használták az Ezeregyéjszaka meséit idéző, hatásosabbnak vélt Varázsszőnyeg művelet elnevezést.
Az akció sikerrel járt, de a bevándorlók beilleszkedése nem volt könnyű, még akkor sem, ha a korszellemnek megfelelően az izraeli lakosok hazatérőknek tekintették őket. Prof. Rachel Sharaby Jemeni zsidó nők Izraelben: 1948–2005 című tanulmányának bevezetőjében így ecseteli a nehézségeket:
„A hagyományőrző, vallásos életformából a modern, elsődlegesen nyugati típusú és vallástalan életmódba történő átmenet alapvető változásokat hozott az egész közösség, de leginkább a nők számára, akiknek családi és társadalmi szerepei drámai mértékben módosultak”.
A bevándorlókat átmeneti táborokban szállásolták el, ahol barakkokban és sátrakban, nehéz körülmények között éltek. Hosszú időbe telt, amíg sikerült mindenkit elhelyezni: többnyire külön a számukra épített lakótelepeken, részben pedig ugyancsak a számukra létrehozott mezőgazdasági településeken.
A közösség természetes belső fejlődése és a külső hatások nyomán jelentős változások mentek végbe a jemeni zsidók körében, akik nemzedékeken át környezetük arab kultúrájának erős hatása alatt éltek. Jellegzetes dialektusukat Izraelben igyekeztek a modern kiejtésre cserélni, kézműves termékeiken lassan átváltoztak az otthoni motívumok, zenei hagyományaikban háttérbe került a karakteres arab behatás. Egy idő óta megpróbálják feléleszteni eredeti kultúrájukat, mint ahogy a többi arab országból származó zsidók is igyekeznek visszatérni nyelvi és zenei gyökereikhez. A legismertebb, világhírnevet szerzett jemeni származású énekesnő, a fiatalon elhunyt Ofra Haza, aki többször szerepelt népviseletben, 1984-ben egy teljes albumot szentelt ősei dallamvilágának.
