Planeta.OpenAlt.org

Letos štafetu hlavního organizátora převzal Franta, takže nemůžu říct jak přesně to bude vypadat, ale už dopředu vím, že to bude super. Jsem o tom přesvědčený, protože myšlenka OpenAltu je prostě dobrá. A o čem to teda je? O propojování lidí, kteří dělají různé věci, přičemž společným jmenovatelem je spolupráce a sdílení (Open Source v … Continue reading "OpenAlt 2019 se blíží tryskem"

Aktualizovaný Transparency & Consent Framework ve verzi 2.0 od IAB Europe & IAB Tech Lab přináší více funkcí pro uživatele i vydavatele tereza.tumova@… St, 08/21/2019 - 16:48

V poslední době se tady dost debatuje o různých aspektech různých jazyků, proto využiju tuto příležitost pro další téma. Na trhu se začínají objevovat 64 core / 128 thread CPU a nebude dlouho trvat a zcela běžně budou dostupné 256 core / thread CPU. Do pár let to máme na stole. A nastává otázka, jak pro tyto cpu programovat.

Tento článek je archiv z ABCLinuxu.cz, veškerou diskusi provozujme tam, děkuji.

Přístupů k multiprocesingu je celá řada. Nejjednodušší a nejtradičnější způsob je programovat malé singlethread programy, které lze snadno řetězit. Klasický UNIX přístup, na kterém není nic špatného. Pro použití těchto programů existuje celá řada „lepidel“ jako xargs nebo parallel pro spuštění jednoho programu nad hromadou souborů. Nebo použití pipe. Pomocí jednoduchých skriptů můžeme oba přístupy snadno kombinovat, pokud to charakter dat a jejich zpracování dovolí.

Co se týče podpory multiprocesing (nebo multithreading, budu to volně zaměňovat) přímo v programovacích jazycích, tady je situace horší. Ano, v klasickém C máme fork() s tím, že si všechno (výměnu dat mezi procesy, zámky apod musíme pohlídat sami). Některé jazyky (Python) jsou vyloženě singlethread. Ne, že by nešlo programovat ve více vláknech, ale v základu všechno dost komplikuje GIL (global interpreter lock). Existují snadno použitelné knihovny, které to různými způsoby obcházejí (Multiprocessing). V Golangu máme gorutiny a kanály. V Rustu máme threads a message passing. Ale je tohle opravdu způsob, jak snadno napsat program pro 256 jader?

O co mi jde a tak trochu zopakuju jeden ne moc povedený dotaz, který jsem měl nedávno pod nějakým blogem. Proč neexistuje jazyk, který by multiprocesing řešit sám bez zásahu programátora? Když uvedu příklad z pythonu, tak v pythonu máme list comprehension, což je udělátko, které na vstupní seznam aplikuje nějakou fci a výstupem je opět seznam:

output = [f(item) for item in input] 

Problém je, že jak celý vstupní, tak celý výstupní seznam se musí vejít do paměti. Tenhle problém se řeší pomocí generátorů a od toho máme generator comprehension:

output = (f(item) for item in input) 

Pokud máte pocit, že to až na použité závorky vypadá úplně stejně, je to tak. Drtivou většinu list comprehension lze přepsat na generator comprehension a všechno bude fungovat. Výhodou generátorů je to, že jsou lazy, že další prvek vygenerují až je potřeba, na rozdíl od listu, který je kompletní. To znamená, že pomocí generátorů můžeme generovat nekonečné seznamy a taky můžeme jako prvky používat objemná data (já to takto používám pro obrázky, jejichž celkový objem je výrazně větší než dostupná paměť a přes to s nimi můžu pracovat jako s jedním seznamem).

Zpět k tématu. Python poskytuje snadno použitelnou knihovnu (Multiprocessing.Pool) pro zpracování dat ve více procesech. Použití triviální:

output = Pool().map(f, input)

Toto nám vyrobí seznam stejně jako list comprehension, ale využije k tomu automaticky všechny dostupné procesory. Což je moc fajn, pokud se nám vstupní a výstupní data vlezou do paměti. Je to rychlé, snadné na použití a efektivní.

Bohužel neexistuje nic jako Pool generátor. Tj že by pro výrobu další prvků používat více procesů, ale nevygeneroval by celý výstupní seznam naráz. Držel by si několik předzpracovaných prvků k okamžitému výdeji. Ano, toto si lze napsat pomocí jiných prostředků a mít tak frontu požadavků ke zpracování a ty zpracovávat paralelně (což ve skutečnosti mám, ale nepovažuju to za řešení ale spíš jako workaround). Co by se mi líbilo by byl automaticky paralelní generator comprehension.

Nebo ještě lépe, jazyk, který od programátora vůbec nevyžaduje hint ve stylu „tady bude další thread“ (tak jako třeba Golang i Rust vyžadují o C ani nemluvě). Prostě jazyk, který by sám dokázal generovat nezávislé úlohy a jejich závislosti, tak jak se třeba píšou pravidla pro Make (popis, jak vyrobit nějakou část dat a popis závislostí jednotlivých podúloh), dával si je do fronty a toto exekuoval na všech dostupných procesorech.

Je něco takového na obzoru? Vím, že existují speciální jazyky jako ERlang, ale v těch jsem nikdy nic „pořádného“ napsaného neviděl. Ano, používá se s výhodou tam, kde je potřeba řídit komunikaci many to many (tj ejabberd nebo rabbitmq) a ty nic nepočítají a erlang se tam používá spíš jen pro výměnu zpráv mezi jednotlivými interními thready (kterých mohou být snadno miliony) a nikoliv pro paralelní výpočet čehokoliv.

Tento článek je archiv z ABCLinuxu.cz, veškerou diskusi provozujme tam, děkuji.

Kdo se nestydí za svoje tweety z minulého roku, ten se málo vzdělává.

Studie Think Tanku EP ke slučitelnosti blockchainu a GDPR tereza.tumova@… Út, 08/13/2019 - 10:33

SPIR se přestěhoval na adresu na Na Dolinách 35, Praha 4 tereza.tumova@… St, 08/07/2019 - 15:46

Sdělení Evropskému parlamentu a Radě: Pravidla ochrany údajů jako nástroj umožňující důvěru v EU a nad její rámec – zjištění stavu tereza.tumova@… Čt, 08/01/2019 - 09:06

Stanovisko SPIR k návrhu zákona o dani z vybraných digitálních služeb tereza.tumova@… Út, 07/30/2019 - 06:22

Před půl rokem jsem dostal nápad na malý programátorský startup a začal prozkoumávat jeho realizovatelnost malým prototypem. Zatímco technickou náročnost jsem vzhledem ke svým zkušenostem odhadl celkem dobře, moje povědomí o byznys doméně - rezidenční fotovoltaice - se ukázaly být založené na třicet let starých popkulturně anekdotických legendách.

Používám jak GUI aplikace, tak ty textové a přestože mi tu běží Xka s KDE, trávím hodně času v konsoli a na příkazové řádce. Kombinuji tedy ovládání klávesnicí i myší podle toho, co je výhodnější. A říkal jsem si, že by se občas hodilo mít možnost přetáhnout soubor myší ze správce souborů (v KDE to je Dolphin) do příkazové řádky, kde mám rozdělanou nějakou práci a hlavně nalistovaný ten správný adresář. Příjemně mne překvapilo, že v KDE už tahle funkce je :-)

Když chce malíř vytvořit obraz (produkt) vezme štětec (nástroj) a namaluje ho. Jasné jako facka. Co ale vlastně dělá malíř, když vezme tužku a namaluje si nejdřív skicu?

V červnu rostla kategorie Cestování – prodej   tereza.tumova@… Pá, 07/05/2019 - 08:31

Jak přidat webové aplikaci REST API s knihovnou API Platform ....

Většina lidí bilancuje poslední den roku, ale včera jsem neměl čas, protože jsem něco programoval, tak napíšu bilanci dneska, na Nový rok večer. Bude však o to delší a snad i zábavnější :-)

Rok 2018 byl pro mě spíš takovým pokračováním roku 2017, který byl na události mnohem nabitější. A co teprve rok 2016 nebo dokonce 2015? Každý byl docela úžasný. Mám-li ale své současné bastlení popsat chronologicky, musím zřejmě začít ještě o kousek dřív...

2014

V roce 2014 jsem už naplno dělal s Arduiny, ale brzy měl až po krk vrabčích hnízd v breadboardech a chtěl jsem začít pájet hotové výrobky. Na to jsem ale potřeboval nové místo - pájecí stůl, a tak jsem si ho v červenci pořídil:

V září 2014 jsem pak na podomácku děsivě vyleptaném plošném spoji postavil první prototyp PARCP-USB.


O měsíc později jsem už osazoval profi plošné spoje (první z Číny), a dnes má PARCP-USB doma nejeden Atarista.


V prosinci 2014 jsem postavil předchůdce WiFi Teploměru, tenkrát ještě s Ethernetovým rozhraním. Už tehdy jsem měl doménu teploty.eu (později jsem přešel na teploty.info) a začal pracovat na ukládání naměřených hodnot a grafech teplot.

2015

V únoru 2015 jsem kamarádovi postavil chytrý dům - ovládání světel a žaluzií přes tablet, všechno po OneWire sběrnici. Tu jsem měl v té době už mimořádně oblíbenou.


V květnu 2015 jsem vytvořil USB adaptér pro původní 8bitové joysticky, pro dokonalý retro zážitek při hraní Atari her nejen na mém Atari800 emulátoru.


V červenci 2015 jsem postavil něco jako USB voltampérmetr s Arduinem a displejem (měl jsem pak o něm na OpenAltu přednášku).


V září 2015 pak vznikl na detailní zakázku první (spíš nultý :) kus WiFi Teploměru, což v budoucnu nečekaně ovlivní můj život, priority, volný čas a podobně.


Poté jsem si koupil první trochu "profi" vybavení na můj pájecí stůl - digitální multimetr (starý z dětských let už dosluhoval) a krásný 4kanálový 100MHz osciloskop, který skoro nepoužívám, ale když už ho někdy potřebuju, je vskutku nenahraditelný.


V listopadu 2015 jsem pro jednu nejmenovanou firmu vytvořil "informační systém" z kombinace Raspberry Pi a velké LCD TV. Mají to nasazeno ve výrobě a funguje to spolehlivě už tři roky (klepu na dřevo).


Zajímavostí je obrovský panel o FullHD rozlišení složený ze čtyř velkých TV, na který se promítá obraz (čtvrtina obrazu automaticky na každou televizi). Celková úhlopříčka skoro 3 metry.

2016

V lednu 2016 jsem začal stavět "digitální vodoměr" (optický odečítač hodnoty z klasického vodoměru s točícími se kolečky), samozřejmě s pomocí Arduina.


V březnu 2016 jsem na InstallFestu osobně potkal jednoho ze jmenovců, který mi zabral doménu petrstehlik.cz :-) Stehlík, nebo dokonce Petr Stehlík, se dnes ostatně jmenuje prakticky každý programátor, grafik nebo bastlíř. Je to těžké :-)


Zároveň jsem řešil umírající zapalování plynového kotle. Nejdřív mě asi půl roku zachraňovalo resetítko postavené z Arduina, ale nakonec jsem vyměkl a koupil novou zapalovací elektroniku.


2. dubna 2016 jsem byl na významné události: schůzce Zlínského Atari klubu po 30 letech (dávám to sem pro pobavení, vypadá to jako skoro klub důchodců - a prakticky je! :-)


V květnu 2016 jsem postavil první sériový kus WiFi Teploměru, protože jsem si říkal, že je škoda zahodit tu práci a zkušenosti, které jsem nabral při stavbě prvního prototypu podle zadání Kamila Z. Od té doby jsem vytvořil nejméně 15 revizí plošného spoje, přešel z kupovaných ručně vrtaných na přesné 3D tištěné krabičky, vymyslel mnoho nových čidel, párkrát přepsal firmware - zkrátka mě baví pořád to vylepšovat.


Bohužel se ale v té době začal o slovo hlásit dům, že chce po 16 letech nějakou tu údržbu. Nejdřív v červenci 2016 rekonstrukce koupelny:


Přitom se ukázalo, že špatně propojený odpad od umyvadla nechával roky téct odpadní vodu do základů dřevěného domu. To bylo hned starostí s hnilobou nosných trámů, vyháněním mravenců z konstrukce domu, sháněním specializované vysoušecí firmy, půlroční boj s pojišťovnou a podobné radosti.


Koncem října jsem postavil nádherné police ve sklepě, které byly určeny pro nedočkavě očekávanou, dlouho složitě vybíranou novou 3D tiskárnu. Bohužel volné místo bylo okamžitě zaskládáno nesouvisejícími věcmi, takže tiskárna ve sklepě nikdy nebyla, smrdí mi v pracovně :-)


V listopadu 2016 přijela první tiskárna Průša i3 MK2. Od té doby mé elektronické výrobky mají konečně nějakou rozumnou podobu. Co posledních 30 let vypadalo vždycky jako vrabčí hnízdo, má nyní krásnou krabičku. A co věcí v domácnosti umí 3D tisk vyrobit či opravit! 3D tiskárna patří do povinné výbavy každého bastlíře...

2017

V lednu 2017, ve velkých mrazech, padlo roky odkládané rozhodnutí vyměnit plastová okna za nějaká s nepromrzajícími rámy (ano, vevnitř v místnosti opravdu naměřím mínus pět stupňů Celsia na rámu okna).


Začátkem února 2017 jsem si koupil v českém obchodě z Polska čínskou pájecí stanici, která má horký vzduch i páječku. Horký vzduch mi od té doby mnohokrát pomohl odpájet či zapájet mikrokontroléry, zatímco páječku jsem na naléhání přátel z G+ začal používat až teprve v srpnu 2018 (a dobré!)


V únoru 2017 mi taky praskl plastový filtr na přívodu vody do domu a proud vody o tlaku 6 atmosfér mi za tři hodiny kompletně vyplavil sklepy a zničil spoustu věcí za mnoho a mnoho peněz.


Následné vysoušení odbornou firmou mi pak dodatečně zničilo ještě i podlahy (popraskaly potěry). Celkové škody v ceně nové Škody...


Na základě tohoto nesmírně silného zážitku (to fakt nechcete zažít podruhé) jsem hned v březnu dokončil optické odečítání průtoku vody a hlavně jsem na vstupu vody do domu přidal Arduinem ovládaný ventil, který při nadměrném či dlouhodobém průtoku vody všechno zastaví. Výsledné řešení jsem později prezentoval na OpenAltu.


V březnu 2017 jsem pro jednoho člověka dokončil na zakázku vyvíjenou USB nabíječku ze střídavého 24V napětí určenou do chatiček v jakémsi rekreačním areálu. Bohužel, nikdy si hotové zařízení neodebral, takže několikaměsíční vývoj se nezaplatil.


Též jsem v té době zkoumal, šlo-li by k běžnému čidlu kouře (požáru) připojit nějakou vysílačku a zapojit ji na internet, abych o případném vzniku požáru věděl, i když nejsem doma. Když jsem to konečně vyzkoumal, čidlo umřelo (asi sešlo věkem, po 10 letech odcházejí všechny).


V květnu 2017 jsem po mnoha letech bezdrátového internetu přešel zpět na DSL, tentokrát už VDSL2. S tím se pojilo mnoho velmi silných zážitků, které by vydaly na samostatný blog post. Teď, po dalším roce, si to už konečně "sedlo" a mám doma 100 Mbps, tak jsem rád. Každopádně mi zbyl úplně nový WiFi klient (původní v zimě 2016/17 po pěti letech odešel, tak jsem na tři měsíce koupil nový Mikrotik).


30. května 2017 jsem se po 18 letech rozloučil s plynovým kotlem (do kterého jsem půl roku předtím musel koupit novou zapalovací elektroniku) a bojlerem. Konečně jsem přešel na plně elektrický dům, jak jsem si posledních 10 let plánoval a pořád propočítával, jestli to vyjde nebo nevyjde lépe než plyn (první rok vyšlo, ale teď kvůli tomu zdražují elektřinu o 27 %, takže opět slepá ulička).


V srpnu 2017 jsem měl funkční vlastní svinovací vynález na zastínění terasy na nové pergole. Slíbil jsem na G+, že to popíšu/nafotím atd., ale ještě jsem neměl čas...


V září jsem na volné místo po plynovém kotli postavil stupínek pro krbová kamna. Naučil jsem se omítat a oprášil si pokládání a spárování dlažby.


27. září 2017 začala obávaná výměna všech oken v domě:


Aby toho nebylo málo, hned začátkem října jsme sbalili laminátovou plovoucí podlahu (po 18 letech stále jako nová) a zkusili místo ní nalepit lino (nebo PVC, nebo jak se to vlastně jmenuje). Cílem bylo dát podlahovému topení větší šanci hřát. Zatím se zdá, že to byl dobrý krok...


V listopadu 2017 jsem postavil dlouho plánovanou revoluční DC-DC UPS, samozřejmě s Arduinem. Dodneška jsem neměl čas ji zdokumetovat a publikovat :-[


V prosinci 2017 jsem pak začal stavět další dětský pokoj přepažením chodby pomocí dvojitých zasouvacích dveří. To mi pak umožnilo oprášit i mé sádrokartonářské schopnosti (které jsem nikdy moc neměl :-)

V tu dobu (konkrétně tuším 14.12.) jsem také po mnoha letech váhání konečně zainvestoval do bitcoinu. Od toho dne hodnota bitcoinu začala prudce klesat a dnes, po roce, je na méně než pětině původní hodnoty.

2018

Konečně jsme se dostali k aktuálnímu, tedy právě uplynulému roku! :-)

V lednu 2018 se rozbilo otevírání střešního okna Roto v novém dětském pokojíčku tak, že nešlo zavřít (proč se to děje vždycky v třeskuté zimě, jako se pokazilo zapalování plynového kotle, jako praskla voda a udělala povodeň ve sklepě?). Nechali jsme se přemluvit na kompletní výměnu obou oken, prý je to nejrozumnější varianta. A že prý to byla moje chyba, měl jsem je pravidelně mazat.


V březnu 2018 přijela nová 3D tiskárna Průša i3 MK3, protože jsem jako naprostý začátečník podlehl sugestivní reklamě a vyměnil ji za 100% funkční i3 MK2 (a pak jsem si pár měsíců trhal vlasy - ale už jsme si na sebe zvykli).


Na výstavě Ampér v Brně jsem si vybral své příští auto - Tesla Model X. Zmocnil se mě totiž neodbytný pocit, že budu brzy potřebovat šestimístné rodinné auto. Jen tento nadupaný model stojí skoro 3 miliony, takže budu muset ještě "pár let" šetřit :-)


Stále ještě v březnu 2018 jsem měl doma půjčenou sadu od Velkého klauna na zkoušku a recenzi - nafotil jsem a natočil mnoho materiálu, ale ještě jsem neměl čas to zpracovat do nějakého blog postu, sorryjako :-(


V červnu jsem instaloval tepelné čerpadlo k bazénu koupené na Silvestra.


V červenci jsem začal stavět hůru nad parkovacím stáním, protože potřebuju další prostory pro věci, které se doma neustále kupí. Opět jsem zvolil jako materiál Durélis, velké plotny spojené na pero-drážku, moc dobře se s tím dělá.


Tu hůru jsem sice dodělával až do Vánoc, ale druhou půlku stínění terasy jsem dokončil ještě v první polovině letních prázdnin:


Největší radostí roku 2018 je ale rozhodně narození mé jediné dcery. Dokonce jsem byl první na světě, kdo ji držel v náručí, heč :)


Abych to patřičně oslavil, jel jsem hned z porodnice do Valašského Meziříčí na sraz elektroaut, nechat se svézt v Tesle Model X (jak jinak :) nějakým usměvavým dobrovolníkem:


Koncem srpna je ve Zlíně každoroční Barum Rally, v roce 2018 byla podruhé i soutěž elektromobilů. Samozřejmě jsme si nenechali ujít prohlídku vítězného auta za předchozí rok - Tesly Model X (už chápete, který elektromobil je nejlepší, že? :)


V té době jsem taky, abych rychleji naspořil na vysněnou Teslu, začal naplno investovat na burzách cenných papírů - začal jsem skupovat akcie technologických firem. Kteroukoliv firmu jsem si vybral, jakkoliv věhlasnou, obrovskou, s desítky let dlouhou historií - jakmile jsem koupil její akcie, šla jejich hodnota prudce dolů. Koupil jsem několik dobře známých titulů (Microsoft, Intel, ...) a pokaždé se situace opakovala, takže to nemůže být náhoda :-) Rčení "prodělal i kalhoty" ani plně nevystihuje, čeho jsem dosáhl za pouhé tři měsíce :-D

V září mi kamarád na 2 týdny půjčil elektrické auto (starší Nissan Leaf), abych si ověřil, že je to skutečně nejlepší způsob pohonu osobních vozů a že auto se spalovacím motorem už opravdu nechci. Dobře se mi s ním jezdilo, do práce i po výletech! :-)


No a v říjnu, se zimou na krku, jsem začal opravovat rozpadající se dlažbu na terase u bazénu. Všichni přizvaní odborníci řekli jednoznačně "vykopat a udělat celé znovu", což by stálo šestimístnou částku. Takže jsem si to zkusil opravit po svém - pracně vyrýpat starou spárovačku a spáry znovu zalepit, ale tentokrát polyuretanovým tmelem.


Při tom všem jsem ještě dokončoval jeden tajný vládní projekt, o kterém vám nemůžu napsat víc, protože bych vás pak hned musel zastřelit, abyste to nevyzradili. Snad jen, že to byl můj zatím nejsložitější plošný spoj a že výsledek dopadl dobře.


V listopadu, když už mi hustý déšť mrzl za krkem, se rozpadla i dlažba před vstupem domu. I tu jsem jaksi opravil polyuretanovým tmelem.


Ještě by stálo za zmínku, že jsem začal pravidelněji navštěvovat Atari a podobné retro akce, takže jsem se krom jiného objevil i v podzemním protiatomovém bunkru pod zlínskou Poliklinikou, o kterém jsem celý život neměl nejmenší tušení. Zkusíme nastartovat muzeální elektrocentrálu?


No a to je tak zhruba vše, co mi fotky za poslední roky připomněly.

Pokud byste potřebovali využít některé z mých extra schopností, třeba postavit a omítnout nějakou zeď, nebo vztyčit sádrokartonovou příčku, položit dlažbu nebo položit nějakou firmu přes nákup jejích akcií či srazit kryptoměnu tak, že už se nevzpamatuje, jsem k dispozici :-)

Za loňský rok jsem se taky hodně naučil o elektromobilech a firmě Tesla, tak kdyby si někdo chtěl koupit nějaké vozítko, co nevrčí a nesmrdí, jděte do toho, je to super. Já budu ještě "chvilku" muset šetřit, vždyť víte... :-)

Mějte úspěšný nový rok 2019 a těšte se na další zprávy z mých komunikačních kanálů :)

P.S. taky jsem koupil 10" Android tablet a nestihl napsat recenzi. A o Vánocích jsem pro vás natočil super video, které nemám čas sestříhat... A určitě by se toho našlo ještě mnohem víc :)

P.P.S. kdyby někdo hledal odkazy na výše zmíněné přednášky, tak https://pstehlik.cz/prezent/

Venku je hezky a spousta lidí se sjela (nebo byla svezena) do Prahy, místo aby byli třeba někde u vody, a protestují proti vládě. Ale proč? Proti čemu a za co? V čí prospěch? Nad tím by se měl každý zamyslet sám. Já k tomu napíšu jen pár poznámek v bodech.

Index digitální ekonomiky a společnosti (DESI) 2019 tereza.tumova@… Út, 06/18/2019 - 13:27

Tzv. QR kódy slouží k šíření nějaké digitální/textové informace v podobě obrázku. Obvykle se používají v AFK světě – tisknou se na papír, dávají na různé krabice, výrobky, plakáty atd. a následně se skenují – většinou mobilem (např. 1, 2,

Celým detektivním seriálem ([1], [2], [3]) o nepříliš výkonném ZFS na FreeBSD se line jedna myšlenka. Zda náhodou ZFS nebo ioscheduler ve FreeBSD neomezuje rychlost (možná záměrným vkládáním sleep) IO procesu, aby zabránil přetížení systému a nedostupnost dat pro ostatní procesy.

To zcela logicky vede k myšlence, zda by nešlo číst data paralelně ve více procesech. To se snadněji řekne, než udělá. Pokud potřebujeme data rychle zkopírovat jinam, žádné paralelní cp nebo tar neexistuje (rozhodně není automaticky dostupné na běžných systémech).

Čistě pro test jsem si takový paralelní cp napsal (pomocí Python Multiprocesing Pool . map). Je to takové udělátko pro paralelní zpracování pole:

pool = Pool()
pool.map(fce, data)

kde fce je nějaká funkce akceptující argument a data je pole dat (v mém testovacím případě pole souborů). Map spustí fce (v mém případě shutil . copyfile()) nad každým prvek vstupního pole. Pool() tuto běžnou funkci (map, filter, reduce zná asi každý) umí spustit paralelně, ve výchozím stavu v počtu procesů podle počtu procesorů. Parametrem lze počet procesů určit. Tyto nástroje nám umožňují si snadno napsat test paralelního čtení.

Pojďme se, bez dalšího zdržování, podívat na výsledky. Jako testovací dataset posloužil můj pracovní dataset se soubory o velikostech cca 1MB s rozptylem až do 10MB.

Jak vidíme, test čtení v jednom procesu je pomalý, jen 17.5MB/s. S vyšším počtem procesů rychlost poměrně rychle stoupá a postupně se asymptoticky blíží limitě. Mimochodem, v minulém článku jsem teoreticky vypočítal rychlost čtení souborů o velikost 1MB a dostal jsem se k číslu 75MB/s. Dnešní test čtení ukazuje limitu někde kolem 70MB/s (v datasetu jsou ale soubory různých velikostí s průměrem 830kiB).

No jo, ale co teda s tím? Na jednu stranu je fajn, že se systém běžným používáním nenechá zablokovat a všechny ostatní procesy se ke svým datům dostanou bez ohledu na další provoz na FS, na druhé straně asi není dobré mít k disposici jen cca 25% výkonu v případě, kdy např. potřebujeme zkopírovat pracovní data na jiný disk nebo systém. Jistě, můžeme si napsat speciální nástroje, ale i to má svá rizika (viz varování v dokumentaci modulu shutil) – tzn je nutné řešit speciální soubory, práva, ACL, symlinky a hardlinky, sparse file apod. Jistým řešením může být vhodné rozdělení datasetu a paralelně tarovat jeho různé části. Ovšem ne vždy je toto možné udělat.

K vytvoření tohoto článku mě inspiroval kamarád na Facebooku, který udělal něco, co by podle mě dělat neměl. Neudělal to

Příspěvek Jak chránit soukromí dětí na internetu pochází z Spajk.cz

Určitě se Vám někdy stalo, že jste potřebovali aby Váš počítač běžel, ale on se po nějaké době zamknul, nebo

Příspěvek Jak zabránit počítači aby se uspal nebo zamknul pochází z Spajk.cz