Zygomatica blog and web site launched

 

The Zygomatica.com web site has now been launched. In brief: Zygomatica.com is a demonstrator for thinking differently.

Please see Who we are to see what the team is about. This blog is bilingual in Finnish and English, depending on the subject matter. Materiaali on joko englanniksi tai suomeksi, aiheesta riippuen.

The group has four general interest areas. Blog postings will made quasi-randomly, whenever any member has anything interesting to say (or anything in general). When a question becomes particularly interesting, we may launch a collaborative project around it, inviting others to join. We have four interest areas. One blog posting has already been written for each area.

  • Creativity. The light side of Zygomatica. These are the “problems in search of a solution” of the title. Any projects in this area will be quick and short. First blog posting: Catapult camera. We present an example of a solution which did not find a problem.
  • Opacity. Addresses our value “anything can be a source of information, if properly interpreted”. These will mostly be case studies on how to  mine out information from sources which look opaque. Blog posting: “Onko Google ainoa järkevä suomenkielinen hakukone / Is Google the only useful Finnish search engine?” Yritämme selvittää, johtuuko Googlen 98%:n markkinaosuus siitä, että se olisi hakukoneena valtavasti parempi kuin muut. Pikatutkimuksemme löytää jotain hypoteeseja, mutta lähinnä nostaa esiin jatkokysymyksiä ja -tutkimuksen aiheita. Ennen muuta esitämme kysymyksen, pitäisikö yhden yhtiön monopoliasemasta olla huolissaan. //////////////////   We study whether Google’s 98% share in Finnish search is justified by a uniquely high search quality. Our quick study develops some hypotheses, but mostly raises issues for further study. Above all we ask whether a 98% monopoly by a single company should be cause for national concern.
  • Security. The serious side of Zygomatica. Security is a complex issue that benefits from unconventional thinking. First blog posting / kirjoitus:  Laivaonnettomuuden analyysi, osa 1. Näkemys Costa Concordian laivaonnettomuudesta ja ennen muuta sen nostattamista systeemitason kysymyksistä. Myöhemmissä artikkeleissa tullaan käsittelemään artikkelin esiin nostamia uusia kysymyksiä tarkemmin, erityisesti avoimemman datan arvoa turvallisuustekijänä.    //////// A system analysis of the Costa Concordia accident [In Finnish]. Future postings will answers questions raised in this essay, in particular the possible value of information transparency as a safety factor.

“Transparency”: Weathercaching

 

One of the first projects done partly with the Zygomatica team is a prime example of what we are calling “transparency” projects. The idea combines geocaching and open weather data to create what we called “weathercaching“.

The concept is simple indeed:  Let’s enhance geocaching so that you get more points for finding a cache in really horrible weather.

There are two catches that made this a very difficult project indeed:

1) How do you actually define “horrible weather”? We wanted something that would be global, unambiguous, and based on valid physiology and meteorology. We further wanted to define this “horribleness” as a single weather factor (W) between 0.5 and 5, analogous to the difficulty/terrain (D/T) points in normal geocaching.

2) How can you measure the “horribleness” of the weather automatically? Having the user measure the weather at the cache location would sound like a “trivial” solution, but this was felt to be a cop-out; the technological question only becomes interesting if open weather data are used.

Full analysis: A full analysis is on the project page.  (Note that the text is rather academical and dry).

Summary: There are “weather corridors” along Finnish highways which have enough weather stations to allow sufficiently accurate monitoring of the weather (see map below, adapted from www.geocaching.com). Even more importantly, the majority of caches are within these corridors.  Problem 2 is therefore technically solvable. However, we could not find a reasonable solution for problem 1. Meteorology has good parameters to define hazardous weather; it does not have any tools to define miserable weather. Also, there is no unambiguous way to determine W from the weather data; misery is culturally defined.

Conclusion: The technology and data sources exist. The specific application itself is, however, not worth implementing, and no demonstrator was made. Other uses for the weather data might well be possible.

Team:  Jakke Mäkelä, Pertti Sundquist, Gavin Treadgold, Kalle Pietilä, Niko Porjo.

Map adapted from www.geocaching.com

“Opacity”: Search engines / Hakukoneet

 

How to use small languages to study search engines //// Kuinka pieniä kieliä voisi hyödyntää hakukonetutkimuksessa?

[English text in normal font / suomenkielinen teksti vinofontilla]

Search engines is are very opaque; it is difficult to know what to is happening, how to study it, and how to interpret the results. Even in a field field filled with more professional researchers, we feel there are some niches to be explored. We have currently focused on Finnish, as it provides an interesting “laboratory”: a small language with a unique grammar in a high-tech and highly networked country. The amount of raw material is huge.

Hakukoneet ovat käytännössä läpinäkymättömiä: on vaikea tietää mitä tapahtuu, miksi, miten sitä pitäisi tutkia, ja miten tulkita. Alue on täynnä tutkimusta, mutta uskomme löytävämme pieniä erikoisalueita itsellemme. Keskitymme tässä vaiheessa suomen kieleen, koska Suomi on loistava “laboratorio”: pieni ja kummallinen kieli kehittyneessä ja verkostoituneessa maassa. Raakamateriaalia on valtavasti. 

#1/2012: “Onko Google ainoa käyttökelpoinen hakukone suomen kielellä?”[Is Google the only usable search engine in Finnish?]

Täysi raportti / full report (Finnish): Mäkelä et al- Suomalainen Bing_Google 2012- raportti

Haluamme tutkia, onko totta että “Google on ainoa käyttökelpoinen hakukone suomen kielellä”. Tilastojen valossa näin todella on; Googlen osuus Suomessa on noin 98%.  Tämä on käytännössä monopoli, ja sille on syytä etsiä syitä. Lausetta e voitu tutkia analyyttisesti, joten kysymyksenasettelu rajattiin seuraavasti: “Google on merkittävästi parempi hakukone kuin Bing suomen kielellä haettaessa”. Tutkimuksessa vertailtiin osumamääriä, jotka saatiin kun tiettyjä hakusanoja laitettiin Googlen ja Bingin suomalaisversioihin. Todettiin, että Bing palauttaa merkittävästi vähemmän tuloksia kuin Google, keskimäärin alle 10% Googlen osumista. Lisäksi vaikuttaa siltä, että Google reagoi nopeammin nouseviin uutisaiheisiin. Suomen kielen erikoispiirteistä löytyy ainakin kaksi ilmiötä, jotka vaikuttavat hakuihin. Google korvaa skandinaaviset kirjaimet (ä,ö) systemaattisesti yleisesti käytetyillä vastineilla (a,o). Bing sen sijaan ei toimi yhtä systemaattisesti, ja tältä osin voidaan sanoa että Bingin haku ei toimi ainakaan niin kuin on totuttu. Suomen kielessä tavalliset yhdyssanat tuottavat molemmille hakukoneille lieviä ongelmia.Tulokset eivät suoraan kerro mitään hakukoneiden laadusta. Osumien määrä on kuitenkin se subjektiivinen mittari, jota uskomme useimpien käyttävän  määrittelemään kuinka “hyvä” hakukone on. Tällä mittarilla Bing jääkin dramaattisesti jälkeen Googlesta. Lisäksi skandien käsittely toimii Googlessa johdonmukaisemmin. Vaatisi tarkempaa sisältöanalyysiä jotta voitaisiin arvioida onko Google “oikeasti” parempi hakukone; näiden tulosten perusteella on kuitenkin helppo ymmärtää, miksi yleisö näin ajattelee.Googlen osuus maailmanlaajuisesti on noin 90%. Muutamaa poikkeusta lukuunottamatta se on kaikissa Euroopan maissa yli 90%, usein yli 96%. (Vertailun vuoksi USA:ssa osuus on 80%, Venäjällä n 60%, Kiinassa n 30%). Vastaava tutkimus olisi siis hyödyllistä tehdä myös muilla pienillä kielillä.

English summary: We studied the statement “Google is the only feasible search engine for searches in Finnish”. The claim is supported by the 98% market share Google has in Finland. To analyze the question, we studied results from searches made in Finnish by Google and Bing (which with Yahoo the only credible alternative). We found that in terms of number of hits, Google is crushingly dominant, with Bing finding typically less than 10% of the results. Bing seems especially “slow” in finding trending news, which is a serious drawback for a search engine. It is apparent that Google is reasonably well optimized for some quirks of the Finnish language, while Bing is not. The clearest difference is in the processing of Scandinavian characters (ä,ö), where Bing’s performance is unpredictable. Both search engines have some problems with another Finnish quirk, compound words, but neither is clearly superior. Other potential differences were found relating to the agglutinative character of Finnish grammar, but this could not be studied systematically so far. This study did not analyze the “true” quality of Bing vs Google searches at the content level. However, the statistical results alone are sufficient to explain why Bing is not generally considered a viable option in Finnish. Such dominance of a small language by a single search engine should be considered a national concern. The situation is very similar for other small European and other languages, and it is recommended that similar studies be performed in other countries.

 

“Creativity”: catapult camera

 

Catapult camera

The “catapult camera” is an example of a project that produced no useful outcome whatsoever. It is included here as an example of a solution that did not find a problem.

The idea was inspired by mast (telescope) camera systems that can be used to map and monitor for example disaster zones. Typical weights for such systems appear to be a few tens of kg, and are capable of supporting camera weights of 4 kg or more. Typical costs for commercial systems appear to be some thousands of EUR. Typical heights that can be reached 10 meters. There is a technology which is capable of reaching altitudes well above 10 meters: small remote- controlled aircraft (helicopters or gliders). These are however not cheap technologies, and are not necessarily very robust in extreme circumstances.

We proposed building a catapult which is capable of launching a camera up to about 40 meters altitude, taking images while it is in the air, and stitching a panorama image of the pictures.

Full report: Download: CatapultCamera-Final.pdf

Outcome: The solution has far to many issues to be useful in real life. Projectiles are likely to get lost or broken; the image quality is far too poor to be useful. Most problematically, the cost of radio-controlled drones is plummeting, and these will be more competitive in every imaginable way. The problem is valid and important, the solution is not.

Team: Jakke Mäkelä, Niko Porjo, Kalle Pietilä.

“Security”: Risteilijäonnettomuus 13.1.2012, Osa 1

Risteilijäonnettomuudesta 13.1.2012, Osa 1

Costa Concordian onnettomuutta käsittelevä keskustelu on nähdäkseni osin väärillä raiteilla. Yleisöä luonnollisesti kiinnostaa kuinka moni menehtyi ja miten selviytyneet kokivat tilanteen. Metsään on menty siinä, miten onnettomuutta on käsitelty turvallisuusnäkökulmasta. Kapteenin rooli onnettomuuden syntyyn on ollut suurennuslasin alla, vaikka se edustaa vain osaa onnettomuuden syntyyn todennäköisesti vaikuttaneista tapahtumista. Esitän kaksi kysymystä, joihin myöhemmissä kirjoituksissa etsimme vastauksia: onko järkevää suunnitella turvallisuusjärjestelmää jossa yhden kohdan pettäminen voi aiheuttaa katastrofin, ja voisiko tilannetiedon avoimuutta merkittävästi lisäämällä saada aikaan aivan uudenlaisia turvallisuusratkaisuja?

Ketju onnettomuuteen

Inhimillisiä tekijöitä ei voi eikä tule tarkastella teknologiasta tai organisaatiosta erillisenä. Ainoastaan kokonaisuutena hyvin toimiva järjestelmä on turvallinen. Tästä näkökulmasta keskustelun pyöriminen kapteenin tekemisten ympärillä on jonkin verran hämmästyttävää. Jos rakentaisimme valtavan hissin johon mahtuu kerralla tuhat ihmistä, laittaisimmeko hissikorin roikkumaan yhden vaijerin varaan? Vaijerin, jota ei ole koskaan kokeiltu täydellä kuormalla? Keskustelu onnettomuudesta kapteenin virheestä johtuvana on kuitenkin tätä tasoa. Suuren ihmisjoukon turvallisuuteen vaikuttavaa järjestelmää pidä suunnitella niin, että yhden osan pettäminen johtaa onnettomuuteen.
Joidenkin raporttien mukaan laiva oli poikennut suunnitellulta reitiltä. Esimerkiksi liikenteen ja sään vuoksi miehistöllä on oltava lopullinen valta siihen mitä reittiä kuljetaan, kuten myös siihen mihin satamaan seuraavaksi ollaan matkalla. Inhimillisistä syistä johtuen miehistö tai sen yksittäiset jäsenet eivät voi tehdä päätöksiä umpiossa. Siksi osana turvallisuusjärjestelmää tulee olla teknisiä ja organisaatiojärjestelyjä jotka:
  1. Estävät virheen tekemisen
  2. Estävät virheen etenemisen
  3. Vähentävät virheen vaikutuksia

1. Virheiden estäminen

Laivaliikenteen perustraditio näyttää olevan, että kapteenilla on käytännössä haastamaton valta. Löytyisikö tähän ratkaisuja, jotka mahdollistaisivat kapteenin päätösten tarkkailun ja kyseenalaistamisen ilman, että kapteenin roolia lopullisena päättäjän tarvitsisi silti kokonaan romuttaa? Tämän onnettomuuden tapauksessa esimerkkinä voisi olla järjestely, jossa poikkeaminen etukäteen suunnitellusta reitistä on hyväksytettävä joko muilla miehistön jäsenillä tai maissa olevalla instanssilla. Viimeinen päätösvalta voisi säilyä kapteenilla; tärkeää on kuitenkin mahdollisuus kyseenalaistaa kapteenin päätökset rutiininomaisesti. Ilmailupuolella käytetään termiä Crew Resource Management (CRM), joka kuvastaa sitä miten ilma-aluksen miehistö toimii yhdessä lennon turvallisuuden takaamiseksi. Muun muassa Lennon KAL 801 onnettomuustutkintaraportissa (johtopäätökset, kohta 13) mainitaan osasyynä onnettomuuteen miehistön kyvyttömyys haastaa kapteeni.

Tilanne vaikuttaa samalta Costa Concordian onnettomuudessa. Ellei miehistön yhteistyö ole jatkuvaa, voi olla vaikea haastaa päätöksentekijöitä silloin kun tarve haasteelle on suurin.

2. Virheen etenemisen pysäyttäminen

Onnettomuutta voi ajatella ketjuna tapahtumia, jotka seuraavat toisiaan. Mikäli kuljetaan pitkin ketjua, päädytään katastrofiin. Jokaisessa kohdassa ketjua on kuitenkin mahdollista valita toimintatapa, joka estää onnettomuuden tai ainakin pienentää sen seurauksia. Tässä onnettomuudessa voidaan ajatella tuon ketjun lenkkejä olevan esimerkiksi päätös kulkea rannan tuntumasta, kyvyttömyys kyseenalaistaa reitin valinta, virheellinen arvio vesialueen kulkukelpoisuudesta sekä evakuointipäätöksen mahdollinen viivästyminen. Toisenlainen toiminta missä tahansa ketjun lenkeistä olisi muuttanut lopputulosta.

Vallan keskittäminen kapteenille yhdistettynä puutteelliseen tai kokonaan puuttuvaan CRM:ään johtaa käytännössä siihen, että kapteeni on turvallisuusjärjestelmässä kohta jonka pettäminen voi yksinään johtaa onnettomuuteen. Korjaavaksi toimeksi voitaisiin tietysti ehdottaa kapteenia, joka ei ota turhia riskejä. Systeemitasolla virhe on kuitenkin siinä, ettei kapteenilla ole ollut vastavoimaa joka rajoittaisi riskinottoa. Toisin sanoen kapteenin virheellisen valinnan, eli riskinoton seurausta, ei tässä toimintamallissa voitu pysäyttää vaan se johti onnettomuuteen. Olisiko tilanne muuttunut, jos laivoilla olisi käytössä selkeämpi CRM-järjestelmä?

Tässä vaiheessa ei ole selvää, aloitettiinko evakuointi oikea-aikaisesti. Täyden tilannekuvan puuttuminen joka tapauksessa hankaloittaa päätöksen tekemistä. Teknisesti on mahdollista rakentaa esimerkiksi järjestelmä joka pitää komentosillalla reaaliaikaisesti yllä tietoisuutta siitä, onko vesilinjan alla oleva runko ehjä ja vuodon tapauksessa kertoo sekä vuodon sijainnin että karkean pinta-alan. Näistä tiedoista olisi mahdollista luoda automaattisesti ennuste jonka perusteella päätää toimista.

Mikäli ongelma ei ole hoidettavissa sisäisesti aluksella, on tärkeää hälyttää apua aikaisessa vaiheessa. Koska varsinkaan alkuvaiheessa ei ole välttämättä selvää onko ongelma hoidettavissa sisäisesti, olisi järkevää että tieto ongelmista kulkisi mahdollisimman varhaisessa vaiheessa myös ulkopuolelle, esimerkiksi samaan tyyliin kuin lentokoneiden ACARS-järjestelmissä. Useista ongelmista, kuten esimerkiksi merkittävästä vuodosta, ohjauskyvyn menettämisestä, ennakoimattomasta reitiltä poistumisesta tai tulipalosta tulisi syntyä automaattinen julkinen hälytys myös aluksen ulkopuolelle. Tämä antaisi ulkopuolisille mahdollisuuden valmistautua pelastustoimintaan. Tällainen avoin hälytysjärjestelmä saattaisi luoda omia uusia ongelmiaan, esimerkiksi jos virhehälytyksiä tulee liikaa. Automaattiset ja avoimet hälytykset parantaisivat kuitenkin avuntarjoajien tilannetietoisuutta ja siten nopeuttaisivat avun saamista.

3. Virheiden vaikutusten vähentäminen

Koska tämän tyyppisillä aluksilla on runsaasti matkustajia ja matkustajien toimintakyky vaihtelee suuresti, on tärkeää tiedottaa turvallisuustilanteen muutoksista niin pian kuin mahdollista. Ajatus ihmisten pitämisestä epätietoisina paniikin välttämiseksi tai mahdollisten turhien pelkotilojen estämiseksi on useimmissa tapauksissa väärä. Virheellisen tiedon antaminen on vaarallista; on silti vaikea nähdä miten tiedon puuttuminen kokonaan olisi yhtään vähemmän vaarallista.

Lisäaika antaa matkustajille ja tilanteesta vapaalle miehistölle aikaa valmistautua ja järjestäytyä. Lyhyelläkin koulutuksella voidaan nostaa merkittävästi ihmisten osaamista. Tästä ehkä paras esimerkki on lentokoneessa varauloskäynnin kohdalla istuvalle annettava 30 sekunnin pikakoulutus oven avaamisesta. Laivoilla kyllä on muodolliset ohjeet hätätilanteisiin, mutta harva (jos kukaan) lukee niitä ajoissa. Voisiko tässä ajatella aivan uudenlaisia toimintamalleja, samaan tyyliin kuin lentokoneessa? Voisiko tietyille matkustajille antaa valmiiksi rooleja, jotka heidän olisi mahdollista hätätilanteen sattuessa täyttää?

Erillinen ja mielenkiintoinen kysymys on, miksi matkustajilla ei voisi olla esimerkiksi mobiililaitteiden ja langattoman verkon kautta samaa tilanneinformaatiota kuin miehistöllä. Tämä voisi hyvin toteutettuna olla todella merkittävä uusi parannus turvallisuuteen.

Syyttäjä tutkinnanjohtajana

Lehdistön mukaan syyttäjä on aloittanut Italiassa turman tutkinnan päivien sisällä onnettomuudesta. Tämä lienee paikallisen lain mukainen käytäntö, mutta toimivan lopputuloksen kannalta hyvinkin kyseenalainen. Muutamista kapteenin lausumaksi väitetyistä kommenteista, “Kompastuin ja putosin pelastusveneeseen”, voi epäillä todellisten tapahtumien peittelyn jo alkaneen. Tämä on luonnollista silloin, kun virheistä seuraa rikosoikeudellinen vastuu.

Olisi kuitenkin mietittävä tarkkaan mikä on onnettomuuden sattuessa yleisön etu. Onko se virheitä tehneiden saattaminen vastuuseen, olivat virheet tahallisia tai tahattomia, vai onko tarkoituksena parantaa turvallisuutta? Nämä eivät toki ole toisistaan täysin riippumattomia – rangaistuksen pelko kannustaa noudattamaan turvallisuuden parantamiseksi luotuja sääntöjä. On kuitenkin selvää, että onnettomuden jälkiselvittelyssä ei päästä parhaaseen tulokseen, jos monet päätöksentekoon osalliset pelkäävät puhua avoimesti. Onko olemassa mallia, joka auttaisi pääsemään tässä tilanteessa täydelliseen avoimuuteen?

Suomen onnettomuustutkintakeskuksen sivuilta löytyvästä turvallisuustutkintalaista löytyvät 39 § ja 40 § rajoittavat tutkinnassa syntyvän tiedon päätymistä muille viranomaisille. Toisaalla Ison Britannian vastaavan viranomaisen sivuilla mainitaan, ettei tutkinnan tarkoituksena ole syyllisten etsiminen tai vastuun jakaminen. Tätä tulisi julkisessa keskustelussa korostaa. Lynkkausmieliala ja skandaalihakuisuus ei johda avoimuuteen, päinvastoin huonontaa sitä. Turvallisuus on viime kädessä koko systeemin ominaisuus. Yksilön virhe saattaa hyvinkin olla tekijä, joka viimeistelee katastrofin. Olennaisempaa olisi kuitenkin kysyä, miksi turvallisuusjärjestelmä ei kyennyt havaitsemaan ja neutraloimaan tälläista virhettä? Vielä tärkeämpää on kysyä, mahdollistaisiko nykyteknologia ja tiedon avoimuus aivan uudenlaisia turvajärjestelyitä, joissa tällaisia yhden pisteen epäonnistumisia ja ketjuuntumisia ei pääsisi syntymään?

Translate »