Safety Corner

Mathis Lechner ist PhD-Student und Machine Learning Forscher am Institute of Science and Technology Austria in Maria Gugging bei Klosterneuburg. Seine Forschungsschwerpunkte sind Machine Learning, Formale Methoden und Robotik. In diesem Zusammenhang kam es zur Zusammenarbeit mit Forscherinnen und Forschern des IST, der TU Wien und dem MIT . In dieser Episode haben wir darüber gesprochen, welche Aspekte beachtet werden müssen, um Systeme mit neuronalen Netzen in sicherheitskritischen Systemen einsetzen zu können. Spezieller Fokus wurde auf eine Arbeit vom letzten Jahr gelegt. Zusammen mit Ramin Hasani war er Hauptautor einer Arbeit die gezeigt hat, dass mit wenigen Neuronen in autonomen Fahrsituationen teilweise bessere Ergebnisse erzielt werden können, als mit komplexen neuronalen Netzen, wenn man sich an der Natur orientiert. Diese Arbeit wurde in Nature Machine Intelligence publiziert. Das sind die im Podcast angesprochenen Paper: Neurales Netzwerk mit wenigen Neuronen (Lechner, Hasani et. Al): Neural circuit policies enabling auditable autonomy Verifikation quantisierter neuraler Netze (Henzinger et. Al.): Scalable Verification of Quantized Neural Networks (Technical Report) Adversial Training – Genauigkeit vs. Robustheit (Lechner et. Al): Adversarial Training is Not Ready for Robot Learning --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Michael Schmid is a Technology Architect and Loss Prevention Specialist in the field of autonomous systems. His research focuses on preventing losses related to the use of Artificial Intelligence (AI) and making AI safe for use in everyday technology. Previously, Michael has worked on automation features in cars, self-driving software, and has developed a certification approach for automated vehicles. Michael has a Master‘s degree from the Massachusetts Institute of Technology (MIT) and is currently a PhD candidate in the Group for System Safety and Cybersecurity at MIT. In this episode, Michael provided some insights into his research and explained why we need a systems approach to solve many of today‘s problems in technology. As an example, Michael and I discussed some of the challenges of autonomous cars and he outlined a systems-based approach for their certification. Michael provided a quick overview of his current research, making AI-based technology safe, and described some of his main ideas. STAMP, a new accident causality model developed by Nancy Leveson, Michael‘s supervisor at MIT, serves as the basis for his approach. Additional sources of information: To learn more about Michael, his projects and current work, or to download his Master‘s thesis on the certification of automated vehicles visit his webpage: michael.systems For info about STAMP and the next STAMP workshop go to: PSAS website --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Michael Schmid is a Technology Architect and Loss Prevention Specialist in the field of autonomous systems. His research focuses on preventing losses related to the use of Artificial Intelligence (AI) and making AI safe for use in everyday technology. Previously, Michael has worked on automation features in cars, self-driving software, and has developed a certification approach for automated vehicles. Michael has a Master‘s degree from the Massachusetts Institute of Technology (MIT) and is currently a PhD candidate in the Group for System Safety and Cybersecurity at MIT. He is the second time guest in this podcast. In this episode, Michael gave a thorough introduction to STAMP and STPA. STAMP is an accident causality model that was developed by prof. Nancy Leveson at MIT. It is based on systems theory and systems thinking. It is well-suited to addresses the challenges in engineering when working with critical complex systems. STPA is an analysis method based on STAMP to analyze systems to proactively avoid accidents. In comparison, CAST is the a method to analyse accidents that already happened. Additional sources of information: To learn more about Michael, his projects and current work, or to download his Master‘s thesis on the certification of automated vehicles visit his webpage: michael.systems For info about STAMP and the next STAMP workshop go to: PSAS website The STPA-handbook can be found here: STPA-handbook --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Dr. Holger Flühr ist seit 2003 an der FH Joanneum tätig und seit 2006 ist er dort Professor für Avionik und Flugsicherungstechnik. Zudem agierte er zeitweise auch als Instituts- und Studiengangsleiter. Davor war nach jahrelanger Tätigkeit in der Forschung im Forschungszentrum Karlsruhe (aufgegangen im KIT) und der TU Graz eine Zeit lang auch bei einem Unternehmen beschäftigt, das sich mit der Entwicklung von Hochfrequenz-Bauteilen für Mobilfunkanwendungen beschäftigt. Abschließend wären noch die Mitgliedschaften in Beratungsgremien und Interessensvertretungen zu erwähnen. In den letzten Wochen war in Zeitungen und Online-Medien vermehrt über den Mobilfunkstandard 5G und mögliche Komplikationen mit Flugzeugen zu lesen. Kurz gesagt besteht die Gefahr, dass die 5G-Mobilfunkwellen Flugzeuge während der Landung stören könnten. Und während die Luftfahrt grundsätzlich als sehr sicher gilt, gehören Start und eben auch Landung zu den kritischeren Phasen eines Flugs. Was hat es nun mit den Berichten auf sich? Auf diese und weitere Fragen ist Herr Flühr im Podcast eingegangen. Am Anfang wurde vor allem das geklärt was die Avionik überhaupt ist und anhand welcher Grundidee man Flugzeuge und deren Systeme sicher gestaltet. Weitere Ressourcen: Der Studiengänge an der FH Joanneum: Luftfahrt/Aviation Bachelor und Master Holger Flührs Buch Avionik und Flugsicherungstechnik Info für Flugzeug-Wartungspersonal: Austrocontrol Part-66 OpenAcess Literatur Aerospace Science and Technology (bietet viele Open-Access-Artikel) CEAS Aeronautical Journal (bietet viele Open-Access-Artikel) Deutsche Gesellschaft für Luft- und Raumfahrttechnik (Netzpublikationen aus dem gesamten Aerospacebereich) Avionics Magazine (ein Industriemagazin für einen guten und aktuellen Überblick) FAA-Literatursammlung (aus der pilotischen Sichtweise) --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Andreas Gerstinger ist System-Safety-Experte mit Erfahrung verschiedenen sicherheitskritischen Bereichen, vor allem in der Flugsicherungs- und Bahnindustrie. Er ist bei Frequentis angestellt und zudem Lehrender an der FH Campus Wien und dem FH Technikum Wien . In dieser Episode haben wir über die Boeing 737 MAX Abstürze vom Oktober 2018 und März 2019 gesprochen, bei denen insgesamt mehr als 300 Menschen gestorben sind. Als Ursache wurde ein System ausgemacht, dass die Fluglage eigentlich stabilisieren sollte. Wir haben ausführlich besprochen, welche Umstände zu dieser Fehlkonstruktion und schlussendlich zum System-Safety-Versagen geführt haben. Hier sind die im Podcast angesprochenen Dokumente und weiterführende Informationsquellen: Unfallbericht Lion Air: Aircraft Accident Investigation Report - PK-LQP Unfallbericht Ethiopian Airlines: Aircraft Accident Investigation Preliminary Report - ET-AVJ Bericht der Untersuchungskommision des Kongress: Final Committee Report on the Design, Development, and Certification of the Boeing 737 MAX Ausführlicher Artikel der Seattle Times: Flawed analysis, failed oversight: How Boeing, FAA certified the suspect 737 MAX flight control system --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Ingo Houben ist Business Development und Account Manager bei AdaCore und verantwortlich für den deutschsprachigen Raum. Er langjährige Berufserfahrung in der EDA-, Embedded- und Automobilindustrie. Dort hat er sich mit Mikroelektronik und Softwaretechnik beschäftigt. In diesem Podcast haben wir über Ada und Spark gesprochen. Ada ist eine Programmiersprache, die sich aufgrund der strengen Anforderungen an validierte Compiler gut für sicherheitskritische Anwendungen eignet. Spark ist eine Variante von Ada mit zusätzlichen Regeln. Diese Regeln ermöglichen es, Programme automatisch auf Korrektheit zu prüfen. Die von Ingo erwähnte Studie kann hier heruntergeladen werden: Controlling Costs with Software Language Choice Bei Fragen kann man sich über LinkedIn an Ingo wenden: Ingo Houben - LinkedIn --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Sarah Fluchs ist CTO von Admeritia und zudem die Verfasserin der monatlichen Security-Briefing für Hard Hats. In Arbeitsgruppen der ISA und der IEC beschäftigt sie sich zudem mit der Normung. In dieser Episode haben wir Gemeinsamkeiten und Unterschiede von Safety und Security erörtert. Dabei sind wir auf Themen gestoßen, bei der die eine Disziplin von der anderen lernen kann oder bei denen beide Disziplinen gemeinsam noch dazulernen müssen. Das Security-Briefing kann hier abonniert werden. --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Alfred Vlasek ist Safety Instructor bei der IFATCA (International Federation of Air Traffic Controllers Association) und Mitglied der IFATCA Safety und Just Culture Advisors. Zudem ist er Nebenberuflich Lehrernder an der FH Campus Wien am Studiengang für Safety and Systems Engineering. Er ist zum zweiten Mal zu Gast im Podcast. Diesmal sprach Vlasek über Flugsicherung: Wie Fluglotsinnen und Fluglotsen einen sicheren Flugbetrieb gewährleisten und wie sich die Corona-Krise auf die Flugsicherungen auswirkt. --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Anthony Corso is a Ph.D. student in the Aeronautics and Astronautics Department at Stanford University where he is advised by Professor Mykel Kochenderfer in the Stanford Intelligent Systems Laboratory (SISL). He studies approaches for the validation of safety-critical autonomous systems with an emphasis on interpretability and scalability. In this podcast he talked about safety-validation of autonomous systems. The latter includes systems such as robots, cars, aircraft, and planetary rovers equally. In May he published a paper which deals with different algorithms for black-box safety validation. One of the approaches is to use reinforcement learning, which was discussed in the podcast in more detail. He also briefly introduced the Next-Generation Airborne Collision Avoidance System ACAS X, in which development Professor Kochenderfer was heavily involved. ACAS X takes advantage of Dynamic Programming, an algorithm for optimal decision making. The mentioned papers, further readings and an interesting podcast can be found here: The paper mentioned above: A Survey of Algorithms for Black-Box Safety Validation The paper on Adaptive Stress Testing (AST): Adaptive stress testing with reward augmentation for autonomous vehicle validation The AST toolbox mentioned in the podcast: AST-Toolbox The CARLA simulator mentioned in the podcast: CARLA A paper on ACAS X: Next-Generation Airborne Collision Avoidance System An episode of Standford University's podcast The Future of Everything with Mykel Kochenderfer where he talkes about ACAS X and Artificial Intelligence (AI) in safety-critical systems: Mykel Kochenderfer: AI and safety-critical systems --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Markus Rubner ist technischer Referent in der Schienenfahrzeugtechnik bei den Wiener Linien und zuständig für die U-Bahn-Beschaffung. Aktuell ist er mit der Beschaffung des X-Wagens beschäftigt. Der wird im gesamten Netz zum Einsatz kommen, auf der zukünftigen U5 sogar fahrerlos. Er hat über die notwendig Maßnahmen gesprochen, um den fahrerlosen Betrieb sicher zu machen. Es erzählt wie Unfälle vermieden werden und was passiert, falls doch mal etwas passiert. Im U-Bahn-Infocenter kann man sich über den U-Bahn-(Aus)Bau und vor allem über die zukünftige fahrerlose U5 informieren. --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Thomas Bleier ist Informationssicherheits-Experte im industriellen Umfeld. Im Zuge seiner selbstständigen Tätigkeit ist er unter anderem auch FH-Lektor an der FH Campus Wien und Vorsitzender der Arbeitsgruppe "IACS Security" (Industrial Automation and Control Systems Security) im OVE. Diese stellt das nationale Spiegelkomittee für die Entwicklung der Normenreihe IEC 62443 dar. Im Podcast ging neben allgemeinen Betrachtungen zu Security im industriellen/maschinenellem Umfeld um das Thema, warum Security-Betrachtungen in Zukunft nicht außer Acht gelassen werden können, wenn man ein safes/sicheres System haben möchte. Die IEC-62443-Reihe beschäftigt sich mit Security im IACS-Umfeld. Die angesprochenen Normen bzw. Entwürfe waren die IEC-62443-Reihe und IEC PAS 63325 ED1 (Lifecycle requirements for Functional Safety and Security for IACS). --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Simon Leitner ist CEO und Founder von Condignum, einer Cybersecurity-Firma mit Sitz in Wien. Er beschäftigt sich vor allem in den letzten 10 Jahren mit Cybersecurity. NIS2, eine neue EU-Richtlinie zur Cybersicherheit, tritt ab Oktober 2024 in Kraft. Die darin definierten verschärften Maßnahmen und Meldepflichten betreffen viele Unternehmen. Im Gespräch mit Simon Leitner wurde erörtert, was genau NIS2 fordert, wen es alles betrifft und wie man diese Anforderungen erfüllen kann. Die erwähnten Ressourcen: Adam Shostack Bücher ENISA Threat Landscape Cybersicherheitsinformationen des österreichischen Bundesministeriums --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Mark A. Vernacchia is a GM Technical Fellow and is the Principal System Safety Engineer for all GM propulsion systems worldwide. Mark received a BS in Mechanical Engineering from Purdue University and an MS in Engineering Sciences from Rensselaer Polytechnic Institute (RPI). He has been listed on 24 control system based patents as an inventor. Mark is a Professional Engineer in the State of Michigan and is recognized as an Expert Systems Engineering Professional (ESEP) by the International Council of Systems Engineers (INCOSE). In this episode, Mark talked about SAE J3187, a recommended practice for evaluations of automotive related safety-critical systems using the system-theoretic process analysis STPA. Goal of this document is to provide both educational materials and lessons-learned gained by STPA practitioners. Further, Mark talked about his experiences using STPA and being a task force leader developing the recommened practice. There will be a major update of SAE J3187 in the first quarter of 2023. Additional sources of information and links mentioned in the podcast: For info about STAMP and the next STAMP workshop go to: PSAS website A list of presentations by Mark on STPA can be found here: Vernacchia STPA presentations The STPA-handbook can be found here: STPA-handbook You may reach out to Mark A. Vernacchia via email: firstname.a.lastname [a] gm.com (replace firstname and lastname by, ail address is not pasted directly to avoid spam mails) --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Lydia Kaiser ist seit März 2021 ECDF-Professorin für „Digitales Engineering 4.0.“ am Institut für Werkzeugmaschinen und Fabrikbetrieb der TU Berlin. ECDF steht für "Einstein Center Digital Future". Sie promovierte zum Thema "Rahmenwerk zur Modellierung einer plausiblen Systemstruktur mechatronischer Systeme“. Anschließend beschäftigte Sie sich mit Systems Engineering und speziell Model-based Systems Engineering am Fraunhofer-Institut für Entwurfstechnik Mechatronik IEM in Paderborn. Dort war sie auch Gruppen- bzw. später Abteilungsleiterin. In dieser Episode erzählt sie über ihre Forschung und Lehre bzw. Erfahrungen in der Praxis und in der Zusammenarbeit mit Firmen. In ihrer Forschung dreht sich alles um den Wandel in der Industrie der durch Digitalisierungsprozesse getrieben wird. Dabei möchte sie Fragenstellungen vor allem umfassend, also soziotechnisch und interdisziplinär betrachten. Weitere Informationsquellen bzw. Links aus dem Podcast: Die Systems Engineering Software von TwoPillars: iQuavis Die Mustererkennungs-Lösung für Model-based Systems Engineering: iQSketch Podcast „Female Leadership“: Female Leadership von Vera Strauch Meine Dissertation: Uni Paderborn - Digitale Ressourcen Das erwähnte Systems Engineering-Buch: Systems Engineering (Haberfellner) --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Dr Siddartha Khastgir is the Head of Verification & Validation of collaborative autonomous vehicles (CAV) at WMG, University of Warwick, UK. His research areas in the CAV domain include test scenario generation, safety, simulation-based testing, Safe AI among many others. He has received numerous national and international awards for his research contributions, including the prestigious UKRI Future Leaders Fellowship, a seven-year Fellowship focused on safety evaluation of CAVs, and is a Forbes 30 Under 30 Europe list maker. He is also the project leader for ASAM standardisation project - OpenODD, and an active participant at ASAM, SAE, ISO and UNECE discussions. In this episode we talked about verification and validation of autonomous vehicles. This includes the advantages and challenges of simulations and how one research question raises several more questions. We also talked about the low-speed autonomous driving and about the new standard ISO 22737 “Low-Speed Automated Driving (LSAD) systems”. He was the lead author of that standard, as well as of ISO 34503 “Taxonomy for ODD”, where ODD stands for Operational design domain. Further resources: BSI PAS 1883 - The publicly available standard on how to define an ODD can be found here ISO 22737:2021 - The new standard on low-speed autonomous vehicles can be found here More on openODD can be found here Check out Siddarthas website --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Mein erster Gast im neuen Jahr ist Hilda Tellioğlu, außerordentliche Professorin am Institut für Visual Computing & Human-Centered Technology an der TU Wien. Und Studiendekanin für Informatik. Zudem hat sie Leitungspositionen bei diversen Forschungsinitiativen inne, wie zum Beispiel beim Multidisciplinary Design & User Research Unit, dem Centre for Informatics and Society und im Centre for Technology and  Science. Mit Ihr habe ich über das Thema User Centered Design gesprochen. Dabei ging es zuerst um die Frage, warum das Thema Safetyrelevanz hat. Zum anderen stellt sich vor allem die Frage, was Human-Centered Design ist. Neben aktuellen Möglichkeiten um mit User Centered Design Systeme sicherer zu machen, wurden auch innovative Möglichkeiten besprochen. Frau Tellioğlu hat unter anderem die folgende Literatur zum Thema empfohlen: User-Centered Design: Why and How to Put Users First in Software Development von Dieter Wallach und Sebastian C. Scholz (2012) Socio-technical Systems von Emery und Trist (1960) Interaction Design: Beyond Human-Computer Interaction von Helen Sharp, Jennifer Preece und Yvonne Rogers (5. Auflage von 2019) --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Sean Brady is a forensic engineer who works with business, government and the legal sector to understand and resolve complex issues that typically require a whole of system approach. Sean has just completed the Brady Review, an investigation into the causes of fatalities in the mining industry in Queensland, Australia. This review analysed 20 years of incident and fatality information and culminated in 11 recommendations for both industry and the regulator. In this episode Sean talks about the mining industry and why there is a need for change to prevent fatalities in the future. He discussed so-called High Reliability Organisations (HROs) and how they achieve high levels of safety. One key takeaway was: Feedback is vital to avoid drift into failure. Sean is also a fellow podcaster. His recent podcasting project, Rethinking Safety, is based on the investigations he made for the Brady review. The mentioned report and podcast can be found here: The podcast “Rethinking Safety” and other Brady Heywood podcasts: Brady Heywood Podcasts The Brady review: Review of all fatal accidents in Queensland mines and quarries from 2000 to 2019 --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Thomas Fränzl, Domain Manager Air Traffic Control Tower & Airport bei Frequentis, ist ehemaliger Fluglotse und langjähriger Human Factors und Usability Experte mit Erfahrung in sicherheitskritischen Systemen. Zudem ist er Nebenberuflich Lehrender an den Fachhochschulen FH Campus Wien und FH St. Pölten. Er hat über die Anfänge von Human Factors gesprochen und wie Human Factors die Sicherheit von Systemen beeinflusst. Dabei wurden positive und negative Beispiele angesprochen und gezeigt, dass der Mensch auch in hochautomatisierten Systemen präsent ist und mitbedacht werden muss. Die angesprochenen Buch-Tipps sind Human Factors - Psychologie sicheren Handelns in Risikobranchen von Petra Badke-Schaub, Gesine Hofinger, Kristina Lauche Don't make me think!: Web Usability: Das intuitive Web von Steve Krug The Design of Everyday Things und The Design of Future Things von Donald Norman Alle Bücher sind in der lokalen Buchhandlung Ihrer Wahl oder auf Amazon erhältlich und sind auf safetycorner.wagnerflorian.eu verlinkt. --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Andreas Gerstinger ist System Engineering bzw. System Safety Experte mit Erfahrung in Flugsicherungs- und Bahnsystemen. Zudem ist er Nebenberuflich Lehrender an den Fachhochschulen FH Campus Wien und FH Technikum Wien. Er hat über die Bedeutung von Systems Engineering in sicherheitsrelevanten Projekten gesprochen. Dabei kam auch das Thema Software-Fehler auf: Ob es Software-Fehler überhaupt gibt bzw. was in den meisten Fällen eigentlich damit gemeint ist. Das angesprochene Buch von Crawley, Cameron und Selva heißt System Architecture: Strategy and Product Development for Complex Systems und ist auf safetycorner.wagnerflorian.eu verlinkt. --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message

Thomas Schiffer ist Head of Safety und Project Quality bei der in-tech. In diesem Gespräch über Safety Engineering und Safety Management wurde vor allem auf die unterschiedliche Mentalität in der Auto- und in der Bahnindustrie eingegangen. --- Send in a voice message: https://podcasters.spotify.com/pod/show/safetycorner/message