Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

Ganzheitliche Optimierung
der Produktivität
von Antriebsstrangentwicklung
und –test bei Jaguar Land Rover

Holistic Powertrain Development
& Test Productivity Optimisation
at Jaguar Land Rover
J. Houldcroft, T. Beattie, A. Neil, S. Ducker, J. Bristow
Jaguar Land Rover, Whitley, United Kingdom
R. Osborne, A. Ciriello, M. Wilkins
AVL UK Ltd.
A. Balcombe, A. Ney
AVL Deutschland GmbH
W. Graupner
AVL List GmbH, Graz, Austria

131

1 Einleitung

1 Introduction

Über die vergangenen 4 Jahre ist das Verkaufsvolumen von JLR um
über 90% gewachsen, mit entsprechend signifikanter Einnahmesteigerung – modellspezifische Daten der Geschäftsjahre 2012 und 2013
sind in Abbildung 1 zu sehen. Dieser Erfolg ist auf ein äußerst attraktives Produktportfolio basierend auf der neuen Aluminium-Leichtbauplattform sowie bereits existierenden
Plattformen zurückzuführen (Abbildung 2).
Als Antwort auf Druck durch Wettbewerb
und Gesetzgeber optimiert JLR seine
Plattformstrategie und reduziert die Fahrzeugmassen, um Downsizing der Motoren
und Möglichkeiten der Hybridisierung zu
nutzen. Bezogen auf den Antriebsstrang
beinhaltet das die Eigenentwicklung und
Eigenproduktion einer neuen Motorenfamilie. Das neue UK Engine Manufacturing
Centre, mit einem Investitionsvolumen von
mehr als £500m, wird noch in diesem Jahr
eröffnet, die ersten Motoren werden in
2015 das Band verlassen. Dies wird die
Pläne zur Geschäftsentwicklung des Unternehmens unterstützen (Abbildung 3).

Over the last 4 years JLR sales volumes have increased by over 90%
with significant corresponding revenue growth – specific model data
comparing 12FY and 13FY sales is shown in Figure 1. A combination
of new, highly desirable vehicles launched on both new, lightweight
aluminium and existing platforms has under-pinned this success (see
Figure 2). In response to competitive and
legislative pressures JLR is optimising its
platform strategy and reducing vehicle
weight to exploit engine downsizing and
hybridisation opportunities. From a
Powertrain perspective this includes the
development of a new family of in-house
designed and manufactured engines. The
new UK Engine Manufacturing Centre for
these engines, an investment of more than
£500m, will open later this year with the
first engines coming off the production line
in 2015. This will support the global sales
expansion plans for the company (see
Figure 3).

Direkte Folge ist ein stetig steigender Produktentwicklungsaufwand zur Bereitstellung einer steigenden Anzahl marktspezifischer Derivate und der damit einhergehenden zusätzlichen Entwicklungskomplexität.
Die Herausforderung für die Produktentwicklung bei JLR besteht
nun darin, diese gestiegene Arbeitsbelastung ohne gleichsam
gestiegene Ressourcen zu bewältigen. Als Konsequenz müssen sowohl Entwicklung als auch Prüffeld wesentliche Veränderun-gen
in der operativen Effizienz vornehmen. JLR und AVL haben sich diesen Themas allumfassend angenommen und in einer Reihe gemeinsamer Projekte erfolgreich
Verbesserungspotenziale identifiziert.
Dieser Beitrag repräsentiert einen
generischen Rahmen für Versuchsund Entwicklungseffizienz, zwei
unterschiedlichen Methoden folgend, namentlich der Ansatz der
vier Hebel und der Systemoptimierungs-Ansatz. Der Ansatz der
vier Hebel ermöglicht Verbesserungen der Versuchseffizienz
durch Konzentrieren auf vier abgegrenzte Bereiche von Maßnahmen. Der SystemoptimierungsAnsatz baut auf den vier Hebeln
auf und zielt auf eine optimale
Balance zwischen den Anforderungen der Entwicklung und
den Möglichkeiten des Prüffelds.
Es werden konkrete Beispiele rele-

Abbildung 1:
Land Rover Umsatzvolumen 2012/2013 nach Modell
Figure 1:
Land Rover Retail Volumes 2012/2013 by Model

Abbildung 2:
JLR - Investition in neue Einrichtungen und Produkttechnologie
Figure 2:
JLR - Investing in New Facilities and Product Technology

Abbildung 3:
Starker Wachstum von JLR in allen globalen Märkten
Figure 3:
Strong Growth of JLR in All Global Markets

132

As a direct result, product development
workload is continually increasing to provide increased market specific derivatives
with the associated additional calibration
complexity. The challenge facing JLR product development is to deliver the increase
in workload without a proportional increase in necessary resource.
Consequently the engineering and
test organisations need to introduce significant changes to operational efficiency. JLR and AVL have
examined this topic in a holistic
manner and have successfully
identified areas for improvement
during a series of joint projects.
This paper presents a generic
framework of testing and development efficiency covering two
distinct methods, namely the four
lever approach and the system
optimisation approach. The four
lever approach facilitates improvement in testing efficiency by concentrating on four separate areas
for action. The system optimisation approach builds on the four
lever approach by aiming to provide an optimum balance between
engineering requirements and
testing delivery. Specific examples
of relevant project work undertaken by JLR and AVL are presented before the main conclusions are drawn.

vanter Projektarbeit, durchgeführt
von JLR und AVL, gezeigt, bevor
die wesentlichen Schlussfolgerungen gezogen werden.

2 Konzepte für
Produktivität in
Entwicklung
und Test
Um sowohl die Produktentwicklung als auch das Prüffeld produktiver zu machen, haben JLR und
AVL zunächst gemeinsam bereits
bekannte Konzepte auf ihre Anwendbarkeit hin untersucht, mit
dem Ziel, die Bereiche mit der
höchsten Rentabilität zu identifizieren. Dieses Kapitel beschreibt
diese Konzepte als Basis für die
Implementierung.

2 Concepts for
Productivity in
Development
and Test

Abbildung 4:
4-Hebel Ansatz & Gesamtsystemoptimierung - Zusammenfassung
Figure 4:
Four-Lever Approach vs. Total System Optimisation - a Summary

In order to jointly explore options
to make product development and
test more productive, JLR and AVL
first reviewed proven concepts for
applicability in order to select the
areas with the highest return on
investment. This section describes
those concepts as a foundation for
implementation.

Before going into detail, the key
features of both the four lever and
the system optimisation approaches are summarised in Figure 4.

Bevor die Ansätze der vier Hebel
und der Systemoptimierung im Detail erläutert werden, eine Zusammenfassung der Hauptmerkmale in Abbildung 4.

2.1 Anwendung des Vier-Hebel-Ansatzes

2.1 Using the Four Lever Approach

Um die Produktivität innerhalb des Prüffelds und der Entwicklung zu
steigern, wurden Key Performance Indikatoren (KPIs) definiert und
unter Nutzung eines analytischen Konzepts einem gewünschten
Ergebnis zugeordnet. Der Vier-Hebel-Ansatz [1] ist eine bewährte
Methode zur Abgrenzung unabhängiger Einflüsse auf das Endresultat, basierend auf Entwicklungs- und Versuchsaktivitäten. Nachfolgend wird kurz die Gleichung beschrieben, welche die Basis für diesen Ansatz ist, gefolgt von einem kurzen Absatz über Beobachtungen
bezüglich der genannten KPIs (Abbildung 5).

In order to improve productivity in test and development key performance indicators (KPIs) were defined and related to the desired output using an analytical concept. The four lever approach [1] is a
proven way to separate independent influences on the overall result,
based on product test and development activity. The following section briefly describes the equation that is the foundation of this
approach prior to a brief section on real world observations with
respect to the designated KPIs (see figure 5).

2.1.1 Testing Equation und zugehörige Key
Performance Indikatoren

2.1.1 Testing Equation and Related Key Performance
Indicators

Zur Erklärung werden die vier Faktoren der Testing Equation einzeln
erklärt – von links nach rechts gemäß Abbildung 5.

For explanatory purposes, the four expressions that make up the
testing equation will be discussed individually - in order from left to
right in Figure 5.

• Der erste Hebel, die Auslastung,
ist das klassische Maß eines
Prüffelds: „Laufzeit / Zeit“. Mit
anderen Worten, wie viele der
168 Stunden pro Woche waren
wir in der Lage, Daten zu sammeln?
• Der zweite Hebel, Datenqualität,
erfasst den Einfluss von Daten,
die nicht für den vorgesehenen
Zweck geeignet sind. Der zugehörige KPI wird in Form des
Verhältnisses „Brauchbare Daten / Gesamte Daten“ ausgedrückt. Jeder Messpunkt, der als
fehlerhaft gilt und bereits während des Versuchs oder danach
verworfen wird, wird von der
Summe aller Daten abgezogen.

• The first lever, utilisation is the
classic test facility metric:
"Runtime / Time”. In other
words, how many of the 168
hours every week are we able to
use for engine testing?

Abbildung 5:
Die 4 Hebel Testing Equation & Key Performance Indikatoren (KPIs)
Figure 5:
The Four Lever Testing Equation & Key Performance Indicators (KPIs)

133

• The second lever, data quality,
captures the influence of data
that is not fit for the intended
purpose. The associated KPI is
expressed in the form of the
ratio "Good Data / Total
Data”. Any measured data
point that is deemed defective
and is discarded either during or
after the test is deducted from
the total data count. The remaining data is designated good

JLR und AVL haben gemeinsam zu Untersuchung der Auswirkungen
der Datenqualität veröffentlicht [2].

data. JLR and AVL have jointly published an exploration of implications of data quality in [2].

• Hebel 3 erfasst die Datenerfassungsrate. „Gesamte Daten /
Laufzeit“ kann als KPI für die Versuchsmethodik angesehen werden. Das Ziel ist die Reduzierung der Messzyklenzeit ohne gegenteiligen Effekt auf die Datenqualität. Dies kann die Optimierung
von Stabilisierung, Messzeiten und Messgerätesteuerung umfassen.

• Lever 3 captures data gathering rate. "Total Data / Runtime” can
be viewed as a KPI for the testing methodology. The objective is to
reduce measurement cycle times without adversely affecting data
quality. This can involve optimisation of stabilisation, measure
ment times and measurement device sequencing.
• The fourth and final lever at the right of Figure 5 is development
methodology whilst the expression "Result / Good Data” is the
associated KPI. This KPI measures the engineering approach used
to deliver the development task. The less data that is required for
a result of given quality, the higher the productivity of the combined engineering and test process and vice versa. The goal for engineering is to deliver the required product development result
with the minimum amount of test data.

• Der vierte und letzte Hebel rechts in Abbildung 5 ist die Entwicklungsmethodik, wobei der Faktor „Ergebnis / Brauchbare
Daten” den zugehörigen KPI bildet. Dieser KPI bewertet den
Entwicklungsansatz, der zur Erfüllung einer Entwicklungsaufgabe
herangezogen wird. Je weniger Daten zum Erreichen eines Ziels
von definierter Güte benötigt werden, desto produktiver der
kombinierte Entwicklungs- und Versuchsprozess, und umgekehrt.
Das Ziel der Entwicklung ist, das Entwicklungsziel mit minimaler
Anzahl von Messdaten zu erreichen.

• "Results / Time” is the product of the four KPIs and is an overall
metric of testing effectiveness. This indicates how many engineering results are delivered during a given time – the example used
here is calibrations per hour. This could also mean number of component evaluations per month or certification tests per day etc.

• „Ergebnisse / Zeit” das Produkt der vier KPIs und ist ein gesamtheitliches Maß für die Entwicklungseffektivität. Es gibt an, wie
viele Entwicklungsziele innerhalb einer gewissen Zeitspanne
erreicht werden konnten – das hier verwendete Beispiel ist Kalibrierresultate pro Stunde. Dies könnten jedoch auch Komponentenevaluierungen pro Monat oder Zertifizierungen pro Tag sein.

2.1.2 Real World Observations and Solution Strategies

2.1.2 Beobachtungen in der Praxis
und Lösungsstrategien

JLR and AVL have extensive experience working with the four lever
approach presented in section 2.1.1. Often product development performance metrics, particularly in test, focus on measuring utilisation
and neglect the other 3 levers. In order to quantify the potential
penalty of this singular focus on utilisation, AVL has gathered data
from multiple efficiency projects. The results are shown in Figure 5
where low, average and top performers are indicated for each of the
4 levers. The numbers are shown above the columns in Figure 5 e.g.
9, 20 and 48% utilisation. In addition the range between high and
low performers was examined. This yields the following picture (see
boxed numbers in Figure 5):

JLR und AVL haben einige Erfahrungen im Arbeiten mit dem Ansatz
der vier Hebel wie in Abschnitt 2.1.1 vorgestellt. Häufig wird die
Performance der Produktentwicklung, vor allem im Versuch, mit
Fokus auf Auslastung bewertet, unter Vernachlässigung der drei weiteren Hebel. Um den möglichen Nachteil zu quantifizieren, hat AVL in
einer Vielzahl von Effizienzstudien Daten gesammelt. Das Ergebnis ist
in Abbildung 5 zu finden, in der Low-, Average- und Top-Performer für
jede Kategorie ermittelt wurden. Die zugehörigen Werte finden sie an
den jeweiligen Säulen in Abbildung 5, z.B. 9%, 20% und 48% bei
Utilisation. Zusätzlich haben wir den Faktor zwischen Top- und LowPerformer ermittelt, was zu folgendem Bild führt (vgl. orange hinterlegte Werte in Abbildung 5):
• Utilisation:

• Gathering Rate:
• Methodology:

Faktor 2.5 zwischen Low- and Top-Performer

factor of 5.0 between high and low performer

• Methodology:



• Gathering Rate:



• Quality:


• Quality:

• Utilisation:


As these combined KPIs multiply to provide the overall measure of
effectiveness, an observation is that utilisation has a value of 5.3,
while the combined influence of the other 3 elements is 1.4 x 5.0 x
2.5 ~17. Hence by focusing on the utilisation lever exclusively, large
potential gains from the other areas are neglected. The remaining 3
KPIs in combination represent more than three times higher test field
effectiveness (5.3 versus 17). A conclusion from this result is to
exploit all 4 levers concurrently and to use return on investment considerations to prioritise any subsequent improvement actions.

Da sich diese Einflüsse zum Gesamtergebnis multiplizieren, beobachtet man einen Hebel bei Utilisation von 5.3, während die übrigen drei
Hebel gemeinsam einen Hebel von 1.4 x 5.0 x 2.5 ~17 haben.
Demzufolge vernachlässigt man bei alleinigem Fokus auf Utilisation
eine um das mehr als dreifach höhere Hebelwirkung (5.3 gegenüber
17). Die entsprechende Schlussfolgerung ist, alle 4 Hebel zu nutzen
und die verbessernden Maßnahmen auf Basis ihres Return-onInvestments zu priorisieren.

A discussion on target selection for utilisation is given in [3]. Figure
6 which has been adapted from [3] shows the typical relationship
between waiting time and utilisation for a product development facility. In the case of engine testing, waiting time can be defined as the
amount of time engines are stored in a buffer area waiting for a test
room to be available. As higher utilisation is required, it follows that
more available engines are needed in the waiting area, leading to
higher waiting times. In other words targeting too high utilisation

In [3] wird die Auswahl von Zielen für die Auslastung diskutiert.
Abbildung 6, von [3] adaptiert, zeigt den typischen Zusammenhang
zwischen Wartezeit und Auslastung in der Produktentwicklung. Im
Falle des Motorenversuchs,kann Wartezeit mit der Zeit gleichgesetzt
werden, in der Motoren in einer Pufferzone auf einen verfügbaren
Prüfstand warten. Da eine höhere Auslastung benötigt wird, folgt die
Notwendigkeit für mehr verfügbare Motoren in der Pufferzone, was
zu längeren Wartezeiten führt. Mit anderen Worten, das Streben nach

134

(80% plus) can cause considerable
delays and cost due to waiting time

einer zu hohen Auslastung (80% und
mehr) kann zu erheblichen Verzögerungen und Kosten durch Wartezeit
führen.
Abbildung 7 (ebenfalls von [3] adaptiert) zeigt den typischen Zusammenhang zwischen Losgröße und Kosten.
Die Extremfälle sind recht eindeutig –
für sehr kleine Versuchseinheiten sind
die Rüstkosten unerschwinglich, da
Vorbereitung und Nacharbeiten weitestgehend unabhängig vom Versuchsumfang sind. Die Lagerkosten bleiben
verhältnismäßig klein, da die durchschnittliche Wartezeit eines Versuchs
nur sehr kurz. Für größere Einheiten,
die häufig aus über der Zeit angesammelten kleineren Tests bestehen, sind
die Lagerkosten deutlich gesteigert,
und der Zusammenhang umgekehrt.
Offensichtlich gibt es ein Minimum
zwischen diesen beiden Extremen, das
den größten wirtschaftlichen Nutzen
bringt.

Abbildung 6:
Hohe Auslastung führt zu Verszögerungen
Figure 6:
High Utilisation Leads to Delays

The key implication for engine testing
is that tasks should be split into appropriately sized portions to minimise
cost.

Die Auswirkungen auf den Motorenversuch sind im Wesentlichen, Aufgaben in angemessen große Abschnitte
zu unterteilen um die Kosten zu minimieren.
Zur Unterstützung der Auswahl geeigneter Maßnahmen für alle vier Hebel,
wurde eine Entscheidungsmatrix entwickelt. Verbesserungsmaßnahmen
werden in 5 Kategorien eingeteilt:

Through previous application support
on projects, AVL has determined that a
variety of improvement actions can
address some or all of the KPIs; these
actions are classified using 5 different
categories:
Abbildung 7:
Ideale Losgröße in der Produktentwicklung
Figure 7:
Ideal Batch Sizes in Product Development

1. Standardisation /
Standardisierung

1. Standardisation
2. Tools & instrumentation
3. Development/Engineering
methodology
4. Process

2. Tools &
Instrumentation /
Werkzeuge und
Messtechnik

5. Organisation
Examples of improvement
actions on the individual
KPIs are summarised in
Figure 8.

3. Development
Methodology /
Entwicklungsmethodik

JLR and AVL have considerable experience in
selecting the appropriate
improvement actions. JLR
is currently in a facility
upgrade and renewal
phase. Upgrade actions
were selected to act on all
four levers.

4. Process / Prozesse
5. Organisation
Einige Maßnahmen und
deren Effekte auf die KPIs
finden sich in Abbildung
8.
JLR und AVL haben nennenswerte Erfahrung im
Auswählen geeigneter
Verbesserungsmaßnahmen. Derzeit erneuert JLR
sein Prüffeld und rüstet es

Figure 7 (also adapted from [3]) charts
the typical relationship between batch
size and cost. The extreme cases are
quite clear – for very small batches of
testing the transaction cost becomes
prohibitive as preparation and posttest are predominantly independent of
the task content. The holding (or
inventory) cost will remain small as
average waiting time for an individual
test is low. For large test batches,
which are often made up of smaller
tests accumulated over time, the holding cost is clearly increased and the
situation is reversed. Clearly there is a
minimum between these two extremes
that delivers the highest economic
benefit.

Abbildung 8:
Beispiele für Verbesserungsmaßnahmen mit Einfluss auf KPIs
Figure 8:
Selected Examples of Improvement Actions that Influence KPIs

135

auf. Verbesserungsmaßnahmen wurden auf Basis aller vier Hebel
gewählt.

2.2 Beyond the 4 Lever Approach –
A Holistic System Optimisation

2.2 Ergänzend zum 4 Hebel Ansatz –
Eine ganzheitlich Systemoptimierung

The 4 lever approach is a powerful framework for improvement but
has a "blind spot” – it assumes seamless collaboration throughout
the development process. Similarities can be drawn to a typical production facility where value is added by known, quantifiable and simple operations. Engine development is often different to this ideal i.e.
a development engine can present unpredictable outcomes and
behaviours during the design, testing and verification steps towards
final production. The upshot of this is that it can be extremely difficult to define upfront, the resources and detailed processes necessary to deliver an engine development program.

Der Ansatz der vier Hebel stellt ein mächtiges Werkzeug zur Verbesserung dar, hat jedoch eine Schwachstelle – die Annahme perfekter
Zusammenarbeit über den gesamten Entwicklungsprozess. Es bestehen gewisse Ähnlichkeiten zu einer klassischen Produktionsanlage,
wo Wertschöpfung durch bekannte, quantifizierbare und in vielen
Fällen einfache Operationen betrieben wird. Motorenentwicklung
weicht jedoch häufig von diesem Ideal ab, so kann beispielsweise ein
Entwicklungsmotor während der Konstruktion, des Versuchs und der
Verifikation unvorhergesehenes Verhalten zeigen. Die Folge dessen
ist, dass es im Vorfeld äußerst schwierig sein kann, die exakten
Resources und nötigen Arbeitsabläufe zu definieren, welche zum
Abschluss eines Motorenentwicklungsprogramms erforderlich sein
werden.

An example of this taken from the engine calibration world is described in [2]. The concept of a circular workflow is discussed in a
typical diesel calibration task involving the statistical modelling of
key engine responses to varying calibration parameters. In this type
of process a test plan is defined to a formal design of experiment
(DOE). This test plan is then often executed on the engine test bed
under automatic operation. After the test completion the results are
then post processed and the appropriate models constructed. A common outcome is that the models do not meet the standards necessary to support the downstream calibration requirements. Two
examples of this are an instrumentation fault causing inaccurate test
data or inappropriate choice of DOE. Irrespective of the cause, the
test may need to be revised and the test repeated. The elements of
this circular workflow are shown in Figure 9. The unquantifiable
nature of the task commonly burdens the test facility with previously unscheduled work and provides problems for program scheduling and delivery. This is further exacerbated by
the ever increasing ECU parameter count and number of engine actuators forcing ever larger test
plans.

Ein Beispiel hierzu aus der Welt der Motorenentwicklung ist in [2]
beschrieben. Das Konzept eines kreisförmigen Arbeitsablaufs wird
vor dem Hintergrund eines Dieselentwicklungsprogramms auf Basis
modellbasierte Kalibrierung beschrieben. In dieser Art von Prozess
wird ein Prüflauf unter Zuhilfenahme statistischer Versuchsplanung
(DOE) definiert, welcher dann am Prüfstand zumeist automatisiert
durchgeführt wird. Nach Abschluss werden die Messdaten verarbeitet und geeignete Modelle gebildet. An diesem Punkt wird nicht selten festgestellt, dass die Modellgüte nicht ausreicht, um auf deren
Basis die Entwicklung weiterzuführen. Zwei Beispiele aus der Vielzahl
von Gründen sind unzureichend gute Messdaten als Folge eines fehlerhaften Messgeräts oder die Wahl eines ungeeigneten Versuchsplans. Was auch immer die Ursache, der Versuch
muss überarbeitet und wiederholt werden. Die
wesentlichen Schritte dieses Prozesses sind in
Abbildung 9 zu sehen. Diese Unvorhersehbarkeit
belastet das Prüffeld mit nicht eingeplanten Umfängen und führt zu Verzögerungen im Projektfortschritt. Dies wird durch die stetig steigende Zahl
von Steuergeräteparametern und Aktuatoren noch
weiter verschärft und erfordert immer umfangreichere Versuchspläne.
Obwohl dieses Beispiel auf einen bestimmten Bereich der Motorkalibrierung beschränkt ist, können
Parallelen zu anderen Entwicklungsaufgaben, deren Umfang zuverlässig nur sehr schwierig zu benennen ist, gezogen werden.

Although this example is confined to a specific area
of engine calibration, parallels can be drawn to
other engine development tasks that prove difficult
to quantify the effort necessary for guaranteed
delivery.

Abbildung 9:
Kreisförmiger Arbeitsablauf
Figure 9:
Circular Workflow

The numbered steps shown are explained in order:
1. Understand and quantify the
development requirement. The
aim is to relate engineering process demands to testing accuracy and productivity targets.
Closely following a design for
six sigma approach, tests are
designed to quantify the capability of the system and its tolerance to noise and control
deviations.

Eine Zusammenarbeit von JLR und
AVL hat den Wert des in Abbildung
10 beschriebenen Verfahrens aufgezeigt
1. Verstehe und Quantifiziere die
Entwicklungsanforderung. Ziel
ist, die Anforderungen des Entwicklungsprozesses mit der Genauigkeit des Versuchs und den
Produktivitätszielen ins Verhältnis zu setzen. In enger Anlehnung an den Design for Six
Sigma Ansatz werden Tests
durchgeführt, die der Ermittlung

Joint work between JLR and AVL has proved the
value in following the process defined in Figure 10.

Abbildung 10:
Flussdiagramm der Gesamtsystemoptimierung
Figure 10:
Flowchart for a Complete System Optimisation

136

2. The test bed and engine system
is then subjected to a stress test
designed to highlight any issues
due to equipment failure and
operation to specification. In

addition the stress test is to determine the productivity benchmark
for the system. Typically, during steps 1 and 2 the test room data
and testing efficiency KPIs are monitored and appropriate improvement actions implemented.

der Leistungsfähigkeit, des Signalrauschens und etwaiger Regelabweichungen dienen.
2. Der Prüfstand und der Motor werden anschließend einem Stresstest unterzogen, um Probleme mit der Messtechnik zu erkennen
und spezifizierte Grundfunktionen zu überprüfen. Ein weiteres Ziel
dieses Stresstests ist die Ermittlung der Referenzproduktivität des
Systems. Typischerweise werden während der Schritte 1 und 2 die
KPIs für die Prüfstandsdaten und die Versuchseffizienz beobachtet
und geeignete Verbesserungsmaßnahmen getroffen.

3. The capability tests specified in step 1 are executed.
4. Data from the capability test is analysed and measurement
quality and productivity is quantified and assessed versus the
targets set in step 1.
5. If the data meets the requirement then any improvements made
during steps two and three are recorded for future use (step 6a).
In the event of the test data not meeting requirement then two
courses of action are considered (step 6b). The first is to improve
testing processes and/or testing hardware (step 7a). The second is
to revise the development process to accommodate the real world
test data quality (step 7b). The second option may be the only
possibility where the data quality requirement is practically
unachievable. The choice of action is often influenced by the need
to balance investment in facility versus development program
timing and the associated costs.

3. Die Eignungstests, wie in Schritt 1 spezifiziert, werden durchgeführt.
4. Die Daten des Eignungstests werden analysiert und die Messdatenqualität sowie die Produktivität mit den in Schritt 1 gesetzten Zielen verglichen.
5. Erfüllen die Daten die Anforderungen, werden alle während der
Schritte zwei und drei realisierten Verbesserungen zur weiteren
Verwendung erfasst (Schritt 6a). Sollten die Daten die Anforderungen jedoch nicht erfüllen, sind zwei Vorgehensweisen vorgesehen
(Schritt 6b). Die eine ist, den Versuchsablauf und/oder die verwendete Hardware zu verbessern (Schritt 7a), die zweite ist, den Entwicklungsprozess an die vorhandene Datenqualität anzupassen
(Schritt 7b). Die zweite Option ist natürlich die einzig verfügbare,
sollte die Anforderung an die Messdatenqualität nicht zu realisieren sein. Die Wahl der Vorgehensweise ist in aller Regel von der
Notwendigkeit beeinflusst, Investitionen in das Prüffeld gegen Verzögerungen im Projektfortschritt und damit einhergehende Kosten
abzuwiegen.

As far as the authors are aware this concept of balancing of the development requirement versus investment in testing is unique.

Soweit den Autoren bekannt, ist das Konzept des Abwägens von
Entwicklungsanforderungen gegen Investitionskosten auf Prüffeldseite einzigartig.

3 Umsetzung der Vier-Hebel-Strategie

3 Implementation of the Four Lever Strategy

3.1 Sicherer automatisierter Betrieb eines
Ottomotors

3.1 Safe Automated Testing of a SI Engine
Efficiency projects have often taken the form of improving a specific
development task as a primary goal. In these cases a systematic analysis of the pre-existing systems and processes often highlights
opportunities for improvement involving multiple efficiency levers.
These types of project have high potential for improvement due to
the multiplicative behaviour of the interacting factors in the four
lever testing equation. Figure 11 contains a summary of the project goals
and workflow.

Effizienzprojekte konzentrieren sich häufig primär auf die Verbesserung einer bestimmten Entwicklungsaufgabe. In diesen Fällen hebt
eine systematische Analyse der existierenden Systeme und Prozesse
auf Basis mehrerer Hebel häufig Verbesserungspotenziale hervor. Auf
Grund des multiplikativen Charakters der interagierenden Faktoren,
sind es zumeist diese Projekte, die die
größten Verbesserungen bringen. Abbildung 11 ist eine Zusammenfassung
der Projektziele und -workflows.

3.2 Utilisation –
Acting on Lever 1

3.2 Verbesserung der
Auslastung – Nutzung
des Hebels 1
Abbildung 12 zeigt die durchschnittliche Auslastung über die Dauer des
Motorcharakterisierungsprojekts. Dies
war eine erhebliche Verbesserung gegenüber den 39% bisherige Auslastung. Es wird hierbei verdeutlicht,
wie ein scheinbar unabhängiger Hebel
wie Entwicklungsmethodik, einen
anderen z.B. Auslastung beeinflussen
kann. Die Verbesserung war eine direk-

Abbildung 11:
Projektübersicht – Fokus auf robuste Automatisierung
Figure 11:
Project Overview – Focus on Robust Automation

137

Figure 12 shows the utilisation
average for the engine characterisation project testing period. This was a
marked improvement compared to the
previous facility performance of 39%.
This demonstrates how a seemingly
independent lever i.e. development
methodology can influence another
i.e. utilisation. The improvement was a
direct result of implementing automation software, hardware and new

te Folge der Einbindung von Automatisierungssoftware und neuer
Versuchsprozesse. Nachdem der
Nachweis erbracht war, dass der
Motor mit extrem geringem Risiko
einer Beschädigung automatisiert
betrieben werden konnte, wurde
der Versuch in unbemannte Zeiten
ausgedehnt.

testing processes. Once it had
been proven that the engine could
be tested under automatic operation with an extremely low risk of
damage, testing was extended to
unmanned hours.

3.3 Datenqualität –
Arbeiten mit Hebel 2

3.3 Data Quality –
Acting on Lever 2

Die Datenqualität wurde durch
Evaluierung einer Stichprobe der
Daten ermittelt und für zweckmäßig befunden. Die Abhängigkeit
der Datenqualität von Stabilisierung und Messdauer wurde ebenso untersucht.

Data quality was determined by
evaluating a sample of the data
and deemed fit for purpose. Data
quality dependence on stabilisation and measurement times was
also investigated.

Abbildung 12:
Prüfstandsauslastung
Figure 12:
Test Cell Utilisation

3.4 Data Gathering Rate
– Acting on Lever 3

3.4 Datenerfassungsrate
– Arbeiten mit
Hebel 3
Nach Optimierung der Parameter
des
Automatisierungssystems
konnte, wie in Abbildung 13 zu
sehen, das Projektziel von 20 Stationärmessungen pro Stunde übertroffen werden. Große Sorgfalt
wurde auf das Erzielen des besten
Kompromisses zwischen Datenerfassungsrate und Datenqualität
gelegt. Die Werte passen sehr gut
zu bereits zuvor veröffentlichten
Projekten [1].

3.5 Entwicklungs- &
Versuchsmethodik –
Arbeiten mit dem
Hebel 4

After optimisation of the testing
automation system parameters
the data gathering rate exceeded
the project target of 20 measurements per hour as shown in Figure
13. Careful attention was placed
on achieving the best compromise
between steady state data quality
and rate of capture. The values are
very well aligned with similar projects previously published in the
literature [1].
Abbildung 13
Wöchentliche Datenerfassungsrate
Figure 13:
Weekly Data Collection Rate

3.5 Development
Methodology –
Acting on Lever 4

In this case the engineering task was to deliver test data for engine
characterisation. This involved defining physically correct zones of
engine operation and actuator ranges and mapping these zones
using a full factorial experimental design ‘grid’ of an adequate density so that response surface models (RSMs) could be generated.
These models could then be used as part of the downstream calibration generation process. This mapping task is almost universal in the
passenger car spark ignition (SI) engine calibration world and has
become a necessity to correctly parameterise the air flow and torque
functions present in today’s electronic engine control software. This
task typically presents two major obstacles that require some workaround. The first is that correct engine operation requires a significant proportion of its ECU parameters to be calibrated - clearly not a
reality at the start of the engine calibration process. The second is
ensuring safe engine operation whilst setting the extreme engine
actuator levels necessary for engine characterisation.

Im vorliegenden Fall bestand die Aufgabe darin, Messdaten zur
Motorcharakterisierung zu sammeln. Dies beinhaltete zunächst das
definieren des tatsächlich operativen Bereichs des Motors und der
Aktuatoren und daran anschließend das Vermessen unter Anwendung eines vollfaktoriellen Versuchsplans geeigneter Dichte, mit dessen Hilfe Response Surface Modelle (RSMs) generiert werden konnten. Diese Modelle würden dann im weiteren Verlauf der Kalibrierung
Verwendung finden. Dieser Art der Vermessung ist eine beinahe allgemein übliche Vorgehensweise in der PKW Ottomotorenkalibrierung
und ist eine Notwendigkeit zur korrekten Bedatung der Füllungserfassung und des Momentenmodells heutiger Steuergerätesoftware.
Hierfür gilt es zwei Herausforderungen zu meistern. Einerseits bedarf
es zum Betrieb des Motors einer gewissen Grundbedatung – was
zum Beginn eines Projekt nur eingeschränkt der Fall ist, andererseits
muss ein sicherer Betrieb des Motors auch unter den Extremeinstellungen gewährleistet werden können.

This is especially true for successful operation of automatic testing
when engine thermal or detonation limits need some type of reaction
without forcing a test alarm state followed by a shutdown.

Insbesondere gilt dies für erfolgreichen automatisierten Betrieb, bei
dem es einer Reaktion auf thermische oder verbrennungstechnische
Grenzen bedarf, bevor es zu einer Sicherheitsabschaltung des Versuchs kommt.

138

Als Lösung wurde in diesem Fall
der Prüfstand um einen Echtzeitregler erweitert, der eigenständig
die Kontrolle über Zündung, Last
und Luft-Kraftstoffgemisch übernimmt. Zusätzlich wurden die für
Kommunikation und Grenzwertreaktionen genutzten Schnittstellen hinsichtlich Geschwindigkeit
hardware- wie softwareseitig verbessert (vgl. Abbildung 14). Das
Folgende beschreibt die grundsätzliche Anwendung der Methode
zur Erfassung aller notwendigen
Daten bei gleichzeitig sicherem
Betrieb des Versuchsmotors.
Abbildung 15 zeigt bildhaft den
Ablauf des Prozesses. Der Motor
wird unter Verwendung des
Echtzeitreglers für Zündung und
Lambda zunächst stabilisiert,
wobei Lambda auf 1 und Verbrennung auf Schwerpunktlage bzw.
eine definierte Klopfintensität geregelt wird. Die Zündung wird
anschließend über einen festgelegten Bereich progressiv zurückgenommen um dann wieder inkrementell in Frührichtung verstellt
und vermessen.

Abbildung 14:
Prüfstandsautomatisierung – Elektronik- / Datenflussschema
Figure 14:
Test Bed Automation – Electronic / Dataflow Scheme

Abbildung 15:
Automatisierter Zündhaken bei sicherem Motorbetrieb
Figure 15:
Automated Spark Timing Swing with Safe Engine Operation

The solution involved equipping
the test bed with real time controllers (RTC) capable of taking independent control of spark timing,
load and air fuel ratio. In addition
the test bed software and hardware was improved to allow the
necessary high speed electronic
communications and limit reactions (see Figure 14). The following describes the fundamental
operation of the methodology
used to obtain the necessary data
whilst remaining within the safe
engine operating envelope.
Figure 15 shows a pictorial
description of the process. The
engine was allowed to stabilise
under real time control for lambda
and spark timing. The lambda set
point was set to 1 and the spark
maintained at MBT or specified
level of knock indication. The
spark was then progressively
retarded over a specified range.
The spark was then advanced with
measurements taken at each
increment.

At higher speeds and loads charge
enrichment was implemented to
protect engine components such
as the exhaust ports, exhaust pipe
and catalytic convertor. This was achieved by setting lambda (using
a component protection controller) to always provide a minimum
margin between the actual measured component temperature and
the limit. The spark timing was allowed to continue to advance until
the required range had been achieved or knock limit reached.

Bei höheren Drehzahlen und Lasten erfolgt eine Anreicherung des
Gemischs zur Schutz von Bauteilen wie Auslasskanäle, Abgasanlage
und Katalysator. Dies wird durch einen Bauteilschutzregler erreicht,
der über das Gemisch so regelt, dass stets ein Mindestabstand zwischen gemessener und kritischer Bauteiltemperatur besteht. Die
Zündwinkelfrühverstellung endet, wenn entweder der angestrebte
Bereich vermessen ist oder die Klopfgrenze erreicht wird.

3.6 Project Outcome after Four-Lever Activities

3.6 Projektergebnis nach Maßnahmen
zu den vier Hebeln

Figure 16 summarises the outcome of the project. As shown in the
table, the project objectives are listed together with the targets and
outcome versus target.

Abbildung 16 fasst das Resultat des Projekts zusammen. In der
Tabelle werden für die jeweiligen Kernbereiche die Zielvorgaben dem
Projektresultat gegenübergestellt.

4 Umsetzung einer
ganzheitlichen
Systemoptimierung

4 Implementation
of a Holistic System
Optimisation

Dieses Kapitel beinhaltet praktische Anwendungsbeispiele für einige der in
Kapitel 2.2 genannten Hauptprozessschritte. Die Beispiele stammen alle aus
einem Projekt über modellbasierte Kalibrierung eines PKW Dieselmotors, dessen Inhalt es war, Daten und Modelle zur
Abgas- und Verbrauchsoptimierung unter Beachtung spezifischer Zieleigenschaften wie Verbrennungsgeräusch zu
liefern. Eine weitere Anforderung war es,

This section includes practical examples
of some of the key process steps
described in section 2.2. The examples
all stem from a project covering model
based calibration for a passenger car
Diesel engine. The engineering task was
to produce data and models to support
emissions and fuel consumption targets,
subject to product attribute target constraints such as engine combustion noise
level. An additional requirement was to

Abbildung 16:
Projektergebnis
Figure 16:
Project Outcome

139

Zusammenhänge zwischen Datenqualität und Modellqualität zur erkunden,
die zur Definition von Zielgenauigkeiten
im Versuch genutzt werden könnten [2].
Eine Zusammenfassung der Projektziele
und Arbeitsschritte findet sich in
Abbildung 17.

explore links between data quality and
model quality that could be exploited to
define testing accuracy targets [2]. A
summary of the project goals and workflow is shown in Figure 17.

4.1 Spezifizierung von Entwicklungsanforderungen

4.1 Specifying Development
Requirements

Der übliche Startpunkt eines wie in AbA natural starting point for the process
flow shown in Figure 10 is to define the
bildung 10 dargestellten Prozesses ist
die Beschreibung der Anforderungen,
development requirements of the
welche zur Erfüllung einer Entwicktesting facility for a specific developlungsaufgabe an das Prüffeld gestellt
ment task. This requirement is often difwerden. Diese Anforderungen sind häuficult to determine initially. Real world
fig zunächst schwer zu beschreiben. Im
discussions often begin with a staterealen Leben wird seitens der Entwickler
ment from development personnel that
häufig die Bereitstellung größerer Daif more test data of a higher quality
tenmengen von besserer Qualität als
would be available then task delivery
Abbildung 17:
Grundlage zuverlässiger Projektabwickwould be assured. At this stage the
Projektübersicht – Systemoptimierung
lung genannt. An dieser Stelle können
discussion can break down with deveFigure 17:
Project Overview – System Optimisation
die Diskussionen damit enden, dass
lopment personnel unhappy with the
Entwicklungsingenieure unzufrieden mit
testing service and testing personnel
dem Service des Prüffelds sind und Prüffeldbetreiber nicht in der Lage
unable to quantify what is needed to satisfy their customer. As is
zu quantifizieren, was zur Zufriedenheit der Kunden führt. Wie sich
often true with multifaceted problems like this, understanding can be
bei solch vielschichtigen Problemen häufig zeigt, ist es Hilfreich, das
improved by splitting the problem into simpler steps using a known
Problem mit Hilfe eines bereits innerhalb der Organisation bekannten
process framework that is already familiar to the organisation. In this
Prozesses-Frameworks aufzusplitten. Im vorliegenden Fall wurde die
example, the design for six sigma methodology (DFSS) was used as
Design for Six Sigma Methode (DFSS) zu Grunde gelegt. Die DFSS
a basis for this purpose. The DFSS process steps are often described
Prozessschritte werden häufig mit Definieren, Charakterisieren,
as Define, Characterise, Optimise, Verify (DCOV). Rather than follow
Optimieren, Verifizieren (DCOV) umschrieben. Anstatt diesen Schritthese steps explicitly the individual supporting process tools and
ten jedoch explizit zu folgen, wurden die einzelnen bereits vorhanmethodologies were assessed and used, where appropriate, to solve
denen Prozesse und Werkzeuge einer Prüfung unterzogen und, wo
the problems presented during the study.
angebracht, verwendet, um während des Projekts aufgetretene
A philosophy lifted directly from the DFSS Define phase was the use
Probleme zu lösen.
of a ‘system’ concept whereby the process under investigation is
Eine direkt aus der Definieren-Phase des DFSS abgeleitete Philodefined using critical inputs (X(1,n)), critical outputs (Y(1,n)) and
sophie war die Verwendung eines „System“-Konzepts, bei dem der
noises (N(1,n)) (see Figure 18). In this case, the ‘system’ was defined
Prozess zur Untersuchung mit Hilfe von Critical Inputs (X(1,n)),
as the complete test room including infrastructure, dynamometer,
Critical Outputs (Y(1,n)) und Noises (N(1,n)) definiert wird, wobei
instrumentation and engine. The critical inputs were considered to be
unter „System“ der komplette Prüfstand inklusive Infrastruktur,
any settings that required definition and control for the test (e.g.
Bremse, Messtechnik und Versuchsträger zu verstehen ist. Als Critical
engine speed, brake torque, engine coolant temperature). The critiInputs wurden all jene Einflüsse angesehen, die über den Test defical outputs were assumed to be the measured quantities required for
niert und kontrolliert wurden (z.B. Motordrehzahl, Bremsenmoment,
development task delivery. Noises were assumed to be any unconFluidtemperaturen). Critical Outputs sind alle für die Entwicklungstrolled quantity that could affect the critical outputs (e.g. atmosaufgabe benötigten Messgrößen. Noises sind all jene Einflüsse, die
pheric pressure and humidity) and any control errors present on criunkontrolliert auf das System und damit die Outputs einwirken (z.B.
tical inputs (e.g. coolant temperature control deviation).
Luftdruck und Luftfeuchte) aber auch Regelabweichungen der
In this example the development goals were provided at the outset
Critical Inputs (z.B. Abweichungen bei der Kühlwasserregelung).
by JLR in the form of a list of required response surface models for
In diesem Beispiel wurden die Ziele zu Beginn von JLR in Form einer
the emissions calibration, together with model accuracy targets (e.g.
Auflistung der für die Emissionsoptimierung erforderlichen
coefficient of determination, R2). The required modelled quantities
Response-Surface-Modelle zusammen mit deren Qualitäten (z.B.
were matched directly to measurement channels and system outBestimmtheitsmaß, R2) festgelegt. Die geforderten Antwortgrößen
puts. The system controls and noises diagram (see Figure 18) was
wurden direkt Messkanälen und Systemantworten zugeordnet. Die in
created following a series of ‘brainstorming’ meetings including
Abbildung 18 zu sehende Übersicht zur Gegenüberstellung der
testing and development subject experts from JLR and AVL. This was
used as a basis to define tests that could be used to quantify the
Inputs, Störgrößen und Outputs wurde in einer Reihe von Brainmeasurement capability of the test facility.
storming Sitzungen von JLR und AVL einschließlich Fachleuten aus
dem Versuch und der Entwicklung erstellt. Es diente als Basis zur
Definition von Versuchen zur Feststellung der Eignung des Prüffelds
hinsichtlich Messgenauigkeit.

140

4.2 Stresstest

4.2 Stress Test

Der Stresstest basiert auf einer
realen
Entwicklungsanforderung, eingebunden in einen
repräsentativen Test, welcher
in ständiger Wiederholung
durchgeführt wird. Die Wiederholung zeigt, ob das Prüffeld
in der Lage ist, längere Zeiten
ohne Störung betrieben zu
werden und ermöglicht eine
Bewertung der Hauptmessgrößen und der Reglerperformance.

The stress test is based on the
real development requirements implemented as one
typical test and repeating this
test over and over again. The
repetition explores whether
the test facility is capable of
running for prolonged periods
of time without break down
and enables a basic analysis
of the key measurement channels and controller tracking
performance.

Eine weitere Funktion des
Stresstests ist das Setzen der
Richtmarke für den produktiven Betrieb. Wie Abbildung 19
zu entnehmen ist die Richtmarke etwa 1000 Messpunkte
pro Woche, wohingegen in
einer frühen Phase der
Problembehebung nur durchschnittlich 300 Messpunkte
pro Woche erreicht wurden.
Die Produktionsrichtmarke
wird später dann als Minimalanforderung für nachfolgende Projekte genutzt. Erfahrung zeigt folgendes Verhalten:

Another important function of
the stress test is to establish
the "production benchmark”.
As seen in Figure 33, the production benchmark for the
facility was about 1000 data
points per week after an initial early period of problem
resolution with only 300
points per week on average.
This benchmark is then used
to set the minimum requirements for successive testing.
Experience suggests the following:

Abbildung 18:
Six Sigma Ansatz: Übersicht der System Inputs, Outputs und Störgrößen
Figure 18:
Six Sigma Approach: Shortlist of System Inputs, Outputs and Noises

1. Low productivity at the
early stages of the stress
test.

1. Niedrige Produktivität zu
Beginn

2. Higher production rates at
the end of the stress test.
This phenomenon is evident in Figure 19.

2. Hohe Produktivität am Ende
des Stresstests. Dieses Phänomen findet sich in Abbildung 19.
3. Nachdem die Produktionsrichtmarke gesetzt ist, muss
eine kontinuierliche Überwachung zur Sicherstellung
der Performance erfolgen.

Abbildung 19:
Datenerfassungsrate – frühe Phase
Figure 19:
System Data Production Rate – Early Stage

3. Once the production
benchmark has been set it
must be continually monitored to ensure performance can be maintained.

Das dritte und letzte Ergebnis
des Stresstests ist eine frühe Einschätzung der erreichbaren Messund Regelgüte. Abbildung 20 zeigt ein Beispiel für die Standardabweichung der Bremsendrehzahl während des Stresstest.

The third and last outcome of
the stress test is also an early
assessment of data and control quality. Figure 20 shows one
example for the standard deviation of dynamometer speed during
the stress test.

4.3 Eignungstest

4.3 Capability Test

Während der Stresstest die grundsätzliche Systemrobustheit und
Höhe der Datenproduktion ermittelt, quantifiziert der Eignungstest
die erreichbare Datenqualität. In einem Produktionsumfeld wäre dies
mit der Fähigkeit einer Maschine vergleichbar, Teile mit akzeptabler
Variation innerhalb enger Toleranzen zu fertigen. Studien zur Eignung
können die Auswirkungen bekannter Störgrößen oder unvermeidbarer Abweichungen, verursacht durch beispielsweise einen Wechsel
des Bedieners, durch Umgebungsdruck und –temperatur, erfassen.
Wenn als unzureichend befunden, kann die Maschine verbessert oder
ausgetauscht werden, bevor die Untersuchung zur Eignung wiederholt wird, um zu prüfen ob das gewünschte Resultat erreicht wurde.

While the stress test identifies the basic system robustness and data
production performance level, the capability test quantifies the obtainable quality level. In a production environment this could correspond to an assessment of a machine’s ability to manufacture parts
to critical dimensional tolerances with acceptable variation.
Capability studies can include effects of known noises or unavoidable causes of variation e.g. change of machine operator, environmental pressures and temperatures etc. If deemed unacceptable then
the machine can be improved or replaced before repeating the capability study to check the desired outcome has been achieved.

141

In this case the purpose of the
capability study was not only to
provide data to quantify the
existing data quality subject to
known noises, but to investigate
the sensitivity of the critical measurement channels. This data
could then be evaluated to define
testing facility quality acceptance
targets on quantities such as coolant temperature control deviation
and measurement device accuracy
and repeatability.

Im vorliegenden Fall war der
Zweck des Eignungstests nicht nur
das Bereitstellen von Daten zur
Bezifferung der vorhandenen Datenqualität, vorbehaltlich bekannter Störgrößen, sondern auch die
Untersuchung der Sensitivität der
kritischen Messgrößen. Diese Ergebnisse konnten dann benutzt
werden, um dem Prüffeld Ziele
hinsichtlich der akzeptablen Datenqualität von Kanälen wie
Abweichung der Kühlwassertemperaturregelung sowie Messgerätegenauigkeit und Wiederholbarkeit zu setzen.

In this project, the capability study
began by taking the results of the
brainstorming sessions described
in section 4.1 and using existing
knowledge and engineering
judgement to define a series of
test plans. The test plans were
broadly divided into two types:

In diesem Projekt begann der
Eignungstest damit, die ErgebAbbildung 20:
Beispiel aus Stresstest – Stabilität des Bremsendrehzahlreglers
nisse der Brainstorming Session
Figure 20:
aus Abschnitt 4.1 und existierenStress Test Example - Dynamometer Speed Control Stability
des Wissens zur Erstellung einer
Reihe von Versuchen zu nutzen.
1. Repeated measurements of critical channels taken at stabilised
Die Versuche wurden grob in zwei Typen unterteilt:
modal speed/torque points. The purpose was to provide a large
1. Wiederholtes Messen kritischer Größen in stabilen Drehzahl/ Drehamount of data to quantify the measurement variation present on
moment Punkten, mit dem Ziel, eine große Menge an Daten zur
all critical measurement channels.
Ermittlung der Messungsschwanken aller kritischer Messgrößen zu
2. Single variation DOEs to quantify the effects of known and suspecerhalten.
ted noises on critical measurement channels.
2. Variation einzelner Größen zur Ermittlung des Einflusses bekannter
Once the test data had been obtained it was post processed to pround vermuteter Störgrößen auf kritische Messgrößen.
duce coefficient of variation (COV) values for all critical channels. In
Nach dem Sammeln der Daten folgte die Auswertung der Variationsaddition the single variation sensitivity was quantified by calculating
koeffizienten (COV) für alle kritischen Kanäle. Zusätzlich wurde ein
the gradient of the response (e.g. NOx mass flow rate) with respect
Gradient als Maß für die Sensitivität auf Änderung einer einzelnen
to the variation (e.g. Intercooler charge air out temperature).
Größe berechnet (z.B. NOx Massenstrom in Abhängigkeit der
Ladeluftkühleraustrittstemperatur).

4.4 Beurteilung der Stör- und Regelgrößen

4.4 Noise and Control Evaluation

Der Eignungstest liefert eine Momentaufnahme der Datenqualität im
Vergleich zu den Anforderungen der Entwicklungsaufgabe. Die Beurteilung der Störgrößen und der Regelung wird genutzt, zum Verständnis von:

The capability test provides a snapshot of the system data quality
measures for comparison to the development task requirement. The
noise and control evaluation considers the following:
1) Potential sources of noise that affect each critical measurement.

1) Mögliche Ursachen von Störungen mit Einfluss auf alle kritischen
Messgrößen.
2) Der Grad und die relative Reihenfolge der Effekte jeder Störquelle

2) The degree and relative ranking of the effect of each source of
noise.

3) Die verbleibende Schwankung kritischer Messgrößen, die keiner
bekannten Störquelle zugeordnet werden kann.

3) The remaining critical measurement variation that cannot be
accounted for from known sources of noise.

Diese Information kann für Maßnahmen zur Verbesserung der Datenqualität genutzt werden, sollte sich die Versuchseignung als unzureichend zur Erfüllung der Entwicklungsanforderungen erweisen. Einige
Maßnahmen zur Verbesserung der Datenqualität sind:

This information can then be used for data quality improvement
actions should the testing capability prove inadequate to support the
development requirement. Some examples of data quality improvement actions are:

• Änderung des Versuchsablaufs

• Change testing processes

• Aufwerten der Messtechnik

• Upgrade measurement devices

• Einführung neuer Prüffeldanforderungen basierend auf den Empfindlichkeiten der durch den Prüfstand geregelten Größen
(Abbildung 21)

• Impose new facility targets based on sensitivity of test bed controlled quantities (see Figure 21)

142

The value of any improvement
action is then tested by repeating
the capability test and comparing
the resultant data quality to the
previous iteration. During the data
quality improvement phase on this
project, changes were made to the
testing automation parameterisation, exhaust gas sampling probe
and testing procedures. Figures
22 and 23 show capability study
results before and after data quality improvement and demonstrate
a clear reduction in overall data
variability.

Der Wert jeder Verbesserungsmaßnahme wird dann durch
Wiederholung des Eignungstests
und Vergleich der resultierenden
Datenqualität mit der vorhergehenden evaluiert. Während der
Phase zur Verbesserung der
Datenqualität wurden in diesem
Projekt Änderungen an der Automatisierungskonfiguration, der Abgasprobenentnahme und der Testprozeduren vorgenommen. Abbildungen 22 und 23 zeigen Ergebnisse der Eignungsuntersuchung
vor und nach der Qualitätssteigerung und belegen eine deutliche
Reduktion der allgemeinen Messschwankungen.
Abbildung 24 zeigt für einen einzelnen Betriebspunkt ein typisches
Ergebnis der Studie zur Ermittlung,
ob die Datenqualität eines Versuchsaufbaus den Anforderungen
der Entwicklung entspricht. Die
Variationskoeffizienten der kritischen Messgrößen wurden während der Analyse genutzt, um die
statistische Sicherheit vorherzusagen, dass den Anforderungen entsprechende Modelle gebildet werden können. In diesem Fall wurde
gezeigt, dass die vorhergesagte
Modellqualität mit hoher Wahrscheinlichkeit (95%) bei 7 von 10
der kritischen Messgrößen die
Anforderungen erfüllt. 3 der kritischen Messgrößen wurden mit
einer niedrigen Wahrscheinlichkeit
zur Erfüllung der Qualitätsanforderungen beurteilt. Der folgende
Abschnitt beschäftigt sich mit der
aus diesen Erkenntnissen abgeleiteten Vorgehensweise.

Abbildung 21:
Sensitivität und Schwankung geregelter Größen
Figure 21:
Sensitivity and Variation of Controlled Channels

Figure 24 shows a typical outcome
of the study to determine whether
the data quality from the testing
system met the development
requirement for a particular operating point. The COVs of the critical
measurements obtained from a
capability study were used in the
analysis to predict the statistical
confidence of producing models to
target. In this case the predicted
model quality was shown to have
a high (95%) probability of meeting the quality targets in 7 out of
10 critical measurements. 3 of the
critical measurements were assessed to have a low probability that
the model quality targets could be
met. The next section is a discussion of the courses of action
appropriate to this outcome.

4.5 Matching Test
Realities and
Engineering
Requirements

4.5 Abgleich von
Versuchsbedingungen
und Entwicklungsanforderungen

Abbildung 22:
In diesem Beispiel kann das
In this case the test system could
Status der Datenqualität vor der Verbesserung
Testsystem nicht alle Datenqualinot meet all the development data
Figure 22:
tätsanforderungen erfüllen. Bei 3
quality metrics. In practical terms
Data Quality Status Pre-Improvement
der Kanäle waren die Messthe measurement variation was
schwankungen zu hoch um Daten
too high on 3 of the channels to
zur Bildung von Modellen mit akzeptabler Qualität zu sammeln. Eine
produce data that could be used to generate models to an accepUntersuchung der Schwankungen ergab, dass dies sowohl einer
table quality level. Analysis of the variation showed that it was made
zufälligen Komponente als auch einem Drift geschuldet war. Verbesup of both a random and a drift component. Data quality improveserungsmaßnahmen das Equipment betreffend konnten nicht erwägt
ment actions involving equipment upgrades could not be considered
werden, da der Projektauftrag das Erzielen bester Ergebnisse in beas the project remit was to obtain the best outcome with the existing
stehender Umgebung lautete. Es wurde untersucht, inwieweit der
facility. Changes were investigated to the development process to
Entwicklungsprozess zur Kompensation der Schwankungen in den
accommodate the data variability present in the testing results.
Testergebnissen angepasst werden könnte.

143

Ein wesentlicher Teil der Messungenauigkeiten wurde einem Driften über der Zeit zugeschrieben,
was zu dem Schluss führte, dass
wenn die Anzahl der für einen
Versuchsplan benötigten Daten
reduziert werden könnte, weniger
Zeit zum Auftreten eines signifikanten Drifts vorhanden wäre. Anpassungen am DOE- und Modellbildungsprozess bestehend aus
einer Rationalisierung bestehender DOEs, Einführung einer Optimierungsprozedur im Vorfeld und
eine Reduzierung der Variationen
begrenzten die maximale Größe
eines einzelnen Versuchsplans zur
Modellbildung auf 90 Punkte. Abbildung 25 zeigt zusammenfassend die Änderungen am Entwicklungsprozess.

Abbildung 23:
Status der Datenqualität nach Verbesserung
Figure 23:
Data Quality Status Post-Improvement

Models generated as a result of
the new DOE process were shown to have
adequate quality to generate a calibration.
Further validation of the approach is in
progress at JLR to ensure it will meet current program needs.

Modelle, die das Ergebnis des neuen DOEProzesses sind, zeigen eine für die Kalibrierung ausreichende Qualität. Eine weitere Validierung dieses Prozesses ist bei JLR
im Gange, um sicher zu stellen, dass gegenwertige Programmerfordernisse erfüllt
werden.
Das Fazit des obigen Beispiels war, dass
obwohl das Testsystem nicht den Qualitätsanforderungen der Entwicklung entsprechen konnte, dennoch die Entwicklungsaufgabe mit akzeptabler Qualität
erfüllt wurde. Dies wird als das wesentlichste Ergebnis dieses Projekts angesehen:
Entwicklungsanforderungen und reale
Testbedingungen können zur Optimierung des Gesamtergebnisses aktiv aneinander angepasst werden

Abbildung 24:
Wahrscheinlichkeiten zur Erfüllung der Entwicklungsanforderungen
Figure 24:
Probability of Meeting the Development Requirement

The conclusion from the above example
was that although the test system could
not meet the engineering quality requirements, the engineering task could still be
delivered at an acceptable level of quality.
This was considered to be the most significant outcome of this project: engineering
requirements and real world testing can be
actively matched to optimize the total output.
This exercise has shown how the flow
described in Figure 10 can be used to
optimize the total output of the
system. However it is acknowledged
that rigid adherence to the process
flow may not be relevant in all cases.

Diese Aufgabe hat gezeigt, wie der
Fluss in Abbildung 10 zur Optimierung
der Leistung eines Gesamtsystems
genutzt werden kann. Es wird jedoch
anerkannt, dass ein starres Folgen dieses Prozesses nicht in allen Fällen
zweckdienlich sein könnte.

If there is a mismatch between the
development requirement and testing
reality the process can be used to:
• Specify the ideal test facility e.g.
when defining upgrades

Sollten Entwicklungsanforderungen
und Testrealitäten nicht übereinstimmen, so kann der Prozess genutzt werden, um:

• Investigate relaxing the engineering
test quality requirements
• Jointly optimise engineering and test
in an effective manner

• das ideale Prüffeld zu spezifizieren,
z.B. beim Definieren von Upgrades
• ein Aufweiten der Qualitätsanforderungen der Entwicklung zu untersuchen
• gemeinsam auf effektive Weise Entwicklung und Versuch zu optimieren

As a significant portion of the data
variability was attributed to drift
over time it was reasoned that if
the number of measurements
required for a DOE for model
generation could be reduced there
would be less time available
during testing for significant drift
to occur. Changes to the DOE and
modelling process involving rationalisation of the existing DOEs,
introduction of an upfront optimisation procedure and variation
reduction effectively limited the
maximum size of an individual
DOE for model generation to 90
data points. Figure 25 contains a
summary of the changes made to
the development process.

Abbildung 25:
Verbesserter DOE Ansatz
Figure 25:
Improved DOE Approach

144

4.6 Deciding on Permanent Improvement Actions

4.6 Entscheidung zu Maßnahmen für
permanente Verbesserung

This type of exercise can uncover many opportunities for improvement. These range from testing and development procedural actions
to facility infrastructure and equipment. As the procedural changes
can be typically implemented at low cost, these have the highest
potential for return on investment. The project described in this section was specifically targeted to obtain maximum benefit without
significant investment in testing hardware.

Diese Art von Aufgabe kann eine Vielzahl von Möglichkeiten zur Verbesserung hervorbringen. Diese reichen von Versuchs- und Entwicklungsabläufen bis zur Prüffeldinfrastruktur und Ausstattung. Da sich
Ablaufänderungen in der Regel mit geringen Kosten umsetzen lassen, haben diese das höchste Potenzial auf Rentabilität. Das in diesem Abschnitt beschriebene Projekt war explizit darauf ausgelegt,
den größtmöglichen Nutzen ohne nennenswerte Investitionen in
Hardware zu realisieren.

The following permanent changes were made to the test
facility / engineering processes as a direct result of the project:

Als direktes Ergebnis des Projekts wurden folgende dauerhafte Änderungen am Prüffeld-/Entwicklungsprozess vorgenommen:

1. Improved daily check process
2. Improved speed / torque control setting procedure

1. Verbesserter Daily-Check Prozess

3. Introduction of a new signoff procedure for "engine ready to test”

2. Verbesserte Drehzahl-/Drehmomentreglerabstimmung

4. New DOE methods in emissions calibration processes

3. Einführung einer neuen Prozedur zur Freigabe von Motoren für
den Test

5. Improved data gathering rate for current testing systems

4. Neue DOE Methode für die Abgaskalibrierung

6. Data driven test cell control deviation target set

5. Verbesserte Datenerfassungsrate der bestehenden Systeme

7. Improved data post processing and data assessment criteria

6. Messdatenorientierte Zielsetzung für Regelabweichungen

8. Improved robustness and accuracy in HC emission sampling

7. Verbesserte Datennachbearbeitung und Datenbeurteilungskriterien

9. Detailed testing processes created for software and equipment to
improve testing stability and accuracy

8. Verbesserte Stabilität und Genauigkeit der HC Emissionsmessung

10. A multidisciplinary team engaged on initial test bed and engine
set up is now standard practice at JLR.

9. Erstellung eines detaillierten Prüfprozesses für Software und
Equipment zur Verbesserung der Versuchsstabilität und -genauigkeit.

JLR have subsequently used the knowledge gained to specify a
facility upgrade path explicitly aligned to their product development
requirements. The approach has provided a method of targeting and
justifying expenditure to where it will deliver the maximum, quantifiable benefit.

10. Ein interdisziplinäres Team, eingebunden bei der erstmaligen
Prüfstands- und Motoreinrichtung, ist jetzt gängige Praxis bei
JLR.
JLR hat anschließend die gewonnenen Erkenntnisse genutzt, um
einen Plan zur Erneuerung des Prüffelds zu erstellen, der explizit auf
die Anforderungen der Produktentwicklung ausgerichtet ist. Der
Ansatz hat eine Methode zur Ausrichtung und Rechtfertigung von
Ausgaben bereitgestellt, sodass diese einen maximalen, bezifferbaren Nutzen bringen.

5 Schluss

5 Conclusions

• Es wurde ein generischer Rahmen für Versuchs- und Entwicklungseffizienz vorgestellt, der zwei verschiedene Methoden umfasst, den
Ansatz der vier Hebel und den Systemoptimierungsansatz

• A generic framework of testing and development efficiency has
been presented, covering two distinct methods, namely the four
lever approach and the system optimisation approach.

• Der Ansatz der vier Hebel wurde mehrfach angewandt und hat erwiesenermaßen signifikante Verbesserungen in der Prüffeldeffektivität gebracht.

• The 4 lever approach has been applied multiple times and has been
proven to provide significant gains in test field effectiveness.
• System optimisation – Achieving the optimal balance between the
engineering test requirement and testing capability is a powerful
concept which can be used to improve test field effectiveness.

• Systemoptimierung – das Erlangen einer optimalen Balance zwischen Entwicklungsanforderungen und Leistungsfähigkeit des
Prüffelds ist ein mächtiges Konzept, nützlich zur Verbesserung der
Prüffeldeffektivität.

• A circular work flow phenomenon has been presented which originates from a mismatch between engineering requirements and test
capabilities. This mismatch is often explored in an iterative timeconsuming way. System optimisation is proposed to be a suitable
remedy.

• Ein kreisförmiger Workflow wurde gezeigt, abgeleitet aus einer
Nichtübereinstimmung von Entwicklungsanforderungen und Möglichkeiten des Testens. Dieses Missverhältnis führt oft zu einer iterativen zeitraubenden Arbeitsweise. Systemoptimierung wird als
geeignetes Mittel empfohlen.

• The full potential of investment in facility cannot be realised
without commensurate attention to development process, organisational change, training and communication between test and
engineering.

• Das volle Potenzial von Investitionen in das Prüffeld kann nicht
ohne angemessene Aufmerksamkeit auf den Entwicklungsprozess

145

• The philosophies presented can be used to justify expenditure on
test facility upgrades with a specifically targeted benefit to the
development process.

organisatorische Veränderungen, Training und Kommunikation zwischen Versuchs- und Entwicklungsabteilung realisiert werden.
• Die vorgestellten Philosophien können verwendet werden, um die
Ausgaben für Upgrades der Prüfeinrichtung mit einem gezielten
Nutzen für den Entwicklungsprozess, zu rechtfertigen.

6 Danksagung

6 Acknowledgements

Die Autoren dieses Beitrags möchten folgenden Personen, die durch
ihr Engagement, Wissen und die Qualität ihrer Arbeit wesentlich zum
Erfolg der Arbeit beigetragen haben, ihren Dank aussprechen. Dies
sind (in keiner bestimmten Reihenfolge):

The Authors of this paper would like to recognize the following
individuals which through their commitment, expertise and the
quality of their work contributed substantially to the success of the
work. These are (in no particular order):

Jason Beeby, Noel Cassidy, Roy Vasey, Kevin Snipe - JLR

Jason Beeby, Noel Cassidy, Roy Vasey, Kevin Snipe - JLR

Markus Reumueller, Marie Sophie Vogels - AVL Graz

Markus Reumueller, Marie Sophie Vogels - AVL Graz

Danny Burchill, David Moore, Stuart Brown, Harry Pearson - AVL UK

Danny Burchill, David Moore, Stuart Brown, Harry Pearson - AVL UK

7 Literatur / References
[1]

Conference Proceedings Wiesbaden 2011, Bellamy et al,
"Ford Dunton Powertrain Test & Development Efficiency
Pilot”.

[2]

SAE Technical Paper 2013-01-0351, 2013, Beattie, T.,
Osborne, R., and Graupner, W.,
"Engine Test Data Quality Requirements for Model Based
Calibration: A Testing and Development Efficiency
Opportunity”.

[3]

Harvard Business Review, May 2102, S. Thomke and
D. Reinertsen,
Myths of Product Development”.

146

Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

Ähnlich wie Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover (20)

Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover