SlideShare ist ein Scribd-Unternehmen logo
1 von 15
Isilon in Production

Driving Productivity, Cost Reduction and New Opportunities in
Media and Entertainment


An Isilon® Systems Whitepaper

September, 2008
Contents 
Introduction .................................................................................................................................................. 3 

The Digital Production Pipeline..................................................................................................................... 4 

Creation & Editing......................................................................................................................................... 5 

    Costs and Risks.......................................................................................................................................... 5 

       Scale‐Up Storage Limitations ................................................................................................................ 5 

    Accelerate Creation and Editing ............................................................................................................... 6 

       Increase Productivity ............................................................................................................................ 7 

       Cost Reduction ...................................................................................................................................... 9 

       Take Advantage of New Business Opportunities................................................................................ 10 

Rendering, Compositing & Encoding .......................................................................................................... 10 

Near‐line Storage and File Management.................................................................................................... 11 

Bringing it All Together ............................................................................................................................... 12 

    Exponentially Increasing Business Value ................................................................................................ 13 

Conclusion................................................................................................................................................... 14 

 




ISILON SYSTEMS                                                                                                                                                 2 

 
Introduction                
Create  it.  Manage  it.  Deliver  it.  It  sounds  simple.  But  within  these  three  key  media  and  entertainment 
processes  are  a  myriad  of  moving  parts,  immeasurable  man  hours,  and  ever  increasing  challenges.  The 
production  (or  post‐production)  processes  alone  can  entail  hundreds  of  people  working  on  thousands  of 
gigabytes of HD frames, composites, 3D renderings and enormous encoded files. The completed media assets 
then  require  archiving  and  distribution.  All  of  these  core  media  processes—production,  archive  and  play‐
out—have two key things in common: each relies heavily on the crucial element of storage and, if effectively 
streamlined and accelerated, each would significantly impact business value.  

This document will focus entirely on storage requirements in the media production process. Regardless of the 
segment  of  media  and  entertainment—broadcasting,  animation,  live  action  films,  etc.—the  production 
process can be further broken down into three main components: 

 

        Creation & editing 

        Rendering/compositing/encoding 
                                                                                                              Focus 
        Near‐line storage and file management  

 

 

 

 
 

We will examine the current challenges and drawbacks of using traditional “scale‐up” storage technologies in 
each  of  these  components  and  how  Isilon’s  clustered  “scale‐out”  architecture  can  significantly  increase 
business value by:  

 

        Increasing productivity 

        Reducing costs and management overhead 

        Enabling new opportunities 

          

          



ISILON SYSTEMS                                                                                                      3 

 
The Digital Production Pipeline 
Media and entertainment companies have experienced quantum leaps in the ability to turn out high‐quality 
assets extremely quickly, achieving both economies of scale and production advancements not dreamed of 
even  a  few  years  ago.  However,  although  productions  that  once  seemed  impossible  are  now  everyday 
occurrences, the advent of next‐generation digital production processes have not come without headaches 
and complications. 

Digital  media  assets  have  quickly  ballooned  from  hundreds  of  files  consisting  of  just  a  few  hundred 
megabytes to thousands of files at gigabytes in size, with single projects ranging into the terabytes. There are 
a  variety  of  reasons  for  the  explosive  growth,  from  consumer  demand,  new  devices  and  new  delivery 
mediums  (requiring  media  files  to  exist  in  multiple  formats),  to  major  advances  in  digital  filming  and  VFX 
techniques.  For  the  purposes  of  this  paper,  we  need  not  examine  all  the  various  reasons  for  such  growth. 
However,  it  is  important  to  understand  that,  considering  we  are  only  at  the  cusp  of  the  digital  media  era, 
more explosive, exponential growth is inevitable.  

To accommodate growth, the traditional method has been to “simply add more space”. However, in this new 
era  of  digital  media  production,  it’s  not  that  “simple”:  When  managing  large  digital  media  files,  traditional 
scale‐up  storage  technologies  reach  a  point  of  diminishing  return.  Adding  capacity  will  eventually  overtax 
processor  and  throughput  power,  degrading  overall  system  performance  to  unacceptable  levels.  And 
eventually, due to the fixed capacity ceiling of scale‐up storage, more space cannot be added to an existing 
file system, requiring a duplicate, disconnected island of storage. Each level of growth is compounded with 
another  layer  of  complexity,  requiring  additional  inconvenient  steps  and  management  overhead  to  what 
once seemed like a smooth, efficient process.  

As  digital  workflows  become  convoluted  with  layer  upon  layer  of  storage,  human  resources  are  taxed, 
escalating costs. Media professionals must spend time navigating IT based tools, data sets, file systems and 
volumes—rather  than  focusing  on  their  creative  work.  A  new  breed  of  highly  paid,  specialized  media  IT 
professional  is  needed  to  design  and  manage  proper  storage  systems  and  workflows.  And,  as  storage 
complexity increases, even more resources are required to simply manage the data through the production 
pipeline (known affectionately as “data wranglers”).  

Therefore, the systems that enabled the initial breakthroughs in digital media have led to compound layers of 
storage that escalate costs, create bottlenecks and limit the ability to take on larger, more complex projects, 
rather than enable new opportunities. Storage should not add complexity and cost to digital workflows, but 
instead  fully  support  them  by  presenting  a  single  file  system,  requiring  little  management  and  dynamically 
scaling in any direction as business needs dictate.  

With this in mind, let’s examine more closely the three main components of production (with an emphasis on 
creation & editing) and explore the ways Isilon’s clustered storage solution can move beyond the bottlenecks 
created  by  traditional  scale‐up  storage  systems  to  increase  productivity,  reduce  costs  and  enable  new 
opportunities.     

 

ISILON SYSTEMS                                                                                                            4 

 
Creation & Editing 
[Note: As each media house has its own set of unique digital workflows, for the purposes of this document we 
will only consider the general steps, looking at specific workflows as examples only.] 

Creation & editing can be one of the most time and cost intensive functions performed in media production. 
Content must first be flawlessly ingested into high‐speed storage and then accessed by nearly every member 
of  the  editing  team,  necessitating  clear,  concise  workflows  and  file  logistics,  as  well  as  extremely  high 
network throughput. Errors, misdirected files and “wait time” in this portion of the production process can 
quickly escalate costs and lead to missed deadlines.  

Costs and Risks 
Traditionally,  ingest  has  required  a  completely  separate,  dedicated  system  consisting  of  expensive,  high‐
performance  storage.  These  proprietary  storage  systems  usually  require  the  use  of  unique  file  types,  have 
limited  capacity  and  require  specialized  management.  Regardless  of  the  specific  system  used,  the  ingest 
phase has been an inherent bottleneck as artists must wait until the file is completely ingested in real‐time 
before beginning work. 

Once  ingested,  there  are  two  common  methods  for  providing  content  to  artists:  a)  use  a  multiple‐copy 
method  to  distribute  the  project  to  each  editing  station  with  its  own  direct  attached  storage  (DAS)  or  b) 
provide  a  higher‐speed  central  repository  that  each  artist  can  work  from  (NAS  or  SAN).  When  using  the 
multiple‐copy  method,  large  media  files  continuously  traverse  the  network—bouncing  back‐and‐forth 
between islands of storage. Once the editors have processed their separate copies of a project, the files must 
once again be sent across the network to a separate storage device for rendering. This method requires the 
time‐intensive  movement  of  large  data  files,  which  increases  exponentially  as  a  function  of  the  number  of 
copies,  the  size  of  the  file  and  the  I/O  limitations  of  the  storage  devices.  This  time  expenditure  not  only 
results  in  longer  production  cycles  for  media  assets,  it  also  translates  to  paying  expensive  artists  to  simply 
wait…  

To  alleviate  the  challenges  of  the  multi‐copy  method,  a  centralized  storage  repository  may  be  employed. 
However,  if  this  central  repository  becomes  overtaxed,  slowing  to  a  crawl  as  artists,  compute  stations  and 
backups  all  require  access  to  the  same  system,  production  is  again  stalled.  The  primary  issue  with  a 
centralized storage repository is the inherent limitations of scale‐up storage technologies, namely scalability 
and performance. 
 

Scale‐up Storage Limitations 
Traditional scale‐up storage architectures (DAS, NAS, SAN), are characterized by individual systems controlled 
by a single head, with an inherent fixed performance  and capacity ceiling.  As capacity grows,  performance 
resources do not, becoming oversubscribed by the additional data access load and management, degrading 
overall  storage  performance.  Regarding  capacity,  traditional  NAS  technologies  are  capped  at  16TB  per  file 
system. At first glance this sounds rather large, but as media files continue to explode in size and number, 


ISILON SYSTEMS                                                                                                              5 

 
these capacity limits are quickly reached. When feasible limits of either capacity or performance are reached, 
there is no easy method for expansion, equating to either: 
 
1) Building an entirely new, larger system (an expensive “forklift” upgrade). Or, 

2) Adding yet another separate island of storage, migrating data from one system to the next. Each island of 
storage reduces overall performance, increases management overhead and creates frustration and confusion 
among users as to exactly where the data resides.  

With either route, business is disrupted as the expansion of current systems often suspends operations until 
the upgrade is complete. And, the point at which an expansion is needed is usually the least convenient time 
to do so, in the midst of a major production.  

Therefore, using a traditional scale‐up technology such as NAS or SAN solves the limitations of DAS only up to 
the  feasible  scalability  of  such  a  device,  at  which  point  another  layer  of  storage  is  required  and  similar 
bottlenecks appear.  

Each additional layer of storage, whether as DAS, NAS or SAN:  
                                                                                      One media house interviewed for 
        Reduces overall storage performance                                          this paper reported they have four 
                                                                                      full time data managers simply to 
        Increases system management overhead 
                                                                                      monitor and manage usage across 
                                                                                     their central NAS repository.   
         Increases network traffic 
        Is  unaware  of  other  storage,  requiring  manual  data  balancing 
         and management 
        Decreases storage efficiency as large chunks of unused storage are locked away in silos 
        Increases overall storage costs as more devices are needed 
        Is difficult to scale and can disrupt business when expansion is required 
 

Accelerate Creation and Editing 
Isilon’s  clustered  storage  architecture—now  in  its  5th  generation  with  the  Isilon  IQ  X‐Series—sets  the 
standard for scale‐out file storage and delivers all the benefits of centralized storage without the restraints 
and bottlenecks of traditional scale‐up storage technologies. 

Clustered storage, pioneered by Isilon Systems, utilizes highly synchronized peer “nodes” (unified by a fully 
distributed file system) to produce a single pool of storage with extremely high aggregate performance and 
availability characteristics, ease of use, low cost and inherently high levels of scalability.  

By simply adding nodes, Isilon’s clustered storage architecture scales out on‐the‐fly, reaching capacity up to 
2.3PB  in  a  single  file  system  with  aggregate  throughput  of  up  to  20GB/sec.  Each  storage  node  contains 
processing  power,  memory,  throughput  and  disk  space.  Therefore,  when  scaling  an  Isilon  cluster,  every 
aspect of the system is expanded—eliminating all the bottlenecks mentioned above.   

ISILON SYSTEMS                                                                                                              6 

 
It should be noted that this single file system is not simply a namespace aggregation veneer over a complex 
set of independent volumes. It is a fully symmetric clustered storage architecture providing a single volume, 
where every storage node in the system is fully aware of its peers, functioning as if it were an enormous disk 
drive but without the risk of a single point of failure.  

Increase Productivity 
Isilon IQ provides a low‐cost, highly versatile system that can be used anywhere in the production process— 
particularly  where  high‐performance  storage  is  required.  Isilon  IQ  can  serve  as  a  direct  repository  for 
ingesting  media  files,  can  provide  a  single  project  file  for  editing,  and  can  be  used  as  primary  storage  and 
scratch  space.  When  used  individually  for  any  of  these  functions,  Isilon  IQ  provides  an  extremely  scalable, 
fault tolerant, high‐performance solution with low management overhead. However, when used as the single 
storage repository throughout the entire creation & editing process, a new set of synergies emerge. 

Shorter Production Cycles 
The  unique  architecture  of  Isilon  IQ  provides  significant  time‐savings  throughout  the  creation  &  editing 
process, resulting in much shorter production cycles. An Isilon cluster is a centralized pool of storage made up 
of individual, yet fully integrated and load balanced symmetric nodes—anywhere from 3 to 96. The cluster 
does not have a single head that all I/O  must pass through; instead, every node  acts both as  an individual 
load‐balanced gateway for I/O, as well as a fully symmetric peer for storage. This eliminates the bottleneck of 
a single head with many disks behind it, allowing for an aggregate throughput of up to 20GB/sec. 
 

 

 

 

 

 

 

 

 

 

 

 

 


ISILON SYSTEMS                                                                                                              7 

 
Time‐savings result from: 

       Concurrent  Workflows:  Isilon  IQ’s  architecture  and  resulting  ultra‐high  aggregate  I/O  allows  for 
        concurrent  workflows  without  performance  degradation.  Artists  are  never  waiting  for  the  storage 
        system to “catch‐up” while it is being accessed by other devices, as processes are no longer subject 
        to the I/O limitations of a single head.  

       Single  copy  and  in‐place  editing:  Isilon  is  completely  file  agnostic,  therefore,  any  client  (e.g. 
        Windows®, Mac, Unix) using standard network protocols can read and write any type of file on the 
        Isilon cluster. And because Isilon IQ is not just an enormous single‐headed storage device, but a fully 
        symmetric  system,  multiple  parties  can  access  a  single,  centralized  file  without  performance 
        degradation, allowing for true in‐place editing. 

       Ingesting directly: The unique architecture of Isilon IQ and the 
        OneFS  operating  system  allow  administrators  to  designate  One company interviewed for this 
        “access  zones”  to  certain  I/O  processes,  such  as  ingest  or  paper reported, were they able to 
        rendering. This basically dedicates throughput and processing  ingest directly to a centralized pool of 
        power that will not be disrupted by other processes accessing  storage it would give them an extra 3 
        the same pool of storage. A single Isilon IQ Accelerator‐x node  hours per day. 
        provides  single‐stream  throughput  of  400MBs,  and  an 
        aggregate of 700MBs. When using Isilon for ingest, rather than spending hours per day copying files 
        to‐and‐from expensive primary storage, a single copy of the file is created just once for all purposes. 
        Each  artist  can  immediately  access  the  ingested  file,  without  waiting  for  files  to  be  copied.  When 
        used  in  combination  with  certain  third‐party  workflow  tools  such  as  Sienna  by  Gallery,  artists  can 
        actually begin work on a file while it is still being ingested, within seconds after ingest begins, saving 
        innumerable hours.  

       Single  location  for  all  projects:  Trying  to  locate  which  disk  or  volume  the  correct  copy  of  a  file 
        resides on is frustrating and wastes time. With a single pool of storage, files can be stored logically by 
        project, rather than be subject to the limits of technology, such as physical disks, volumes and LUNs. 
        Therefore, media professionals can focus on media creation and editing, not data management. 

       Performance  at  scale:  Isilon  clustered  storage  scales  linearly  and  independently,  depending  on 
        specific business needs. In linear scaling, each dimension of the system—storage capacity, processing 
        power, memory and throughput—all scale together. This means that as the system scales, overall 
        performance  is  improved.  This  is  accomplished  through  the  addition  of  standard  storage  nodes. 
        With  independent  scaling,  processing  power,  throughput  and  memory  can  scale  independently  of 
        storage  and  vice  versa.  This  is  accomplished  by  the  addition  of  either  accelerator  nodes  (Isilon 
        Accelerator‐x, built for ultra‐high performance to boost the entire cluster), or the addition of storage 
        expansion nodes (for systems that are more storage intensive, such as archive). The preconfigured 
        nodes  reduce  IT  time  used  for  a)  determining  what  components  need  to  be  scaled,  replaced  or 
        upgraded,  b)  determining  how  that  will  affect  other  aspects  of  the  system,  c)  reconfiguring  the 
        various file systems, d) performing the actual hardware upgrade.  


ISILON SYSTEMS                                                                                                           8 

 
    On‐the‐fly scaling: Both highly valuable media production 
         time and IT time are saved as Isilon cluster configurations 
                                                                              “Our whole production environment 
         can be dynamically changed on‐the‐fly, without requiring 
                                                                              simply wouldn’t work without the large, 
         a  system  redesign,  or  even  a  system  re‐boot;  all  scaling 
                                                                              high‐performance single storage pool that 
         can be done while the system is online. This means that if 
                                                                              Isilon gives us. Without it, we would’ve 
         business  needs  change  or  a  project  exceeds  original  size     never completed this movie.”** 
         estimates, precious production hours are not forfeited for 
                                                                                                 –Howard Postley, CTO‐  
         an  upgrade.  All  aspects  of  the  system  scale  within  60 
                                                                                                  3ality Digital Systems 
         seconds  of  powering  on  a  new  Isilon  node.  No  other 
         storage  architecture  allows  this  level  of  dynamic, 
         instantaneous online scaling of a single file system.   

 

Cost Reduction 
When utilizing Isilon as the primary single pool of storage for creation & editing, numerous cost savings are 
realized.  

        Reduce  data  and  storage  management  overhead:  Data 
         wrangler efforts in the editing process are virtually eliminated.        One Isilon customer reported that 
         With a single pool of storage that is self‐balancing (even when          their media IT headcount, supporting 
         new  nodes  are  added),  the  need  to  move  data  from  one           over 140 artists, was reduced from 6 
                                                                                  to 3 due to simplified storage 
         system  to  the  other,  either  for  load  balancing  or  during 
                                                                                  management and not needing data 
         normal  production  processes,  is  simply  no  longer  necessary. 
                                                                                  wranglers. 
         Additionally, the complication of managing multiple types and 
         brands of storage is eliminated.  

        Storage costs: The cost of storage itself is reduced and efficiency is increased, as all free space is 
         available for use rather than locked away in inaccessible silos.  The average utilization of DAS is only 
         25—30% and NAS is 60%—whereas the average utilization for an Isilon cluster is 82%.

        Network  hardware  and  management  costs:  Without  multiple  copies  of  massive  files  constantly 
         traversing  the  network,  network  load  is  significantly  reduced,  requiring  less  hardware.  And,  front‐
         end switching technologies that attempt to load balance I/O are no longer required.  

[NOTE:  A  recent  independent  study  by  Forrester  Research  confirms  that  Isilon  clustered  storage  provides 
significant  cost  savings  for  file‐based  storage  over  traditional  technologies,  providing  125%  RIO  with  a 
payback period of 5 months. See “The Total Economic Impact of Isilon’s Clustered Storage System,” found at 
www.isilon.com.]  




ISILON SYSTEMS                                                                                                              9 

 
 
Take Advantage of New Business Opportunities 
Storage infrastructure should never be a limiting factor when considering new opportunities or building out 
new media workflows. With traditional storage, the inability to quickly scale both capacity and performance 
translates  to  saying  “no”  to  last  minute  projects  that  would  overtax  current  systems.  It  may  also  limit  the 
ability to add new product lines or utilize new breakthrough effects and techniques—such as stereo imagery.    
 
Instead, storage should be able to flex, quickly and dynamically, as business needs dictate. The ability to add 
new  nodes  to  an  existing  cluster  in  a  matter  of  seconds  allows  for  true  “pay‐as‐you‐grow”  scalability  and 
flexibility.  Therefore,  administrators  can  respond  to  new  demands  for  capacity  or  performance 
instantaneously,  enabling  the  organization  to  more  quickly  adapt  to  new  business  needs,  take  on  new 
projects and create new, groundbreaking productions otherwise impossible with traditional, difficult‐to‐scale 
storage technologies. 

In short, Isilon IQ’s dynamic scalability, flexibility and record setting I/O capabilities enable truly concurrent 
in‐place editing of a single project file throughout the entire creation & editing process, reducing time, costs 
and management overhead—enabling media companies to do more with less.  

 


Rendering, Compositing, & Encoding 
Many  Isilon  customers  utilize  Isilon  IQ  as  a  mass  storage  system  for  high‐performance  computing,  such  as 
render  farms,  compositing  stations  and  encoding  devices.  Traditional  storage  architectures  used  for  these 
workflows rely on a single high‐speed head and metadata server, often separate from the rest of the storage 
network. Up to a certain point, these metadata servers can be very fast, but once pressed beyond that point 
performance  is  quickly  degraded,  bringing  the  system  to  a  crawl.  And,  if  the  storage  behind  the  metadata 
server is not  separate but shared with the editing process, not only is performance slowed, artists may be 
unable to access their files as the compute nodes all attack the same data set. Automated render queues can 
be  employed  to  help  with  load  balancing,  but  this  leads  to  complex  data  logistics  which  inevitably  absorb 
more time.  

There  are  a  number  of  aspects  of  Isilon  IQ’s  clustered  storage  architecture  that  make  it  ideal  for  high‐
performance computing environments: 

        Dedicated throughput of 200MB/sec in every storage node and an aggregate of up to 20GB/sec.  

        Accelerator‐x  nodes  provide  integration  with  next‐generation  10GbE  networking,  enabling  over 
         700MBps of aggregate throughput per Accelerator‐x node. 




ISILON SYSTEMS                                                                                                          10 

 
    The ability to scale a single‐file system, on‐the‐fly, up to 2.3PB: 
         a)  reduces  the  chance  of  an  incomplete  write,  b)  ensures  no        One Isilon customer reports that they 
         single project has to be divided among volumes and c) ensures                have over 1,000 render nodes hitting 
                                                                                      the same dataset at the same time 
         current processes can continue uninterrupted while the system 
                                                                                      without performance degradation 
         is scaled.  
                                                                                      and their render processes are now 
                                                                                      over 100% faster.   
        With  linear  scaling,  performance  is  increased  as  capacity  is 
         added. 

        Built‐in  redundancy  protection  ensures  that  if  a  drive  or  an  entire  node  fails  during  a  render  or 
         compositing process, the process can continue as scheduled. With Isilon’s N+4 protection, up to four 
         entire nodes can fail without losing access to data or disrupting a read or write process.  

Therefore, with Isilon clustered storage:  

        Rendering/compositing/encoding jobs no longer need to be scheduled and queued based on storage 
         limitations. 

        Artists do not need to wait for one job to complete before another can begin. Nor do they need to 
         determine what volume or drive a particular file resides on or where it should be written.  

        Data wranglers are no longer needed to manually move files and processes from over‐taxed drives.  

        No downtime is required when more space is added.  

        And  most  importantly,  heavy  workloads  with  concurrent  access  patterns  will  not  degrade  the 
         performance of an Isilon IQ cluster.   

 

Near‐line Storage and File Management 
Often,  the  same  system  that  is  used  for  rendering,  compositing  or  encoding  is  used  for  storage  of  the 
completed project—awaiting either distribution to an archive/play‐out server or to a film‐out device. Or, if 
many projects are being completed at the same time, another near‐line storage system may be required to 
offload  the  completed  files.  In  both  instances,  traditional  storage  systems  have  inherent  bottlenecks  that 
hinder the process and create unnecessary management headaches.  

One of the primary bottlenecks when utilizing the same storage device for both high‐performance computing 
needs (such as rendering) and near‐line storage is concurrent  access. While the compute nodes either pull 
data  from  the  server  into  local  RAM,  or  write  it  back, other  processes  suffer,  including  providing  access  to 
completed  projects.  If  a  separate  server  is  used  to  offload  the  completed  projects,  the  same  bottleneck 
occurs, just earlier in the process.  

Similarly, when using the  same storage  device for both high‐performance computing and near‐line storage 
there  is  a  large  divergence  in  access  patterns.  Traditional  storage  can  be  physically  and  logically  tuned  for 

ISILON SYSTEMS                                                                                                            11 

 
various data access patterns, but once tuned, it is efficient at one type and inefficient at another. Therefore, 
near‐line storage is often moved to a separate device built specifically for short‐term storage of large files. 
Again, creating drag as additional servers means additional data moves, as well as more volumes, LUNs and 
file systems, all of which add complexity and management overhead.    

Whether near‐line storage is shared with the rendering/compositing/encoding processes or not, the system 
must  be  able  to  handle  large  amounts  of  data  with  ultra‐high  availability,  reliability  and  clear  disaster 
recovery mechanisms. The cost of achieving the kind of protection required with traditional storage systems 
can be astronomical.   

Isilon IQ breaks these bottlenecks by providing: 

    1. A  truly‐symmetric  clustered  file  system:  A  single,  seamlessly  expanding  shared  pool  of  storage  to 
       hold all projects. 

    2. Up to 20GB/sec throughput: Enough bandwidth to avoid degradation during concurrent reads and 
       writes. 

    3. Access zones: Administrators can carve out virtual portions of the cluster for specific access patterns, 
       yet still utilize the same file system and data set. 

    4. Industry leading data protection: Unmatched availability and reliability with no single point of failure 
       and  multiple  layers  of  hardware  and  software  protection.  Additional  technologies  are  available  for 
       ultra‐fast backup and disaster recovery over LAN or WAN.  

    5. Low cost: Isilon clustered storage costs approximately 1/3 of traditional storage technologies.    

As an Isilon cluster can start with a minimum 3‐node configuration of 6TB and scale to as large as 2.3PB (with 
a 96 node Isilon IQ 12000), some customers first introduce Isilon as a near‐line storage device, designed to 
hold completed projects awaiting distribution or film‐out. However, Isilon is usually used for near‐line storage 
by default in conjunction with rendering/compositing/encoding functions, as it is a natural fit and no other 
storage is required for completed projects. 

 

Bringing it All Together 
To improve productivity and reduce costs, Isilon’s clustered storage systems can be implemented anywhere 
within  the  production  process:  as  a  point  solution,  or  for  a  particular  high‐intensity  sub‐process  such  as 
rendering. However, once the benefits of performance, scalability, data protection and ease of management 
are  realized,  customers  quickly  identify  other  areas  where  Isilon  can  be  leveraged.  As  more  aspects  of  the 
production  process  are  moved  to  Isilon  clustered  storage,  business  value  begins  to  multiply  across  the 
production cycle.  




ISILON SYSTEMS                                                                                                         12 

 
The very architecture that makes Isilon IQ a perfect fit for creation 
&  editing,  rendering/compositing/  encoding  and  near‐line  storage,         “We approached Isilon and initially 
makes  it  ideal  to  handle  all  of  those  functions  simultaneously         purchased a mid‐sized Isilon IQ 6000i 20 
                                                                                terabyte cluster. Then we began adding 
without  degradation.  The  primary  reason  a  media  organization 
                                                                                more and more storage along with 
would  not  utilize  the  same  storage  for  the  entire  production 
                                                                                capacity and throughput. Today Isilon 
process  is  that  traditional  NAS  and  SAN  solutions  simply  cannot 
                                                                                manages 250 terabytes of Turner Studios’ 
handle  that  level  of  concurrent  processing  (leading  to  over‐taxed       post‐production data.”* 
systems,  hours  of  waiting  and  possible  data/frame  loss).  Isilon  IQ 
                                                                                         –Ken Brady, Director of Technical 
can.  
                                                                                           Operations and Digital Media,  
                                                                                         Turner Broadcasting System, Inc.
Another  reason  an  organization  may  not  desire  a  single  storage 
system is data protection—not wanting all data housed on a single 
system. Isilon emphatically answers the data protection issue with multiple layers of fault tolerance, no single 
point  of  failure,  flexible  N+4  protection  that  can  handle  an  unprecedented  4  node  failure  without 
interruption,  automatic  preemptive  warning  and  off‐loading  of  files  from  at‐risk  disks,  the  shortest  rebuild 
times in the industry and multiple backup options including ultra high‐speed offsite backup using Aspera for 
Isilon. When carefully analyzed, a single Isilon cluster provides better business continuity and a much higher 
level of protection than multiple, individual storage systems, and is much simpler to manage.  

Exponentially Increasing Business Value  
If we consider a point solution (such as ingest) as a single dimension of the production process, then an entire 
sub‐component (such as creation & editing) is a second dimension, and the entire media production process 
(the culmination of all components within production) is a third dimension. With each new dimension taken 
on  by  the  Isilon  system,  the  productivity,  cost  savings  and  ability  to  leverage  new  opportunities  increases 
exponentially. 

 

 

 

 

 

 

Therefore,  using  a  single  pool  of  Isilon  clustered  storage  for  all  aspects  of  media  production  multiplies 
productivity, cost savings and new opportunities across the entire production pipeline.  

        Image and audio capture can be ingested directly to the very same system that is used for editing, 
         without dropping frames.  
        Editing can start immediately after ingest begins.  


ISILON SYSTEMS                                                                                                          13 

 
    Rendering  and  compositing  can  take  place  while  artists  are 
         working  on  files  without  degradation,  and  the  completed 
                                                                                   One Isilon customer reported being 
         files can be stored on the very same system.  
                                                                                   able to produce 4 times as many HD 
        Copies of files are not continually traversing the network.               shots per week by using Isilon as the 
                                                                                   primary storage system for all 
        Constantly balancing data across multiple file systems is not 
                                                                                   aspects of production. 
         required.  
        There is only one single file system to manage for the entire 
         production process. 
        Work is not stopped when more capacity or processing power is required.    
When Isilon clustered storage is used as the central repository for the entire production process, storage is 
no  longer  the  bottleneck  that  limits  the  ability  to  take  on  larger,  more  complex  projects,  but  instead  once 
again  enables  breakthroughs  and  new  opportunities  by  accelerating  processes,  improving  productivity  and 
reducing costs and complexity.   


 

Conclusion 
The fully symmetric clustered architecture of Isilon IQ provides an extremely scalable, low‐overhead solution 
with up to 2.3PB of storage and up to 20GB/sec of aggregate throughput, allowing media and entertainment 
companies  to  accelerate  any  portion  of  the  media  production  process.  When  used  as  a  central  storage 
repository  for  every  aspect  of  production,  a  synergy  is  created  that  multiplies  benefits  across  the  entire 
production process: 

        Maximizing productivity 
        Minimizing costs 
        Enabling the ability to take on new opportunities  
Throughout the entire production pipeline, production cycles are shortened allowing for the completion of 
more projects in less time, artists are not paid to wait around for files to be copied, the cost of storage and 
the associated management overhead is reduced, network load is reduced, storage can be easily increased in 
a  pay‐as‐you‐grow  fashion  and  new  opportunities  that  previously  may  not  have  been  possible  can  now  be 
easily taken on.  

Finally, although the topic of another whitepaper, Isilon IQ is able to take on the next dimension of media 
storage by providing a single pool of storage for all media and entertainment processes from production to 
archive to play‐out, at which point the benefits are once again exponentially increased.   

 

*See Turner Broadcasting System case study at www.isilon.com   
**See 3ality Digital Systems case study at www.isilon.com  
 
ISILON SYSTEMS                                                                                                              14 

 
About Isilon Systems  
Isilon Systems is the worldwide leader in clustered storage systems and software for file‐based data, enabling 
enterprises to transform data into information and information into breakthroughs. Isilon's award‐winning family 
of IQ clustered storage systems combines Isilon's OneFS® operating system software with the latest advances in 
industry‐standard hardware to deliver modular, pay‐as‐you‐grow, enterprise‐class storage systems. Isilon's 
clustered storage solutions speed access to critical business information while dramatically reducing the cost and 
complexity of storing it. Information about Isilon can be found at http://www.isilon.com.  
 


© 2001‐2008 Isilon Systems, Inc. All rights reserved. Isilon, Isilon Systems and OneFS are registered trademarks, and SyncIQ, SnapshotIQ, 
SmartConnect and SmartQuotas are trademarks of Isilon Systems, Inc. 




 




ISILON SYSTEMS                                                                                                                               15 

 

Weitere ähnliche Inhalte

Andere mochten auch

Examen parcial de informatica
Examen parcial de informaticaExamen parcial de informatica
Examen parcial de informaticamelani-foresttal
 
Paradigma de orientação a objetos -
Paradigma de orientação a objetos - Paradigma de orientação a objetos -
Paradigma de orientação a objetos - André Victor
 
Edible oil processing
Edible oil processingEdible oil processing
Edible oil processingVijay Kumar.N
 
Experience Hult 2013 - Prof Tom Hall
Experience Hult 2013 - Prof Tom HallExperience Hult 2013 - Prof Tom Hall
Experience Hult 2013 - Prof Tom HallHult-APAC
 
Grand Canyon
Grand CanyonGrand Canyon
Grand Canyonmoh2599
 
Focusing on Safety: Safety planning in the context of same-sex domestic violence
Focusing on Safety: Safety planning in the context of same-sex domestic violenceFocusing on Safety: Safety planning in the context of same-sex domestic violence
Focusing on Safety: Safety planning in the context of same-sex domestic violenceACON
 
Etht grp 13 (140080125017,18,19,20)
Etht grp 13 (140080125017,18,19,20)Etht grp 13 (140080125017,18,19,20)
Etht grp 13 (140080125017,18,19,20)Yash Dobariya
 
Theater field trip letter
Theater field trip letterTheater field trip letter
Theater field trip lettercarpedee
 
Recipes for Optical Effect System Design - Real-time Rendering of Physically...
Recipes for Optical Effect System Design - Real-time Rendering of Physically...Recipes for Optical Effect System Design - Real-time Rendering of Physically...
Recipes for Optical Effect System Design - Real-time Rendering of Physically...Silicon Studio Corporation
 
éTica profesional semana uno mayo 2015.
éTica profesional semana uno mayo 2015.éTica profesional semana uno mayo 2015.
éTica profesional semana uno mayo 2015.mariapuga06
 

Andere mochten auch (16)

Examen parcial de informatica
Examen parcial de informaticaExamen parcial de informatica
Examen parcial de informatica
 
Paradigma de orientação a objetos -
Paradigma de orientação a objetos - Paradigma de orientação a objetos -
Paradigma de orientação a objetos -
 
E-sports
E-sportsE-sports
E-sports
 
Edible oil processing
Edible oil processingEdible oil processing
Edible oil processing
 
POO - 08 - Prática de Encapsulamento
POO - 08 - Prática de EncapsulamentoPOO - 08 - Prática de Encapsulamento
POO - 08 - Prática de Encapsulamento
 
Experience Hult 2013 - Prof Tom Hall
Experience Hult 2013 - Prof Tom HallExperience Hult 2013 - Prof Tom Hall
Experience Hult 2013 - Prof Tom Hall
 
Grand Canyon
Grand CanyonGrand Canyon
Grand Canyon
 
Focusing on Safety: Safety planning in the context of same-sex domestic violence
Focusing on Safety: Safety planning in the context of same-sex domestic violenceFocusing on Safety: Safety planning in the context of same-sex domestic violence
Focusing on Safety: Safety planning in the context of same-sex domestic violence
 
PROSPECTIVE STUDY WITH OUTCOME ON GESTATIONAL DIABETES MELLITUS
PROSPECTIVE STUDY WITH OUTCOME ON GESTATIONAL DIABETES MELLITUSPROSPECTIVE STUDY WITH OUTCOME ON GESTATIONAL DIABETES MELLITUS
PROSPECTIVE STUDY WITH OUTCOME ON GESTATIONAL DIABETES MELLITUS
 
Etht grp 13 (140080125017,18,19,20)
Etht grp 13 (140080125017,18,19,20)Etht grp 13 (140080125017,18,19,20)
Etht grp 13 (140080125017,18,19,20)
 
POO - 07 - Operadores do Java
POO - 07 - Operadores do  JavaPOO - 07 - Operadores do  Java
POO - 07 - Operadores do Java
 
Theater field trip letter
Theater field trip letterTheater field trip letter
Theater field trip letter
 
Impuestos en Bolivia
Impuestos en BoliviaImpuestos en Bolivia
Impuestos en Bolivia
 
Recipes for Optical Effect System Design - Real-time Rendering of Physically...
Recipes for Optical Effect System Design - Real-time Rendering of Physically...Recipes for Optical Effect System Design - Real-time Rendering of Physically...
Recipes for Optical Effect System Design - Real-time Rendering of Physically...
 
éTica profesional semana uno mayo 2015.
éTica profesional semana uno mayo 2015.éTica profesional semana uno mayo 2015.
éTica profesional semana uno mayo 2015.
 
Curriculum Vitae
Curriculum VitaeCurriculum Vitae
Curriculum Vitae
 

Ähnlich wie Media And Entertainment Whitepaper 090308

Modern data integration | Diyotta
Modern data integration | Diyotta Modern data integration | Diyotta
Modern data integration | Diyotta diyotta
 
IBM Big Data References
IBM Big Data ReferencesIBM Big Data References
IBM Big Data ReferencesRob Thomas
 
Logitech Accelerates Cloud Analytics Using Data Virtualization by Avinash Des...
Logitech Accelerates Cloud Analytics Using Data Virtualization by Avinash Des...Logitech Accelerates Cloud Analytics Using Data Virtualization by Avinash Des...
Logitech Accelerates Cloud Analytics Using Data Virtualization by Avinash Des...Data Con LA
 
Digital Asset Management Whitepaper by KeyFruit Inc.
Digital Asset Management Whitepaper by KeyFruit Inc.Digital Asset Management Whitepaper by KeyFruit Inc.
Digital Asset Management Whitepaper by KeyFruit Inc.KeyFruit Inc.
 
Enhancing intelligence with the Internet of Things
Enhancing intelligence with the Internet of ThingsEnhancing intelligence with the Internet of Things
Enhancing intelligence with the Internet of ThingsThe Marketing Distillery
 
Riverbed Deck - GigaOM 2013 Events
Riverbed Deck - GigaOM 2013 Events Riverbed Deck - GigaOM 2013 Events
Riverbed Deck - GigaOM 2013 Events Alison Rubino
 
The Evolving Role of the Data Engineer - Whitepaper | Qubole
The Evolving Role of the Data Engineer - Whitepaper | QuboleThe Evolving Role of the Data Engineer - Whitepaper | Qubole
The Evolving Role of the Data Engineer - Whitepaper | QuboleVasu S
 
digitaltwintechnology-201010235258.pdf
digitaltwintechnology-201010235258.pdfdigitaltwintechnology-201010235258.pdf
digitaltwintechnology-201010235258.pdfMasudBilla
 
O'Reilly ebook: Operationalizing the Data Lake
O'Reilly ebook: Operationalizing the Data LakeO'Reilly ebook: Operationalizing the Data Lake
O'Reilly ebook: Operationalizing the Data LakeVasu S
 
The Growth Of Data Centers
The Growth Of Data CentersThe Growth Of Data Centers
The Growth Of Data CentersGina Buck
 
Accenture BeLux - Vlerick | Product Digitization
Accenture BeLux - Vlerick | Product Digitization Accenture BeLux - Vlerick | Product Digitization
Accenture BeLux - Vlerick | Product Digitization Accenture BeLux
 
Guide to NoSQL with MySQL
Guide to NoSQL with MySQLGuide to NoSQL with MySQL
Guide to NoSQL with MySQLSamuel Rohaut
 
Aws keynote oil and gas calgary industry day - jon guidroz
Aws keynote oil and gas calgary industry day -  jon guidrozAws keynote oil and gas calgary industry day -  jon guidroz
Aws keynote oil and gas calgary industry day - jon guidrozAmazon Web Services
 
Roman Pavlyuk, Yaroslav Ravlinko, Intellias. Enterprise IT Transformation and...
Roman Pavlyuk, Yaroslav Ravlinko, Intellias. Enterprise IT Transformation and...Roman Pavlyuk, Yaroslav Ravlinko, Intellias. Enterprise IT Transformation and...
Roman Pavlyuk, Yaroslav Ravlinko, Intellias. Enterprise IT Transformation and...IT Arena
 
Challenges and Best Practices for Storing/ Challenges and Best Practices for ...
Challenges and Best Practices for Storing/ Challenges and Best Practices for ...Challenges and Best Practices for Storing/ Challenges and Best Practices for ...
Challenges and Best Practices for Storing/ Challenges and Best Practices for ...NetApp
 
Digital Transformation in the Manufacturing sector
Digital Transformation in the Manufacturing sectorDigital Transformation in the Manufacturing sector
Digital Transformation in the Manufacturing sectorArun Natarajan
 

Ähnlich wie Media And Entertainment Whitepaper 090308 (20)

Modern data integration | Diyotta
Modern data integration | Diyotta Modern data integration | Diyotta
Modern data integration | Diyotta
 
Aspera deck
Aspera deck Aspera deck
Aspera deck
 
IBM Big Data References
IBM Big Data ReferencesIBM Big Data References
IBM Big Data References
 
Logitech Accelerates Cloud Analytics Using Data Virtualization by Avinash Des...
Logitech Accelerates Cloud Analytics Using Data Virtualization by Avinash Des...Logitech Accelerates Cloud Analytics Using Data Virtualization by Avinash Des...
Logitech Accelerates Cloud Analytics Using Data Virtualization by Avinash Des...
 
Digital Asset Management Whitepaper by KeyFruit Inc.
Digital Asset Management Whitepaper by KeyFruit Inc.Digital Asset Management Whitepaper by KeyFruit Inc.
Digital Asset Management Whitepaper by KeyFruit Inc.
 
Enhancing intelligence with the Internet of Things
Enhancing intelligence with the Internet of ThingsEnhancing intelligence with the Internet of Things
Enhancing intelligence with the Internet of Things
 
Seminor Documentation
Seminor DocumentationSeminor Documentation
Seminor Documentation
 
Riverbed Deck - GigaOM 2013 Events
Riverbed Deck - GigaOM 2013 Events Riverbed Deck - GigaOM 2013 Events
Riverbed Deck - GigaOM 2013 Events
 
The Evolving Role of the Data Engineer - Whitepaper | Qubole
The Evolving Role of the Data Engineer - Whitepaper | QuboleThe Evolving Role of the Data Engineer - Whitepaper | Qubole
The Evolving Role of the Data Engineer - Whitepaper | Qubole
 
digitaltwintechnology-201010235258.pdf
digitaltwintechnology-201010235258.pdfdigitaltwintechnology-201010235258.pdf
digitaltwintechnology-201010235258.pdf
 
Digital Twin Technology
Digital Twin TechnologyDigital Twin Technology
Digital Twin Technology
 
O'Reilly ebook: Operationalizing the Data Lake
O'Reilly ebook: Operationalizing the Data LakeO'Reilly ebook: Operationalizing the Data Lake
O'Reilly ebook: Operationalizing the Data Lake
 
The Growth Of Data Centers
The Growth Of Data CentersThe Growth Of Data Centers
The Growth Of Data Centers
 
IBM Big Data Success Stories
IBM Big Data  Success StoriesIBM Big Data  Success Stories
IBM Big Data Success Stories
 
Accenture BeLux - Vlerick | Product Digitization
Accenture BeLux - Vlerick | Product Digitization Accenture BeLux - Vlerick | Product Digitization
Accenture BeLux - Vlerick | Product Digitization
 
Guide to NoSQL with MySQL
Guide to NoSQL with MySQLGuide to NoSQL with MySQL
Guide to NoSQL with MySQL
 
Aws keynote oil and gas calgary industry day - jon guidroz
Aws keynote oil and gas calgary industry day -  jon guidrozAws keynote oil and gas calgary industry day -  jon guidroz
Aws keynote oil and gas calgary industry day - jon guidroz
 
Roman Pavlyuk, Yaroslav Ravlinko, Intellias. Enterprise IT Transformation and...
Roman Pavlyuk, Yaroslav Ravlinko, Intellias. Enterprise IT Transformation and...Roman Pavlyuk, Yaroslav Ravlinko, Intellias. Enterprise IT Transformation and...
Roman Pavlyuk, Yaroslav Ravlinko, Intellias. Enterprise IT Transformation and...
 
Challenges and Best Practices for Storing/ Challenges and Best Practices for ...
Challenges and Best Practices for Storing/ Challenges and Best Practices for ...Challenges and Best Practices for Storing/ Challenges and Best Practices for ...
Challenges and Best Practices for Storing/ Challenges and Best Practices for ...
 
Digital Transformation in the Manufacturing sector
Digital Transformation in the Manufacturing sectorDigital Transformation in the Manufacturing sector
Digital Transformation in the Manufacturing sector
 

Media And Entertainment Whitepaper 090308

  • 1. Isilon in Production Driving Productivity, Cost Reduction and New Opportunities in Media and Entertainment An Isilon® Systems Whitepaper September, 2008
  • 2. Contents  Introduction .................................................................................................................................................. 3  The Digital Production Pipeline..................................................................................................................... 4  Creation & Editing......................................................................................................................................... 5  Costs and Risks.......................................................................................................................................... 5  Scale‐Up Storage Limitations ................................................................................................................ 5  Accelerate Creation and Editing ............................................................................................................... 6  Increase Productivity ............................................................................................................................ 7  Cost Reduction ...................................................................................................................................... 9  Take Advantage of New Business Opportunities................................................................................ 10  Rendering, Compositing & Encoding .......................................................................................................... 10  Near‐line Storage and File Management.................................................................................................... 11  Bringing it All Together ............................................................................................................................... 12  Exponentially Increasing Business Value ................................................................................................ 13  Conclusion................................................................................................................................................... 14    ISILON SYSTEMS  2   
  • 3. Introduction    Create  it.  Manage  it.  Deliver  it.  It  sounds  simple.  But  within  these  three  key  media  and  entertainment  processes  are  a  myriad  of  moving  parts,  immeasurable  man  hours,  and  ever  increasing  challenges.  The  production  (or  post‐production)  processes  alone  can  entail  hundreds  of  people  working  on  thousands  of  gigabytes of HD frames, composites, 3D renderings and enormous encoded files. The completed media assets  then  require  archiving  and  distribution.  All  of  these  core  media  processes—production,  archive  and  play‐ out—have two key things in common: each relies heavily on the crucial element of storage and, if effectively  streamlined and accelerated, each would significantly impact business value.   This document will focus entirely on storage requirements in the media production process. Regardless of the  segment  of  media  and  entertainment—broadcasting,  animation,  live  action  films,  etc.—the  production  process can be further broken down into three main components:     Creation & editing   Rendering/compositing/encoding  Focus   Near‐line storage and file management             We will examine the current challenges and drawbacks of using traditional “scale‐up” storage technologies in  each  of  these  components  and  how  Isilon’s  clustered  “scale‐out”  architecture  can  significantly  increase  business value by:      Increasing productivity   Reducing costs and management overhead   Enabling new opportunities      ISILON SYSTEMS  3   
  • 4. The Digital Production Pipeline  Media and entertainment companies have experienced quantum leaps in the ability to turn out high‐quality  assets extremely quickly, achieving both economies of scale and production advancements not dreamed of  even  a  few  years  ago.  However,  although  productions  that  once  seemed  impossible  are  now  everyday  occurrences, the advent of next‐generation digital production processes have not come without headaches  and complications.  Digital  media  assets  have  quickly  ballooned  from  hundreds  of  files  consisting  of  just  a  few  hundred  megabytes to thousands of files at gigabytes in size, with single projects ranging into the terabytes. There are  a  variety  of  reasons  for  the  explosive  growth,  from  consumer  demand,  new  devices  and  new  delivery  mediums  (requiring  media  files  to  exist  in  multiple  formats),  to  major  advances  in  digital  filming  and  VFX  techniques.  For  the  purposes  of  this  paper,  we  need  not  examine  all  the  various  reasons  for  such  growth.  However,  it  is  important  to  understand  that,  considering  we  are  only  at  the  cusp  of  the  digital  media  era,  more explosive, exponential growth is inevitable.   To accommodate growth, the traditional method has been to “simply add more space”. However, in this new  era  of  digital  media  production,  it’s  not  that  “simple”:  When  managing  large  digital  media  files,  traditional  scale‐up  storage  technologies  reach  a  point  of  diminishing  return.  Adding  capacity  will  eventually  overtax  processor  and  throughput  power,  degrading  overall  system  performance  to  unacceptable  levels.  And  eventually, due to the fixed capacity ceiling of scale‐up storage, more space cannot be added to an existing  file system, requiring a duplicate, disconnected island of storage. Each level of growth is compounded with  another  layer  of  complexity,  requiring  additional  inconvenient  steps  and  management  overhead  to  what  once seemed like a smooth, efficient process.   As  digital  workflows  become  convoluted  with  layer  upon  layer  of  storage,  human  resources  are  taxed,  escalating costs. Media professionals must spend time navigating IT based tools, data sets, file systems and  volumes—rather  than  focusing  on  their  creative  work.  A  new  breed  of  highly  paid,  specialized  media  IT  professional  is  needed  to  design  and  manage  proper  storage  systems  and  workflows.  And,  as  storage  complexity increases, even more resources are required to simply manage the data through the production  pipeline (known affectionately as “data wranglers”).   Therefore, the systems that enabled the initial breakthroughs in digital media have led to compound layers of  storage that escalate costs, create bottlenecks and limit the ability to take on larger, more complex projects,  rather than enable new opportunities. Storage should not add complexity and cost to digital workflows, but  instead  fully  support  them  by  presenting  a  single  file  system,  requiring  little  management  and  dynamically  scaling in any direction as business needs dictate.   With this in mind, let’s examine more closely the three main components of production (with an emphasis on  creation & editing) and explore the ways Isilon’s clustered storage solution can move beyond the bottlenecks  created  by  traditional  scale‐up  storage  systems  to  increase  productivity,  reduce  costs  and  enable  new  opportunities.        ISILON SYSTEMS  4   
  • 5. Creation & Editing  [Note: As each media house has its own set of unique digital workflows, for the purposes of this document we  will only consider the general steps, looking at specific workflows as examples only.]  Creation & editing can be one of the most time and cost intensive functions performed in media production.  Content must first be flawlessly ingested into high‐speed storage and then accessed by nearly every member  of  the  editing  team,  necessitating  clear,  concise  workflows  and  file  logistics,  as  well  as  extremely  high  network throughput. Errors, misdirected files and “wait time” in this portion of the production process can  quickly escalate costs and lead to missed deadlines.   Costs and Risks  Traditionally,  ingest  has  required  a  completely  separate,  dedicated  system  consisting  of  expensive,  high‐ performance  storage.  These  proprietary  storage  systems  usually  require  the  use  of  unique  file  types,  have  limited  capacity  and  require  specialized  management.  Regardless  of  the  specific  system  used,  the  ingest  phase has been an inherent bottleneck as artists must wait until the file is completely ingested in real‐time  before beginning work.  Once  ingested,  there  are  two  common  methods  for  providing  content  to  artists:  a)  use  a  multiple‐copy  method  to  distribute  the  project  to  each  editing  station  with  its  own  direct  attached  storage  (DAS)  or  b)  provide  a  higher‐speed  central  repository  that  each  artist  can  work  from  (NAS  or  SAN).  When  using  the  multiple‐copy  method,  large  media  files  continuously  traverse  the  network—bouncing  back‐and‐forth  between islands of storage. Once the editors have processed their separate copies of a project, the files must  once again be sent across the network to a separate storage device for rendering. This method requires the  time‐intensive  movement  of  large  data  files,  which  increases  exponentially  as  a  function  of  the  number  of  copies,  the  size  of  the  file  and  the  I/O  limitations  of  the  storage  devices.  This  time  expenditure  not  only  results  in  longer  production  cycles  for  media  assets,  it  also  translates  to  paying  expensive  artists  to  simply  wait…   To  alleviate  the  challenges  of  the  multi‐copy  method,  a  centralized  storage  repository  may  be  employed.  However,  if  this  central  repository  becomes  overtaxed,  slowing  to  a  crawl  as  artists,  compute  stations  and  backups  all  require  access  to  the  same  system,  production  is  again  stalled.  The  primary  issue  with  a  centralized storage repository is the inherent limitations of scale‐up storage technologies, namely scalability  and performance.    Scale‐up Storage Limitations  Traditional scale‐up storage architectures (DAS, NAS, SAN), are characterized by individual systems controlled  by a single head, with an inherent fixed performance  and capacity ceiling.  As capacity grows,  performance  resources do not, becoming oversubscribed by the additional data access load and management, degrading  overall  storage  performance.  Regarding  capacity,  traditional  NAS  technologies  are  capped  at  16TB  per  file  system. At first glance this sounds rather large, but as media files continue to explode in size and number,  ISILON SYSTEMS  5   
  • 6. these capacity limits are quickly reached. When feasible limits of either capacity or performance are reached,  there is no easy method for expansion, equating to either:    1) Building an entirely new, larger system (an expensive “forklift” upgrade). Or,  2) Adding yet another separate island of storage, migrating data from one system to the next. Each island of  storage reduces overall performance, increases management overhead and creates frustration and confusion  among users as to exactly where the data resides.   With either route, business is disrupted as the expansion of current systems often suspends operations until  the upgrade is complete. And, the point at which an expansion is needed is usually the least convenient time  to do so, in the midst of a major production.   Therefore, using a traditional scale‐up technology such as NAS or SAN solves the limitations of DAS only up to  the  feasible  scalability  of  such  a  device,  at  which  point  another  layer  of  storage  is  required  and  similar  bottlenecks appear.   Each additional layer of storage, whether as DAS, NAS or SAN:   One media house interviewed for   Reduces overall storage performance  this paper reported they have four  full time data managers simply to   Increases system management overhead  monitor and manage usage across   their central NAS repository.    Increases network traffic   Is  unaware  of  other  storage,  requiring  manual  data  balancing  and management   Decreases storage efficiency as large chunks of unused storage are locked away in silos   Increases overall storage costs as more devices are needed   Is difficult to scale and can disrupt business when expansion is required    Accelerate Creation and Editing  Isilon’s  clustered  storage  architecture—now  in  its  5th  generation  with  the  Isilon  IQ  X‐Series—sets  the  standard for scale‐out file storage and delivers all the benefits of centralized storage without the restraints  and bottlenecks of traditional scale‐up storage technologies.  Clustered storage, pioneered by Isilon Systems, utilizes highly synchronized peer “nodes” (unified by a fully  distributed file system) to produce a single pool of storage with extremely high aggregate performance and  availability characteristics, ease of use, low cost and inherently high levels of scalability.   By simply adding nodes, Isilon’s clustered storage architecture scales out on‐the‐fly, reaching capacity up to  2.3PB  in  a  single  file  system  with  aggregate  throughput  of  up  to  20GB/sec.  Each  storage  node  contains  processing  power,  memory,  throughput  and  disk  space.  Therefore,  when  scaling  an  Isilon  cluster,  every  aspect of the system is expanded—eliminating all the bottlenecks mentioned above.    ISILON SYSTEMS  6   
  • 7. It should be noted that this single file system is not simply a namespace aggregation veneer over a complex  set of independent volumes. It is a fully symmetric clustered storage architecture providing a single volume,  where every storage node in the system is fully aware of its peers, functioning as if it were an enormous disk  drive but without the risk of a single point of failure.   Increase Productivity  Isilon IQ provides a low‐cost, highly versatile system that can be used anywhere in the production process—  particularly  where  high‐performance  storage  is  required.  Isilon  IQ  can  serve  as  a  direct  repository  for  ingesting  media  files,  can  provide  a  single  project  file  for  editing,  and  can  be  used  as  primary  storage  and  scratch  space.  When  used  individually  for  any  of  these  functions,  Isilon  IQ  provides  an  extremely  scalable,  fault tolerant, high‐performance solution with low management overhead. However, when used as the single  storage repository throughout the entire creation & editing process, a new set of synergies emerge.  Shorter Production Cycles  The  unique  architecture  of  Isilon  IQ  provides  significant  time‐savings  throughout  the  creation  &  editing  process, resulting in much shorter production cycles. An Isilon cluster is a centralized pool of storage made up  of individual, yet fully integrated and load balanced symmetric nodes—anywhere from 3 to 96. The cluster  does not have a single head that all I/O  must pass through; instead, every node  acts both as  an individual  load‐balanced gateway for I/O, as well as a fully symmetric peer for storage. This eliminates the bottleneck of  a single head with many disks behind it, allowing for an aggregate throughput of up to 20GB/sec.                            ISILON SYSTEMS  7   
  • 8. Time‐savings result from:   Concurrent  Workflows:  Isilon  IQ’s  architecture  and  resulting  ultra‐high  aggregate  I/O  allows  for  concurrent  workflows  without  performance  degradation.  Artists  are  never  waiting  for  the  storage  system to “catch‐up” while it is being accessed by other devices, as processes are no longer subject  to the I/O limitations of a single head.    Single  copy  and  in‐place  editing:  Isilon  is  completely  file  agnostic,  therefore,  any  client  (e.g.  Windows®, Mac, Unix) using standard network protocols can read and write any type of file on the  Isilon cluster. And because Isilon IQ is not just an enormous single‐headed storage device, but a fully  symmetric  system,  multiple  parties  can  access  a  single,  centralized  file  without  performance  degradation, allowing for true in‐place editing.   Ingesting directly: The unique architecture of Isilon IQ and the  OneFS  operating  system  allow  administrators  to  designate  One company interviewed for this  “access  zones”  to  certain  I/O  processes,  such  as  ingest  or  paper reported, were they able to  rendering. This basically dedicates throughput and processing  ingest directly to a centralized pool of  power that will not be disrupted by other processes accessing  storage it would give them an extra 3  the same pool of storage. A single Isilon IQ Accelerator‐x node  hours per day.  provides  single‐stream  throughput  of  400MBs,  and  an  aggregate of 700MBs. When using Isilon for ingest, rather than spending hours per day copying files  to‐and‐from expensive primary storage, a single copy of the file is created just once for all purposes.  Each  artist  can  immediately  access  the  ingested  file,  without  waiting  for  files  to  be  copied.  When  used  in  combination  with  certain  third‐party  workflow  tools  such  as  Sienna  by  Gallery,  artists  can  actually begin work on a file while it is still being ingested, within seconds after ingest begins, saving  innumerable hours.    Single  location  for  all  projects:  Trying  to  locate  which  disk  or  volume  the  correct  copy  of  a  file  resides on is frustrating and wastes time. With a single pool of storage, files can be stored logically by  project, rather than be subject to the limits of technology, such as physical disks, volumes and LUNs.  Therefore, media professionals can focus on media creation and editing, not data management.   Performance  at  scale:  Isilon  clustered  storage  scales  linearly  and  independently,  depending  on  specific business needs. In linear scaling, each dimension of the system—storage capacity, processing  power, memory and throughput—all scale together. This means that as the system scales, overall  performance  is  improved.  This  is  accomplished  through  the  addition  of  standard  storage  nodes.  With  independent  scaling,  processing  power,  throughput  and  memory  can  scale  independently  of  storage  and  vice  versa.  This  is  accomplished  by  the  addition  of  either  accelerator  nodes  (Isilon  Accelerator‐x, built for ultra‐high performance to boost the entire cluster), or the addition of storage  expansion nodes (for systems that are more storage intensive, such as archive). The preconfigured  nodes  reduce  IT  time  used  for  a)  determining  what  components  need  to  be  scaled,  replaced  or  upgraded,  b)  determining  how  that  will  affect  other  aspects  of  the  system,  c)  reconfiguring  the  various file systems, d) performing the actual hardware upgrade.   ISILON SYSTEMS  8   
  • 9. On‐the‐fly scaling: Both highly valuable media production  time and IT time are saved as Isilon cluster configurations  “Our whole production environment  can be dynamically changed on‐the‐fly, without requiring  simply wouldn’t work without the large,  a  system  redesign,  or  even  a  system  re‐boot;  all  scaling  high‐performance single storage pool that  can be done while the system is online. This means that if  Isilon gives us. Without it, we would’ve  business  needs  change  or  a  project  exceeds  original  size  never completed this movie.”**  estimates, precious production hours are not forfeited for  –Howard Postley, CTO‐   an  upgrade.  All  aspects  of  the  system  scale  within  60  3ality Digital Systems  seconds  of  powering  on  a  new  Isilon  node.  No  other  storage  architecture  allows  this  level  of  dynamic,  instantaneous online scaling of a single file system.      Cost Reduction  When utilizing Isilon as the primary single pool of storage for creation & editing, numerous cost savings are  realized.    Reduce  data  and  storage  management  overhead:  Data  wrangler efforts in the editing process are virtually eliminated.  One Isilon customer reported that  With a single pool of storage that is self‐balancing (even when  their media IT headcount, supporting  new  nodes  are  added),  the  need  to  move  data  from  one  over 140 artists, was reduced from 6  to 3 due to simplified storage  system  to  the  other,  either  for  load  balancing  or  during  management and not needing data  normal  production  processes,  is  simply  no  longer  necessary.  wranglers.  Additionally, the complication of managing multiple types and  brands of storage is eliminated.    Storage costs: The cost of storage itself is reduced and efficiency is increased, as all free space is  available for use rather than locked away in inaccessible silos.  The average utilization of DAS is only  25—30% and NAS is 60%—whereas the average utilization for an Isilon cluster is 82%.  Network  hardware  and  management  costs:  Without  multiple  copies  of  massive  files  constantly  traversing  the  network,  network  load  is  significantly  reduced,  requiring  less  hardware.  And,  front‐ end switching technologies that attempt to load balance I/O are no longer required.   [NOTE:  A  recent  independent  study  by  Forrester  Research  confirms  that  Isilon  clustered  storage  provides  significant  cost  savings  for  file‐based  storage  over  traditional  technologies,  providing  125%  RIO  with  a  payback period of 5 months. See “The Total Economic Impact of Isilon’s Clustered Storage System,” found at  www.isilon.com.]   ISILON SYSTEMS  9   
  • 10.   Take Advantage of New Business Opportunities  Storage infrastructure should never be a limiting factor when considering new opportunities or building out  new media workflows. With traditional storage, the inability to quickly scale both capacity and performance  translates  to  saying  “no”  to  last  minute  projects  that  would  overtax  current  systems.  It  may  also  limit  the  ability to add new product lines or utilize new breakthrough effects and techniques—such as stereo imagery.       Instead, storage should be able to flex, quickly and dynamically, as business needs dictate. The ability to add  new  nodes  to  an  existing  cluster  in  a  matter  of  seconds  allows  for  true  “pay‐as‐you‐grow”  scalability  and  flexibility.  Therefore,  administrators  can  respond  to  new  demands  for  capacity  or  performance  instantaneously,  enabling  the  organization  to  more  quickly  adapt  to  new  business  needs,  take  on  new  projects and create new, groundbreaking productions otherwise impossible with traditional, difficult‐to‐scale  storage technologies.  In short, Isilon IQ’s dynamic scalability, flexibility and record setting I/O capabilities enable truly concurrent  in‐place editing of a single project file throughout the entire creation & editing process, reducing time, costs  and management overhead—enabling media companies to do more with less.     Rendering, Compositing, & Encoding  Many  Isilon  customers  utilize  Isilon  IQ  as  a  mass  storage  system  for  high‐performance  computing,  such  as  render  farms,  compositing  stations  and  encoding  devices.  Traditional  storage  architectures  used  for  these  workflows rely on a single high‐speed head and metadata server, often separate from the rest of the storage  network. Up to a certain point, these metadata servers can be very fast, but once pressed beyond that point  performance  is  quickly  degraded,  bringing  the  system  to  a  crawl.  And,  if  the  storage  behind  the  metadata  server is not  separate but shared with the editing process, not only is performance slowed, artists may be  unable to access their files as the compute nodes all attack the same data set. Automated render queues can  be  employed  to  help  with  load  balancing,  but  this  leads  to  complex  data  logistics  which  inevitably  absorb  more time.   There  are  a  number  of  aspects  of  Isilon  IQ’s  clustered  storage  architecture  that  make  it  ideal  for  high‐ performance computing environments:   Dedicated throughput of 200MB/sec in every storage node and an aggregate of up to 20GB/sec.    Accelerator‐x  nodes  provide  integration  with  next‐generation  10GbE  networking,  enabling  over  700MBps of aggregate throughput per Accelerator‐x node.  ISILON SYSTEMS  10   
  • 11. The ability to scale a single‐file system, on‐the‐fly, up to 2.3PB:  a)  reduces  the  chance  of  an  incomplete  write,  b)  ensures  no  One Isilon customer reports that they  single project has to be divided among volumes and c) ensures  have over 1,000 render nodes hitting  the same dataset at the same time  current processes can continue uninterrupted while the system  without performance degradation  is scaled.   and their render processes are now  over 100% faster.     With  linear  scaling,  performance  is  increased  as  capacity  is  added.   Built‐in  redundancy  protection  ensures  that  if  a  drive  or  an  entire  node  fails  during  a  render  or  compositing process, the process can continue as scheduled. With Isilon’s N+4 protection, up to four  entire nodes can fail without losing access to data or disrupting a read or write process.   Therefore, with Isilon clustered storage:    Rendering/compositing/encoding jobs no longer need to be scheduled and queued based on storage  limitations.   Artists do not need to wait for one job to complete before another can begin. Nor do they need to  determine what volume or drive a particular file resides on or where it should be written.    Data wranglers are no longer needed to manually move files and processes from over‐taxed drives.    No downtime is required when more space is added.    And  most  importantly,  heavy  workloads  with  concurrent  access  patterns  will  not  degrade  the  performance of an Isilon IQ cluster.      Near‐line Storage and File Management  Often,  the  same  system  that  is  used  for  rendering,  compositing  or  encoding  is  used  for  storage  of  the  completed project—awaiting either distribution to an archive/play‐out server or to a film‐out device. Or, if  many projects are being completed at the same time, another near‐line storage system may be required to  offload  the  completed  files.  In  both  instances,  traditional  storage  systems  have  inherent  bottlenecks  that  hinder the process and create unnecessary management headaches.   One of the primary bottlenecks when utilizing the same storage device for both high‐performance computing  needs (such as rendering) and near‐line storage is concurrent  access. While the compute nodes either pull  data  from  the  server  into  local  RAM,  or  write  it  back, other  processes  suffer,  including  providing  access  to  completed  projects.  If  a  separate  server  is  used  to  offload  the  completed  projects,  the  same  bottleneck  occurs, just earlier in the process.   Similarly, when using the  same storage  device for both high‐performance computing and near‐line storage  there  is  a  large  divergence  in  access  patterns.  Traditional  storage  can  be  physically  and  logically  tuned  for  ISILON SYSTEMS  11   
  • 12. various data access patterns, but once tuned, it is efficient at one type and inefficient at another. Therefore,  near‐line storage is often moved to a separate device built specifically for short‐term storage of large files.  Again, creating drag as additional servers means additional data moves, as well as more volumes, LUNs and  file systems, all of which add complexity and management overhead.     Whether near‐line storage is shared with the rendering/compositing/encoding processes or not, the system  must  be  able  to  handle  large  amounts  of  data  with  ultra‐high  availability,  reliability  and  clear  disaster  recovery mechanisms. The cost of achieving the kind of protection required with traditional storage systems  can be astronomical.    Isilon IQ breaks these bottlenecks by providing:  1. A  truly‐symmetric  clustered  file  system:  A  single,  seamlessly  expanding  shared  pool  of  storage  to  hold all projects.  2. Up to 20GB/sec throughput: Enough bandwidth to avoid degradation during concurrent reads and  writes.  3. Access zones: Administrators can carve out virtual portions of the cluster for specific access patterns,  yet still utilize the same file system and data set.  4. Industry leading data protection: Unmatched availability and reliability with no single point of failure  and  multiple  layers  of  hardware  and  software  protection.  Additional  technologies  are  available  for  ultra‐fast backup and disaster recovery over LAN or WAN.   5. Low cost: Isilon clustered storage costs approximately 1/3 of traditional storage technologies.     As an Isilon cluster can start with a minimum 3‐node configuration of 6TB and scale to as large as 2.3PB (with  a 96 node Isilon IQ 12000), some customers first introduce Isilon as a near‐line storage device, designed to  hold completed projects awaiting distribution or film‐out. However, Isilon is usually used for near‐line storage  by default in conjunction with rendering/compositing/encoding functions, as it is a natural fit and no other  storage is required for completed projects.    Bringing it All Together  To improve productivity and reduce costs, Isilon’s clustered storage systems can be implemented anywhere  within  the  production  process:  as  a  point  solution,  or  for  a  particular  high‐intensity  sub‐process  such  as  rendering. However, once the benefits of performance, scalability, data protection and ease of management  are  realized,  customers  quickly  identify  other  areas  where  Isilon  can  be  leveraged.  As  more  aspects  of  the  production  process  are  moved  to  Isilon  clustered  storage,  business  value  begins  to  multiply  across  the  production cycle.   ISILON SYSTEMS  12   
  • 13. The very architecture that makes Isilon IQ a perfect fit for creation  &  editing,  rendering/compositing/  encoding  and  near‐line  storage,  “We approached Isilon and initially  makes  it  ideal  to  handle  all  of  those  functions  simultaneously  purchased a mid‐sized Isilon IQ 6000i 20  terabyte cluster. Then we began adding  without  degradation.  The  primary  reason  a  media  organization  more and more storage along with  would  not  utilize  the  same  storage  for  the  entire  production  capacity and throughput. Today Isilon  process  is  that  traditional  NAS  and  SAN  solutions  simply  cannot  manages 250 terabytes of Turner Studios’  handle  that  level  of  concurrent  processing  (leading  to  over‐taxed  post‐production data.”*  systems,  hours  of  waiting  and  possible  data/frame  loss).  Isilon  IQ   –Ken Brady, Director of Technical  can.   Operations and Digital Media,   Turner Broadcasting System, Inc. Another  reason  an  organization  may  not  desire  a  single  storage  system is data protection—not wanting all data housed on a single  system. Isilon emphatically answers the data protection issue with multiple layers of fault tolerance, no single  point  of  failure,  flexible  N+4  protection  that  can  handle  an  unprecedented  4  node  failure  without  interruption,  automatic  preemptive  warning  and  off‐loading  of  files  from  at‐risk  disks,  the  shortest  rebuild  times in the industry and multiple backup options including ultra high‐speed offsite backup using Aspera for  Isilon. When carefully analyzed, a single Isilon cluster provides better business continuity and a much higher  level of protection than multiple, individual storage systems, and is much simpler to manage.   Exponentially Increasing Business Value   If we consider a point solution (such as ingest) as a single dimension of the production process, then an entire  sub‐component (such as creation & editing) is a second dimension, and the entire media production process  (the culmination of all components within production) is a third dimension. With each new dimension taken  on  by  the  Isilon  system,  the  productivity,  cost  savings  and  ability  to  leverage  new  opportunities  increases  exponentially.              Therefore,  using  a  single  pool  of  Isilon  clustered  storage  for  all  aspects  of  media  production  multiplies  productivity, cost savings and new opportunities across the entire production pipeline.    Image and audio capture can be ingested directly to the very same system that is used for editing,  without dropping frames.    Editing can start immediately after ingest begins.   ISILON SYSTEMS  13   
  • 14. Rendering  and  compositing  can  take  place  while  artists  are  working  on  files  without  degradation,  and  the  completed  One Isilon customer reported being  files can be stored on the very same system.   able to produce 4 times as many HD   Copies of files are not continually traversing the network.   shots per week by using Isilon as the  primary storage system for all   Constantly balancing data across multiple file systems is not  aspects of production.  required.    There is only one single file system to manage for the entire  production process.   Work is not stopped when more capacity or processing power is required.     When Isilon clustered storage is used as the central repository for the entire production process, storage is  no  longer  the  bottleneck  that  limits  the  ability  to  take  on  larger,  more  complex  projects,  but  instead  once  again  enables  breakthroughs  and  new  opportunities  by  accelerating  processes,  improving  productivity  and  reducing costs and complexity.      Conclusion  The fully symmetric clustered architecture of Isilon IQ provides an extremely scalable, low‐overhead solution  with up to 2.3PB of storage and up to 20GB/sec of aggregate throughput, allowing media and entertainment  companies  to  accelerate  any  portion  of  the  media  production  process.  When  used  as  a  central  storage  repository  for  every  aspect  of  production,  a  synergy  is  created  that  multiplies  benefits  across  the  entire  production process:   Maximizing productivity   Minimizing costs   Enabling the ability to take on new opportunities   Throughout the entire production pipeline, production cycles are shortened allowing for the completion of  more projects in less time, artists are not paid to wait around for files to be copied, the cost of storage and  the associated management overhead is reduced, network load is reduced, storage can be easily increased in  a  pay‐as‐you‐grow  fashion  and  new  opportunities  that  previously  may  not  have  been  possible  can  now  be  easily taken on.   Finally, although the topic of another whitepaper, Isilon IQ is able to take on the next dimension of media  storage by providing a single pool of storage for all media and entertainment processes from production to  archive to play‐out, at which point the benefits are once again exponentially increased.      *See Turner Broadcasting System case study at www.isilon.com    **See 3ality Digital Systems case study at www.isilon.com     ISILON SYSTEMS  14   
  • 15. About Isilon Systems   Isilon Systems is the worldwide leader in clustered storage systems and software for file‐based data, enabling  enterprises to transform data into information and information into breakthroughs. Isilon's award‐winning family  of IQ clustered storage systems combines Isilon's OneFS® operating system software with the latest advances in  industry‐standard hardware to deliver modular, pay‐as‐you‐grow, enterprise‐class storage systems. Isilon's  clustered storage solutions speed access to critical business information while dramatically reducing the cost and  complexity of storing it. Information about Isilon can be found at http://www.isilon.com.     © 2001‐2008 Isilon Systems, Inc. All rights reserved. Isilon, Isilon Systems and OneFS are registered trademarks, and SyncIQ, SnapshotIQ,  SmartConnect and SmartQuotas are trademarks of Isilon Systems, Inc.    ISILON SYSTEMS  15