Quanto costa Unsplash nel 2019?

3 anni fa, abbiamo scritto "Quanto costa Unsplash?" per dare uno sguardo totalmente trasparente alle bollette associate all'hosting di uno dei più grandi siti di fotografia al mondo.

Da allora, Unsplash ha continuato a crescere enormemente, ora alimentando un uso maggiore delle immagini rispetto ai principali operatori storici dell'immagine, Shutterstock, Getty e Adobe, messi insieme.

Con l'API pubblica di Unsplash, forniamo oltre 1000 applicazioni mainstream, tra cui Medium, Trello, Squarespace, Tencent, Naver, Square, Adobe e Dropbox.

Tutta quella crescita significa due cose: più traffico e fatture più grandi.

Nell'interesse della trasparenza, Chris e io pensavamo che fossimo in ritardo per un aggiornamento.

È il 2019. Quanto costa ospitare Unsplash?

Poi

Nel 2016, Unsplash aveva appena attraversato 1 miliardo di immagini visualizzate e 5,5 milioni di foto scaricate al mese.

Il nostro team era più piccolo e il nostro prodotto era molto meno sviluppato, il che ha portato a meno servizi e meno elaborazione interna. Avevamo un'applicazione principale, un monolite tradizionale di Rails, che consumava una manciata di servizi per creare l'esperienza di base di Unsplash.

Le funzioni pesanti come la ricerca e le statistiche fotografiche in tempo reale erano agli albori, il che ha portato a requisiti di elaborazione dei dati molto più semplici e all'uso di servizi di terze parti come Keen e una manciata di lavori CRON.

La suddivisione mensile finale per aprile 2016 è stata:

  • Server Web: $ 2.731,23
  • Monitoraggio: $ 630,00
  • Elaborazione dati: $ 1.000,00
  • Hosting di immagini: $ 11.170,00
  • Altro: $ 2.127,39

Totale (USD): $ 17.658,62

Adesso

Molto è cambiato.

Per uno, Unsplash è un inferno di molto più grande. 10+ volte più grande. Ora riceviamo più traffico dai nostri partner API rispetto al nostro sito Web e alle nostre app ufficiali, nonostante queste crescano in modo significativo.

La collaborazione con alcune delle più grandi app al mondo rivolte ai consumatori ha spinto il nostro team di ingegneri ad abbinare le loro pratiche in materia di ridondanza, monitoraggio e disponibilità, il che richiede maggiori risorse e servizi di supporto.

Il nostro team di prodotti ha continuato a spingere verso l'alto per funzionalità di base come le statistiche di ricerca e dei contributori, richiedendo un numero sempre maggiore di dati da elaborare in volumi sempre maggiori.

Tutte queste cose hanno spinto la nostra architettura a essere più complessa, aumentando anche i costi di base.

Server Web

Costo mensile totale: $ 29.763

Continuiamo a utilizzare Heroku come nostra piattaforma web principale. Nonostante il suo costo premium rispetto ad AWS, Azure e Google Cloud, gli strumenti di distribuzione e configurazione integrati di Heroku consentono al nostro team di spostarsi più velocemente, in modo più sicuro e più affidabile.

Come abbiamo spiegato in precedenza, le alternative sarebbero indubbiamente più economiche sulla carta. Ma in realtà, la maggiore semplicità e libertà offerte da Heroku per un piccolo team incentrato sul prodotto è un grande vantaggio di risparmio sui costi.

Oltre ai nostri principali server Web e database che utilizzano Heroku, utilizziamo Fastly per la cache CDN distribuita, Elastic Cloud per i nostri cluster Elasticsearch e Stream per la nostra architettura di feed e notifiche.

Analisi dei costi del server Web per febbraio 2019

Monitoraggio

Costo mensile totale: 7.679 $

Il nostro team è piccolo per le dimensioni di Unsplash, con il nostro team di prodotti totale che conta solo 11 persone.

Poiché nessuno si dedica alle attività di sviluppo, garantire che Unsplash funzioni senza intoppi e non si abbassi mai, richiede molta strumentazione e reportistica.

Nonostante il volume di metriche che monitoriamo e segnaliamo, New Relic, Sentry e Datadog rimangono soluzioni abbastanza economiche. La nostra registrazione è sicuramente la nostra più grande spesa di monitoraggio, ma le informazioni dettagliate sono cruciali quando si eseguono il debug di problemi o si implementano nuove funzionalità.

Elaborazione dati

Costo mensile totale: $ 15.223

L'elaborazione dei dati è stata l'area con il maggiore aumento relativo dal 2016. All'epoca, analisi e dati erano un ripensamento nel nostro processo di sviluppo. Abbiamo fatto affidamento su strumenti come Google Analytics per l'analisi degli utenti e Keen per le metriche dei prodotti come visualizzazioni di foto e download.

Da allora, abbiamo dovuto ampliare in modo significativo la raccolta, l'aggregazione e il reporting dei dati, sia dal punto di vista del prodotto che dell'azienda. Con la crescita di Unsplash, anche il volume è aumentato considerevolmente, con centinaia di milioni di eventi monitorati ogni giorno.

Abbiamo sostituito Google Analytics e Keen con una pipeline di dati open source, Snowplow Analytics. Snowplow si occupa della raccolta e della formattazione dei dati, consentendo a Tim, il nostro ingegnere dei dati, di concentrarsi sull'aggregazione, la modellazione e la visualizzazione dei dati.

Abbiamo anche ampliato il ruolo dell'architettura dei dati nel prodotto per gestire tutto il nostro apprendimento automatico e l'elaborazione della ricerca. Mentre andiamo avanti, prevediamo che questa continuerà a essere la più grande area di espansione.

Ripartizione dei costi di elaborazione dei dati per febbraio 2019

Hosting di immagini

Costo mensile totale: $ 42.408

Imgix è la nostra più grande spesa, ma la adoriamo. Sì, ci sono opzioni più economiche, ma fidati di noi quando diciamo che non sono buone per quello che facciamo.

Trasmettiamo petabyte di dati tramite la CDN di Imgix e rendiamo ogni mese oltre 250 milioni di varianti delle nostre immagini di origine. La loro affidabilità, prestazioni e flessibilità non ha eguali e negoziare il nostro contratto attraverso di loro in realtà ci consente di attualizzare i nostri costi di CDN a causa delle loro negoziazioni di massa con i fornitori di CDN.

Ripartizione dei costi di hosting delle immagini per febbraio 2019 (molto utile, lo so)

La suddivisione mensile finale per febbraio 2019 è stata:

  • Server Web: $ 29.763
  • Monitoraggio: $ 7.679
  • Elaborazione dati: $ 15.223
  • Hosting di immagini: $ 42.408
  • Altro: $ 3,580

Totale (USD): $ 98.653

Costi di hosting totali per categoria negli ultimi 18 mesi

Confrontando nel corso degli anni, emergono alcune tendenze.

Nonostante la crescita delle metriche top-line oltre 12 volte e l'espansione significativa dei sistemi per includere più funzionalità, affidabilità e ridondanze, i costi di hosting in totale sono aumentati solo di 5 volte.

Download vs costi di hosting da aprile 2016

Ci sono alcuni motivi per sostenere questo:

  1. Man mano che i sistemi si avvicinano a una determinata soglia di costi, diventa più ottimale scambiare lo stipendio ingegneristico con ottimizzazioni tecniche. Cerchiamo di evitarlo poiché rimuove le risorse di ingegneria dallo sviluppo di funzionalità rivolte agli utenti, ma nel corso degli anni abbiamo apportato miglioramenti significativi a cache di basso livello, aggregazioni di dati di massa e cache HTTP.
  2. A volumi sempre più grandi, diventa più facile negoziare sconti all'ingrosso dai servizi.
  3. Le risorse possono essere utilizzate in modo più completo ad alta capacità. Ciò è particolarmente vero per i nostri cluster Redis e Redshift.

Allo stesso tempo, il rapporto tra i nostri costi di hosting e il software non di hosting che utilizziamo, come Github, Looker e Slack, continua ad aumentare, in quanto dipende dalle dimensioni del team di progettazione. Per dirlo in prospettiva, per ingegnere, Unsplash supporta più utenti di Facebook nello stesso momento.

Costi di hosting e software negli ultimi 18 mesi

Speriamo che dare un'occhiata dietro le quinte a quanto costa gestire un sito come Unsplash ti aiuterà con la tua attività, o almeno ti dia una migliore comprensione di ciò che è coinvolto.

Se sei in grado di condividere i costi della tua azienda, ci piacerebbe vederlo.

Se hai domande o vuoi approfondire questo argomento, inviaci un messaggio su Twitter @lukechesser & @chrisliverani. Se ti è piaciuto leggere questo, ti potrebbe piacere sapere come abbiamo ridimensionato Unsplash con un piccolo team.