విస్తృత స్థాయి ప్లాట్‌ఫారమ్ విశ్వసనీయతను అందించడం

ఏదైనా స్కేలబుల్ డిస్ట్రిబ్యూటెడ్ ప్లాట్‌ఫారమ్‌ను నడపడం అనేది విశ్వసనీయతకు కట్టుబడి ఉండటాన్ని కోరుతుంది, తద్వారా వినియోగదారులకు వారికి అవసరమైనవి అవసరమైన సమయంలో అందుబాటులో ఉంటాయని నిర్ధారించుకోవచ్చు. ఆధారాల నిర్మాణం చాలా సంక్లిష్టంగా ఉండవచ్చు, ముఖ్యంగా Roblox వంటి పెద్ద ప్లాట్‌ఫారమ్‌తో. విశ్వసనీయ సేవలను నిర్మించడం అంటే, ఆధారాల సంక్లిష్టత మరియు స్థితితో సంబంధం లేకుండా, ఏదైనా సేవ అంతరాయం లేకుండా (అంటే అత్యధికంగా అందుబాటులో ఉంటుంది), బగ్-రహితంగా (అంటే అధిక నాణ్యత) మరియు దోషాలు లేకుండా (అంటే లోపాలను తట్టుకునేలా) పనిచేస్తుంది.

విశ్వసనీయత ఎందుకు ముఖ్యం

మా అకౌంట్ ఐడెంటిటీ బృందం అధిక విశ్వసనీయతను సాధించడానికి కట్టుబడి ఉంది, ఎందుకంటే మేము నిర్మించిన కంప్లైయన్స్ సేవలు ప్లాట్‌ఫారమ్‌కు ప్రధాన భాగాలు. విఫలమైన కంప్లైయన్స్ తీవ్రమైన పరిణామాలకు దారితీయవచ్చు. Roblox యొక్క సహజమైన ఆపరేషన్‌ను నిరోధించడం వల్ల కలిగే ఖర్చు చాలా ఎక్కువ, విఫలమైన తర్వాత కోలుకోవడానికి అదనపు వనరులు అవసరం మరియు వినియోగదారు అనుభవం బలహీనపడుతుంది.

విశ్వసనీయతకు సంబంధించిన సాధారణ విధానం ప్రధానంగా అందుబాటుపై దృష్టి పెడుతుంది, కానీ కొన్ని సందర్భాల్లో ఈ పదాలను కలపడం మరియు దుర్వినియోగం చేయడం జరుగుతుంది. అందుబాటు కోసం చేసే చాలా కొలతలు కేవలం సేవలు అందుబాటులో ఉన్నాయో లేదో మాత్రమే అంచనా వేస్తాయి, అయితే పార్టిషన్ టాలరెన్స్ మరియు కన్సిస్టెన్సీ వంటి అంశాలను కొన్నిసార్లు మరచిపోతారు లేదా తప్పుగా అర్థం చేసుకుంటారు. 

CAP సిద్ధాంతం ప్రకారం, ఏ డీసెంట్రలైజ్డ్ సిస్టమ్ అయినా ఈ మూడు అంశాలలో రెండింటిని మాత్రమే హామీ ఇవ్వగలదు, కాబట్టి మా కంప్లైయన్స్ సేవలు అధిక లభ్యత మరియు పార్టిషన్-టాలరెన్స్‌ను కలిగి ఉండటానికి కొంత స్థిరత్వాన్ని త్యాగం చేస్తాయి. అయినప్పటికీ, మా సేవలు చాలా తక్కువ స్థిరత్వాన్ని త్యాగం చేశాయి మరియు కింద వివరించిన సహేతుకమైన ఆర్కిటెక్చరల్ మార్పులతో మంచి స్థిరత్వాన్ని సాధించడానికి యంత్రాంగాలను కనుగొన్నాయి.

అధిక విశ్వసనీయతను సాధించే ప్రక్రియ పునరావృతమయ్యేది, సంఘటనలు జరగక ముందే లోపాలను నివారించడానికి, కనుగొనడానికి, గుర్తించడానికి మరియు సరిచేయడానికి నిరంతర పనికి కచ్చితమైన కొలమానం సరిపోతుంది. మా బృందం ఈ క్రింది పద్ధతులలో బలమైన విలువను గుర్తించింది:

• సరైన కొలత - నాణ్యత కస్టమర్‌లకు ఎలా అందించబడుతుందో మరియు డిపెండెన్సీలు మాకు నాణ్యతను ఎలా అందిస్తాయో అనే దాని చుట్టూ పూర్తి పరిశీలనను నిర్మించడం.
• ముందుగానే ఊహించడం - ఆర్కిటెక్చరల్ సమీక్షలు మరియు డిపెండెన్సీ రిస్క్ అంచనాల వంటి కార్యకలాపాలను నిర్వహించడం.
• సరిదిద్దడానికి ప్రాధాన్యత - మా సేవతో అనుసంధానించబడిన సేవ మరియు డిపెండెన్సీల సంఘటన నివేదిక పరిష్కారానికి అధిక శ్రద్ధ వహించడం.

అధిక విశ్వసనీయతను నిర్మించడం అనేది నాణ్యత సంస్కృతిని కోరుతుంది. మా బృందం ఇప్పటికే పనితీరు-ఆధారిత అభివృద్ధిలో పెట్టుబడి పెడుతోంది మరియు ఒక ప్రక్రియ విజయం దాని స్వీకరణపై ఆధారపడి ఉంటుందని తెలుసు. బృందం ఈ ప్రక్రియను పూర్తిగా స్వీకరించి, పద్ధతులను ఒక ప్రమాణంగా వర్తింపజేసింది. ఈ క్రింది రేఖాచిత్రం ప్రక్రియ యొక్క భాగాలను హైలైట్ చేస్తుంది:

సరైన కొలత యొక్క శక్తి

మెట్రిక్స్‌లోకి మరింత లోతుగా వెళ్ళే ముందు, సర్వీస్ లెవల్ కొలతలకు సంబంధించి ఒక చిన్న స్పష్టీకరణ ఇవ్వాలి.

• SLO (సర్వీస్ లెవెల్ ఆబ్జెక్టివ్) అనేది మా బృందం లక్ష్యంగా చేసుకున్న విశ్వసనీయత లక్ష్యం (అంటే 99.999%).
• SLI (సర్వీస్ లెవెల్ ఇండికేటర్) అనేది ఒక నిర్దిష్ట కాల వ్యవధికి సాధించిన విశ్వసనీయత (ఉదా. గత ఫిబ్రవరిలో 99.975%).
• SLA (సర్వీస్ లెవెల్ అగ్రిమెంట్) అనేది ఒక నిర్దిష్ట కాల వ్యవధిలో మా వినియోగదారులకు అందించడానికి మరియు వారు ఆశించగల విశ్వసనీయత (ఉదా. వారానికి 99.99%).

SLI లభ్యతను (నిర్వహించబడని లేదా తప్పిపోయిన ప్రతిస్పందనలు లేకపోవడం), వైఫల్య సహనాన్ని (సేవా లోపాలు లేకపోవడం) మరియు సాధించిన నాణ్యతను (ఊహించని లోపాలు లేకపోవడం) ప్రతిబింబించాలి. అందువల్ల, మేము మా SLIని ఒక సేవకు పంపిన మొత్తం అభ్యర్థనలతో పోలిస్తే విజయవంతమైన ప్రతిస్పందనల "విజయ నిష్పత్తి"గా నిర్వచించాము. విజయవంతమైన ప్రతిస్పందనలు అంటే సమయానికి మరియు సరైన రూపంలో పంపబడిన అభ్యర్థనలు, అంటే కనెక్టివిటీ, సేవా లేదా ఊహించని లోపాలు ఏవీ జరగలేదని అర్థం.

ఈ SLI లేదా సక్సెస్ రేషియో వినియోగదారుల దృక్కోణం నుండి (అంటే, క్లయింట్లు) సేకరించబడుతుంది. మా వినియోగదారులకు అందించబడిన వాస్తవ ఎండ్-టు-ఎండ్ అనుభవాన్ని కొలవడమే దీని ఉద్దేశ్యం, తద్వారా SLAలు నెరవేరాయని మేము విశ్వసించగలుగుతాము. అలా చేయకపోతే, మా క్లయింట్‌లతో కనెక్ట్ అవ్వడానికి సంబంధించిన అన్ని మౌలిక సదుపాయాల సమస్యలను విస్మరిస్తూ, నమ్మదగినతనంపై ఒక తప్పుడు భావనను సృష్టిస్తుంది. వినియోగదారు SLI మాదిరిగానే, ఏదైనా సంభావ్య నష్టాన్ని ట్రాక్ చేయడానికి మేము డిపెండెన్సీ SLIని కూడా సేకరిస్తాము. వాస్తవానికి, అన్ని డిపెండెన్సీ SLAలు సర్వీస్ SLAతో సరిపోలాలి మరియు వాటికి ప్రత్యక్ష ఆధారపడటం ఉంటుంది. ఒకటి విఫలమవ్వడం అంటే అన్నీ విఫలమైనట్లే. మేము సర్వీస్ నుండి (అంటే, సర్వర్ నుండి) కూడా మెట్రిక్స్‌ను ట్రాక్ చేసి నివేదిస్తాము, కానీ ఇది అధిక విశ్వసనీయతకు ఆచరణాత్మక మూలం కాదు.

SLIలతో పాటు, ప్రతి బిల్డ్ నాణ్యత మెట్రిక్స్‌ను సేకరిస్తుంది, వీటిని మా CI వర్క్‌ఫ్లో ద్వారా నివేదిస్తారు. ఈ పద్ధతి నాణ్యత గేట్‌లను (అంటే, కోడ్ కవరేజ్) కఠినంగా అమలు చేయడానికి మరియు కోడింగ్ స్టాండర్డ్ కంప్లైయన్స్ మరియు స్టాటిక్ కోడ్ విశ్లేషణ వంటి ఇతర అర్థవంతమైన మెట్రిక్స్‌ను నివేదించడానికి సహాయపడుతుంది. ఈ అంశం గతంలో 'పనితీరుతో నడిచే మైక్రోసర్వీసెస్‌ను నిర్మించడం' అనే మరో వ్యాసంలో చర్చించబడింది. విశ్వసనీయత గురించి మాట్లాడేటప్పుడు నాణ్యతపై శ్రద్ధ పెట్టడం చాలా ముఖ్యం, ఎందుకంటే మనం అద్భుతమైన స్కోర్‌లను సాధించడానికి ఎంత ఎక్కువగా పెట్టుబడి పెడితే, ప్రతికూల పరిస్థితులలో సిస్టమ్ విఫలం కాదని అంత ఎక్కువగా నమ్మకంగా ఉంటాము.

మా బృందానికి రెండు డాష్‌బోర్డ్‌లు ఉన్నాయి. ఒకటి కన్స్యూమర్స్ SLI మరియు డిపెండెన్సీస్ SLI రెండింటిపై పూర్తి దృశ్యమానతను అందిస్తుంది. రెండవది అన్ని నాణ్యత మెట్రిక్స్‌ను చూపుతుంది. మేము అన్నింటినీ ఒకే డాష్‌బోర్డ్‌లో విలీనం చేయడానికి పని చేస్తున్నాము, తద్వారా మేము శ్రద్ధ వహించే అన్ని అంశాలు ఏకీకృతం చేయబడి, ఏ నిర్దిష్ట కాలపరిమితిలోనైనా నివేదించడానికి సిద్ధంగా ఉంటాయి.

వైఫల్యాన్ని ముందుగా ఊహించండి

ఆర్కిటెక్చరల్ సమీక్షలు చేయడం నమ్మదగినదిగా ఉండటానికి ఒక ప్రాథమిక భాగం. మొదట, రిడెండెన్సీ ఉందో లేదో మరియు డిపెండెన్సీలు పనిచేయడం ఆపేసినప్పుడు సేవ నిలిచి ఉండే మార్గాలు ఉన్నాయో లేదో మేము నిర్ధారిస్తాము. సాధారణ రిప్లికేషన్ ఆలోచనలకు మించి, మా సేవల్లో చాలా వరకు మెరుగైన డ్యూయల్ క్యాష్ హైడ్రేషన్ టెక్నిక్స్, డ్యూయల్ రికవరీ వ్యూహాలు (ఫెయిలోవర్ లోకల్ క్యూల వంటివి), లేదా డేటా నష్టం వ్యూహాలు (లావాదేవీల మద్దతు వంటివి) వంటి వాటిని ఉపయోగించాయి. ఈ అంశాలు మరో బ్లాగ్ ఎంట్రీకి సరిపడా విస్తృతంగా ఉన్నాయి, కానీ చివరికి ఉత్తమ సిఫార్సు ఏమిటంటే, విపత్తు పరిస్థితులను పరిగణనలోకి తీసుకునే ఆలోచనలను అమలు చేయడం మరియు ఏదైనా పనితీరు నష్టాన్ని తగ్గించడం.

ముందుగా ఊహించాల్సిన మరో ముఖ్యమైన అంశం కనెక్టివిటీని మెరుగుపరచగల దేనికైనా సంబంధించినది. అంటే, క్లయింట్‌ల కోసం తక్కువ లేటెన్సీ విషయంలో చురుకుగా ఉండటం మరియు క్యాష్-కంట్రోల్ టెక్నిక్‌లు, సైడ్‌కార్లు, మరియు టైమ్‌అవుట్‌లు, సర్క్యూట్ బ్రేకర్‌లు, మరియు రీట్రైల కోసం పనితీరు గల పాలసీలను ఉపయోగించి వాటిని చాలా అధిక ట్రాఫిక్‌కు సిద్ధం చేయడం. ఈ పద్ధతులు HTTP మరియు gRPCలోని క్యాష్‌లు, స్టోర్‌లు, క్యూలు మరియు పరస్పర ఆధారిత క్లయింట్‌లతో సహా ఏ క్లయింట్‌కైనా వర్తిస్తాయి. సేవల నుండి ఆరోగ్యకరమైన సంకేతాలను మెరుగుపరచడం మరియు అన్ని కంటైనర్ ఆర్కెస్ట్రేషన్‌లలో హెల్త్ చెక్‌లు ముఖ్యమైన పాత్ర పోషిస్తాయని అర్థం చేసుకోవడం కూడా దీని అర్థం. మా సేవల్లో చాలా వరకు, హెల్త్ చెక్ ఫీడ్‌బ్యాక్ భాగంగా డెగ్రాడేషన్‌కు (కార్యక్షమత తగ్గడానికి) మెరుగైన సంకేతాలను అందిస్తాయి మరియు ఆరోగ్యకరమైన సంకేతాలను పంపే ముందు అన్ని కీలక భాగాలు పనిచేస్తున్నాయని ధృవీకరిస్తాయి.

సేవలను కీలకమైన మరియు కీలకం కాని భాగాలుగా విభజించడం, అత్యంత ముఖ్యమైన కార్యాచరణపై దృష్టి పెట్టడానికి ఉపయోగపడింది. మేము ఒకే సేవలో అడ్మిన్-మాత్రమే ఎండ్‌పాయింట్‌లను కలిగి ఉండేవాళ్ళం, మరియు అవి తరచుగా ఉపయోగించబడనప్పటికీ, అవి మొత్తం లేటెన్సీ మెట్రిక్స్‌పై ప్రభావం చూపాయి. వాటిని వాటి స్వంత సేవకు తరలించడం ప్రతి మెట్రిక్‌ను సానుకూల దిశలో ప్రభావితం చేసింది.

డిపెండెన్సీ రిస్క్ అసెస్‌మెంట్ అనేది డిపెండెన్సీలతో సంబంధం ఉన్న సంభావ్య సమస్యలను గుర్తించడానికి ఒక ముఖ్యమైన సాధనం. దీని అర్థం, మేము తక్కువ SLI ఉన్న డిపెండెన్సీలను గుర్తించి, SLA అలైన్‌మెంట్ కోసం అడుగుతాము. ఇంటిగ్రేషన్ దశల సమయంలో ఆ డిపెండెన్సీలకు ప్రత్యేక శ్రద్ధ అవసరం, కాబట్టి మా ప్రణాళికలకు కొత్త డిపెండెన్సీలు తగినంత పరిపక్వతతో ఉన్నాయో లేదో నిర్ధారించడానికి మేము బెంచ్‌మార్క్ మరియు పరీక్ష కోసం అదనపు సమయం కేటాయిస్తాము. దీనికి ఒక మంచి ఉదాహరణ రాబ్లాక్స్ స్టోరేజ్-యాజ్-ఎ-సర్వీస్‌ను మేము ముందుగా స్వీకరించడం. ఈ సేవతో ఏకీకరణ కోసం బగ్ టిక్కెట్లను దాఖలు చేయడం మరియు ఫలితాలు, అభిప్రాయాలను తెలియజేయడానికి క్రమానుగత సింక్ సమావేశాలు నిర్వహించడం అవసరమైంది. ఈ పనులన్నింటికీ "విశ్వసనీయత" అనే ట్యాగ్‌ను ఉపయోగిస్తాము, తద్వారా దాని మూలం మరియు ప్రాధాన్యతలను మేము త్వరగా గుర్తించగలము. కొత్త డిపెండెన్సీ మాకు సిద్ధంగా ఉందని నమ్మకం వచ్చే వరకు, దాని స్వభావాన్ని తరచుగా అంచనా వేసాము. ఒకే ఉమ్మడి లక్ష్యం కోసం కలిసి పనిచేస్తూ, మేము అందించాలని ఆశిస్తున్న అవసరమైన విశ్వసనీయత స్థాయికి డిపెండెన్సీని తీసుకురావడానికి ఈ అదనపు పని సహాయపడింది.

అస్తవ్యస్తతకు ఒక నిర్మాణాన్ని తీసుకురండి

సంఘటనలు జరగడం ఎప్పుడూ మంచిది కాదు. కానీ అవి జరిగినప్పుడు, మరింత విశ్వసనీయంగా ఉండటానికి సేకరించి నేర్చుకోవడానికి అర్థవంతమైన సమాచారం ఉంటుంది. మా బృందానికి, సాధారణ కంపెనీ-వ్యాప్త నివేదికకు అదనంగా ఒక టీమ్ ఇన్సిడెంట్ రిపోర్ట్ ఉంటుంది, కాబట్టి మేము వాటి ప్రభావం యొక్క స్థాయితో సంబంధం లేకుండా అన్ని సంఘటనలపై దృష్టి పెడతాము. మేము మూల కారణాన్ని గుర్తించి, భవిష్యత్తులో దానిని తగ్గించడానికి అన్ని పనులకు ప్రాధాన్యత ఇస్తాము. ఈ నివేదికలో భాగంగా, మేము డిపెండెన్సీ సంఘటనలను అధిక ప్రాధాన్యతతో సరిచేయడానికి ఇతర బృందాలను పిలుస్తాము, సరైన పరిష్కారంతో ఫాలో అప్ చేస్తాము, గతంలోని పరిస్థితులను సమీక్షించుకుంటాము మరియు మాకు వర్తించే నమూనాల కోసం వెతుకుతాము.

ప్రతి సర్వీస్‌కు సంబంధించి, ఇక్కడ వివరించిన అన్ని SLIలు, విశ్వసనీయత కారణంగా మేము తెరిచిన ఏవైనా టిక్కెట్లు మరియు సర్వీస్‌కు సంబంధించిన ఏవైనా సంభావ్య సంఘటనలను కలిగి ఉండే నెలవారీ విశ్వసనీయత నివేదికను బృందం తయారు చేస్తుంది. ఈ నివేదికలను రూపొందించడం మాకు చాలా అలవాటైపోయింది, కాబట్టి వాటిని ఆటోమేట్ చేయడం తదుపరి సహజమైన చర్య. ఈ క్రమానుగత కార్యకలాపాన్ని చేయడం ముఖ్యం, మరియు మా అభివృద్ధిలో విశ్వసనీయత నిరంతరం ట్రాక్ చేయబడుతుందని మరియు పరిగణించబడుతుందని ఇది గుర్తు చేస్తుంది.

మా ఇన్‌స్ట్రుమెంటేషన్‌లో కస్టమ్ మెట్రిక్స్ మరియు మెరుగైన అలర్ట్‌లు ఉంటాయి, తద్వారా తెలిసిన మరియు ఊహించిన సమస్యలు తలెత్తినప్పుడు మాకు వీలైనంత త్వరగా పేజ్ వస్తుంది. ఫాల్స్ పాజిటివ్‌లతో సహా అన్ని అలర్ట్‌లు ప్రతి వారం సమీక్షించబడతాయి. ఈ సమయంలో, అలర్ట్‌లు ట్రిగ్గర్ అయినప్పుడు మరియు లోపాలు సంభవించినప్పుడు ఏమి ఆశించాలో మా వినియోగదారులకు తెలిసేలా మొత్తం డాక్యుమెంటేషన్‌ను మెరుగుపరచడం ముఖ్యం, మరియు అప్పుడు ప్రతి ఒక్కరికీ ఏమి చేయాలో తెలుస్తుంది (ఉదాహరణకు, ప్లేబుక్స్ మరియు ఇంటిగ్రేషన్ మార్గదర్శకాలు తరచుగా అనుసంధానించబడి, నవీకరించబడతాయి).

అంతిమంగా, మా సంస్కృతిలో నాణ్యతను స్వీకరించడమే అధిక విశ్వసనీయతను సాధించడంలో అత్యంత కీలకమైన మరియు నిర్ణయాత్మకమైన అంశం. మా రోజువారీ పనికి ఈ పద్ధతులను వర్తింపజేయడం వల్ల కలిగే ప్రయోజనాలను మనం ఇప్పటికే చూడవచ్చు. మా బృందం విశ్వసనీయత పట్ల అమితమైన ఆసక్తిని కలిగి ఉంది మరియు అదే మా అత్యంత ముఖ్యమైన విజయం. సంభావ్య లోపాలు కలిగించగల ప్రభావం మరియు అవి ఎప్పుడు ప్రవేశించవచ్చనే దానిపై మా అవగాహనను పెంచుకున్నాము. ఈ పద్ధతులను అమలు చేసిన సేవలు తమ SLOలు మరియు SLలాలను స్థిరంగా చేరుకున్నాయి. మేము చేస్తున్న పనిని ట్రాక్ చేయడంలో మాకు సహాయపడే విశ్వసనీయత నివేదికలు, మా బృందం చేసిన కృషికి నిదర్శనం, మరియు ఇతర బృందాలకు తెలియజేయడానికి మరియు ప్రభావితం చేయడానికి అమూల్యమైన పాఠాలుగా నిలుస్తాయి. ఈ విధంగా విశ్వసనీయత సంస్కృతి మా ప్లాట్‌ఫారమ్ యొక్క అన్ని భాగాలను తాకుతుంది.

అధిక విశ్వసనీయత వైపు ప్రయాణం సులభమైనది కాదు, కానీ ప్రజలు ఎలా కలిసి వస్తారనే దానిని పునఃకల్పన చేసే ఒక విశ్వసనీయమైన ప్లాట్‌ఫారమ్‌ను మీరు నిర్మించాలనుకుంటే ఇది అవసరం.

ఆల్బెర్టో రాబ్లాక్స్‌లోని అకౌంట్ ఐడెంటిటీ బృందంలో ప్రిన్సిపల్ సాఫ్ట్‌వేర్ ఇంజనీర్‌గా ఉన్నారు. అతను చాలా కాలంగా గేమ్ పరిశ్రమలో ఉన్నారు, అనేక AAA గేమ్ టైటిల్స్ మరియు అత్యంత స్కేలబుల్ ఆర్కిటెక్చర్‌లపై దృష్టి సారించే సోషల్ మీడియా ప్లాట్‌ఫారమ్‌లపై క్రెడిట్‌లు పొందారు. ఇప్పుడు అతను ఉత్తమ డెవలప్‌మెంట్ పద్ధతులను వర్తింపజేయడం ద్వారా రాబ్లాక్స్ వృద్ధి మరియు పరిపక్వతను చేరుకోవడానికి సహాయం చేస్తున్నారు.