הסבת נתונים

שלושת המספרים, לפני כל ספק

בדיקה של חצי יום על נתונים שכבר קיימים אצלכם. קחו כמה מאות רשומות מכל סוג שהצוותים מתווכחים עליו, בדרך כלל לקוח, מוצר והזמנה, והריצו דרך המערכת המועמדת.

העמודה השלישית היא הסיבה שהסבה מנוהלת כמשימה טכנית נעצרת. איש התוכנה לא יכול להחליט אם שתי רשומות הן אותו לקוח, ולכן שעות של אנשי העסק הן שורה בתוכנית, לא הנחת רקע. הצעה שאין בה כזו שורה אמדה את החלק הקל.

הכפילות בעברית: למה היא קשה מהרגיל

זיהוי כפילויות קשה בכל שפה, ובעברית יש שני גורמים נוספים שכדאי לדעת עליהם מראש.

אותו גוף נכתב בשתי מערכות כתב. לחברה יש שם עברי למסמכים מקומיים ושם לטיני למסמכים בחו"ל, ושני השמות נכנסו למערכת בזמנים שונים על ידי אנשים שונים. השוואת מחרוזות לא תמצא אותם, והשוואה «חכמה» תמצא גם התאמות שגויות.

כתיב מלא וחסר, ואם הקריאה. אותו שם נכתב ביותר מדרך אחת בעברית בלי שאף אחת שגויה, ובשמות פרטיים ובשמות מקומות זה נפוץ מאוד.

לכן הכלל המעשי הוא לזהות לפי מזהה חיצוני כשיש: מספר חברה, מספר עוסק, מספר זהות. ולמה שאין לו מזהה, לייצר רשימת מועמדים להכרעה אנושית במקום להחליט אוטומטית. רשימה של כמה מאות שורות לאדם שמכיר את הלקוחות היא יום עבודה, ושגיאת מיזוג אוטומטית היא נזק שמתגלה חודשים אחר כך.

הבדיקה שמכריעה: יישוב ולא ספירה

הבדיקה הנפוצה היא השוואת מספר שורות בין המערכות. היא קלה והיא לא אומרת כמעט כלום: שורות יכולות לעבור במלואן והסכומים להיות שגויים, כי שדה תורגם לא נכון או כי יחידה או מטבע התפרשו אחרת.

הבדיקה שאומרת משהו היא יישוב סכומים שהעסק מכיר. קחו שלושה דוחות שמישהו באמת מסתכל עליהם, למשל יתרות פתוחות, מחזור לפי חודש, וחובות לפי גיל, והריצו אותם בשתי המערכות על אותה נקודת זמן.

אם המספרים זהים, ההעברה עברה. אם הם שונים, מצאתם את הבעיה לפני שסמכתם על המערכת, וזה כל העניין. ההפרש גם מכוון ישר למקום: הפרש בסכומים ולא בשורות הוא כמעט תמיד שדה אחד שתורגם לא נכון.

היסטוריה: להחליט במפורש

לא כל ההיסטוריה חייבת לעבור, וההחלטה הזו חוסכת יותר מכל אופטימיזציה.

לעתים נכון להעביר תקופה אחרונה בלבד ולהשאיר את השאר בארכיון לקריאה בלבד, עם דרך מוגדרת וכתובה להגיע אליו. זה זול, זה בטוח, ובדרך כלל זה גם מה שהעסק צריך באמת.

מה שאסור הוא להשאיר את השאלה פתוחה. אז ההיסטוריה תעבור בחלקה, לפי מה שהיה נוח טכנית, ואף אחד לא יידע איזה חלק. אחרי חצי שנה מישהו יחפש משהו משנה קודמת, לא ימצא, ויסיק שהמערכת לא אמינה. על השתלטות על המערכת שמוציאים ממנה: הנדסה לאחור של מערכת קיימת.

סימנים שההצעה לא תחזיק

• אין סעיף לניקוי נתונים. זו רוב העבודה והחלק הקל ביותר להשמיט ממכרז תחרותי.
• אין שעות של אנשי העסק. ההכרעות הן שלהם, ולכן אי אפשר לתכנן בלי לשריין אותם.
• אין תשובה למה קורה אם מבטלים אחרי יומיים של שימוש אמיתי.
• תאריך העברה נקבע לפני שמישהו הסתכל על הנתונים. התאריך ייעמד על ידי הורדת איכות הנתונים, שהוא בדיוק מה שקובע אם יסמכו על המערכת.
• הבדיקה המוצעת היא השוואת שורות. בקשו יישוב סכומים.

איך אני עובד על זה

עיסוק בתחום מאז 2004, עבודה על מערכות AI מאז 2023, פרויקטים ללקוחות בארבע עשרה מדינות. אני ארכיטקט עצמאי ולא ספק מערכת, ולכן המסקנה «אל תעבירו את ההיסטוריה, השאירו ארכיון» או «הנתונים שלכם לא במצב שמאפשר את התאריך הזה» היא תוצאה לגיטימית, ולעתים היא זו שחוסכת את הפרויקט.

מה סקירה מייצרת: שלושת המספרים על חתך מהנתונים שלכם, רשימת ההכרעות העסקיות עם בעל החלטה לכל אחת, החלטה כתובה על היסטוריה, ושלושת דוחות היישוב שישמשו קריטריון הצלחה.