Предисловие
Важнейшая задача руководителей информационных служб и высшего руководства в сфере информатизации заключается в том, чтобы взаимно увязать деятельность подчиненных им ИТ-подразделений с задачами бизнес-подразделений организации. Однако большинство руководителей, будучи техническими специалистами, не владеют в полной мере искусством формирования и воплощения в жизнь организационной стратегии. Кроме того, сама организация унаследованных систем не позволяет легко интегрировать данные из разных систем для предоставления потребителям новой информации. Поэтому увязать информационные технологии и бизнес для предоставления бизнес-подразделениям новой информации за счет внесения изменений в оперативные системы — сложная задача. ИТ-специалист может обозначить некоторую ситуацию, как очевидно требующую изменений, но он не знает, как выбрать стратегию или реализовать изменения, связанные с существующей технологией. Это напоминает морские купания в тех местах, где много акул: мы ощущаем близкую опасность, но не знаем, где она и как ее избежать.
Этот двухтомный труд был написан для того, чтобы помочь читателям приобрести знания, необходимые для использования технологии хранилищ данных и открытых систем, что позволит увязать деятельность ИТ-подразделений с задачами бизнес-подразделений организации. Хотя большинство других публикаций, посвященных этой проблематике, содержат довольно общее объяснение преимуществ и целей технологии хранилищ данных, настоящая книга откроет перед вами подробности их планирования, проектирования, построения и использования.
Проблемы технологии хранилищ данных, систем поддержки принятия решений и информационных систем руководителя предприятий в течение многих лет обсуждались на конференциях и за чашкой кофе. Тем не менее многие специалисты до сих пор не имеют ясного представления о том, что же такое хранилища данных. Для тех, кто знает основы хранилищ данных, успешное построение хранилища остается чем-то эфемерным. Разработчики технологии хранилищ данных, которым удалось добиться успеха в нескольких проектах, обнаружили, что построенные ими хранилища не могут работать совместно. В иных случаях методы, которые использовались для построения небольших хранилищ данных, не работали при попытке приспособить их к построению более крупных хранилищ. Наконец, построенные ими хранилища не избавились от проблем, присущих унаследованным системам: неспособности к масштабированию и "островов" данных, не поддающихся интеграции.
Цель автора — предложить методологию, которая позволит ИТ-специалистам "спастись от акулы". В книге приводится описательная стратегия, призванная помочь им в планировании, проектировании и конструировании хранилища данных масштаба предприятия. Чтобы понять, каким образом ИТ-сообщество оказалось в такой ситуации, в главе 1 анализируется историческое развитие информационной технологии в деловой сфере. После осмысления современных проблем и возможностей в сфере информационных технологий наступает черед исследовать и оценить различие между хранилищами данных и оперативными системами. В последующих главах вводится и уточняется доступная для понимания методология построения хранилища данных, основанная на общеизвестных принципах ведения бизнеса и RAD-методах разработки программного обеспечения (ПО).
В главе 2 представлена характеристика современного состояния и основных направлений развития организации бизнеса и информационных технологий. Хотя одна книга по хранилищам данных не в состоянии открыть читателю секреты стратегии бизнеса, можно рассмотреть способы ее формирования и осмысления, а также выбор подходящей ИТ-стратегии. Наиболее важный метод, который мы можем освоить как ИТ-специалисты, — интервьюирование руководства и проведение совещаний по совместной разработке приложений, что поможет преодолеть разрыв между настоящим положением дел в бизнесе и тем его состоянием, к которому стремится руководство. Наконец, освещаются методы обоснования затрат, связанных с построением хранилищ данных.
Если вы нанимаете самолет для коммерческих нужд и пилот говорит вам, что он знает, как управлять самолетом, но не знает, куда его вести или где он должен приземлиться, вы, скорее всего, откажетесь от услуг такого пилота. Планирование крайне важно как для авиации, так и для хранилищ данных. В главе 3 рассматриваются некоторые способы построения хранилища данных, благодаря которым можно выяснить, во что обойдется запланированный проект и что мы вправе ожидать за свои деньги. Это позволит нам избежать участи Колумба, который, отправившись в путь, не знал, куда плывет, а прибыв на место, не понял, где находится, причем все это на деньги, взятые взаймы. Глава 3 фактически служит обзором всего материала, представленного в обоих томах.
В центре внимания главы 4 находятся проблемы выбора проекта хранилища данных, который окажет самое значительное влияние на организацию и будет иметь успех. Для выбора проекта, который сулит наибольшие выгоды организации, а также для определения рамок этого проекта используется JAD-метод, рассмотренный в главе 2. Основной целью хранилища данных является предоставление информации специалистам организации, которые работают с базами знаний. Организованные в содержательном виде и представленные в деловом контексте данные служат ключом к успеху хранилища. Глава 5 в основном посвящена принципам и правилам построения архитектуры данных и моделирования данных. К концу главы новичок в области моделирования данных получит представление о базовых компонентах предприятия и модели данных для поддержки принятия решений, а опытный специалист — лучшее понимание того, каким образом распространить свои навыки на новые области применения ИТ.
Понимание природы данных, находящихся в хранилище, — основа основ успеха проекта хранилища данных. Главная причина провала проектов заключается именно в том, что их участники так и не могут до конца понять сущность данных, составляющих основу хранилища. Данные о данных, содержащихся в хранилище, называются метаданными. Успех проектов хранилищ данных, безусловно, связан с построением репозиториев метаданных. В главе 6 представлены методы конструирования репозиториев метаданных, а также оценивается роль, которую они играют в общем успехе построения хранилища данных.
Не менее важной причиной неудач проектов хранилищ данных является недостаточно высокое качество размещаемых в них данных. В главе 7 внимание сконцентрировано на методологии обеспечения высокого качества данных в хранилищах. Если руководство не осознает той роли, которую играет качество данных в успехе хранилища, и не придает должного значения обеспечению этого качества, ему трудно понять, что качество данных требует вложения определенных, и зачастую немалых, ресурсов. Поэтому глава начинается с примера, посвященного подсчету ущерба, который наносит присутствие ошибочных данных в хранилище. После этого описывается метод, направленный на достижение высокого качества данных.
Постигая принципы исследования некоторой прикладной области, вы сможете применять их к решению новых проблем. В главе 8 исследуются принципы, которым должна удовлетворять архитектура хранилищ данных. Эти принципы применяются для построения модели концептуальной архитектуры данных, которая затем применяется к построению логической архитектуры хранилища данных.
Глава 9 посвящена вопросам физической архитектуры хранилища данных. Здесь анализируются роли, которые играют различные компоненты физической архитектуры хранилища данных, проблемы их сбалансированности и компромиссы, лежащие в основе достижения взаимного баланса.
Предметом исследования главы 10 является программное обеспечение, скрепляющее различные звенья хранилища данных и делающее возможным его построение как единого целого. При построении хранилища данных важную роль играют программные средства извлечения, преобразования и очистки данных. В этой главе рассматриваются основные характеристики этих средств.
После того как хранилище данных построено, потребителям информации следует дать подходящие средства доступа к данным в хранилище. В главе 11 описаны различные виды программных средств доступа к данным; кроме того, читатель сможет приобрести знания, необходимые для того, чтобы уверенно выбирать соответствующие средства.
Наконец, в главе 12, посвященной добыче данных, рассматриваются основные методы добычи данных, а также преимущества и недостатки, присущие каждому из них.
Вообще говоря, настоящая книга предназначена для ИТ-специалистов, которых интересуют проблемы построения и освоения систем поддержки принятия решений. В частности, книга окажется полезной для директоров по информатизации, руководителей ИТ-подразделений, специалистов в области анализа данных, администраторов баз данных, конструкторов и разработчиков. Для директоров по информатизации и менеджеров ИТ-подразделений особенно интересным и полезным будет знакомство с главами 1–4. Руководители ИТ-подразделений, специалисты по анализу данных, администраторы баз данных, конструкторы и разработчики найдут немало полезного для практического внедрения хранилища в главах 5–12, а главы 1–4 помогут им понять путь, по которому должно следовать их руководство.
Еще один круг потенциальных читателей этой книги включает студентов, обучающихся по таким специальностям, как информационные системы управления, бизнес и информатика. Около пяти лет я посвятил преподавательской работе и понял, насколько увлекательно включать в книгу информацию, которая превращает ее в отличный учебник по технологии хранилищ данных. В конце многих глав помещены разделы, содержащие вопросы, которые можно использовать как в формальном учебном процессе, так и для самообразования. В большинстве глав имеются упражнения, представляющие собой не что иное, как мини-проекты, которые читатели могут рассматривать либо как умозрительное упражнение, либо как реальный проект.
Благодарности
Ряд людей и организаций внесли свой вклад в написание этой книги в виде информации, идей, дискуссий и критики; в некотором смысле их можно считать соавторами книги. Во-первых, я хотел бы поблагодарить профессора Стенфордского университета Джона Дж. Линвилла (John G. Linvill), который учил меня, что ясная и глубокая организация мысли, выражения и представления имеет значительно большее значение, чем все другие умственные усилия. При написании книги я старался следовать его примеру. Алан Камбурн (Alan Camburn) отвечал за мою связь с бригадой построения хранилища данных компании Hewlett-Packard. Алан — архитектор данных мирового уровня. В приведенном ниже перечне упомянуты далеко не все, кто прямо или косвенно принимал участие в работе над книгой. Я прошу прощения у тех, кого пропустил. И хотя все эти замечательные люди внесли весомый вклад в написание книги, ответственность за ошибки и упущения в содержании лежит только на мне. Не придерживаясь какого-либо определенного порядка, учитывая лишь принадлежность к той или иной компании, я перечислил тех, кто так или иначе принимал участие в работе над книгой.
Группа сотрудников Hewlett-Packard Open Warehouse Advanced Technology: Пэм Мюнш (Pam Munsch), Брюс Дженкс (Bruce Jenks), Джим Мейерсон (Jim Meyerson) и Глен Калина (Glen Kalina).
Группа сотрудников Hewlett-Packard World Wide Open Warehouse: Фран Йопполо (Fran Ioppolo), Цецилия Боломо (Cecilia Bolomo), Цецилия Кемпбелл (Cecilia Campbell), Роджер Эберлин (Roger Eberline), Хэл Мак-Миллан (Hal McMillan) и Майк Оверли (Mike Overly).
Бригада Hewlett-Packard TIMBU Data Warehouse: Боб Мейер (Bob Meyer), Алан Камбурн (Alan Camburn), Ренделл Эзеридж (Randall Etheridge), Майа Милстер (Maya Milster) и Шерон Свани (Sharon Swaney).
Группа сотрудников Tandy Information Services: Дик Силверс (Dick Silvers), Билл Кёниг (Bill Koenig), Джон Хилтон (John Hilton) и Стив Мак-Уортер (Steve McWhorter).
Бригада Hewlett-Packard Retail: Рей Келли (Ray Kelly), Джим Вудс (Jim Woods), Лэрри Когутек (Larry Kohutek) и Терранс Дейли (Terrance Daily).
Особая благодарность славному малому, который помогал при первоначальном форматировании книги, Джеффу Спирли (Jeff Sperley).
Большое спасибо Барбаре Зайдерс (Barbara Zeiders), сотни замечаний которой способствовали удобочитаемости книги.
